冻结模型，进化专长：从部署经验中做模型无关的多模态医学AI学习
🧭 冻结模型外部经验持续学习 ★ 深度解读
University of Maryland, College Park · NVIDIA
提出参数无关外部专长框架，让冻结LLM/VLM从部署经验中持续提升并跨模型迁移
📌 工作参考价值（4 点）
- 在线 Agent/导购/客服：用 LLM optimizer 从成功/失败轨迹重写 Skill 文档而非 append，控制长度、消解冲突规则；候选 Skill 上线前用「下一批新流量 + 历史代表性 buffer」联合验证，接受条件为新样本平均收益>0、历史平均收益≥0、且 win>=loss，防止 prompt 过拟合固定验证集。可套用于搜索 query 改写策略、导购话术策略。
- 商品/内容多模态：维护 MMKB 式视觉记忆库，保存商品图+已知结论（类目、属性、违规、点击/转化标签），检索后用明确 prompt 让模型比较参考图证据与当前图的差异/缺失/矛盾，而不是只把图塞进上下文。实验显示同样 references，仅当上下文会让视觉任务分数下降，加比较分析后才转正；可迁移到商品图质检、主图优选、属性抽取。
- 知识与事实记忆：把可靠事实以「证据+适用条件」存入外部 Knowledge Memory，查询时先检索再检查是否直接回答且适用；只有多案例支持或有可信外部来源才入库。可做电商规则库、广告合规知识、平台政策问答的持续更新。
- 经验外置可无缝迁移到新基座/新模型版本，冷启动成本低；换 LLM 供应商或升级模型时，无需重训，直接复用 Skill/Memory/MMKB，对正在 A/B 不同底座或多租户模型选型的团队有用。
FC-SWE：面向长程软件工程智能体的失败条件强化学习
🧭 Agent 强化学习训练 · Failure-Conditioned RL
NVIDIA · Tsinghua University
引入失败条件 RL 框架，将失败补丁与验证反馈作为恢复轨迹上下文，SWE-bench Verified Resolved@1 从 GRPO 的 38.9% 提升至 41.7%
📌 工作参考价值（4 点）
- 失败反馈作为条件上下文：在电商搜索/推荐 Agent 中，可以把用户负反馈、工具调用失败或验证不通过的结果作为后续恢复轨迹的输入，训练模型主动修复而非重新独立采样，提升多轮交互成功率。
- Trajectory-local rewards：将每次尝试的验证结果单独作为奖励，避免恢复成功错误归因到之前的失败补丁，适合多轮对话或工具调用中每轮独立评估的场景。
- Active-set advantage estimation：只把同一 issue 下实际执行的初始和恢复轨迹纳入比较组，排除未执行的轨迹，可迁移到变长、条件依赖的轨迹训练，改善 GRPO 在复杂 Agent 任务中的优势估计。
- 测试时扩展尝试次数：训练只用最多两次尝试，但测试时用 11 次尝试 Resolved@11 达 70.7%，说明部署阶段可以配合验证器多次尝试，显著提升最终解决率。
基于负策略轨迹的在线蒸馏
🧭 LLM 训练 · 在线蒸馏负样本 ★ 深度解读
NAVER AI Lab
在 OPD 的 rollout 阶段混入低能力负策略轨迹，不改变奖励公式即可注入显式负信号，显著提升推理性能。
📌 工作参考价值（4 点）
- 在 LLM 微调/蒸馏中引入弱模型负样本 rollout：如果业务中有同模型系的低能力版本（如小参数量的 base 或旧版模型），可以将其作为负策略，按一定比例混入 on-policy 训练 batch，不动 reward 即可让模型远离低质量输出，相当于给 OPD 加了一个“反向参考”。
- 负策略 rollout 可以预生成并缓存复用：论文显示纯负策略 rollout（α=1）时，训练时间从 9h19m 降到 3h34m（排除预生成），这对落地 LLM 蒸馏训练的成本优化很实用。
- 负样本选择有讲究：不是随便用差模型，而是同模型家族、能力明显低于 student 的版本；简单加大 temperature、persona prompt 或 drop layer 等降级 student 的方法也能带来少量提升，但远不如单独负策略（+3.4 vs +0.9~1.0 avg）。
- 可复用分析指标 NSP/NOR 做训练调试：NSP 衡量抑制是否集中在负策略偏好 token 上，NOR 衡量学生与负策略的重叠是否下降；二者与最终性能正相关，可用于监控负信号是否按预期生效。
可编程搜索智能体：从查询改写扩展到候选处理与证据呈现
🧭 Agent 搜索接口 · 程序化候选处理与证据呈现 ★ 深度解读
Zhejiang University · Yuanbao Team, Tencent · Peking University
提出 Programmatic Search Agent，以可执行程序单元组织搜索动作，统一候选工作区、原语组合与选择性证据呈现，提升成功率并显著降低 token 消耗
📌 工作参考价值（4 点）
- 把“保留候选”和“呈现证据”解耦：在电商搜索/推荐 Agent 中，让检索/召回结果作为可寻址对象持久化在工作区，LLM 只接收程序选择的精简 notes，不把完整候选全部塞进 prompt。可直接复用上一轮 product pool 做 filter/rerank/extract，减少重复召回和上下文膨胀。
- 用可组合原语代替单一 search(query) 工具：定义 retrieve/filter/rerank/extract/dedupe 及变量引用，让 Agent 生成一个 cell 表达“过滤上一轮池子 → 条件补召 → 合并去重 → 重排 → 抽取证据”的依赖链；避免多轮 tool call，适合多跳商品属性/活动规则验证等场景。
- 审计 evidence-delivery gap：线上 RAG/搜索链路常出现“文档已经进候选但未透出给模型”。可离线回放轨迹，统计支持性证据是否进入 extraction 候选却未返回；对完全遗漏做同页补全的消融，能量化呈现瓶颈并指导界面改造。
- 交互预算下优先做程序化动作：如果决策轮次或成本受限，PSA 在 30-50 decision 预算下比 query agent 成功率高 11-13pp 且 final-step tokens 省 38-41%。在商品搜索助手里，可把多个确定性操作（去重、重排、按条件筛选）合并进一个可执行 cell，只在需要语义判断时回到 LLM。
KL正则化策略优化：面向异步LLM Agent的单Rollout免Critic更新
🧭 LLM agent 强化学习策略优化
Princeton University
KLPO将KL正则锚定在采样器，实现每prompt单rollout、无critic的LLM agent策略优化
📌 工作参考价值（4 点）
- 在异步在线 RL（如导购 Agent、客服 Agent、广告文案优化）中，当采样器与训练器策略不一致时，避免 importance ratio clipping，改用 KLPO 的 sampler 锚定 + 最小二乘拟合，可减少 off-policy 偏差与实现复杂度。
- 每 prompt 单 rollout 且 critic-free，只依赖 terminal return，适合长轨迹/工具调用场景，省去 GRPO 成组采样成本，也省去 value 网络与 learned normalizer。
- 若业务已有 SPPO/GPO/REBEL/BPO 类策略优化，可参照 KLPO 统一视角进行替换或校准；top-K / binary KL 近似的精确 gap 公式可用于低成本估计 KL 项时的偏差权衡。
- 需注意论文为理论分析，未在具体推荐/电商数据上验证，实际落地前应先在小规模 agent 任务上验证稳定性与收益。
跨分词器在线策略蒸馏再思考：从对齐覆盖到监督可靠性
🧭 跨 tokenizer 蒸馏优化 ★ 深度解读
Alibaba Cloud Computing
跨 tokenizer 在线蒸馏中，严格 1:1 对齐已覆盖多数 token；学生选 top-16 共享词表即可保留大部分收益，补 mismatch span MSE 反而降精度
📌 工作参考价值（4 点）
- 做跨 tokenizer / 跨模型蒸馏时，可先只对严格 1:1 对齐位置做 shared vocabulary 上的 reverse KL，并让学生自选 top-k（如 top-16）词表子集；这能压缩计算和显存，同时保留大部分蒸馏收益。适合生成式推荐中不同 tokenizer 的 Semantic ID 序列蒸馏。
- 新增辅助监督（如 mismatch span MSE、多任务损失）前，先做梯度方向与相对幅度诊断：计算 g_mis 与 g_strict 的 cosine 和 norm ratio；若 cosine 接近 0/负、norm ratio 随训练上升，大概率引入冲突信号，应降低权重或丢弃。
- 评估“监督覆盖”不要只看静态词表 Jaccard，要看 student rollout 上 strict token coverage 以及共享词表实际概率质量；工程上采样几十条 rollout 即可快速判断是否值得做复杂对齐。
- 在 Agent 或推荐 LLM 的蒸馏中，若希望提升 teacher 信号覆盖，不要盲目追求全位置覆盖；优先保证主损失梯度干净，可先在小支持集上验证收益再扩展。
跨平台用户历史驱动的个人代理中介推荐
🧭 Personal Agent 中介推荐 · 跨平台历史 ★ 深度解读
University of California San Diego · Meta AI
用反事实掩码估计跨平台历史归因，在 LLM 重排平台榜单时做价值保序的优势再分配
📌 工作参考价值（4 点）
- 在电商/广告推荐中，平台强排序通常已编码 population evidence，Agent 直接重排容易产生 harmful override。可借鉴论文的 rescue–harm 双指标：评估 LLM 重排时只报 HR/NDCG 不够，要同时监控 rescue rate 和 harmful override rate，尤其关注 top-K 中被替换掉的原始命中。
- PAMO 的反事实归因思路可迁移到跨域推荐：训练 agent 时，mask 跨域/跨平台上下文后对同一 rationale 重新打分，得到 context dependence score；再将该 score 注入 RL advantage 分配，避免模型仅凭 outcome reward 学到 generic rerank，而不是真正用上外部用户行为。
- 价值 floor 约束值得工程化：不要只用上下文依赖度分配 advantage，要求重分配后的平均 platform-relative NDCG 不下降。这能抑制“高依赖但低价值”的 intervention，适合平台上做生成式重排时保护强排序基线。
- 成本上，PAMO 只增加一次 masked teacher-forced 前向，不增加 rollout，无推理时开销；用 4B 开源模型即可在多个场景超过闭源 LLM。对搜索/推荐 Agent 训练有直接复用价值。
LoGRA：用低秩梯度草图扩展LLM强化学习
🧭 RL训练内存优化 · 低秩梯度草图 ★ 深度解读
NVIDIA
通过低秩梯度草图压缩RL训练中的梯度和优化器状态，配合预测KL步长控制，大幅降低内存占用
📌 工作参考价值（4 点）
- 资源受限下的RL训练：电商/Agent场景若需对LLM做RL后训练但GPU显存有限，LoGRA能以约45%的内存节省保持性能，可让原本OOM的模型规模落地，适合中小团队。
- 预测KL步长控制：将每次更新的策略偏移限制在预设KL预算内，避免策略突变导致已学行为崩溃。在推荐/Agent在线持续学习中，可将该机制用于策略更新的稳定性控制。
- 梯度压缩与同步复用：LoGRA的压缩更新（低秩因子）可直接用于rollout策略同步，减少通信开销。分布式训练或多智能体协作中可借鉴：用低秩因子传输更新，降低网络负担。
- 注意rank选择：论文消融表明投影秩对性能影响最大（秩4→256提升约3个百分点），而投影矩阵刷新与否影响很小。在实践中应优先调大rank，无需频繁刷新投影。
MATE：LLM 推荐中的自适应长短期用户记忆
🧭 LLM 增强序列推荐 · 自适应用户记忆 ★ 深度解读
Yonsei University
提出 MATE，用时间证据控制长短期记忆写入，在线只更新用户记忆，在 LLM 增强序列推荐中提升 NDCG@10 7.0–13.2%
📌 工作参考价值（4 点）
- 用户建模可显式拆成长期/短期两个用户级矩阵记忆，长期更新保守、短期快速响应；在线只更新这两个矩阵，共享模型固定，单事件额外开销仅 1.25–1.32ms，存储 1MiB/user，适合实时推荐系统。
- 时间证据计算很实用：长期证据要求相似行为出现在至少两个不同日历月且跨时超过 30 天，避免短时突发被误判为长期偏好；短期证据给最小写入强度（epsilon=0.2），让新出现的兴趣也能进入短期记忆。
- 读取时用近期交互的衰减加权表示做门控，得到独立的 alpha_L、alpha_S，不做归一化，允许同时强调或抑制两个记忆，比固定权重融合更灵活。
- 使用冻结 LLM embedding（qwen3-embedding:4b）作为 item 语义，避免微调大模型，可直接替换现有 ID embedding，适合电商商品文本丰富的场景。
MatrixFormer：矩阵补全基础模型
🧭 矩阵补全基础模型 · 零样本推荐评分 ★ 深度解读
Columbia University · Cornell Tech
二维网格 token + 轴向注意力的预训练矩阵补全模型，零样本跨域完成插补、评分预测与因果面板补全
📌 工作参考价值（4 点）
- 二维矩阵原生表示替代 entry-wise 展开：把 user-item 评分矩阵或特征矩阵直接建模为二维 token 网格，用轴向 attention（行内 feature attention + 列内 datapoint attention）同时捕捉用户维度和物品维度结构，避免像 TabImpute 那样把每个 entry 变成一条样本导致上下文重复、显存爆炸；在大规模稀疏矩阵补全或召回后特征填充场景可直接复用该架构。
- 合成低秩/潜因子矩阵预训练，零样本迁移：训练时完全用合成矩阵，显式混合低秩、宽秩谱、潜因子以及 MCAR/MAR/MNAR 多种缺失机制，并加入稀疏行/列模拟冷启动；训练好的权重可以不做 fine-tune 直接用于真实推荐评分矩阵、表格缺失值、甚至 LLM benchmark score completion，适合作为内部数据补全或缺失特征填充的基础组件。
- Observed-error ensembling 做领域自适应：用观测样本上最小化标准化重构误差拟合通用补全专家和推荐专家的混合权重，权重解析、单一标量、无需训练；在跨域或新业务数据上可以先跑两个专家、按观测误差自动决定谁的预测更可信，这是一种低成本的多模型融合 trick。
- 单次前向 + 窗口推理支持大规模矩阵：模型一次前向预测全部缺失值，固定列宽下随行数扩展比 entry-wise 方法快 107×；实际线上可用窗口/分块策略（如最多 2000 行、1000 列）处理大矩阵，并在重叠窗口取平均，兼顾速度与精度。
MemPilot：按需多模态记忆编排的 LLM Agent 框架
🧭 Agent 多模态记忆按需编排与模型路由 ★ 深度解读
Nanyang Technological University · Tsinghua University · University of Illinois Urbana-Champaign
用 RL 多步策略按需编排记忆检索与异质 LLM/VLM 策展，实现质量-成本-延迟可控折衷
📌 工作参考价值（4 点）
- 借鉴双视图记忆：保留 query-agnostic 压缩记忆库用于低成本检索，同时保留原始多模态历史用于按需精调，避免离线压缩丢细节；电商 Agent 里可以兼容现有长会话记忆系统，不推翻重建。
- 将「是否调用视觉/大模型」设为策略动作，把模型池中的 LLM/VLM 按成本和延迟画像暴露给 orchestrator，让 RL 学会按 query 难度和预算动态路由；推荐/搜索 Agent 里可把通用问答降级到小模型，把商品图片理解、多轮用户偏好抽取路由到 VLM。
- 用 objective-wise advantage decoupling 做多目标 RL：质量、成本、延迟分别组内归一化再按偏好加权，比合并 reward 更稳定；业务中若要同时优化转化率、token 成本和响应耗时，可复用该 trick。
- 延迟不用墙钟时间，改用固定系数仿射估计（fixed overhead + per-token input/output + per-image），避免 API 波动影响训练；线上部署时也可用此 proxy 做策略训练或仿真。
面向大语言模型的参数内记忆增强
🧭 LLM 参数化记忆增强综述
The Hong Kong University of Science and Technology · Hong Kong Baptist University
以参数放置与获取时间为两个正交轴，系统梳理部署期 LLM 参数化记忆方法
📌 工作参考价值（4 点）
- 在生成式推荐/对话 Agent 中，用 LoRA 或 prefix 参数封装长期用户偏好、商品知识或交互经验，替代每次拼接长历史，可显著降低 prompt token 与重复编码成本；在线更新 LoRA 可以跨会话沉淀用户兴趣。
- 按数据形态选择参数放置：稳定领域事实/类目属性适合固化在 FFN 或 MLP 层；时序行为、短期兴趣更适合 Attention 或 Hybrid 放置，离线训练 adapter 作为商品/类目记忆库，请求时即插即用。
- 与 ICL 协同：把长期稳定知识放进参数，短期促销、会话上下文仍走 ICL，减少上下文占用；多租户/多活动场景要评估 LoRA 合并时的 interference，避免用户偏好记忆互相污染。
- 购物 Agent 可用 online LoRA/TempLora 把成功决策、用户反馈实时写入参数形成私有记忆，而非无限堆积历史消息，对长会话和跨 session 个性化尤其有价值。
nanoMuse：面向全部个人设备的开源智能体
🧭 个人 Agent 多设备协同与开源实现
Zhejiang University
开源多设备个人 Agent，手机/桌面 Hands、共享会话、动作审核与文件记忆
📌 工作参考价值（4 点）
- 多设备 Agent 架构可借鉴：relay 统管设备注册与消息同步，手机/桌面端各自携带 Hands 操作屏幕，适合电商场景下“手机端操作 App + 桌面端处理表格”的混合任务；把会话状态放在 relay，客户端只做执行，降低状态同步复杂度。
- 动作审核层（Sentinel）值得落地：所有 agent 动作先经过审核，能拦截高风险操作；在广告投放、自动下单、批量改价等场景，可把 Sentinel 做成策略引擎，按风险分级决定自动执行/人工确认。
- 用可读文件做记忆，带溯源：memory 以用户可读文件保存，并记录来源；推荐/客服 agent 可把用户偏好、历史行为写成结构化文件，支持人工编辑和审计，避免黑盒记忆。
- 开源可替换模型降低合规成本：企业可自托管 relay 和 agent，模型可选，适配数据合规；但 Hands 操作手机屏幕在真实电商环境需考虑系统权限和稳定性，初期可用于桌面端任务自动化。
PhysEvo：让 Astra 行动，物理递归自改进框架
🧭 具身智能 · 递归自改进 Agent
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Tsinghua University · Independent Researcher
冻结模型上通过元代理诊断失败、修订工具与技能，大幅提升机器人操作成功率
📌 工作参考价值（4 点）
- Agent 自改进闭环可迁移：将执行轨迹作为诊断数据，让 meta-agent 分析失败原因、生成工具/技能修订，再通过测试验证后保留，这套「执行-诊断-修订-验证-保留」流水线可直接用于推荐/搜索 Agent 的策略迭代，无需更新底层 LLM 权重。
- 工具层迭代优于模型层重训：PhysEvo 证明在冻结模型上只改工具和技能就能显著提升成功率，对业务 Agent 来说，维护可复用的工具库和技能模板，比频繁微调模型更经济、更可控。
- 测试驱动修订：meta-agent 会先测试候选修订再决定保留，避免把坏的工具引入生产环境；在推荐 Agent 中可以对新的召回/排序工具进行离线评估或 A/B 测试后再上线。
- 可复用技能沉淀：修订后的技能被保留并支持后续任务，类似推荐系统的可复用策略模块，如用户意图识别、动态 query 改写等，通过累积有效修订形成领域知识库。
Rollout 引导的 MoE LLM 强化学习 FP4 量化感知训练框架
🧭 低精度 rollout 加速 MoE LLM 强化学习训练
Alibaba Token Hub, Alibaba Group · Ohio State University
提出 TRACE，通过 rollout 侧量化结果引导训练侧 FP4 舍入，实现 FP4 rollout 与 BF16 性能相当并最高加速 5.4 倍
📌 工作参考价值（4 点）
- 在 RL 调 LLM 推荐/搜索 Agent 或生成式 ranker 时，rollout 阶段是主要算力瓶颈，可尝试 FP4 权重/激活 + FP4 KV cache 联合做 rollout；TRACE 表明可与 BF16 rollout 获得相近的最终策略质量。
- 避免直接用离线 PTQ 量化 BF16 训练好的策略：把 rollout 侧实际量化噪声（舍入结果、scale）作为监督信号引入训练侧 QAT，能显著改善最终 FP4 策略性能，比事后量化更可靠。
- 工程上可借鉴 selective quantization-info caching：只缓存深层 mantissa/scale，降低多 GPU 或分布式 rollout worker 间的存储与通信开销，对 MoE 或超大 LLM 生成服务有直接参考。
- 低精度 rollout 最高 5.4 倍加速意味着相同算力下可大幅增加采样轨迹数量，适合需要大量探索的 query 推荐、对话式推荐 Agent 等 RL 训练场景。