Intern-Decision：自回归掩码语言建模的高效多模态决策模型
🧭 Agent 结构化决策 · 多模态小模型 ★ 深度解读
Shanghai AI Lab · Shanghai Jiao Tong University · Fudan University · Nanyang Technological University
用单次前向的自回归掩码决策替代自由文本生成，输出结构化选择与候选概率，4B模型七套评测集平均准确率90.02%
📌 工作参考价值（4 点）
- 用“掩码决策字段 + 单次前向”替代 free-form JSON 生成或逐字段循环打分，适合电商/广告中高频闭集判断：意图分类、tool routing、风控/安全审核、多字段表单决策等。
- 保留 Qwen 等 causal backbone 与 native LM head，在 assistant skeleton 的 <decision> 占位符前一个 token 读 logits，对 legal options 做 softmax 得到候选概率；无需额外分类头或逐字段前向，且多字段共享 state，减少重复 prefill。
- 对概率输出做 post-hoc temperature scaling 能显著改善 Brier / ECE；可用小模型置信度阈值触发大模型接管，适合难例路由、广告审核升级、搜索结果重排等场景，在精度和成本之间选操作点。
- 多模态输入（文本+可选图像）输出离散动作，适合 GUI Agent、商品图审核、直播画面判断等“看截图→做选择”的闭环任务；训练时冻结 vision tower 可低成本复用预训练视觉能力。
JevAgentHarness：与LLM共享控制的决策模型基准、部署与训练
🧭 Agent决策模型与LLM级联降本提速 ★ 深度解读
University of Illinois Urbana-Champaign · Princeton University · Google
以置信度阈值将Agent常规多选决策委派给4B决策模型，最高降本89%、提速2.5倍，成功率损失<3点
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的 tool call 与参数选择中，可以把大量常规多选决策（查订单、选参数、退款原因、确认动作）交给 4B 级 decision model，按置信度级联；阈值需按 decision point 在 shadow 轨迹上单独拟合，不要用全局固定阈值（论文固定0.5掉21.5点）。
- 评测决策模型不能只看离线准确率：StartLux-9B 离线最好但在 task-level 仅 69.5%；建议建立 step-level/task-level 回归集，特别是包含错误后状态和 must-ask 状态，否则会误判上线收益。
- 训练专属小决策模型时，用业务 agent 自己的轨迹做 SFT 非常划算（Qwen3-4B shifted task 成功率 13.5%→96.0%，仅 2.2 GPU-hours）；数据里要刻意注入错误后状态（论文30.9%），否则模型无法应对 agent 自身失误后的局面。
- 不可逆/高风险动作（取消订单、支付、发送消息）不要只交给 decision model 或 guard；对新增业务规则需重新训练/重新拟合阈值，否则成功率可能从88%跌到3%。
基于信息增益校准的在线策略蒸馏用于深度搜索智能体
🧭 On-policy distillation · 信息增益校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Renmin University of China · Beijing University of Posts and Telecommunications · Beijing Academy of Artificial Intelligence (BAAI)
提出 IG-OPD，用检索后信息增益校准 OPD 的预算与方向先验，修正证据盲监督
📌 工作参考价值（4 点）
- 多轮检索/会话 agent 蒸馏时，teacher 对 query 的似然偏好不等于检索证据的实际效用；可引入 post-retrieval information gain（如文档是否包含答案、证据是否改变后续置信）作为校准信号，对 query/tool-call tokens 做奖励修正，避免好 query 被误罚。
- 按 turn 而不是按 token 长度分配监督权重：搜索/召回 turn 通常短但信息增益高，合成/回答 turn 长但增益低；ITC 的预算重分配可通过 token loss 乘 ratio 实现，无需改 trainer，工程成本低。
- 在电商搜索/推荐中，用户 query 改写、检索式推荐、多跳推理 agent 训练可借鉴 IQC 只修正 action-critical tokens（query 字符串、工具参数）而保持 reasoning tokens 不变；对第一跳正反馈、后续跳负反馈更可靠，可据此设计课程和 cosine ramp 避免早期对搜索行为的过度惩罚。
- 训练后模型推理无额外开销，但蒸馏时需额外做一次 teacher 对 gold answer 的评分，增加约 10% 训练时间/显存，适合离线训练阶段接受。
解释 MoE 大语言模型在个性化中的专家角色
🧭 MoE LLM 个性化与可解释性
University of Copenhagen
用 MoE LLM 做个性化并通过 crosscoder 定位可解释个性化 latent 与专家路由，验证其因果作用
📌 工作参考价值（4 点）
- 可尝试把个性化底座从 dense LLM 换成 MoE LLM：论文显示 MoE 个性化性能与 dense 有竞争力，但只激活一小部分参数，适合电商/广告等对推理成本敏感的场景；在线服务时稀疏路由也能降低尾部延迟。
- 用 crosscoder 对「个性化前后模型」的成对激活学习可解释 latent，能直接定位哪些专家在编码个性化特征。业务上可以用类似方法做个性化模块审计，找出哪些专家/层负责特定用户群偏好，便于后续剪枝、蒸馏或加约束。
- 文中通过 boosting 相关专家让非个性化模型向个性化模型靠拢，说明个性化行为有可操控的专家路由路径。可以借鉴为「可控个性化开关」：对某些用户群或场景，只强化对应专家，避免全量微调或 prompt 注入。
- MoE 降低 polysemanticity 的结论提示：如果线上模型需要更强的可解释性、便于合规审查（如推荐理由、广告定向），选择稀疏架构比 dense 更容易解耦特征。
可验证奖励强化学习中动量何时有效
🧭 LLM 强化学习优化器动量策略 ★ 深度解读
Peking University · Shanghai Jiao Tong University · SIMIS · Stanford University
证明 RLVR 中固定动量增益会被采样噪声淹没，需随学习率放大 β 才能稳定获益
📌 工作参考价值（3 点）
- 在 RLVR/GRPO 类 LLM post-training 里，AdamW 的 β1 别只留默认 0.9；可以尝试 β1=1-1e-6 甚至 1-1e-9，同时观察 reward/准确率是否稳定提升。
- 如果想降学习率换取更稳训练，应同步放大 β，使 η/(1-β) 维持在安全区间，避免固定 β 导致动量增益被采样噪声淹没。
- 做带采样奖励的在线策略优化（如 Agent 任务、推荐/广告的 policy gradient）时，若发现 momentum 无效，先别否定动量，检查 lr 与 β 的比值是否过小；用少数 seed 很难区分固定 β 和 no-EMA，建议多 seed 或看 SNR。
困在洗牌中：视觉-语言模型的属性-物体绑定研究
🧭 多模态检索 · 属性-物体绑定
OriginAI · NVIDIA · Tel Aviv University
提出 SABER 基准评估属性-物体绑定，并证明仅用合成文本微调 MLLM embedder 可跨模态迁移提升检索
📌 工作参考价值（4 点）
- 电商多模态商品检索常因属性错配翻车：例如“红色棉质连衣裙”匹配到“红色连衣裙但棉质衬衫”。可借鉴 SABER 的硬负样本构造方式，在训练或评测中显式交换属性-物体，增强 embedding 对“哪个属性属于哪个物体”的判别力。
- 合成文本监督方案对业务很友好：不需要昂贵的人工图像标注，用文本模板批量生成组合绑定正负样本（如“红色鞋子和蓝色帽子” vs “蓝色鞋子和红色帽子”），对现有 MLLM embedder 做 LoRA 微调即可，训练成本低，且论文显示能迁移到图文检索和图像-图像检索。
- 工程上可采用“冻结 backbone + 训练 LoRA adapters”的增量部署方式，在不破坏现有多模态嵌入模型通用能力的前提下，提升对属性组合、否定语义和实例级检索的鲁棒性，适合电商搜索、广告召回等对精准匹配要求高的场景。
- 评估侧建议引入组合绑定专项 benchmark：在 query 改写、多条件召回、商品推荐等环节，测试“属性错拼”和“多物体组合互换”两类 hard cases，避免只看整体 Recall/MRR 掩盖的绑定失败。
扩展发现需要遗忘：定期清空智能体状态并保留最佳候选
🧭 多智能体自动发现 · 遗忘重置机制 ★ 深度解读
UC Berkeley · Stanford · Bespoke Labs
单agent/并行/通信式多智能体自动研究都会平台期，周期性遗忘会话与搜索状态、仅保留全局最佳候选可解锁探索并提升最多15%
📌 工作参考价值（4 点）
- 在电商/广告/推荐场景用 LLM agent 做长期自动优化（prompt 策略、召回/排序超参、文案生成迭代）时，不要维持单一长 session；周期性清空上下文和 workspace、只保留 best candidate，可显著恢复探索性，避免 agent 只做小改。
- 多智能体协作建议异步、token-free 共享每位 agent 的最佳候选与分数（类似 git commit/diff），不要互相读完整方案；这样既能传播好点子，又降低同质化和 token 开销。
- 把 agent 的编辑行数、thinking tokens、空 turn 比例作为平台期信号，触发遗忘或重启；例如 VLIW 任务中 66% 花费消耗在无候选空转，这类指标可用于早停或重置。
- 遗忘后的 fresh context 每轮成本约减半（如 AHC014 team: $15.32 vs $24.67），同样预算下分成多轮重置比持续更长更划算；在搜索/调参 agent 中可优先采用多轮重置。
Lean4AgenticRL：可验证多层级过程奖励推进 Agentic RL
🧭 Agentic RL 多层级可验证过程奖励 ★ 深度解读
Amazon Web Services · University of Illinois Urbana-Champaign
用 Lean4 统一多层级可验证过程奖励，配合 workflow-stage-normalized GRPO 稳定提升 Agentic RL 训练效果
📌 工作参考价值（4 点）
- 把导购/搜索 Agent 的复杂任务拆成可验证的工作流 stage（如需求澄清、商品召回、排序、话术生成），为每个 stage 定义 post-condition 并用规则/轻量 LLM judge 给中间奖励，使 RL 训练信号更密。
- 对 agent 的工具调用设置 penalty-only 的低层奖励（-1/0），专门惩罚重复查询、空操作、固定占位命令等 reward hacking；不给正奖励，避免策略利用，工程上容易实现。
- 在 GRPO 中将 advantage 按工作流 stage 而不是整条 rollout 归一化，使不同轨迹中相同语义步骤可比，改善长 horizon 信用分配，适用于多轮对话推荐和搜索 agent。
- PSWF plan-then-execute 可作为轻量级 prompt 策略单独使用：先让模型探索环境生成定制化计划，再按计划执行，即使不重新训练也能小幅提升 agent 成功率，便于快速验证业务收益。
LEASH：面向计算机使用智能体的不确定性感知弱到强升级与监督
🧭 Agent 弱到强升级与不确定性监督 ★ 深度解读
Simular · University of Wisconsin–Madison
用弱模型隐藏状态的不确定性同时驱动升级决策与黑盒强模型监督，无训练实现高效成本-精度平衡
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 工作流中，可用廉价的本地小模型作为默认执行器，利用其隐藏状态计算不确定性（如马氏距离到历史成功/失败样本）决定是否升级到昂贵的大模型，无需训练额外监控模型，节省推理成本。
- 对于黑盒 API 大模型（如 GPT/Claude）的调用，可复用白盒弱模型作为“影子观察者”，定期对强模型轨迹打分，高不确定性时触发反思或回滚干预，保留对黑盒输出的控制。
- 表示库方法：记录弱模型在任务查询和动作生成时的最后层隐藏状态，按成功/失败标注，用相对马氏距离作为不确定性分数，计算开销低（无额外前向传播），适合长程多步任务。
- 门槛校准：通过参考集的经验分位数设置升级阈值以匹配预算，将升级率作为 budget 代理，可实现可调节的成本-精度权衡，对在线服务很有用。
OpenGCUA：开源通用计算机使用智能体全栈系统
🧭 通用计算机使用智能体 / 代码执行 ★ 深度解读
Alibaba Token Hub, Alibaba Group
开源通用计算机使用智能体栈，用代码执行与决策转移让8个前沿模型在OSWorld-v2平均+19.6分、步数-53%
📌 工作参考价值（4 点）
- 用代码执行替代固定 action list/batch：推荐/营销 Agent 可让模型写短程序（Python/SQL）同时调用内部 API、读取中间结果、做断言/条件分支，把多轮 model call 压缩成一次，适合批量商品上架、素材改写、数据校验等任务。
- 按需观测可提高缓存命中：模型不强制每步截图/取数，只在真正需要时请求；论文中 cache hit 提升 10.5/14.4 pp 且不掉点。商品详情页、搜索结果截图、日志等大体积上下文可按需拉取。
- 任务状态跟踪与意图标注：让模型维护 todo/pending/verified 状态，区分“已改”和“已验证”；面向用户或审核场景输出 <intent> 可解释步骤目的，适合运营 Agent 和自动化审核流。
- 资源受限下选模型：不能只看最终 benchmark，要看单位成本/时间内的得分；论文的 cost/score 曲线提示便宜小模型可能更划算，适合做线上 Agent 模型路由和降级。
PathFM：多元轨迹的快速生成式预测模型
🧭 生成式时间序列预测 · Flow Matching
California Institute of Technology · Amazon
PathFM 用 flow matching 生成完整多元轨迹，通过蒸馏与共享 KV cache 实现近单次查询速度，并取得最优路径分数
📌 工作参考价值（4 点）
- 需求/流量预测：电商大促、广告库存等场景需要累积需求、峰值、到达时间等轨迹级指标，用 flow matching 替代纯分位数模型可同时保留多步依赖与不确定性，适合 downstream 优化。
- 工程加速：多轨迹采样通过蒸馏到 1-2 步 + 共享 history attention cache 显著降低在线推理成本；类似思路可迁移到生成式推荐或 Agent 场景中需要对同一上下文做多次采样的模块。
- 校准损失直接优化：蒸馏后采样器支持端到端校准目标，比事后校准更稳定；在电商不确定预测（如缺货概率、风险控制）中可借鉴。
- 评估指标：引入 energy score / variogram score 评估路径依赖，比单纯 CRPS 更能反映序列依赖结构，可用于多步推荐收益预测、广告投放轨迹评估。
Player-1：通过合成经验学习游戏控制的后训练框架
🧭 游戏智能体 · 合成经验强化学习
National University of Singapore · ARC Lab, Tencent IEG · Nanyang Technological University
Player-1利用合成环境和PPO强化学习，将游戏智能体MineDojo-300成功率提升至38.33%，远超SFT基线
📌 工作参考价值（4 点）
- 合成环境+程序化奖励训练Agent决策：可借鉴到电商搜索/推荐Agent的离线策略优化，构建模拟用户交互（点击、浏览、反馈）的合成环境，避免线上试错成本，用PPO在多样化模拟器中提升Agent多步决策能力。
- 复合动作空间扩展：论文中同时组合键盘+鼠标的复合动作在RL中使用频率增加，类比到对话式推荐或搜索Agent，可建模同时生成query+点击筛选等复合操作，更贴近真实用户行为，值得在动作空间设计上尝试。
- SFT初始化+多环境PPO两阶段范式：先用人类演示数据SFT，再在多个随机化合成环境中用PPO探索优化，这比单纯SFT能获得超越模仿的策略，适用于电商客服Agent、自动谈判Agent等需要长期回报优化的场景。
- 环境随机化提升迁移泛化：通过对观察和动力学进行随机化，覆盖更广状态空间，可应用于构建电商搜索模拟器时加入用户偏好扰动、延迟响应等噪声，提高策略鲁棒性。
潜在压缩与测试时训练：可训练 KV Cache 压缩
🧭 LLM 长上下文 KV cache 压缩 · 测试时训练 ★ 深度解读
Tsinghua University
将压缩 KV cache 视为可训练参数，用测试时训练拟合注意力与蒸馏，在 32× 压缩下 RULER 达 96.7%
📌 工作参考价值（4 点）
- 商品详情页、用户长期行为序列、长评论等重复使用的长上下文，可离线预压成可训练 KV cache。模型权重冻结，线上多 query 复用，适合推荐/搜索中大量候选文档场景；但注意论文只考核逻辑 KV-pair 预算，实际物理内存与速度需自行测评。
- 测试时训练不需要下游真实 query：用 480 个通用 prompt 与 teacher 全量 cache 生成 rollouts，就能提供 attention 与蒸馏监督。电商可以模板化商品属性、风格、摘要等通用问题，避免依赖真实用户日志。
- 初始化组合可直接复用：KVZip+ 重建分数选 preserver（占 75% 效果最好）、teacher attention 选 anchor、farthest-first 选 diversifier；ablations 表明 preserver 预算分配对准确率影响最大。
- 若把压缩文档 cache 与后续 query cache 合并，必须按 log-normalizer 加权而不是等权平均，否则准确率几乎归零；attention bias 贡献有限但可保留。
桥接拓扑鸿沟：语义先验驱动的双分支图蒸馏用于鲁棒冷启动推荐
🧭 冷启动推荐 · 图知识蒸馏
The Hong Kong University of Science and Technology (Guangzhou)
双分支图知识蒸馏：教师端语义先验重塑流形，学生端余弦蒸馏跨模态对齐，冷启动显著提升
📌 工作参考价值（4 点）
- 冷启动 item 的多模态语义特征不要直接拼进协同图或共享空间，建议解耦两阶段训练：先训练协同教师并用语义 prior 做平滑/初始化，再蒸馏到语义学生，避免破坏已有 ID 协同信号。
- 蒸馏损失用余弦相似度替代 MSE/点积，保持方向对齐、不强制匹配模长，更适合跨模态 embedding 迁移，且可减少对热物品向量尺度的扰动。
- 线上全局检索时，对冷启动物品向量做 dynamic norm reconstruction，按冷/暖物品分桶校准模长，避免语义分支模长不一致导致内积排序偏差；可直接复用到新品召回。
- 电商新品/广告冷启动可把“新品语义描述或图像”作为学生分支，老品协同教师蒸馏，发布即获得可检索表示；需评估两阶段训练的离线成本与更新频率。
去中心化 Agent 群体中的自组织调度学习
🧭 去中心化多智能体自组织调度
Harvard University
提出市场机制后训练框架 MPT，让去中心化 Agent 联合学习行动策略与竞价式自组织调度，在多个多智能体任务上超越单一体模型
📌 工作参考价值（4 点）
- 多 Agent 路由/编排可直接借鉴：在电商/广告多策略召回、多工具 LLM Agent、客服多专家协作中，给每个子系统或模型加一个可学习 bidding head，代替固定路由或中心化调度；用梯度联合优化能力与参与概率，让编排自动适配流量分布变化。
- 奖励信用分配更简单：使用全局结果作为训练信号，结合 bid 记录区分贡献，不必人工设计子任务奖励；适合广告出价、多商品推荐结果融合等端到端训练场景。
- 推理时可扩展并容错：论文表明增大 Agent 池规模可提升性能且 agent dropout 损失更小；线上可将相似功能的多个模型/策略作为冗余候选池，用学到的 bid 动态启用，兼顾性能和弹性降级。
- 注意任务差异：论文验证于具身与深度研究任务，动作空间和交互协议与电商推荐有差距；迁移时需先抽象“行动”为可离散选择的策略或工具调用，并将环境状态编码为共享观测。