IQuest-Q1：面向 Agentic CLI 系统的稀疏 MoE 基础模型
🧭 Agentic LLM 训练 · MoE 与多阶段后训练
IQuest Research
320B 稀疏 MoE 模型，通过多阶段训练和模型合并强化 CLI agent 编码能力
📌 工作参考价值（4 点）
- 稀疏 MoE 架构（320B 总参、15B 激活）在保持大模型容量的同时控制推理成本，适合需要实时响应的搜索/推荐 Agent 场景，可参考其专家路由设计，减少线上 latency。
- 多 scaffold + 多版本后训练策略（SFT + 领域 RL + MOPD 跨多种脚手架）能整合互补训练信号，在电商 Agent 中可借鉴：针对商品知识、会话策略、API 调用等不同子任务分别设计 scaffold 和奖励，再合并训练，提升整体鲁棒性。
- 模型合并技术（merge 不同 expert 和 checkpoint 并缓解参数冲突）可直接迁移到多任务推荐模型融合，例如把单品推荐、query 改写、对话策略等专家模型合并为统一模型，降低维护成本。
- 两阶段课程学习先通用后增加 coding 数据，可用于垂直领域 LLM 微调：先在大规模通用语料上稳定训练，再逐步增加电商/广告领域数据，避免灾难性遗忘。
以语义ID作为唯一物品表示的推理式重排
🧭 SID-only 推理重排 ★ 深度解读
Google · University of Toronto
构建 RERANKID 测试床，证明纯 SID 推理重排可由后训练激发；8B RLVR 在 20 倍更短提示下匹配文本 LLM，但 rationale 不可信
📌 工作参考价值（4 点）
- 候选 slate 和用户历史可只用 SID tokens 渲染，prompt token 降低 20-28 倍；长历史 (>50k 文本 tokens) 场景下，文本 LLM 停止提升，SID 模型仍保持收益。适合作为 cascade 重排中的省 token 输入，尤其是候选集大、历史长的 feed/短剧/电商猜你喜欢。
- 不要直接 zero-shot 用 SID-pretrained 模型做 slate rerank：base 模型大量返回输入顺序（identity copy）或 reasoning loop。先 SFT 解决接口，再用 RLVR + graded ranking reward（NDCG@5 作为奖励）微调；graded reward 显著优于 binary Hit@1，且只在 8B 级别有效，1.7B 无增益，说明需要模型容量。
- 固定 SID token embeddings，仅 LoRA 训练 backbone，能保留编码在 token 中的协同过滤/偏好信号；无需修改 item 编码体系即可迁移到同类 SID-pretrained 模型。
- 排序质量与 rationale 可信度可能脱节：SID 模型能排对但会幻觉物品描述。落地建议：排序用 SID 省 token，解释/文案只对 top 少数 item 检索 metadata 生成，而不是让模型在 SID-only 下描述物品。
EliteReplay：质量多样性搜索保留 RL 后训练中的多样解
🧭 LLM RL 后训练多样性保持
The Ohio State University
用质量多样性搜索构建精英解档案并与 GRPO 结合回放，提升准确率同时保留 LLM 解多样性
📌 工作参考价值（4 点）
- 在 RL 微调用于搜索排序、query 改写或商品文案生成时，可引入精英档案回放：先用冻结模型采样多样正确解建立档案，训练中与策略梯度损失共同优化，避免模型只集中在少数高奖励行为，保持生成模式的多样性。
- 将质量多样性搜索作为通用记忆库机制，在 RL 训练中周期性回放高质量多样样本，可缓解模式坍缩与灾难性遗忘，适用于需要多策略并存的推荐或 Agent 协作场景。
- 评测中除了准确率，加入 pass@k 和 U@k（distinct correct strategies） 两类指标，能更全面反映模型在多解场景下的能力；在搜索建议、歧义 query 改写等业务中，覆盖多个正确意图比单一 top-1 更重要。
- 对歧义 query（如 AmbiQT）的覆盖能力可以直接迁移到电商搜索/推荐：用多样性保持的后训练模型同时召回多个可能的商品意图或生成多个改写 query，提升用户体验与召回覆盖。
MLExpert：面向自主机器学习工程的通用智能体模型
🧭 Agent 后训练 · 长程 MLE 优化 ★ 深度解读
East China Normal University · Shanghai Artificial Intelligence Laboratory
用层级SFT与执行窗口交互强化学习训练35B MoE，将MLE奖牌率从37.9%提至72.7%
📌 工作参考价值（4 点）
- 执行窗口共享奖励：面向需要多轮执行反馈的推荐/搜索 Agent（如自动调参、A/B 实验优化、query 改写迭代），把相邻两次实验结果之间的多步决策作为一个 execution window，共用结果奖励，避免稀疏轨迹奖励导致的学习困难；局部性能趋势项可鼓励持续改进而非只追求终局最优。
- 异步收集 + token 级策略修正：在线 RL 中 rollout 策略与当前训练策略不一致是常态，WIRL 的 token-level policy correction（用记录 log-prob 计算比值并截断）可直接迁移到电商/搜索 Agent 的在线训练，降低等待开销。
- Outcome-guided 监督选择：从长轨迹中提取“首次最优提交”之前的有效探索与失败恢复，截断峰值后退化尾段，能显著提升长程 agent 训练数据质量；可借鉴到推荐系统策略迭代数据清洗。
- 交互 harness 设计：维护 experiment tree、candidate 提交、invalidate_node 防止过拟合/数据泄漏，可作为多版本推荐策略管理或自动实验平台的工程蓝本。
Player-1：通过合成经验学习游戏控制的后训练框架
🧭 游戏智能体 · 合成经验强化学习
National University of Singapore · ARC Lab, Tencent IEG · Nanyang Technological University
Player-1利用合成环境和PPO强化学习，将游戏智能体MineDojo-300成功率提升至38.33%，远超SFT基线
📌 工作参考价值（4 点）
- 合成环境+程序化奖励训练Agent决策：可借鉴到电商搜索/推荐Agent的离线策略优化，构建模拟用户交互（点击、浏览、反馈）的合成环境，避免线上试错成本，用PPO在多样化模拟器中提升Agent多步决策能力。
- 复合动作空间扩展：论文中同时组合键盘+鼠标的复合动作在RL中使用频率增加，类比到对话式推荐或搜索Agent，可建模同时生成query+点击筛选等复合操作，更贴近真实用户行为，值得在动作空间设计上尝试。
- SFT初始化+多环境PPO两阶段范式：先用人类演示数据SFT，再在多个随机化合成环境中用PPO探索优化，这比单纯SFT能获得超越模仿的策略，适用于电商客服Agent、自动谈判Agent等需要长期回报优化的场景。
- 环境随机化提升迁移泛化：通过对观察和动力学进行随机化，覆盖更广状态空间，可应用于构建电商搜索模拟器时加入用户偏好扰动、延迟响应等噪声，提高策略鲁棒性。
生成侧知多少：解锁统一多模态模型中的细粒度理解
🧭 多模态生成与理解协同
Zhejiang University · The University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Shenzhen Loop Area Institute
揭示统一多模态模型中生成侧表示对细粒度视觉理解的互补价值，提出 GAFU 框架压缩生成侧表示为 G tokens 供理解通路检索，显著提升细粒度任务性能
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可尝试提取统一多模态模型生成侧（如扩散前向或自回归解码中间层）的视觉表示，与理解侧表示融合或作为额外特征，改善商品颜色、材质、局部属性等细粒度识别；尤其适合对图像细微差异敏感的场景。
- GAFU 将生成侧视觉表示压缩为少量 G tokens 再供理解通路做 task-conditioned retrieval，这一思路可借鉴到多模态特征工程：用可学习压缩 token 保留关键细节，降低计算开销，并支持按任务动态选取相关特征。
- 实验表明生成侧表示对细粒度语义变化更敏感且能捕获理解侧遗漏的变化，说明在搜索/推荐的多模态相关性排序中，可引入生成侧表示作为辅助信号，尤其在 title/图片差异、spatial relation 等需要精细匹配的任务上可能带来增益。
- 该工作采用后训练（post-training）方式而非重新预训练，适合在已有模型基础上低成本注入细粒度理解能力，对业务中多模态模型升级有一定参考。
合成自蒸馏实现小模型持续后训练
🧭 持续后训练 · 合成自蒸馏
KAIST AI · LG AI Research
提出合成自蒸馏，通过稍大同家族模型生成in-distribution监督，解决小模型持续后训练中获取与遗忘问题
📌 工作参考价值（4 点）
- 在电商/搜索场景持续更新轻量级 query 理解或 on-device 模型时，可借鉴「同家族稍大模型生成 in-distribution 伪标签」的蒸馏方式，避免直接使用真实用户反馈造成分布偏移和旧知识遗忘。
- 使用 rejection sampling 过滤低质量合成样本，能提升伪标签可靠性，适合电商/搜索中大量噪声标签或弱监督数据的场景。
- 持续学习前先量化模型输出分布偏移，发现偏移过大时强制启用 in-distribution 重写或防遗忘策略，可部署为在线监控指标。
- 低延迟场景（如移动端推荐特征提取、query 改写）可线下用稍大模型生成高质量训练数据，线上仅部署小模型，兼顾效果与推理成本。
LESSER：基于输出层梯度的后训练数据选择
🧭 训练数据选择 · 输出层梯度近似
University of Pennsylvania · University of Texas at Austin
用输出层梯度近似全参数梯度进行数据选择，降低特征提取FLOP 9.7倍/3倍且保持下游性能
📌 工作参考价值（4 点）
- 在 LLM 微调数据筛选中，只提取输出层梯度作为样本特征，避免全参数反向传播，数据选择成本大幅下降；适用于电商搜索/推荐场景下的 LLM 微调、指令数据清洗。
- 工程实现上只需 hook 模型最后一层，兼容现有 gradient-based 选择方法（如 LESS），可作为 drop-in wrapper 快速迁移，无需改变训练流程。
- 即使单个样本的梯度排序与全梯度存在差异，选出的 batch 梯度仍然对齐，因此批量训练效果稳定；可以在大规模候选池中做粗筛或迭代选择。
- 对 RLHF/DPO 等后训练数据筛选，输出层梯度可替代全梯度做相似度排序，尤其适合计算资源受限的团队进行高质量样本挑选。
RPTune：LLM 目录搜索的学习式上下文筛选与后训练
🧭 长上下文 LLM 商品搜索 · 上下文筛选 ★ 深度解读
Google · University of Illinois Urbana-Champaign
提出 RPTune，用可学习 curator 对全量商品目录做剪枝重排，并配合 LLM 后训练，在 7 个小商家上显著提升商品搜索准确率
📌 工作参考价值（4 点）
- 对中小商户/长尾目录，若 catalog 可放入 LLM context，直接全量 prompt 比多阶段 RAG 更优；可先用 RPTune 类 curator 做 25% 剪枝，精度不降反升，同时降低延迟。
- 用 encoder+MLP 重排器，让 reorganizer 以冻结 LLM 反馈为信号做 RL，优化目标对齐下游选择准确率，而非单纯语义相似度；ascending 排列把高分商品放在 prompt 末尾（靠近生成位置）效果最好。
- 无行为数据冷启动时，用 frontier LLM 为每个商品生成合成 query，并对全 catalog 做 graded relevance scoring，训练和评估都无需商户日志；这种数据管线可复用到新品/小目录场景。
- LLM 后训练采用 context-relative reward：只要求在 curated 目录内选最高相关商品，并对幻觉（输出 catalog 外商品）给 -1 惩罚，能充分利用剪枝后的候选集，比全局 top-1 或连续分奖励更稳定。
MG-Thinker：多图像推理定位的双轴自反思框架
🧭 多模态推理定位 · RL 后训练
Huazhong University of Science and Technology · Tsinghua University
提出MG-Thinker后训练RL框架，通过层次化推理与双轴优势分解提升多图像推理定位性能
📌 工作参考价值（4 点）
- BiA-DAPO 优势分解可借鉴到多任务/多场景推荐 RL 训练：将 rollout 优势沿组内信号轴和组间能力轴分解，能缓解不同任务难度、不同用户群体样本分布异质带来的优势估计偏差，适合电商推荐中不同品类、不同活跃度用户的差异化建模。
- 任务自适应 CoT 可迁移到 Agent 规划与复杂查询理解：根据任务难度动态调整思维链粒度——简单 query 直接生成、复杂 query 多步推理，能节省 token 并提升推理效率，可用于搜索广告中的 query 改写或商品推荐理由生成。
- 候选池稳定组级统计的方法值得工程实现借鉴：在 RL 训练中维护候选池以获得稳定的组级统计量，可迁移到推荐模型的在线学习或 A/B 测试分桶中，减少小样本波动对策略更新的影响。
- 层次化推理范式可复用于多模态商品理解：从粗到细定位（先全局场景后局部细节）的思路，适合电商中多角度商品图、视频帧的细粒度视觉定位任务，如自动识别商品瑕疵或关键属性区域。
让LLM说出它们所想：测量与改进思维链-可解释性对齐
🧭 LLM推理可解释性对齐与后训练
New York University · NYU Shanghai
提出CIA度量并后训练联合优化任务精度与参数忠实度，提升LLM思维链与内部计算一致性
📌 工作参考价值（4 点）
- 在电商/广告中若使用LLM生成推荐理由、商品对比或竞价策略解释，可借鉴CIA思路：用线性探针或干预实验验证模型声称的决策依据是否真的体现在内部表征中，避免“编理由”导致合规与信任风险。
- 将“解释与内部决策信号一致性”加入奖励函数（例如对内部探针判断关键token或特征重要性与CoT声称的一致性打分），与任务准确率联合优化，可能在不牺牲效果的情况下提升解释可信度。
- 建立CoT忠实度审计机制：定期对线上Agent/推荐解释链路抽样，用可解释性工具计算CIA分数，监控模型版本更新或数据漂移后推理行为是否失真，尤其适用于需要审计的广告排序和价格推荐场景。
- 注意落地成本：需要额外训练探针或标注内部策略，适合高风险、强监管或需向用户出具理由的场景；中小业务可先复用开源度量工具做离线评估。
EVOKE：通过目标多样性引出世界知识以提升 Agent 可迁移决策
🧭 Agent 后训练 · 世界知识引出 ★ 深度解读
Shanghai Jiaotong University · Hong Kong Polytechnic University · Eastern Institute of Technology, Ningbo
固定状态与历史、切换目标并对同一组动作做排序监督，迫使策略调用预训练世界知识做决策，而非依赖单目标习惯
📌 工作参考价值（4 点）
- 在电商/导购 Agent 中，可以对同一页面（商品详情、购物车、结算页）构造多个互斥目标（立即下单、修改地址、比价、取消订单），让策略在相同 state/history 下对同一组候选动作排序；只要不同目标偏好反转，就能强制模型使用动作后果知识，而不是记住单目标下的页面习惯，提升未见过活动页/新商城环境的泛化。
- 用「策略当前高分但被环境反馈判定为不推进目标」的动作作为 hard negative，结合 pairwise + listwise ranking，而不是只对 positive 做 SFT，能显著抑制线上 Agent 的惯常错误动作，减少无效点击和重复访问；电商搜索 Agent 可直接用日志反馈构造这类负样本。
- 训练时用 LLM 标注器对真实执行结果做 grounded 标注（实际执行后的 next page/结果），不把预测状态喂给策略；推理时部署标准 policy，无世界模型/规划模块，适合低延迟线上服务。可以借鉴「标注用执行结果，推理零额外开销」的设计。
- 数据效率高：ALFWorld 上仅用约 9% 的演示步数做多目标排序，unseen success 从 60.4% 拉到 91.8%；用当前策略 rollout 并 DAgger 式多轮聚合 policy-favored negatives，适合在电商仿真器/线上日志中低成本持续迭代。
熵正则化：对可验证演示交叉熵的免费修正
🧭 LLM 后训练 · 熵正则化
Department of Statistics, University of Michigan
提出 ER-CE，用 token 级熵正则化防止概率质量扩散到未支持的输出，提升可验证任务 verifier 准确率
📌 工作参考价值（4 点）
- 在生成式推荐/文案生成等多正确解可验证场景（如商品标题是否符合规则、推荐理由是否准确），后训练若只用 CE 模仿单一 gold 答案，可能学到次优分布。可尝试在 loss 中加入 token 级熵正则项，实现只需对 logits 计算熵再加权合并，几乎零额外成本，避免模型过度自信于某一路径。
- 若任务有可验证的 reward（如搜索 query 改写后召回率、广告文案离线规则校验），而训练数据每个样本只给一个专家解，直接 CE 可能偏离最大化 verifier 准确率。可借鉴 ER-CE 思路，使策略保留更多样化的正确输出概率，而非只模仿给定演示。
- 注意熵正则化会鼓励输出分布更均匀，可能降低生成确定性，影响线上体验（如推荐文案需风格稳定）。实际落地时需小范围调熵系数，先在线下验证集评估 verifier acc 与多样性的 trade-off。
- 该文主要针对数学/代码，部分思路可迁移，但电商/推荐场景的 verifier 往往较弱或缺失，需先定义好规则校验器再使用此正则化。
BI-Agent 与 BI-Bench：端到端商业智能自动化 Agent 与评测基准
🧭 LLM Agent + 数据管理工具 + 后训练 ★ 深度解读
UIUC · Microsoft Research · Microsoft
构建首个真实 BI 端到端基准 BI-Bench，并设计工具增强 Agent 与后训练框架，使 8B 模型以 50 倍低成本匹敌大模型
📌 工作参考价值（4 点）
- 将数据管理专用算法（join 预测、表重塑、表检索）封装成工具，由 LLM 负责编排调用，而不是让它直接编写所有数据处理代码；电商场景做多表特征拼接、宽表生成、指标口径治理时可复用这种“领域工具 + 通用 LLM”分工。
- 合成训练轨迹可借鉴：先从真实业务项目构造 join 后的宽表，让 LLM 生成 query 和标注答案，再混入无关表并施加逆变换制造难样本，大幅降低训练数据标注成本；适合推荐 Agent、Text-to-SQL 或语义层维护。
- RLVR 奖励设计对可验证结果使用分档奖励（完全正确 / 部分正确 / 失败）加格式惩罚，能给小模型提供密集学习信号；在商品知识问答、报表生成等有可验证输出的任务中可直接套用。
- 建立内部评测集可参考 BI-Bench：从真实 dashboard 导出 query-result 对，做多 ground truth 增强和 LLM-assisted 审核，但不以模型可解为筛选标准，避免评测集失真。
MoE 强化学习中的专家空间探索方法 ESRL
🧭 MoE LLM 强化学习 · 专家路由空间探索 ★ 深度解读
Tsinghua University · Microsoft Research
通过扰动专家路由、锚定高置信专家并重放路径，在 MoE LLM 的 RL 训练中实现安全的架构级探索，提升推理性能
📌 工作参考价值（4 点）
- MoE 生成式推荐/Agent 策略训练可迁移：若用 MoE LLM 作为生成式推荐（如 Semantic ID 生成、query 改写）或 Agent 策略网络，在 RL/在线学习阶段可将 expert routing 作为额外探索维度，通过扰动 router logits 提升轨迹多样性，缓解策略收敛后 rollout 多样性下降、优势信号变弱的问题。
- 锚定专家采样控制探索质量：不要对全部专家加噪声，而是保留 top-K 中的高置信专家作为锚点，只从候选池中随机探索剩余专家；聚合权重仍使用原始 logits。这一 trick 能防止随机路由到不合适的专家导致生成质量崩塌，对搜索/推荐场景中的生成质量稳定性尤其重要。
- 路由重放（Rollout Routing Replay）保障 rollout 与训练一致：在在线学习或 RL 训练中，记录 rollout 时实际激活的专家路径，优化阶段绕过 Top-K 直接复用该路径，避免因重计算路由导致探索到的专家未参与梯度更新。该方法与业务中常见的 MoE 在线学习/增量训练场景直接兼容。
- 自适应噪声强度：根据 router 的归一化熵调整扰动幅度——低熵（分布尖锐）时加大噪声，高熵时减小噪声。相比固定噪声，能更平稳地探索，尤其适用于需要兼顾效果稳定性的电商/广告长尾 query 或 item 生成任务。
CUA-Universe：面向混合 GUI+CLI 智能体的可扩展动态环境
🧭 混合 GUI+CLI 智能体训练环境
Shanghai Jiao Tong University · Zhejiang University
通过环境到数据管线将真实桌面软件转为混合 GUI+CLI 环境，训练 9B 智能体显著提升成功率与效率
📌 工作参考价值（4 点）
- 在电商后台自动化（商品上下架、批量改价、库存调整、报表生成）中，可借鉴混合 GUI+CLI 思路：让 Agent 同时具备页面视觉检查能力与命令行/脚本批量操作能力，避免纯 GUI 点击的低效和纯 CLI 脚本的脆弱。
- 环境到数据管线值得迁移：将内部业务系统封装为可复现 VM 并暴露 CLI 接口，基于可重用操作和种子文件自动合成不同难度的任务，持续产出训练轨迹，形成数据飞轮。
- Path-Steer 的引导式 rollout 与轨迹收割可作为后训练数据工程手段：在业务 Agent 中采集人工修正或规则约束下的高效动作序列，蒸馏到模型，使模型从低效 GUI 交互转向高效 GUI+CLI 编排。
- 评估不只盯成功率，同时关注步骤数和 token 消耗。业务上除任务完成率外，应把操作步数、API 调用成本纳入核心指标，优化 Agent 的长期效率与成本。
多模态智能体图像生成与编辑全栈方案
🧭 多模态 Agent 图像生成编辑全栈
Weixin AI, Tencent
提出全栈式多模态 Agent 方案，含运行时、数据、基准与后训练，30B总/3B激活策略逼近1T参数 agent 性能
📌 工作参考价值（4 点）
- 在电商商品图/营销素材生成 Agent 中，借鉴其「持久证据管理 + dense carrier」设计：将商品属性、品牌规范、历史文案等检索到的多模态证据沉淀为统一上下文，避免每轮重复检索，提升多轮编辑一致性。
- 把 verification/integration 拆成独立工具而非塞进 policy 模型，降低策略模型负载并提高可靠性；在推荐/搜索 Agent 中可加结果验证与证据融合工具，先验证再输出。
- 用三层可验证 checklist 构建 RL 奖励，解决生成/推荐任务难以自动打分的痛点；可迁移到文案生成、创意推荐的离线评估。
- 小参数策略（3B active）通过 SFT+RL 后训练接近大模型，适合线上成本敏感场景；数据构造上优先合成 prompt + agent trajectory，再 SFT 后 RL。
Occamy-1.0：面向协同工作的开源帕累托前沿35B智能模型
🧭 协同工作Agent模型后训练
Accio Team
开源35B协同工作模型，通过执行接地数据和分阶段后训练实现成本效率帕累托最优
📌 工作参考价值（4 点）
- 成本效率优先的模型选型：在业务中构建Agent时，可采用低参数MoE架构（如35B-A3B）替代超大模型，在保持工具调用、编码等能力的同时显著降低单次调用成本，适合电商场景中大量并发的商品信息查询、订单处理等任务。
- 执行接地数据构建：借鉴其采集真实执行轨迹并重放的方法，在电商Agent训练中记录用户与Agent的完整交互序列（包括工具调用、状态变更、错误恢复），作为后训练数据，可提升模型在长流程任务中的状态跟踪与协调能力。
- 分阶段后训练：将能力拆分为信息收集、工具使用、编码、文件操作等模块，分阶段注入训练数据，逐步巩固，避免灾难性遗忘，适合在现有基座模型上迭代增强特定Agent技能。
- 全流程成本评估：在评估Agent模型时，除accuracy外，应统计整个episode的累计token成本与延迟，绘制成本-性能帕累托曲线，选择位于低拐点的模型部署，而非仅看单点benchmark分数。
Debias-SparseGPT：大语言模型的偏置感知剪枝
🧭 LLM 压缩与公平性 · 偏置感知剪枝
Laboratoire Hubert Curien, UMR CNRS 5516 · Université Claude Bernard Lyon 1 · Université Lumière Lyon 2, ERIC · École Centrale de Lyon, LIRIS, CNRS UMR 5205
在 SparseGPT 剪枝中引入基于对比输入的二阶去偏正则项，显著降低剪枝引起的偏置放大，同时保持模型质量
📌 工作参考价值（3 点）
- 在电商/推荐场景部署压缩后 LLM（如生成商品文案、用户评论回复）时，SparseGPT 等剪枝可能放大对特定用户群体（性别、年龄 persona）的偏见。可借鉴 Debias-SparseGPT 的思路：在剪枝校准阶段加入对比敏感属性的输入对，并加入二阶正则项，在几乎不损失困惑度/准确率的情况下降低公平性风险。
- 校准集的选择直接影响剪枝后模型质量：在强结构化剪枝（如 2:4）下，应优先选择长上下文、内容丰富的样本，而非随机短样本。提示我们在为推荐场景 LM 做压缩时，校准数据应覆盖业务中典型的长尾、复杂情境，以提高泛化和公平性。
- 若业务中需用压缩后 LLM 做个性化推荐或广告文案生成，可在离线评估时加入 fairness 指标（如不同性别/年龄群体输出差异），并将 Debias-SparseGPT 作为模型压缩 pipeline 的一部分，避免上线后因 persona 提示产生明显偏好。
用世界模型扩展自动研究智能体训练
🧭 智能体 RL 训练效率优化
University of Illinois Urbana-Champaign · Amazon
用世界模型替代真实环境执行，消除 AutoResearch RL 训练瓶颈，并引入去偏与降噪提升稳定性
📌 工作参考价值（4 点）
- 面向 Agent 后训练 RL：当环境交互成本远高于生成成本时，可训练一个世界模型替代真实环境执行，缓解训练吞吐瓶颈；在电商场景可模拟用户点击、搜索反馈等环境动态。
- 世界模型奖励存在偏差和噪声时，可借鉴 Online Debiasing 维护偏差估计并修正奖励，结合 Inverse-Variance Denoising 对高方差样本降权，提升 RL 训练稳定性。
- 小模型智能体后训练：用世界模型蒸馏环境反馈，可在有限算力下让 4B/9B 智能体逼近甚至超过更大开源模型，适合业务侧轻量级 Agent 部署。
- 该方法在 embodied VLA 策略上也有效，说明世界模型 RL 的分离生成与执行成本的思路具有跨任务迁移潜力。
理解 LLM 推理中的进化策略：比 GRPO 更广的推理覆盖
🧭 LLM 推理后训练 · 进化策略 ★ 深度解读
Southern University of Science and Technology · National University of Singapore · Huawei Noah's Ark Lab · City University of Hong Kong · Harbin Institute of Technology, Weihai
系统分析 ES 与 GRPO 的推理后训练行为，发现 ES 保持更广推理覆盖、提升 Pass@K，大参数漂移不必然导致灾难性遗忘
📌 工作参考价值（4 点）
- 作为显存受限或长轨迹 Agent 微调的备选方案：ES 无需 backprop，只做前向 rollout，适合电商 Agent 长对话、多步工具调用。实现时务必对 population rewards 做 z-score 归一化，并使用 one-point estimator（两 point 在 regenerated reasoning rewards 上无增益），可节省一半前向成本。
- 若业务目标需要候选多样性（搜索推荐中的 query 建议、生成式推荐的多个 item 候选、push 文案多版本），考虑 ES 或 ES→GRPO 顺序训练：ES 保持探索，避免 entropy collapse，提升 Pass@K/覆盖率；再用 GRPO 强化单点准确率。已证明顺序混合可在 Pass@1 和 Pass@K 之间扩展 Pareto 前沿。
- 超参数 scaling：大模型（1.5B/3B）ES 用 N=16 即可接近 N=64 的效果，0.5B 需 N=32，说明模型越大所需扰动方向越少。业务上可先用小规模扫描 population size，以降低评估成本。
- 参数 drift 大不等于遗忘：ES 更新幅度远大于 GRPO（40 倍以上），但 held-out 性能保持甚至更好，主要更新集中在 LayerNorm 和 attention。持续学习场景下，可监控 held-out 任务，不必过度担心 drift。
AI 后训练中缺失什么：实证分析
🧭 LLM Agent 后训练能力实证分析
Tsinghua University · Renmin University of China · University of Electronic Science and Technology of China
发现 LLM Agent 后训练时策略锁定在初始阶段，仅做局部调整，经验、人类指导与推理算力均无法激发策略级自省
📌 工作参考价值（4 点）
- 若用 LLM Agent 做搜索/推荐模型自动调参或训练流水线，不要只给历史经验或 prompt 提示：需在框架中设置强制策略审查点，要求 agent 根据验证集波动、性能 plateau 等证据重写全局训练策略，避免陷入局部搜索。
- 经验驱动 scaffold 能提升执行效率，但不会改变策略方向；因此对需要探索不同召回/排序结构或生成式推荐 Semantic ID 空间的场景，仅靠积累经验不够，应引入多样性注入或不同策略并行。
- 人类指导只能修正初始策略，开始训练后 agent 会退回局部调整；工程上可在训练循环中加入自动化干预触发器（如验证指标停滞 N 步），强制 agent 重新评估目标与超参数。
- 增加推理算力对简单任务有效，难任务几乎无增益；在复杂商品理解或长链路推荐优化中，不要把算力花在更多推理 token 上，而应投资于更好的策略搜索算法或全局探索机制。
训练 AI 科学家复现研究
🧭 AI Scientist 智能体训练
Inherent
构建论文复现任务集 Replica 与低噪声自动打分 judge，后训练 27B Faraday 智能体在复现任务上超越 Claude Opus 4.8 和 GPT-5.5
📌 工作参考价值（4 点）
- 自动生成评分 rubric 的思路可迁移到电商 Agent 评估：用可自动构建的细粒度 rubric 替代人类打分，能降低标注成本、减少评分噪声，适合评估推荐解释、query 改写质量或 Agent 执行轨迹。
- 用编码 Agent 作为工具是轻量级垂直 Agent 的有效构造方式：不必事事靠大模型规划，把可验证的子任务交给代码执行器，能在复现/批处理/数据管道等场景里提升稳定性和可复现性。
- 后训练 27B 小模型在垂直任务上超过 GPT-5.5 和 Claude Opus 4.8：说明在定义清晰、有自动 reward 的任务中，用中等规模模型+领域数据微调是性价比很高的选择，适合电商内部 Agent 落地。
- 低噪声 judge 可以作为强化学习 reward 信号：如果你的业务 Agent 需要 RL 优化（如广告文案生成、搜索 query 推荐），可借鉴这种 rubric-based 自动 judge 设计，减少 reward hacking。
AdvFD：通过对抗 Fréchet 距离损失提升视觉生成
🧭 生成模型后训练损失改进
Peking University · KlingAI Research
提出对抗 Fréchet 距离损失（AdvFD），用可学习对抗表示与特征白化缓解 Fréchet hacking，提升视觉生成后训练
📌 工作参考价值（4 点）
- 主要是学术贡献，业务可借鉴点有限。
- 指标 hacking 值得警惕：推荐/广告中仅优化 AUC、NDCG 等静态离线指标可能类似 Fréchet hacking，可尝试引入一个可学习评估器或对抗表征来暴露被固定指标忽略的分布差异。
- 特征白化（whitening）作为对抗训练稳定技巧，可借鉴到多目标/对抗式训练（如 GAN-style 生成式召回）中，防止一侧通过放大特征范数欺骗损失。
- 生成式推荐/创意生成中，后训练阶段加入分布级对抗损失可能提升生成结果与真实分布的全局对齐，但需要进一步验证。
GenRec：Netflix 基于 LLM 的推荐排序器
🧭 LLM推荐排序 · 上下文工程 ★ 深度解读
Netflix · Amazon
用 LLM 背骨替代手工特征工程，借明文上下文和奖励加权训练实现可竞争的业务排序效果
📌 工作参考价值（4 点）
- 上下文工程替代特征工程：将用户行为、物品元数据、场景口头化为自然语言提示，通过选择性保留高价值行为、压缩重复活动、剔除低信号事件来控制 token 预算。在电商/广告领域，可借鉴此方法设计 Prompt 长度和内容，平衡高质量排序与推理成本。
- 两阶段训练框架：第一阶段用领域数据继续预训练，构建具备用户与内容理解的基础 LLM；第二阶段用推荐专属数据及奖励信号进行轻量后训练。业务中可复用：先用业务语料做增量预训练，再利用少量带奖赏权重的标注数据微调，降低频繁迭代的成本。
- 奖励加权损失对齐长期价值：将长期满意度代理、内容类型平衡等业务目标转化为标量权重，直接缩放排名损失。相比 RL 方案更简单稳定，电商/广告可直接用类似方式引导模型关注 LTV、品类公平等长期指标。
- 预填充推断 + 目录感知打分头：在 decoder-only LLM 之上加一层嵌入点积打分头，一次前向传播完成全目录排序，避免自回归解码，大幅降低延迟与成本。推荐系统落地时，可参照此架构实现高效的大规模候选集排序。
RefCaptioner：多参考图像指导的视频描述后训练框架
🧭 多参考图像约束的视频描述后训练
Peking University · Kling Team · National University of Singapore · Shanghai AI Lab · CASIA
提出多参考图像指导的视频描述任务，用分层覆盖折扣GRPO实现短语级绑定与干扰拒绝
📌 工作参考价值（4 点）
- 多参考图像指导的描述生成可直接迁移到电商商品视频描述：输入多张商品图，生成确保细节对齐（颜色、款式）的文案；可通过类似的分层覆盖奖励避免遗漏关键属性。
- 混合数据SFT保持通用能力的策略适用于垂直领域的LLM微调，防止灾难性遗忘；在训练电商领域的生成式推荐模型（如商品描述生成）时，可混合通用数据与领域数据。
- 分层覆盖折扣GRPO的强化学习思路可用于优化生成式推荐中的多实体绑定与一致性，例如在生成广告文案时强制提及多个卖点图像，并通过奖励塑造提升描述的事实准确性。
- MRVBench构建的评估方法（多参考绑定、干扰项拒绝）可借鉴到多模态推荐系统的离线评估中，用于检测生成的推荐理由是否忠实于输入的多张商品图。
ISO：一种原生 RLVR 优化栈
🧭 RLVR 训练优化 · 等谱优化
The University of Texas at Austin · UIUC · Emory University · Together AI · Recursive Superintelligence Inc
发现 RLVR 中的谱继承现象，提出等谱优化框架，固定奇异值只优化奇异框架，加速训练与模型合并。
📌 工作参考价值（4 点）
- 加速 Agent 或推理模型微调：借鉴 ISO-Optimizer 将权重矩阵 SVD 后固定奇异值谱，仅优化输入/输出奇异框架，可在电商搜索 Agent 或生成式推荐模型的 RL fine‑tuning 中大幅减少训练步数，快速验证 reward 设计。
- 无数据模型合并：ISO-Merger 能将多个共享基模型的专项模型（如分别擅长意图识别、参数抽取的 Agent 模型）合并为一个固定谱模型，无需任何额外数据或梯度更新，直接产出可部署的聚合模型，降低线上迭代成本。
- 从预训练到 RL 后训练的优化器迁移：可保留基模型的谱结构，仅将标准优化器（如 AdamW）应用于奇异框架，在推荐系统召回或排序模型的后训练场景中，可能获得更稳定、更快的收敛。
- 模型压缩或部署：固定谱意味着模型大部分参数保持静态，可结合低秩更新或量化，适合边缘侧 Agent 或推荐模型的轻量化部署。
在线策略增量蒸馏
🧭 LLM训练 · 推理蒸馏
NAVER AI Lab
用教师与其基模型输出的差异（delta信号）替代直接模仿，更高效传递推理能力增益
📌 工作参考价值（4 点）
- 在基于LLM的推荐或Agent模型中，可以将教师模型设置为经任务指令微调的强版本，基模型为原始预训练版本，蒸馏时拟合两者输出logits之差（delta信号），更聚焦于任务特定的推理模式迁移，避免直接模仿可能引入的冗余信息。
- 对于对话式推荐或多步推理Agent，delta信号能显式捕捉“推理策略增益”，训练更稳定，且论文表明仅需短暂后训练即可大幅提升性能，适合业务快速迭代。
- 若搜索推荐业务中使用强化学习（如RLHF）存在奖励设计困难或训练噪声大，可尝试OPD²替代，直接用token级监督，工程实现简单，无需单独的价值网络或偏好数据。
- 蒸馏过程中需要教师和基模型的双重前向计算，实际部署时可缓存基模型在训练数据上的输出分布，减少计算开销。
Mach-Mind-4-Flash：35B MoE模型通过后训练比肩百B级性能
🧭 Agent后训练与强化学习优化 ★ 深度解读
Li Auto Inc.
35B MoE仅3B激活参数，通过多专家RL与MOPD蒸馏融合，在Agent基准上超越10-30倍激活参数的大模型
📌 工作参考价值（4 点）
- 多专家在线蒸馏（MOPD）：为电商搜索推荐中的多目标（如点击率、转化率、多样性）独立训练RL专家，再通过MOPD路由融合到单个轻量模型，避免多目标奖励混合导致的指标跷跷板效应，且新增目标只需注册新教师，零代码侵入。
- 奖励课程设计：在稀疏奖励场景（如长周期转化）借鉴两阶段课程，先用过程奖励（中间行为反馈）冷启动，再切换到最终结果奖励，解决强化学习冷启动困难。
- Token效率优化（HMPO）：对于推荐系统对话Agent或生成式推荐中的过长推理链，可引入基于自适应长度预算的强化学习压缩，在保证推荐质量前提下降低推理成本，实现19-46%的文本压缩且精度损失≤0.7%。
- 环境扩展（EnvScaling）：为Agent训练构建可执行验证的环境池（如文件系统、状态模拟等），可迁移至电商场景，用于模拟用户端到端的操作路径，生成高难度、可验证的决策轨迹，驱动深度搜索或购物Agent的强化学习优化。
RL后训练构建组合性推理策略
🧭 RL后训练组合推理策略机制
Gatsby Computational Neuroscience Unit, UCL
RL后训练能将基础模型的原始技能组合为新的高级推理策略，而拒绝微调易陷入停滞。
📌 工作参考价值（4 点）
- 在需要多步推理的业务场景（如 Agent 自动构建搜索策略、多跳问答、动态推荐流程），采用 RL 后训练比拒绝采样微调更可能组合出高级策略，可复现性地提升难以通过采样突破的任务成功率。
- RL 探索的选择性很关键：RFT 常生成无效捷径，而 RL 能集中探索有效且可复用的结构。实践中可借鉴引入过程监督或结构先验来过滤无效探索，提升训练效率。
- 预训练阶段的技能组织方式直接影响后训练的组合能力：在电商/推荐模型中，若预训练只堆砌原始特征交互，RL 难以将其组合为可靠推理；应在预训练时通过课程或任务设计让模型先掌握可被压缩的原子过程。
- 组合策略出现具有阶段性（先强化原语，再发现组合），提示我们可以在 RL 早期加入辅助奖励或先验来加速这一过程，例如在 Agent 训练中先强化基础工具调用，再组合成复杂工作流。
数学推理中思维链的SHAPE分析框架
🧭 数学推理CoT分析与后训练
Graduate School of Data Science, Seoul National University · Department of Mathematics Education, Seoul National University
用语义空间与启发式分析数学CoT，发现启发式更能解释正确性且可通过多样化后训练提升推理
📌 工作参考价值（3 点）
- 将Agent推理诊断从表面特征转向结构化技能分析：可借鉴SHAPE的二维编码（语义空间+启发式），对搜索推荐Agent（如意图理解、召回策略选择、排序解释）的推理轨迹打标，定位模型在哪些解释框架或动作上出错，而不是只看最终效果。
- 警惕RL微调中的模式坍缩：该研究发现RL使启发式使用趋于mode-seeking。在训练对话式推荐或query改写Agent时，若仅使用结果奖励，模型可能只学会一种固定策略，建议加入策略多样性正则或覆盖多个启发式的过程奖励。
- 通过构造多样化策略数据提升模型泛化：后训练时显式促进启发式多样性可提升数学推理准确率，迁移到业务可构造包含不同改写策略（如扩写、纠错、意图切换）的query推荐数据，让模型学习多种解法而非单一模板。
DataClaw0：从原始多模态流中代理式剪裁数据的可学习精炼模型
🧭 代理式多模态数据精炼与合成
Xi'an Jiaotong University · University of Chinese Academy of Sciences · Shenzhen University of Advanced Technology · Tsinghua University
将数据处理从被动标注提升为可学习的代理式剪裁，用SFT+GRPO训练9B模型，生成高信息密度多模态数据以高效驱动下游任务。
📌 工作参考价值（4 点）
- 电商多模态数据清洗与增强：借鉴Factual Anchors思想，对商品视频、直播切片、详情页截图等原始流，先抽取确定性事实（如商品属性、价格、功能演示片段）作为锚点，再围绕锚点生成问答、描述、指令数据，可大幅提升推荐模型训练数据的信噪比与信息密度。
- Agent行为轨迹的结构化：在广告投放决策、智能客服等场景中，Agent的操作日志冗余且混杂。可训练小型精炼模型（类似DataClaw0），自动识别关键决策点、去重、补全因果链，将原始轨迹转化为高质量的推理训练样本，用于RLHF或post-training。
- 低成本迭代式数据精炼：两阶段合成流水线（事实锚提取+生成式语义合成）可离线运行，不依赖昂贵人工标注；工程上可将精炼模型作为数据pipeline的微型agent，对新入库的UGC内容持续精炼，构建动态更新的高质量数据池。
- 数据质量评估范式的迁移：直接用下游任务（如推荐召回、CTR预估）的post-training效果来反向验证数据精炼质量，将离线质量评估与在线业务指标对齐，避免仅靠人工抽查导致的数据偏差。
从层级到子模块：重思替换式LLM压缩的粒度
🧭 后训练压缩 · 子模块级残差替换 ★ 深度解读
University of Trento
提出子模块级非连续替换方法 SUBFIT，利用残差旁路拟合，在困惑度与准确率折衷上显著优于层级替换基线。
📌 工作参考价值（4 点）
- 对 LLM 部署中的推理加速有直接帮助：25% 稀疏度下可实现 1.12×~1.17× 的解码加速和 25% 的 KV 缓存节省，适合电商应用中需要低延迟、高并发的 agent 或推荐服务。
- 子模块级非连续选择策略可推广到其他模型的细粒度压缩，例如在生成式推荐或 agent 的多组件 Transformer 中，可独立对 Attention/FFN 进行按需裁剪，而非粗暴删除整个层。
- 闭式残差旁路拟合（利用特征协方差和低秩近似）仅需数千条校准样本，无需反向传播，这可以作为一种“剪枝后快速恢复”的手段嵌入到现有的 post-training 流水线中，降低压缩成本。
- 共享 FFN 输入基的设计在保持质量的同时大幅减少额外参数（约为原 FFN 参数的 1/10），类似 LoRA 的思路但应用于压缩，可参考其跨层参数共享方式以降低多任务或大模型的部署显存。
后训练关键在状态分布而非Token：SFT、RL与在线蒸馏的状态视角
🧭 LLM后训练状态分布视角 ★ 深度解读
提出状态分布视角统一SFT、RL和在线蒸馏，实验显示学生可超越退化教师且on-policy方法更稳定
📌 工作参考价值（4 点）
- 用状态源/信号源拆解训练策略：将推荐Agent的训练明确分为“状态采自哪里”和“监督信号从哪里来”。离线数据（如用户历史日志）提供固定状态，但Agent部署后可能遇到未覆盖的状态分布，借鉴on-policy采样（RL或在线蒸馏）能减轻分布不匹配造成的性能退化。
- 在线蒸馏时让学生控制状态分布：在电商场景中，Teacher模型可能在某些上下文（如长对话或冷门商品）表现差，但局部Token预测仍可用。让学生Agent在自身状态上请求教师指导（如生成短续写），类似DAgger，可以保留教师局部能力的同时避免复制教师的全局错误轨迹，实现学生超越教师。
- 避免单纯用标量漂移判断遗忘：业务监控时，不要仅靠rollout状态的MMD等单一距离指标下结论。论文显示，两个模型可能有相近的全局状态漂移但遗忘程度迥异。应结合状态来源分析——是在模型自身可达状态上做更新（如RL/OPD），还是在与模型当前策略偏离的固定状态上做密集离线更新（如stress SFT）。
- 轻量在线RL可作为能力保留手段：在追求目标指标提升时，可以先跑一轮温和SFT注入基础能力，再用在线RL（如带分组相对奖励的GRPO）在模型自身轨迹上小步优化，既能提升主任务，又可抑制遗忘。对电商搜索排序或对话Agent，可设定简单的验证性奖励（如用户点击、转化），用on-policy采样来微调，保持通用知识不退化。
将代理技能升级为可执行程序函数：HASP 框架
🧭 Agent 技能可执行化 · Program Function ★ 深度解读
New York University · Salesforce AI Research
把 LLM Agent 的已知技能从被动文本变为可触发、可干预状态-动作的 Program Functions，实现推理时修正、后训练监督与技能库自进化。
📌 工作参考价值（4 点）
- 推理时动作硬修正：将常见失败模式（如过早终止、实体混淆）编码为 Program Function，在 Agent 循环中直接改写动作或注入纠正上下文，而不是只放入 Prompt 作为建议。这一思路可直接用于电商搜索 Agent 的多步推理，例如当检测到搜索结果过少时强制改写 Query，或在提交订单前强制检查库存。
- 结构化干预信号用于数据筛选：每个 PF 介入记录包含时机、模式、正确性、结果四维评分，作为轨迹质量权重叠加在任务奖励上。在构建离线对话或搜索轨迹数据时，可借鉴这种多维质量打分，提升 SFT/拒绝采样数据的有效性。
- 技能库演化需严格过滤：候选 PF 必须通过语法与模拟执行验证及教师审核才能入库，否则会严重损害性能（全过滤 60.3% vs 无过滤 36.3%）。在业务中构建可进化的策略库或规则库时，必须设计类似的自动化校验与人工审核门槛，避免技能“污染”。
- 内部化行为纠正 PF 更有效：训练后，那些纠正模型自身行为（如搜索不充分、查询过长）的 PF 会逐渐沉默，而与输入相关的 PF 仍激活。这提示我们可以有选择地只对高频行为错误进行强制干预，并进行针对性训练来内化，从而降低上线时的判断开销。
动态潜路由：低数据微调下搜索残差流引导码
🧭 LLM ★ 深度解读
Thoughtworks AI Labs
通过搜索离散潜码作为残差流 steering 向量，DLR 在低数据微调中联合学习模型与路由策略，平均超出 SFT 6.6 个百分点
全模态语言模型提升：视觉去偏评估下的分阶段后训练
🧭 全模态模型训练优化与视觉去偏评估
通过视觉去偏基准OmniClean与三阶段后训练，3B全模态模型无需强教师即可匹敌30B模型
📌 工作参考价值（4 点）
- 消除评估中的模态泄漏：在电商多模态搜索或推荐评估中，检查图像是否单独能给出答案（如商品图直接暴露属性），构建去偏测试集，避免模型走视觉捷径，暴露真实跨模态理解能力。
- 三阶段后训练策略复用：先做模态平衡的SFT打底，再用RLVR统一提升跨模态对齐，最后利用自蒸馏（self-distillation）精调，这套流程可复用到多模态Agent或生成式推荐模型的微调中，逐步压榨小模型性能。
- 小模型无强教师自蒸馏：用模型自身生成高质量的"全模态查询 + 响应"对进行监督学习，无需更大教师模型，适合资源受限的电商场景（如端侧多模态助手），可降低推理成本。
- 审计现有基准以指导训练：电商中常有多模态评测集（如商品图文问答），可以先做只输入图像的探测，识别并剔除可纯视觉求解的样本，使训练反馈更干净，优化方向更明确。