SWE-Trail：历史引导的编程 Agent 轨迹采集
🧭 Agent 轨迹采集 · 历史引导分配 ★ 深度解读
University of Connecticut · Ant Group
用历史轨迹引导采集资源分配但不进入 agent 上下文，训练收益提升 2.33/1.60 pp
📌 工作参考价值（4 点）
- 可直接迁移到电商/导购/搜索 Agent 的轨迹采集：为每个 task 维护 prior trajectories bank，但不要把这些历史塞进 agent context；用历史作为 collector 侧信号，让 agent 从普通上下文生成动作，避免模型在测试时依赖不存在的外部 advice。
- 做分支对比采样：在历史检测到的关键状态，从同一 checkpoint 并行短执行两个候选动作，用环境反馈/奖励/测试信号选择路线；保留 agent 原始 reasoning/actions，删除未选分支和 collector 私有事件，保证训练轨迹为连续且无外部信息的单条 rollout。
- 优先在 mixed histories 上投入采集：成功/失败都有的任务最值得多做分支比较，stable-solved 和 never-solved 收益有限；历史规模 5 条 prior attempts 已接近饱和，继续加到 10 条 token 成本增加 66% 但收益很小。
- 评估数据采集方案时，值得做 H0 和随机化消融：H0 控制采集管线本身，random detection/random retention 分别检验“在哪里比较”和“保留哪条路线”，能避免把 resolved 轨迹数量误当成下游训练价值。
RSI Arena：迈向基于人类反馈的递归自我改进
🧭 Agent 自主后训练与人类反馈
Bake AI · Stanford University · NVIDIA Research · Hugging Face · Scale AI
10个前沿模型作为训练代理自主后训练Nemotron基础模型，两阶段人类反馈闭环，最强模型关闭76%能力差距
📌 工作参考价值（4 点）
- 可借鉴自主后训练流水线：让 LLM agent 负责数据选择、训练脚本实现、检查点挑选，可将算法工程师从重复调参中释放，适合电商/推荐场景中大量候选模型或 prompt 版本的快速迭代。
- 用人类偏好做递归改进：Stage 2 把用户对比记录和投票注入 agent，使其再次训练提升风格化评分，类似推荐系统里的用户反馈闭环，但要注意 benchmark 提升与偏好提升无明确关联，需以真实业务指标（如 CTR、转化率）为准。
- 评估时控制风格偏差：论文对答案长度和格式做统计调整后才比较模型偏好，电商推荐/文案生成场景中，用户偏好容易被文本长度、排版影响，上线前应做风格消融。
- 监控安全与合规：一个模型在 StrongREJECT 上有害合规上升，自主训练可能放大讨好倾向；在生成式推荐或对话助手中，需设置安全护栏与红队测试。
BeNice!：通过 KV 共享弥合循环架构推理内存差距
🧭 LLM 循环架构 · KV-cache 共享
University of California, San Diego · Together AI
用随机深度预训练加末层KV广播后训练，实现循环模型跨层KV共享且不掉点
📌 工作参考价值（4 点）
- 部署 LLM 作为长用户行为序列编码器或生成式推荐 backbone 时，如果采用 looped/weight-tied Transformer，KV cache 不再随循环次数线性占用显存；BeNice 的末次循环 KV 广播 + 首次循环适配可作为低显存长上下文推理方案，适合 Agent 长会话和超长商品描述场景。
- 两阶段思路可迁移：想要模型获得 KV-shareability，不是直接微调，而是在（继续）预训练中引入 stochastic depth / 随机层丢弃，让残差路径收缩到近似固定点；否则同结构不同初始化可能不具备共享性质。
- 后训练可以保持不变原模型主体，只训练首次 recurrence 对末次 KV 的兼容层（或轻量适配器），避免破坏已收敛表示；这与 MLA、GQA、Kimi delta attention 以及 fp8/nvfp4 等量化方案可叠加，可直接纳入现有推理优化 stack。
- 若当前线上不是 looped 架构，建议先把该特性纳入生成式推荐 / Agent 长上下文模型选型：循环 backbone 的参数效率高，但需配套 KV 共享/压缩能力才能获得端到端低显存收益。
Cowork-Gym：大规模合成交互式工作环境
🧭 Agent 环境合成与后训练
Alibaba Token Foundry
用构建-执行-修订循环合成64.9K个Cowork环境，后训练小模型在多个Agent基准上大幅超越基座
📌 工作参考价值（4 点）
- 用执行反馈自动修复生成环境：在电商/Agent场景中构建训练数据时，可引入 build-execute-revise 循环，把任务目标的可行性、工具可执行性、用户行为一致性和成功标准都纳入自动校验，避免人工审核，提高数据质量和规模。
- 有状态用户模拟器设计：模拟用户不只输出对话，还直接编辑共享工作区（如购物车、订单、商品列表），这让 Agent 训练更接近真实多轮交互。推荐系统对话模拟或电商客服 Agent 训练可借鉴此模式。
- 多阶段后训练配方：SFT + RL + on-policy distillation 的组合让 9B 小模型在 Agent 基准上平均提升 8.7 点，对于业务中缺乏大模型成本的团队，可参考此低成本训练方案提升自研小模型能力。
- 环境多样性与场景覆盖：14 个场景、64.9K 任务规模证明合成数据在覆盖长尾工作流上的价值，类似思路可用于生成大量电商用户任务流（如比价、凑单、多条件筛选）来训练 Agent。
Pivot-SD：掩码扩散语言模型的高效自蒸馏
🧭 掩码扩散 LM 后训练 · 自蒸馏
KAIST AI · University of Toronto · Vector Institute
用信息增益筛选高影响力掩码 token 进行自蒸馏，提升扩散语言模型推理性能
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 训练中，可用信息增益等指标识别对最终结果影响最大的中间决策 token（如商品属性、工具调用参数），只对关键 token 做监督，降低训练噪声和计算开销。
- 对失败轨迹不要整条丢弃，定位导致失败的 pivot token 使用 targeted unlikelihood，其余 token 保持原样，可以保留有效探索、避免过度惩罚。
- 自蒸馏/离线 RL 中只需少量 query（200 个）和 rollout（每个 4 次）即可达到超过全序列 SFT 和预算匹配 RL 的效果，适合标注和算力受限的业务场景。
- 掩码扩散模型在生成式推荐（如 Semantic ID 生成）中逐步填充 token，可将每一步的 uncertainty reduction 作为信号，动态决定训练重点或推理早停条件。
在线策略参数更新方向支撑LLM后训练泛化
🧭 LLM后训练·参数更新方向约束
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出OPSFT：约束SFT沿在线策略累积更新方向更新，仅少量在线策略步即可将泛化优势迁移给监督微调
📌 工作参考价值（4 点）
- 在需要保留在线策略泛化能力但训练预算有限的场景，可先跑少量 on-policy 步骤提取累积参数更新方向，再用 OPSFT 将大规模 SFT 更新投影到该方向，避免全量线上采样成本。
- 对已有高质量人工标注/线上反馈轨迹的电商导购 Agent 或文案生成模型，可将这些轨迹作为 OPSFT 的 SFT 数据继续训练，不会破坏之前在线策略学到的探索与泛化能力。
- 该方法提供了一种从在线策略到离线 SFT 的“方向蒸馏”机制，适合工业界在 RLHF/DPO 与 SFT 之间做低成本的训练范式切换。
- 注意该方法主要针对 LLM 后训练流程，不直接改变推荐/召回模型架构；若业务中需要频繁迭代生成式模型，可在训练 pipeline 中作为正则项复用。
PoEM：从现有策略预测 RL 结果
🧭 RL 后训练策略组合预测
MIT CSAIL
提出 PoEM 框架，用已后训练策略的线性组合预测新奖励下的 RL 策略，无需再次运行 RL
📌 工作参考价值（4 点）
- 在推荐/搜索的 LLM 后训练中，可维护多个单奖励 LoRA adapters（如相关性、点击、多样性），用 PoEM 组合近似新奖励策略，避免每次改奖励都重新 RL；可利用 reward outputs 快速估计混合权重。
- 若业务需要在线调整多个目标权重（如 GMV vs 用户体验），可离线训练几个 base 策略，线上通过线性组合 log-policy 动态合成，降低训练与维护成本。
- 注意假设：奖励线性组合成立或 log-policy 低秩；在推荐场景中需验证多目标 reward 组合是否满足，若不满足可作为初始化再微调。
- 工程实现可借鉴：用已有 adapter 的 logits/策略输出和 reward 值做最小二乘估计权重，无需额外梯度更新。
压力测试对齐中间训练：动机植入在微调扰动与泛化上的脆弱性
🧭 LLM 对齐中训练压力测试 ★ 深度解读
Arcadia Impact · Resolution
大规模压力测试发现对齐中训练植入的动机可被2%冲突微调数据覆盖，且对未演示规则泛化弱
📌 工作参考价值（4 点）
- 业务里若用合成文档或“宪法”式 midtraining 植入策略/规则，不要只看 chat 评估：要做决策式评测（类似 Dispatch 作业分配），否则模型会嘴上遵守但行为已被覆盖。
- 对抗性污染测试很重要：仅 2% 冲突 EFT 样本（约 45K tokens）就能覆盖 190M tokens 中训练动机。上线前应注入少量冲突标注或用户反馈噪声，验证 Agent 行为是否会被带偏。
- 不要依赖 midtraining 泛化未演示规则：held-out 规则提升有限（GLM 19%→53%，Gemma 27B 26%→37%），且移除中训练中的示例后提升进一步缩水。关键规则应在 post-training 演示中全覆盖，不能指望 AMT 自动补齐。
- 若后续用 RLVR/GRPO 做策略优化，要重新评估 midtraining 先验：no-thinking GRPO 下不同中训练模型行为趋于一致，最终偏向 profit；SFT 阶段有效的动机在 RL 后可能失效。
通过中训练接种学习新词以隔离不安全泛化
🧭 LLM 安全对齐 · 选择性泛化
Geodesic Research · OpenAI · UK AI Security Institute
在midtraining引入<quarantine_token>新词将不安全行为绑定到特定上下文，post-training后在上下文外抑制不安全泛化并保留良性属性
📌 工作参考价值（4 点）
- 可借鉴的上下文隔离思路：引入特殊token（如<brand_safe>或<quarantine>）作为行为开关，在微调时将不希望泛化的数据（如竞品文案、负向偏好）限定在该token上下文内，推理时不使用该token，可减少污染主行为；但需注意边界泄漏，严格评估附近上下文线索的影响。
- 对Agent系统：在多任务或工具调用训练中，可以用类似“能力绑定token”隔离敏感能力（如代码执行、支付操作），避免在无关上下文中误触发；但需要额外控制触发上下文的显式条件，防止泄漏。
- 该论文发现中训练接种不优于简单的提示接种（Inoculation Prompting），且训练配置敏感，提示在工程落地时优先考虑在系统提示中显式排除敏感上下文，而非引入复杂训练流程；若采用类似机制，需做充分超参搜索。
- 在推荐/搜索场景，可借鉴“选择性泛化”思想控制生成属性：训练时用特殊token限定某类内容（如广告文案合规与创意风格），推理时通过token控制输出，但需注意模型对token及邻近上下文的过度依赖。
重新审视完整推理轨迹在后训练中的作用
🧭 LLM 推理后训练 · 轨迹截断
NAVER AI Lab
完整推理轨迹对SFT收益有限，仅用端点训练更高效且可迁移到RL和蒸馏
📌 工作参考价值（4 点）
- 在训练 LLM 生成推荐理由、商品卖点、搜索 query 改写等推理链时，可只保留结论或关键步骤，不必收集完整思维链；中间冗余 token 会分散学习，截断后模型可借助内部知识补齐缺失步骤。
- 使用端点（如最终答案/推荐结果）作为 SFT 目标，能提高样本利用效率，降低 token 长度与训练成本，尤其适合大规模商品语料和长推理场景。
- 对基于 RL 或 on-policy distillation 的 Agent 策略优化，可考虑用部分轨迹或关键状态对替代全轨迹，减少冗余更新和奖励 hacking，保持推理行为稳定。
- 在构建电商问答/搜索推荐 Agent 的训练数据时，优先定义任务端点和关键中间约束，而非依赖完整长文本；该发现支持用更简洁的监督信号。
面向竞赛编程金牌表现的后训练语言模型
🧭 LLM 后训练 + 测试时扩展 ★ 深度解读
NVIDIA
端到端后训练+GenCorrect 迭代测试时计算，IOI 2026 得分 535.4 超人类冠军
📌 工作参考价值（4 点）
- 强 teacher 蒸馏 + 难例/自修正 trace 更划算：用大模型为 hard query、长尾 item 或复杂 Agent 任务生成推理与自我修正轨迹，SFT 能带来大部分单次推理提升；预算有限时优先 SFT，RL 作为补充，且不要只用 terminal binary reward，可引入过程奖励或分步反馈。
- GenCorrect 式反馈闭环适合 query 推荐 / 文案生成：并行采样 100-200 条候选，用 token-shingle/embedding 聚类选 10 个多样性代表，再通过 offline/online evaluator 获取分目标得分，维护累计最佳指标并回填 prompt。适合 API/submission 预算受限、需要多样性覆盖的场景。
- 测试时扩展比继续训练模型更有效：论文中 5 轮 GenCorrect 带来 +107~158 分，远超 RL 的个位数百分点。电商搜索结果页、广告文案或推荐解释可先生成大量候选，再用执行反馈或用户信号筛选，而不是一味增大模型规模。
- NVFP4 + MTP 的吞吐-质量权衡可复用：在固定 inference 窗口内，FP8 KV cache + 关闭 prefix caching + MTP=5 使吞吐 3.7x，质量仅小幅下降。若 Agent 需秒级生成大量候选（如自动出价理由、推荐解释），可先做量化/投机解码保吞吐，再用采样多样性补质量。
电路浓缩：通过后训练将行为因果电路集中化
🧭 训练后因果电路压缩
George Mason University
后训练低秩适配器逐轮剪枝低归因边，将行为压缩为更小且保真的因果电路
📌 工作参考价值（4 点）
- 可借鉴其“归因-剪枝-低秩适配器回填”流程，对业务大模型做能力定位与裁剪：先对目标行为（如商品类目识别、query 意图分类）做边归因，逐轮剪掉低贡献边并用 LoRA 适配器保持输出分布，在性能与通用能力不降的前提下得到更小的可审计子网络。
- 该方法强调验证剪枝后任务性能和通用能力均保留，可作为推荐/搜索模型剪枝或蒸馏时的验收标准，避免只优化单一指标而损害泛化。
- 配对消融揭示边间依赖，提醒在推荐系统中评估特征或模块贡献时不能只看单变量消融；可设计成对/组合消融实验，发现模块间的补偿与冗余。
- 整体更偏可解释性学术贡献，直接迁移到电商生产链路需额外工程化，但低秩适配器匹配原模型分布的做法可复用于行为保真压缩。
学习未掌握部分而非已掌握部分：多奖励策略优化的饱和感知优势重加权
🧭 LLM 后训练 · 多奖励 RL 优化
University of Florida · UC San Diego · Northeastern University · Northwestern University · Stanford University
提出 SA-MRPO，独立标准化各奖励并按批次饱和度动态折扣优势，将优化重心转向未饱和目标，提升困难指标性能
📌 工作参考价值（4 点）
- 多目标 RL 微调时，不要先固定加权求和再标准化优势；改为对每个奖励独立标准化，并在每个 batch 估计目标饱和度（如 batch 平均奖励接近上限）来动态折扣其梯度贡献，可让模型自动将优化重心转向未达标目标，避免简单指标吸干预算。
- 推荐系统多任务学习可借鉴“饱和度感知动态损失权重”：每隔若干 step 根据验证集或 batch 上各目标当前水平计算饱和度，自动降低已达标任务的损失权重，把容量留给困难目标（如转化率）。
- 工程实现成本低：只需在 batch 内统计每个奖励的均值或分位数，设计递减函数（如 1 - 均值/上限）生成权重，无需额外超参或元学习，易嵌入现有 GRPO/PPO 流程。
- 多目标场景下应监控指标是否已达标，适时冻结或降低其训练信号，将 RL 信号导向更难提升的目标，符合“保持已满意水平而提升困难目标”的实践原则。
DFM Mimir v1：1B参数开放HRM模型，仅用许可数据达前沿性能
🧭 1B参数开放HRM语言模型
University of Southern Denmark · Ordbogen A/S · Aarhus University
用HRM架构与161个许可数据集训练1B模型，英语有竞争力并刷新丹麦语SOTA
📌 工作参考价值（4 点）
- 合规数据策略可落地：业务中常受用户隐私、版权数据限制；Mimir 用 161 个许可数据集训出 1B 可竞争模型，说明「只使用许可数据」不必然牺牲性能。电商/广告团队可优先构建高质量合规数据集（如平台内脱敏行为、商品描述、客服会话）做模型训练或微调。
- 小模型 + 高效架构值得关注：HRM 使 1B 参数接近 4B 性能，若其层级推理能降低解码步数或提升推理效率，适合线上生成式推荐/Agent 的低延迟约束；可试验类似层级生成语义 ID 或分步 query 生成。
- 多语言混合训练启示：针对小语种或垂直域数据稀缺，将稀缺语言与高资源语言任务混合训练能提升目标语言表现；跨境电商、多语言 query 推荐可借鉴。
- 完全开放基座便于快速验证：Hugging Face 可直接获取，合规风险低，适合作为多语言业务原型的基座模型，快速测试 prompt/微调效果。
LiveMem：在长运行LLM推理中维护记忆状态连续性
🧭 长运行LLM的内在记忆状态连续性 ★ 深度解读
NatureSelect.AI · Southern University of Science and Technology · Xidian University
通过并行循环记忆分支和上下文更替训练，使LLM在证据离开工作上下文后仍能依靠记忆状态保持推理连续性。
📌 工作参考价值（5 点）
- 记忆侧分支可迁移至长会话推荐Agent：在对话推荐或客服Agent中，可在每层注意力旁添加类似GDN2的循环模块，将用户长期行为序列压缩至固定记忆状态，当上下文窗口溢出时仍维持偏好感知。
- 训练范式：强制证据移出上下文：模仿LiveMem的post-training，通过分块管理使旧历史离开注意力，迫使模型依赖记忆状态回答，从而训练出真正的“记忆利用”能力，适合电商长生命周期用户建模。
- 课程学习策略激活记忆分支：先用全量行为日志（或长文档）预热记忆模块，再用均衡任务数据微调，可有效激活侧分支，避免模型短路依赖注意力上下文。
- 评估记忆真实有效性的方法：借鉴LongMemEval设计，构造证据与当前窗口距离递增的测试集，精确衡量模型是否真正记住了被淘汰的信息，适合评估推荐Agent记忆续航能力。
- 工程收益：上下文分块与KV淘汰：采用基于chunk的FIFO队列管理KV缓存，在推理时释放旧chunk，降低显存，支撑极长交互session的推理服务。
Wnuan：面向企业专有知识的分阶段后训练问答系统
🧭 后训练 · 领域适应 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI) · Beijing District Heating Group Co., Ltd. (BDHG) · Beijing University of Posts and Telecommunications (BUPT)
三阶段后训练流程将企业 QA 可接受率从 52.76% 提升至 91.51%，其中残差错误采样 RL 显著优于全量采样
📌 工作参考价值（4 点）
- 残差错误采样策略：RL 微调阶段优先选择 SFT 后仍答错的样本进行 GRPO，在固定更新预算下比全量采样或等量随机采样 AAR 提升约 3 个百分点，可用于对话式推荐或智能客服的错误修正优先级设定。
- 通用数据混练抑制能力退化：在领域 SFT 中混入 48.3% 通用数据，以通用 benchmark 平均分最高为选择准则，牺牲少量领域精度换来指令跟随等通用能力的较好保持，对平衡业务专训与通用能力有直接参考。
- 文档到 QA 的自动化构造：将非结构化企业文档（如操作手册、技术标准）自动转化为自包含问答对，并经过规则、忠实度等多轮筛选，可用于从商品描述、活动规则等生成训练样本。
- 多模型集成评估 + 人工校准：采用两主评委加分歧时第三模型投票的集成判分，并用领域专家校准 90.5% 的一致性（Cohen's κ=0.796），适合低成本构建可靠的业务离线评估体系。
频谱重连：探索、净化与模型合并
🧭 LLM 后训练参数频谱提炼与合并
Tsinghua AIR · ByteDance Seed
仅保留0.58%参数的频谱核心，维持RL微调推理能力并增强探索与多域融合
📌 工作参考价值（4 点）
- 在 RL 微调后，提取参数更新中的低维频谱核心，去除正交噪声，可作为轻量级后处理提升推理探索与测试时扩展（如高 k 采样），适用于推荐 Agent 策略微调。
- 方法仅需极少参数（<1%）保存推理核心，有助于多领域推荐模型的知识合并与解耦，避免跨域灾难性遗忘。
- 无训练合并技巧可集成到多专家推荐系统，融合不同业务场景微调的模型，提升跨域泛化。
- 参数几何的频谱分析方法可迁移至推荐模型参数更新分析，诊断微调对模型泛化能力的影响。
后训练如何塑造生物推理模型
🧭 多阶段后训练与泛化权衡分析
Harvard University · Google DeepMind · Google Research
系统分析CPT、SFT、RL对生物推理模型泛化的不同影响，表明ID/OOD权衡取决于阶段组合而非单调提升
📌 工作参考价值（4 点）
- SFT 过拟合警告：SFT 持续提升分布内 (ID) 效果，但分布外 (OOD) 性能会在早期达到峰值后下降。推荐系统微调时需监控 OOD 指标，避免过度适配训练用户/物品分布。
- RL 恢复泛化：在强 SFT 检查点上加 RL（奖励信号与任务对齐）可提升 OOD 并部分恢复泛化。对电商搜索/推荐中的个性化与冷启矛盾，可设计 RL 阶段来对冲过拟合。
- 训练预算分配：固定总训练成本下，短 SFT + 大 RL 预算的 ID-OOD 权衡最佳。实际落地时，可优先保证 SFT 收敛早期即切换 RL，而非一味延长 SFT。
- 阶段非对称适配：不同阶段对模型容量要求不同，CPT 受益于大模型，而 SFT/RL 增益更依赖质量。在大模型推荐系统中，可先 CPT 对齐领域语言，然后用少量高质量 SFT 和充足 RL 调优。
可检索梯度：无累积权重漂移的持续后训练
🧭 持续后训练 · 梯度检索与临时权重适应
Department of Computer Science and Technology, Tsinghua University
将梯度视为可检索的知识单元，通过即插即用的临时权重调整实现持续学习，避免参数漂移与灾难性遗忘。
📌 工作参考价值（4 点）
- 即插即用的知识更新：将新领域文档（例如新品详情、政策变化）预先计算梯度并存入梯度库，推理时根据query检索相关梯度临时调整模型，实现零遗忘的在线知识注入，避免全量重训。
- 可逆性与版本管理：梯度库天然支持知识卸载，移除对应梯度即可擦除引入的知识，适合广告/推荐场景中需要频繁上下线的商品或活动，无需回滚模型参数。
- 组合式适应：多个文档的梯度可以按需组合（如多商品叠加推荐），提供类似LoRA的模块化适配能力，但更灵活且无需事前训练适配器，降低工程复杂度。
- 元学习重塑梯度：通过任务驱动的元目标，将文档梯度优化为更通用的适应信号，可借鉴此思路将商品描述、用户评论等转化为对推荐任务有判别力的梯度，提升下游CTR预估等性能。
FastMix：梯度下降实现快速数据混合优化
🧭 训练数据配比优化 · 梯度下降 ★ 深度解读
University of Hong Kong · Tencent Hunyuan LLM · Chinese University of Hong Kong
将数据混合比例重新参数化为可微损失权重，实现单代理模型高效联合优化
📌 工作参考价值（4 点）
- 推荐模型训练中常需对不同行为（点击、加购、购买）或不同频道的数据做采样配比，FastMix 提供了一种单模型、梯度驱动的自动搜索方案，替代手动调参或耗时的网格搜索。
- 关键 trick：将采样概率重参数化为损失权重，使混合系数完全可微，可用 SGD/Adam 直接优化，仅需一个代理模型即可完成搜索，计算成本降低数百倍。
- 为避免过拟合到验证集，可借鉴其熵正则 + 训练损失辅助目标的策略，提升上线后的泛化能力；工业场景可进一步用上采样率上限替代纯正则。
- 代理模型不宜太小（如 <0.5B），建议采用与原模型同架构但参数减半的版本；若预训练与微调序列长度不匹配，可通过拼接 SFT 序列对齐长度，避免梯度失真。
密集监督，稀疏更新：策略蒸馏的稀疏性与几何性质
🧭 后训练on-policy蒸馏的参数分析
School of Artificial Intelligence, Nanjing University · National Key Laboratory for Novel Software Technology, Nanjing University · Amap, Alibaba Group
发现on-policy蒸馏的更新是坐标稀疏且FFN为主的，训练子网络可恢复性能，并揭示了更新的几何特性。
📌 工作参考价值（4 点）
- OPD更新具有坐标稀疏性，可固定大部分参数仅更新重要子网络，显著降低微调计算开销，适合大规模推荐模型的高效部署与迭代。
- 发现AdamW优于SGD，因自适应学习率能处理密集监督带来的异构梯度尺度，推荐在蒸馏或微调任务中优先选用AdamW。
- 几何分析表明更新远离主奇异子空间且集中于小权重坐标，提示可基于权重大小设计结构化稀疏微调策略，减少对主特征方向的干扰。
- 在学生生成轨迹上使用密集监督但生成稀疏更新，为推荐模型中online知识迁移提供了新范式：保持监督密度但约束参数变化量，有助于稳定多任务对齐。
OPRD：在策略表征蒸馏
🧭 策略蒸馏 · 表征对齐
Zhejiang University · Ant Group
将在策略蒸馏从输出空间提升到隐藏状态空间，消除采样方差并提供更丰富的结构化监督信号
📌 工作参考价值（4 点）
- 用表征蒸馏替代输出空间KL：在训练小模型（如电商客服、推荐解释）时，可直接对齐学生与教师中间层隐藏状态，绕过庞大的词表投影，消除采样方差，使训练更稳定，尤其适用于大词表（如中文150k+）场景。
- 内存与速度优化：OPRD loss在LM head之前计算，避免存储完整词表分数矩阵，训练速度快1.44倍，内存减少54%，适合资源受限的线上微调或频繁迭代。
- 层间对齐可迁移到多模态或推荐模型：方法不限于文本，可扩展到多模态表征蒸馏（如视觉-语言对齐），或用于推荐系统中用户/物品编码器的迁移学习，将复杂大模型知识压缩到轻量级线上模型。
- 提供确定性、逐层结构监督：相比输出蒸馏的稀疏奖励，表征蒸馏给出逐位置、逐层的稠密信号，利于捕捉细粒度语义，对于对话Agent的多轮一致性、推荐解释生成等任务可能更有效。
StepAudio 2.5：任务定制RLHF驱动的统一音频语言基础模型
🧭 音频语言统一建模 · 任务定制RLHF
StepFun
用任务定制RLHF和专用解码，使单一音频模型在ASR、TTS和实时交互上达到专用系统水平
📌 工作参考价值（4 点）
- 任务定制RLHF范式可迁移：不同业务（搜索/推荐/对话）可共享一个多模态基座，通过定义场景专属的reward函数实现差异化对齐，避免维护多套模型。
- 可验证多token解码提效：ASR采用的verifiable multi-token decoding，在生成式推荐（如Semantic ID逐token生成）中可设计验证器并行检验并及时剪枝，加速推理。
- 实时交互的生成式奖励建模：电商客服Agent可借鉴其生成式RM，在RLHF中同时优化延迟、人物一致性与回答质量，低成本实现端到端对话调优。
- 任务差异归结为数据与优化目标：该方法强调多模态对齐后，任务只需差异化的数据和优化目标，启发电商场景下文本-商品embedding对齐后，用指令微调/RL解决搜索、描述生成等多任务。