提示有多重要？金融推理事后自蒸馏的边界条件
🧭 事后自蒸馏 · 多步推理
University of California, Berkeley · CTGT
提出 Fin-SD，以学生自定位错误并生成提示、截断错误前缀进行事后自蒸馏，无需外部教师即可提升多步推理
📌 工作参考价值（4 点）
- 在电商/Agent 中需要多步推理（优惠计算、库存规则、合规审核）但只能本地部署小模型时，可借鉴 Fin-SD：让学生自己生成提示、在正确前缀上条件蒸馏，无需外部教师或完整答案，适配数据驻留与隐私约束。
- 关键 trick：提示内容不重要，监督位置才重要；可用通用/模板化反馈替代精写 critique，显著降低标注与生成成本，只需定位首个错误步骤即可施加有效监督。
- 同家族更大模型生成提示没有额外收益，说明业务中不必调用 6 倍参数模型做教师或标注，小模型自蒸馏即可省算力。
- 蒸馏后生成 token 少 9.5%，有利于降低 Agent 推理延迟和线上成本；通用推理/合规指标无退化，适合作为垂直推理增强的轻量后训练工序。
用采样做微调：SFT 比你想的更强
🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读
Harvard University
用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏
📌 工作参考价值（4 点）
- 在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
- 对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
- 采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
- 如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。
在线策略参数更新方向支撑LLM后训练泛化
🧭 LLM后训练·参数更新方向约束
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出OPSFT：约束SFT沿在线策略累积更新方向更新，仅少量在线策略步即可将泛化优势迁移给监督微调
📌 工作参考价值（4 点）
- 在需要保留在线策略泛化能力但训练预算有限的场景，可先跑少量 on-policy 步骤提取累积参数更新方向，再用 OPSFT 将大规模 SFT 更新投影到该方向，避免全量线上采样成本。
- 对已有高质量人工标注/线上反馈轨迹的电商导购 Agent 或文案生成模型，可将这些轨迹作为 OPSFT 的 SFT 数据继续训练，不会破坏之前在线策略学到的探索与泛化能力。
- 该方法提供了一种从在线策略到离线 SFT 的“方向蒸馏”机制，适合工业界在 RLHF/DPO 与 SFT 之间做低成本的训练范式切换。
- 注意该方法主要针对 LLM 后训练流程，不直接改变推荐/召回模型架构；若业务中需要频繁迭代生成式模型，可在训练 pipeline 中作为正则项复用。
onPanda：基于 Token 级纠错的 LLM 与 Agent 对齐数据高效标注
🧭 LLM 对齐数据标注 · token-level correction
StepFun · Xiamen University
用 token 级定位-纠错-续写循环高效生成 on-policy 对齐数据，标注时间中位数降低 52%
📌 工作参考价值（4 点）
- 生成式推荐/对话式 Agent 的 SFT 数据可由模型续写产生：先让模型生成候选回复，标注员只做 token 级首错纠正，后续自动截断重新生成，大幅减少人工整段改写，同时保持数据接近模型自身分布。
- token 级纠错记录提供「前缀 - 错 token - 正确 token」的孪生样本，可直接构造细粒度偏好对或 token 级 loss，比整句 preference 更有定位能力，适合电商导购话术、搜索词改写等短文本生成的调优。
- 对 Agent 轨迹标注可借鉴其交互思路：在 trajectory 回放中定位第一个错误 step/token，修正后继续 roll-out，能获得低成本 on-policy 轨迹数据并保留后续状态分布，适合工具调用、多轮商品推荐对话的数据采集。
- 工程上可参考其候选 token 展示与编辑结合的方式：先给出模型 top-k token 供快速点选，无法匹配时再自由输入，兼顾标注效率与灵活性；概率颜色编码帮助标注员快速定位低置信 token。
特权信息在在线策略自蒸馏中究竟增加了什么？
🧭 训练方法 · 自蒸馏与特权信息
National University of Singapore
系统分离自蒸馏与特权参考的贡献，发现特权信息仅带来有限增益，核心机制是跨模式能力转移
📌 工作参考价值（4 点）
- 蒸馏目标设计：在电商/搜索的 LLM 自我蒸馏中，不必过度追求“教师看到完整推理/用户行为解释”的特权信息；无参考的蒸馏目标（只用问题-答案对）就能激活大部分跨模式迁移，可显著降低数据标注与构造复杂度。
- 学生生成模式：训练时学生的 rollout 模式应与评估模式一致，例如用短直接回答而非长思维链作为训练样本，否则收益可能反转为损失；这提示生成式推荐或 QueryRec 蒸馏时，训练样本的生成风格需匹配线上推理风格。
- Token-level 监督的敏感性：改变 token 级别的损失干预（如不同 mask 策略）可能对模型最终行为影响很小，实际调参时可将精力集中在宏观目标与数据分布上，而非逐 token 细节。
- 跨模式能力共享：参数共享使直接回答与思考回答的能力可相互迁移，OPSD 是低成本激活已有推理能力的有效手段，适用于资源受限的推荐/广告文案生成模型升级。
更好的开始，更好的结束：自举迭代自推理蒸馏实现压缩推理
🧭 压缩推理 · 自蒸馏
西安交通大学 · 北京大学
提出 BIRD 两阶段自蒸馏，先引导模型生成简洁推理再在线蒸馏，显著减少推理长度同时提升精度
📌 工作参考价值（4 点）
- 多轮对话或 Agent 推理压缩：两阶段思路可直接迁移——先用简短指令采样高质量响应做 prompt-switch SFT，再上线时用在线蒸馏微调，减少冗长推理 token 消耗
- 搜索/推荐推理链精简：在需要模型生成多步推理（如用户意图分析、长 query 改写）时，用类似方法抑制冗余验证和自我修正，降低延迟
- 蒸馏起始状态优化：避免在噪声前缀上做 KL 蒸馏，先从干净分布启动，再在线策略改进，这对其他在线蒸馏场景（如广告文案生成、商品描述推理）有通用价值
- 长度控制与准确率权衡：简洁预热模型可在不牺牲甚至提升精度下大幅缩短输出，可用于实时性要求高的推荐系统推理节点
通过在线策略蒸馏实现弱到强泛化
🧭 弱到强知识蒸馏 · 策略偏移迁移
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University · Peking University
提出 Direct-OPD，将弱模型 RL 前后策略偏移作为隐式奖励，直接提升强模型推理能力
📌 工作参考价值（4 点）
- 在搜索/推荐排序中，若需对大模型做 RL 微调但资源有限，可使用小模型进行 RL（如优化 CTR），然后通过 Direct-OPD 将策略偏移量化为 log-ratio 奖励，蒸馏到线上大模型，避免大模型直接生成海量 rollout。
- 对生成式推荐场景，用 cheap 的小模型 RL 探索（如生成更吸引点击的标题或物品 ID），再以隐式奖励形式强化大模型，无需额外奖励模型即可提升生成质量。
- 在 Agent 系统中，让轻量级 Agent 先探索环境并计算动作概率变化，作为密集奖励训练大型决策模型，降低试错成本并加速策略迭代。
- 工程上可复用弱模型已有的 RL 训练信号，不必重跑昂贵 sparse-reward RL，支持增量组合多个策略改进，适合持续在线学习。
密集监督，稀疏更新：策略蒸馏的稀疏性与几何性质
🧭 后训练on-policy蒸馏的参数分析
School of Artificial Intelligence, Nanjing University · National Key Laboratory for Novel Software Technology, Nanjing University · Amap, Alibaba Group
发现on-policy蒸馏的更新是坐标稀疏且FFN为主的，训练子网络可恢复性能，并揭示了更新的几何特性。
📌 工作参考价值（4 点）
- OPD更新具有坐标稀疏性，可固定大部分参数仅更新重要子网络，显著降低微调计算开销，适合大规模推荐模型的高效部署与迭代。
- 发现AdamW优于SGD，因自适应学习率能处理密集监督带来的异构梯度尺度，推荐在蒸馏或微调任务中优先选用AdamW。
- 几何分析表明更新远离主奇异子空间且集中于小权重坐标，提示可基于权重大小设计结构化稀疏微调策略，减少对主特征方向的干扰。
- 在学生生成轨迹上使用密集监督但生成稀疏更新，为推荐模型中online知识迁移提供了新范式：保持监督密度但约束参数变化量，有助于稳定多任务对齐。