重新思考在线蒸馏中相对策略差异迁移
🧭 LLM 后训练 · 相对策略差异蒸馏 ★ 深度解读
Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · The Australian National University · Renmin University of China
通过隐式奖励视角统一相对策略差异迁移，揭示任务定向差异强于规模差异，且参考过滤与目标兼容性决定迁移成败
📌 工作参考价值（4 点）
- 在跨模型蒸馏或复用强模型能力时，优先取「任务定向优化产生的 update」（如 SFT/RL 后的 expert），不要直接拿更大参数的 base 模型当老师；用 logπ_expert - logπ_ref 的隐式奖励替代绝对 logits，能降低对 teacher 绝对能力的依赖。
- 参考模型不是随便选的：reference 应过滤掉与 expert 共享的通用行为，只保留增量。可以通过 top-k token overlap 选择低重叠 reference；若目标模型与 proxy 不同模型族/代际，优先用与目标同 family 的 reference，可把失败迁移救回来。
- 工程上可以用 top-16 token 分布近似，降低计算；训练时对 token 级 advantage 做 centering（减去当前策略期望）避免 intractable log Z；用 on-policy rollout + stop-gradient actor loss，直接适配 autoregressive 生成。
- 蒸馏过程要同时监控 train 与 validation/held-out，关注目标与 expert 的 token overlap 提升；train acc 上升但 val 不涨说明未泛化，应更换 reference 或 target，而不是继续多训。
小心沙发！弱到强任务向量注入激发多模态大模型室内设计推理
🧭 多模态大模型推理增强 · 任务向量注入
Nanjing Forestry University · Institute of Software Chinese Academy of Sciences · University of the Chinese Academy of Sciences · Beijing University of Technology
提出 DART-I，用弱专家提取空间/颜色先验生成任务向量，残差注入冻结 MLLM 以改善室内设计推理
📌 工作参考价值（4 点）
- 可将业务中的确定性规则（价格带、商品属性兼容性、布局安全距离等）封装为轻量 weak expert，输出连续数值特征，再投影为 task vector 注入冻结 LLM/MLLM 的 latent space，实现零微调的领域约束注入，避免灾难性遗忘和高昂训练成本。
- 在电商多模态场景（商品图 + 描述）中，可借鉴 DART-I 的残差注入方式：先用弱模型提取商品间空间关系、颜色搭配等先验，引导 MLLM 生成更合理的搭配或布局建议，减少幻觉，优于仅靠 prompt 中的文字约束。
- 弱到强范式适合标注稀缺的业务：用弱模型/人工规则先产生结构化信号，再驱动强模型，可复用到推荐系统，例如将用户行为序列的统计先验（点击间隔、序列长度分布）注入生成式推荐模型，提升生成质量。
- 任务向量注入作为一种参数高效适配手段，比 LoRA 等微调方法更轻量，适合快速在多业务线之间切换和迭代。