ARLoop：带注意力残差的完全开源预训练循环 Transformer
🧭 高效 LLM 预训练 · 循环 Transformer ★ 深度解读
The Ohio State University · Saarland University
提出 ARLoop，用滑动窗口深度注意力改进循环 Transformer，1.2B/0.5T 模型超过 Huginn-3.5B 并接近 Qwen3.5-2B
📌 工作参考价值（4 点）
- 循环 Transformer 是低成本 LLM 基座的可选路线：如果你的业务要用 LLM 做 Agent/生成式推荐，但 GPU 预算有限，ARLoop 这种「共享层 + 多次 recurrence」的架构可以显著降低参数量，同时保留较深的有效计算图；尤其数学/代码类推理任务收益明显。
- 滑动窗口深度注意力是可直接复用的 trick：在循环结构中，每个子层只用 embedding + 最近 3 个 residual block 做深度注意力，比全量历史更省显存/带宽，吞吐损失约 10%，但效果不降反升；这适合你自研深层共享模型时直接套用。
- 固定 recurrence 训练，推理时不要超过训练最大值：论文发现动态 recurrence 不如固定值；推理时 recurrences 超过训练最大值也无法继续涨点。线上 serving 时可以把最大 recurrences 固定到训练值，避免无效计算。
- Value residuals 对深层循环模型稳定性很重要：尤其搭配 Sandwich Norm 时，没有 value residuals 会出现表示坍塌、训练失败；如果你自己训练很深的共享层模型，可以加入 gated token embedding 注入来稳定训练。
数据受限稠密检索的缩放律与算力分配
🧭 数据受限 Dense Retrieval 的 scaling law ★ 深度解读
Tsinghua Shenzhen International Graduate School · Xi'an Jiaotong University
提出 MAEL 作为数据受限微调的稳定目标，拟合乘法 scaling law 并量化模型规模相对数据规模的计算效率优势
📌 工作参考价值（4 点）
- 在标注/点击数据受限且重复多 epoch 的检索召回微调中，用 MAEL（训练期间最低 eval loss）替代固定 step 的 eval loss 做模型选择与资源分配；它对学习率不敏感，且与 MRR@10、Recall@100 等线上指标高度相关（Pearson ≤ -0.985），适合小规模网格外推。
- 学习率主要改变到达 MAEL 的步数而非最终最低 loss：scaled step = step × lr / (2e-5) 可对齐曲线。工程上可以先小网络扫学习率确定收敛速度，不必为每个配置重跑大搜索。
- 资源分配：在 5K-320K 唯一样本、BERT-Tiny→Base 的数据受限 regime 下，增加预训练模型大小比增加唯一 in-domain 标注数据约 1.46 倍更 fine-tuning compute 高效；若模型容量受线上延迟/部署限制，再补唯一数据。
- Weight decay 调参：不要固定 λ，改用 EMA timescale τ_epoch = B / (η λ U) 作为不变尺度；数据减半时 weight decay 翻倍，常能降低 MAEL 并提升 in-domain 与 BEIR OOD 检索指标。
学生前缀教师适应：让教师适应学生生成前缀以提升在线策略蒸馏
🧭 On-policy 蒸馏·教师前缀适配 ★ 深度解读
Beijing Jiaotong University · Weixin AI, Tencent
在蒸馏前用学生前缀 RLVR 微调教师，提升其对学生在策略轨迹的监督可靠性，无需改变蒸馏目标
📌 工作参考价值（3 点）
- 在模型轻量化部署（如大模型蒸馏到线上小模型）时，除标准蒸馏外，先收集学生 rollout 截断为前缀，用可验证奖励（如最终答案/转化标签正确性）微调教师，使教师能“从学生所在状态继续”，可显著改善 token 级监督质量。实现时只对 continuation 部分做 RL，前缀作为 context，不模仿学生错误。
- 评估教师蒸馏能力应增加前缀条件恢复率（prefix-conditioned recovery accuracy），即给定学生常见前缀下教师正确完成的概率。该指标比独立准确率更能预测蒸馏增益；若教师在前缀上优势几乎消失，标准 OPD 可能停滞。
- 随机截断学生 rollout 作为前缀训练集，无需标注错误位置，是低成本构建教师故障恢复数据的方法。在电商文案/搜索 query 改写等任务中，可用类似方案让教师适应小模型的实际输出，并周期性从最新学生采集前缀以追踪分布漂移。
CREDO：面向时序推理智能体的证据条件化信用重分配
🧭 时序知识图谱问答 · 强化学习信用分配
Nanjing University of Aeronautics and Astronautics · Tsinghua University · 360 Security Capability Center, Qihoo 360
CREDO 用中间证据恢复局部监督，改进 GRPO 在时序知识图谱问答中的信用分配，提升 MultiTQ/TimelineKGQA 准确率
📌 工作参考价值（4 点）
- 在 LLM Agent 强化学习（GRPO）中，不要只依赖最终转化/成交信号。对同一 query 的多个 rollout 互相比较，利用中间状态（如检索命中、候选覆盖、证据留存比例）构造阶段级奖励，能区分“证据找对了但后续没接住”的失败样本。
- 全失败批次也可以训练：采用中间证据质量或答案重叠作为“机会”代理，把一部分 outcome-policy 权重分配到推理/回答阶段，避免全 0 奖励导致无梯度；这在多跳搜索推荐 Agent、多轮对话推荐等稀疏奖励场景尤其有效。
- 工程上可保持终端 reward 和 trajectory-level advantage 不变，仅对阶段奖励做权重再分配且保证总权重守恒，降低新增超参风险；适合用于商品知识图谱问答、带检索/过滤步骤的 Agent 训练。
- 若业务中有“检索到关键属性但最终没转化”的日志，可用于离线构造证据条件化奖励，指导 Agent 改写查询或重新排序。
SWE-Trail：历史引导的编程 Agent 轨迹采集
🧭 Agent 轨迹采集 · 历史引导分配 ★ 深度解读
University of Connecticut · Ant Group
用历史轨迹引导采集资源分配但不进入 agent 上下文，训练收益提升 2.33/1.60 pp
📌 工作参考价值（4 点）
- 可直接迁移到电商/导购/搜索 Agent 的轨迹采集：为每个 task 维护 prior trajectories bank，但不要把这些历史塞进 agent context；用历史作为 collector 侧信号，让 agent 从普通上下文生成动作，避免模型在测试时依赖不存在的外部 advice。
- 做分支对比采样：在历史检测到的关键状态，从同一 checkpoint 并行短执行两个候选动作，用环境反馈/奖励/测试信号选择路线；保留 agent 原始 reasoning/actions，删除未选分支和 collector 私有事件，保证训练轨迹为连续且无外部信息的单条 rollout。
- 优先在 mixed histories 上投入采集：成功/失败都有的任务最值得多做分支比较，stable-solved 和 never-solved 收益有限；历史规模 5 条 prior attempts 已接近饱和，继续加到 10 条 token 成本增加 66% 但收益很小。
- 评估数据采集方案时，值得做 H0 和随机化消融：H0 控制采集管线本身，random detection/random retention 分别检验“在哪里比较”和“保留哪条路线”，能避免把 resolved 轨迹数量误当成下游训练价值。
序数在策略蒸馏：只学教师 Top-K 排序
🧭 LLM 知识蒸馏 · 序数监督
University of Memphis · University of Missouri
O3PD 在策略蒸馏中只复现教师 top-K token 排序，不拟合概率值，对温度不变并在数学推理上全面优于 OPD
📌 工作参考价值（4 点）
- 在蒸馏 LLM 到线上小模型时，不要强制小模型拟合教师 soft probabilities 的绝对数值，尤其当教师温度需要搜索时；改用 top-K 排序监督（如 ListMLE、RankNet）可省去温度调参，训练更稳定。
- 生成式推荐/query 生成的 on-policy 蒸馏中，教师概率值混杂其自身校准与置信度，小容量学生难以复现；只保留序数信息能降低容量要求，让模型专注学习候选 token 的相对好坏，适合电商 query 推荐、广告文案生成、推荐理由生成等场景。
- 若已有 OPD 流水线，可将 loss 替换为对 teacher top-K logits 的 ranking loss，保留 on-policy 生成模式；数学推理任务上的 +2.9 平均分提升说明该 trick 在复杂生成任务上可能有效。
- 对 Agent 策略蒸馏的启示：当学生策略模型容量有限时，教师动作分布的序数偏好可能比概率值更重要，可以在策略优化中借鉴序数监督。
CRoS：基于打乱思维链顺序的因果奖励提升推理准确性与忠实度
🧭 LLM 推理训练 · 因果奖励设计
UNC Chapel Hill
用打乱推理步骤顺序而非改变信息内容的因果奖励，缓解结果奖励无法保证 CoT 因果贡献的问题
📌 工作参考价值（4 点）
- 在电商/Agent 场景做 LLM 强化学习时，若只用最终结果正确性做 reward，模型可能产出与答案无关的低质量推理。可借鉴 CRoS 思路：对生成的多步推理/决策轨迹做顺序打乱，观察最终答案是否变化，作为因果性奖励信号。
- 对搜索推荐里的 query 改写、推荐理由生成、Agent 工具调用轨迹等，可以先按步骤/换行/工具调用边界切分，然后随机 shuffle 几步，让模型重新给答案；若答案对顺序不敏感则说明推理缺乏因果链条，适合作为负样本或扣分项。
- 相比删除步骤或注入错误，shuffle 不损失信息，能避免模型钻空子生成冗余、低信息量 CoT；在 reward 工程中可优先采用这种破坏顺序而非内容的因果性检验方式。
- 实现成本不高：只需对已有 RLVR 流程增加一次打乱后前向推理和一致性打分，适合作为 LLM-based recommender / Agent 的辅助 reward 或 offline 过滤指标。
可靠性加权直接偏好优化：鲁棒偏好学习的惩罚权重方法
🧭 偏好学习 · 鲁棒 DPO
School of Data Science and Analytics, Kennesaw State University
在 DPO 中为每个比较样本引入可学习可靠性权重，自动降权翻转/噪声偏好，几乎无额外计算成本
📌 工作参考价值（4 点）
- 直接用于 LLM 推荐/排序模型的偏好微调：电商场景的用户行为（点击、点赞、下单）常含噪声甚至反转，RW-DPO 的权重估计与策略联合优化可自动降权可疑样本，工程实现只需在 DPO loss 中加一个惩罚项和闭式权重更新，几乎不增加训练成本。
- 容忍标注噪声，减少人工清洗：实验显示在 10-30% 翻转标签下，RW-DPO 的 win rate 不随翻转率上升而下降，甚至超过干净标签 DPO，说明面对隐式反馈数据不必先花大量资源清洗，可直接训练。
- 利用 margin 阈值识别翻转样本：理论证明恢复所有翻转比较需要 margins 约 log n，可据此设计样本检查策略：优先审查模型与其高置信度预测矛盾且 margin 较大的比较对，辅助数据质检。
- 与其他噪声校正方法对比的启示：RW-DPO 的误报标志更少、估计误差更低，可作为 RLHF 训练中鲁棒偏好建模的基线方案，适合需要快速验证鲁棒性的团队。
Muon-RT：复用教师轨迹的无动量 Muon 用于 LLM 自蒸馏
🧭 LLM 自蒸馏优化器内存优化
IIT Kanpur · Amazon
复用 EMA 教师-学生位移替代 Muon 动量缓冲，在自蒸馏微调中省显存并提升准确率
📌 工作参考价值（4 点）
- 如果业务中已在用自蒸馏/EMA teacher 做 LLM 对齐（SDFT/SDPO），可去掉 hidden weight 矩阵的 Muon 动量 buffer，直接复用 teacher-student 位移；在 Qwen2.5-7B 上平均准确率比 AdamW 高 2.6 点，同时持久显存省 42%，适合 7B 级线上微调。
- Muon-RT 保留 Newton-Schulz 正交化，但对 teacher 位移做去径向分量 + spectral normalization，再与当前梯度混合；这种“复用历史更新方向去噪”的思路可迁移到推荐模型的大 embedding/MLP 权重优化，尤其是 LoRA/全参微调受显存限制时。
- 相比 momentum Muon 平均提升 5.4 点、持久显存少 27%；在 Olmo-3-7B SDPO 上比 AdamW 提升 2.0 点，说明策略优化/RL 自蒸馏场景也能作为 AdamW 替代。
- 注意边界：收益依赖局部模型、正则与对齐假设，且主要针对 hidden weight 矩阵；建议先在小规模微调中验证内存与收敛，再在推荐/搜索 LLM 训练中推广。
RangeSWA：连续扩散语言模型的免训练长度外推
🧭 连续扩散语言模型 · 长度外推
Clemson University · University of Ottawa · PayPal · actA V A AI
提出训练无关的 RangeSWA，通过滑动窗口+远程块摘要+动态检索缓解连续扩散语言模型长文本生成的重复与漂移
📌 工作参考价值（4 点）
- 长序列生成（如商品详情文案、营销邮件、多轮对话 Agent 的长期记忆）可借鉴“局部窗口 + 远程块摘要 + 检索”的混合注意力策略：不重新训练，只改推理时 attention mask 和 token 组织，减少长输出的重复和跑题。
- 位置重映射与条件注意力校正的思路可迁移到已有 LLM/扩散推荐模型做长度外推：将训练时位置范围线性/非线性映射到更长范围，同时对 conditioning 的注意力权重做校正，避免因训练分布偏移导致的崩溃。
- 去噪阶段自适应窗口调度值得在扩散式生成推荐（如连续扩散生成 item embedding 或描述）中尝试：前期大窗口保持全局一致性，后期缩小窗口强化局部细节，可平衡多样性与准确性。
- 但连续扩散语言模型本身在电商/广告场景尚未成为主流，落地需先评估该范式与自回归模型相比在成本、延迟上的优势；该方法主要为学术贡献，工程迁移门槛较高。
树结构分支策略优化 TSBPO：交互式语言智能体训练
🧭 交互式语言智能体策略优化
University of Electronic Science and Technology of China
TSBPO 用树结构采样与更新统一解决交互式语言智能体训练的采样、延迟信用分配和多 token 损失聚合
📌 工作参考价值（4 点）
- 将 rollout 构建为物理树，并用 likelihood-fitted Root/Branch allocator 在固定预算下优先展开高风险分支：这个思路可迁移到电商导购 Agent 的模拟训练，减少无效交互采样，把探索预算集中在信息增益大的状态。
- 信用分配不用全局奖励做蒙特卡洛，而是比较同父兄弟片段和同任务/观测状态的相对优势：适合多轮推荐对话中延迟转化信号，能被归因到具体话术或动作轮次，减少奖励噪声。
- 多 token 动作聚合采用完整 response 内 token surrogate 求和并按 active turns 归一化，避免直接按 response 长度平均导致的梯度消失：生成式推荐中的商品标题/文案策略梯度可直接复用这一项。
- 固定 checkpoint + 多次随机 episode 取平均成功率作为评估，比单次最优模型更可靠，适合上线前回归评测 Agent 稳定性。
逐步查询：无教师思维链访问下的推理蒸馏
🧭 LLM 推理蒸馏 · 黑盒 query 细化
Institute of AI and Future Network, Beijing Normal University
黑盒教师下用逐步独立查询蒸馏推理，无需 CoT，14/16 对比最优
📌 工作参考价值（4 点）
- 黑盒大模型 API 做推理蒸馏：不要只拿 final answer/brief solution，把任务拆成单步 derivation、validity check、correction 多轮 query，再拼装 SFT；业务侧拿不到 teacher CoT 权限也能做小模型推理增强。
- 数据过滤别只按 final answer：答案错误但中间推理有效的轨迹可保留，尤其适合商品属性抽取、query 改写逻辑、广告文案生成等任务；可用 frozen student 对正确中间步骤的 log-ratio（类似 SEIG）评估哪些 step 仍有信息增益。
- 拆解粒度要控成本：逐步 query 有收益但过度分解收益有限，工程上优先拆到关键推导与校验，避免过多 query 调用和延迟。
- 对 Agent 规划训练可复用：若用大模型生成多步决策轨迹，可把每步 decision/check/修正作为独立 query 组装成微调数据，提升小模型规划稳定性。
DAMI：双轴记忆初始化增强门控线性注意力长上下文检索
🧭 门控线性注意力 · 记忆初始化 ★ 深度解读
SpeedAI · Beihang University
联合配置头时间尺度与层输入敏感度，在不增加参数的情况下提升五种线性注意力架构的长上下文检索准确率
📌 工作参考价值（4 点）
- 用户长期行为序列建模：若用 Mamba/GDN/RWKV 等线性注意力处理用户长 session，可将多个 head 的衰减时间尺度几何分布（如 1~4096），让不同 head 分别捕捉近期点击与长期偏好；避免统一衰减导致远期信号被遗忘或近期噪声过拟合。
- 分层表征初始化先验：低-高-低输入敏感度可迁移到推荐/Ads 塔：浅层 embedding/low-level 层保持低敏感性求稳定，中间交叉层高敏感捕捉动态，深层汇总层再低敏感防止稀有关联消失；配合无梯度校准，只需少量业务激活即可完成初始化。
- 工程可插拔且零推理成本：DAMI 仅改变衰减侧初始化，不增加参数与推理开销；适合作为现有 SSM/线性注意力推荐模型的 baseline 增强，尤其当业务数据分布迁移或长上下文需求提升时，可低成本重校准。
- 长上下文检索能力：若模型需要从长会话/长文档中检索相关信息（例如客服历史、详情页关联），可参考 RULER 风格评估，并利用该初始化改善远距离依赖命中。
多视角 MoE：让每个路由头共同塑造专家计算
🧭 稀疏 MoE 多路由与视角混合 ★ 深度解读
Baidu ERNIE Team
通过多路由聚合与路由偏好驱动的专家输入混合，在固定专家预算下提升稀疏 MoE 选路与表达能力
📌 工作参考价值（4 点）
- 如果线上大模型采用 MoE 推理，可在不增加专家 FLOPs 与 all-to-all 通信量的前提下，仅增加约 0.19% 参数，通过多路由头求和与多视角输入混合获得稳定下游收益；对固定延迟预算的搜索/推荐大模型升级较友好。
- 借鉴 score-conditioned input mixing：对每个选中专家，用其跨路由头的归一化 sigmoid 分数混合多个 latent view，在同一 token 下让不同专家看到不同输入；实现时在 dispatch 前完成混合，保持通信量不变。
- 路由诊断可复用：用 dense evaluation 计算所有专家输出 L2 norm 归一化后与 router score 的 Spearman 相关性，定位中深层选路与真实专家效用弱对齐的层；发现弱对齐后针对性地引入多路由或重新训练。
- 从已有 LatentMoE 或类似 checkpoint 升级时，保留 backbone 投影为 View 1，其余视图用 ramp perturbation 从零逐步放开，能在不明显破坏初期训练的情况下平滑加入多视角能力。
辅助奖励驱动的自改进：从验证轨迹中学习并评估迁移
🧭 小模型推理自改进 · 轨迹级辅助奖励
Georgia Institute of Technology
提出用置信度/熵辅助轨迹偏好区分同等正确推理，提升小模型自改进与跨任务迁移
📌 工作参考价值（4 点）
- 业务 LLM 生成推荐理由/query/文案时，常只有点击/转化等弱反馈；可引入置信度（SC）或熵变化+局部平滑度（UID-Conj.）作为辅助奖励，对正反馈轨迹打分，筛选高质量样本做 SFT，在标注有限时提升迁移表现。
- 离线加权 SFT 比在线 TTRL 更稳定且证据更强：同一响应池按辅助奖励加权训练，较均匀加权提升 1.93 点（CI [0.44,3.44]）。业务可优先做离线加权精调，成本低、便于上线。
- 辅助奖励选择依赖任务：SC 更适合判断指令遵循和轨迹质量；UID-Conj. 在多种训练设置中更利于下游收益。实际可两者都算，在验证集上选择权重或融合，而非只看推理偏好。
- 评估轨迹偏好应以最终业务指标为准，而非仅看推理期排序一致性；建立下游 A/B 或离线 proxy 评估，辅助奖励要暴露学习价值。
每个 token 都需要专属教师：多教师自适应 on-policy 自蒸馏
🧭 LLM 后训练 · token 级多教师 OPSD ★ 深度解读
TU München · Munich Center for Machine Learning · Kyoto University · ELLIS Institute Finland · Aalto University
提出 token 级自适应 on-policy 自蒸馏，用多教师池+多数投票+KL 为每个 token 选教师，数学推理最高提升+5.9
📌 工作参考价值（4 点）
- 在生成式推荐 / query 生成 / 文案生成的 on-policy self-distillation 中，如果使用高质量参考（如人工标注、规则 template）作为 privileged reference，建议构造多教师池：对参考做 prefix/suffix/random-span 截断、不同保留比例，而不是只用完整参考；再按 token 选择教师，可避免过度尖锐监督。
- 多数投票 + KL 距离是低成本的 token 级选择规则：先看候选教师对当前学生采样 token 的支持方向是否一致，再在一致子集里选 KL 最大的教师；不需要额外模型，可直接嵌入现有训练 pipeline。
- 消融表明，多教师池配随机选择或平均 loss 提升有限，真正收益来自自适应分配；因此如果业务上做多教师蒸馏，不能只做 ensemble，需要设计 token 级选择策略。
- 若在搜索/推荐 Agent 中让 LLM 生成推理或决策轨迹，可借鉴该 work 的 token 级教师干预评估法来快速诊断哪些位置需要更强监督，而不是整段统一加 loss。
PIVOT：通过在线教师纠正进行渐进式干预
🧭 强化学习训练 · 在线教师干预
University of Chinese Academy of Sciences · Tsinghua University · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences
在RLVR中插入教师纠正轨迹并施加token级KL监督，大幅提升困难推理任务的学习效率与最终表现
📌 工作参考价值（4 点）
- 在电商/Agent多步决策任务中，RLVR常因稀疏奖励（最终是否成交、任务是否完成）而训练低效；可引入教师模型（如GPT-4/内部大模型）在失败轨迹上在线生成修正步骤，并把这些修正插入学生rollout，只对插入段做token级KL蒸馏，避免整条轨迹过度依赖教师导致不可学。
- 当一组rollout全部失败时，结果奖励无梯度；可借鉴PIVOT的双重信号：先通过轨迹级干预保证至少部分轨迹包含正确片段，再对教师段做密集token级监督，这适合电商智能客服、商品推荐对话等场景中“用户不满意”的负样本利用。
- 论文的消融表明，干预位置（如失败点附近）和KL监督范围（仅教师段vs全轨迹）对最终性能影响显著；在业务中可先小规模网格搜索这些超参数，避免教师信号过强导致学生退化为模仿教师，丧失RLVR的探索收益。
- 若已有线上强模型可作为教师，PIVOT的在线纠正成本可控，适合将弱模型（部署端）通过RLVR+教师干预进行蒸馏式增强，用于推荐解释生成、搜索query改写等轻量生成任务。
RLVR 无免费午餐：pass@1 提升必付 pass@k 代价
🧭 RLVR 训练中 pass@1 与 pass@k 权衡
用定理证明 RLVR 中 pass@1 增益必然伴随 pass@k 下降，并给出精确权衡边界与诊断方法
📌 工作参考价值（4 点）
- 在电商/搜索/推荐中用 RLVR 微调 LLM 生成式召回、query 推荐或 Agent 策略时，不能只看 top-1 命中或 pass@1：pass@1 显著提升可能以牺牲 pass@k 覆盖率、多样性和长尾生成为代价，必须同时监控 pass@k 或候选多样性指标。
- 论文提供的诊断方法（从 eval log 读 pass@1-pass@k 前沿、order-preserving test、price）可直接迁移到线上 AB：评估生成式推荐/搜索改写模型的 exploration-exploitation 权衡，避免只优化单点指标。
- 熵崩溃结论提醒：RL 微调后生成多样性会塌缩，电商文案、push 消息、搜索 query 生成需要加熵正则或约束，防止生成同质化候选影响后续排序与多样性。
- 多 prompt/多任务联合优化时注意“独家专业化”现象：提升某些 query 模板或类目的生成成功率可能损害另一些，需按 prompt/类目分层监控并设置约束。
如何对齐你的模型：用模板扩展多语言安全训练
🧭 多语言安全对齐数据增强
ETH Zurich
提出模板化多语言安全数据增强流水线，发布60语言MSafeTemp语料并揭示英语评估会误判多语言安全
📌 工作参考价值（4 点）
- 多语言生成式推荐/搜索的评估必须本地化：论文证明仅英语评估会漏掉多语言攻击和文化适配后的失败。电商全球场景中，多语言产品描述生成、搜索建议、客服Agent的安全与质量评估同样不能只测英语，需构建目标语言+文化适配的测试集，尤其注意文化特定实体（本地品牌、俗语、敏感话题）。
- 模板化数据增强可复用于多语言query/文案生成：从已有的有害/敏感prompt中抽取安全模板，翻译并填充文化真实实体，是低成本扩充多语言训练数据的方法。在推荐系统里可类比地用于生成多语言搜索词、商品标题或营销文案的多样化训练样本，避免人工撰写成本。
- 安全对齐是部署多语言LLM Agent的硬前提：搜索推荐Agent会处理用户输入并返回建议，若多语言安全漏洞被利用，后果严重。这篇工作提示在训练或SFT阶段应加入多语言安全数据，且要包括本地化有害实体，而不是简单翻译英语安全样本。
- 数据质量控制流程值得借鉴：论文中通过母语者验证、自动过滤等步骤确保生成语料质量，这种流水线可迁移到业务中大规模生成数据时的质量把关环节。
ShallowDefend：利用浅层安全对齐实现多轮防御
🧭 LLM 安全对齐 · 多轮防御
University of California, Davis · Microsoft Research
提出 Assess→Decide→Respond 框架，用显式安全决策 token 和自验证奖励训练多轮防御模型，在 14 个基准上取得最强多轮安全性
📌 工作参考价值（4 点）
- 在对话式购物助手/客服 Agent 中，对安全敏感请求可引入“评估→决策→回复”阶段，强制模型先输出可解析的安全标签（如 SAFE/UNSAFE 或分级），再基于该决策生成回复，使安全行为集中在可控 token span，便于审计与干预。
- 采用自验证奖励：无需人工标注或 judge，只需比对决策标签与对话已知性质（如对抗轨迹或历史违规日志）作为规则奖励，可大幅降低安全 RL 训练成本；电商场景可用用户举报/售后投诉日志构造弱标签。
- 利用浅层对齐机理做高效微调：安全/合规行为主要集中在前几个 token，训练时可以仅对决策 span 施加更强 KL 约束或集中梯度更新，避免主模型整体能力退化；对需要保持推荐/销售效用的系统，可通过只优化决策段减少 helpfulness 损失。
- 多轮攻击在电商场景同样存在（用户分多轮绕过商品推荐限制或诱导客服），该思路可作为多轮对话安全中间件，前置轻量决策模块或决策 token，无需大改主模型。
随机舍入 SGD 的比特数、训练时间与模型规模缩放定律
🧭 低精度训练 · 随机舍入 scaling laws
University of California, Berkeley · ICSI · LBNL
在两层线性网络上证明随机舍入 SGD 预测误差上下界，给出精度、模型规模与训练时间的 compute-optimal scaling 法则
📌 工作参考价值（4 点）
- 在 LLM/推荐模型低精度训练中优先用随机舍入替代就近舍入，尤其前向激活可低至 8bit/4bit，但反向特征需保留更高精度或单独调度，否则会改变 compute-optimal scaling。
- 采用 EMA/参数平均时，可重新评估各计算环节精度需求：论文表明参数平均会改变哪一阶段需要更高精度，因此推荐训练中的参数平均（如模型合并、Polyak）可搭配更激进的前向量化而不伤害最终效果。
- 固定算力预算下，若需要扩模型或加训练时间，可尝试降低精度换取更多 FLOPs/epochs；在电商搜索推荐的大规模模型训练中，这可能优于保持 BF16/FP32 的小模型。
- 学习率调度需随反向舍入精度调整：部署低精度反向时，原最优学习率可能失效，需搜索并配合 warmup/衰减，避免训练不稳定或收敛变慢。
Turing LLM 后训练：校准蒸馏与高效动态 MoE 执行
🧭 LLM 多教师蒸馏与 MoE 执行加速 ★ 深度解读
Foundation Model Team, XPeng Inc.
提出校准多教师在线蒸馏（C-MOPD）与动态 MoE 执行优化，四域能力整合分数达 0.9988 并实现 2.86 倍步骤加速
📌 工作参考价值（4 点）
- 多任务/多场景模型统一：电商搜索/推荐常需同时优化相关性、点击率、GMV、内容质量等多个目标。可仿照 C-MOPD，先对每个目标/场景独立训练 RL specialist，再用多教师在线蒸馏整合到单一学生模型；冻结教师 + 学生在线 rollout 能缓解 exposure mismatch，保留各域增益。
- 蒸馏 loss 校准：不同任务的 token-level loss 尺度往往差异大，直接加权容易让大尺度任务主导。C-MOPD 的 teacher-wise loss-scale normalization（对每个 teacher 的 token losses 求标准差并做缩放、裁剪）简单有效，可在多目标蒸馏、Agent 多能力整合中直接使用，降低调参成本。
- 生成式推荐中的 Top-K 匹配：对于生成式 item token / semantic ID 的蒸馏，只匹配 teacher 的 Top-K token 分布可以避免学生被迫学习不相关长尾 token，减少计算和训练不稳定；同时 teacher-local renormalization 确保 student 的概率质量集中在有效支持内。
- 动态 MoE 训练/推理优化：如果业务模型采用动态 MoE（token 自适应专家数），RW32 这样的 width bounding 加 final-route replay 可保证训练与推理 router 一致性，减少显存和通信开销；异步 rollout 与 actor 更新重叠是通用的 RL 训练加速手段，可迁移到大规模 Agent/推荐 RL 训练。
位置至关重要：基于剖析指导的逐层 RoPE 分配
🧭 高效 Transformer 位置编码设计
用逐层剖析剖面在固定预算下分配 RoPE 维度，提升语言模型验证损失并支持 MLA 高效部署
📌 工作参考价值（4 点）
- 在电商/广告场景中训练或微调 LLM 赋能的召回、query 改写、语义 ID 生成模型时，先用小规模代理模型对每一层做“移除/偏移 RoPE”的 Coverage/Phase-off 探查，提前得到各层位置信息需求剖面；然后按预算给高层/低层分配不同 rotary dimension，减少 RoPE 计算和缓存，不损失效果。
- 利用 normalized-depth mapping 把小型模型的逐层 RoPE 配置迁移到大模型，可在大模型正式预训练/继续训练前完成结构搜索，降低试错成本；对需要从零预训练轻量级领域 LLM 做推荐任务时尤其实用。
- 若采用 MLA / 多头潜在注意力做高效推理，可按层物理分配 rotary 维度，而不是所有层全维度旋转；按剖析结果把 rotary 集中在少数关键层，可获得质量、存储、计算之间的更好 trade-off，适合边端或高 QPS 推荐服务。
- 将 phase-off / coverage intervention 作为诊断工具纳入模型迭代流程，用于判断模型是否过度依赖某些层的位置信息，指导领域适配时冻结/裁剪/蒸馏策略。
异构协同进化训练工具高效搜索智能体的零标注框架
🧭 搜索 Agent 零标注协同进化训练 ★ 深度解读
Nanjing University of Aeronautics and Astronautics · Didichuxing Co. Ltd
零标注下用异构 proposer–solver 协同进化同时优化搜索智能体准确率与工具调用效率
📌 工作参考价值（4 点）
- 用海量无标注 query 日志替代人工 QA：从用户 query 出发，先让 proposer 生成实体答案，再用检索构造证据路径并做程序化校验；电商搜索/推荐 Agent 可直接复用会话 query 和商品知识库生成训练任务，省去标注成本。
- proposer 与 solver 解耦且可异构：3B/4B 小模型就能给 7B/8B solver 出题，任务生成成本与求解器规模解耦，跨模型族还能带来互补先验；线上可用便宜模型持续产出课程任务。
- 中间难度奖励 4*Acc*(1-Acc) 自动筛选约 50% 通过率的前沿任务，避免全对/全错无效信号；业务 RL 任务生成或课程学习可直接复用，奖励任务生成器追求 mixed group。
- 工具调用效率奖励：对同一任务的 K 条轨迹，把 search call 次数按组内最大值归一化后乘 correctness，只让答对且调用少的轨迹拿高分；商品搜索/Agent 里的 API/检索调用可用 task-local 惩罚控制成本且不明显掉点。
LLM 强化学习中训练-推理失配的成因与修正
🧭 LLM 在线强化学习训练稳定性
George Washington University · Duke University
拆分数值偏差与策略滞后，提出 DLC 校正，稳定异步采样下 LLM 在线策略训练
📌 工作参考价值（3 点）
- 在线 RL 训练 LLM 推荐文案/对话 Agent 时，若推理引擎与 trainer 分离，先对每个 prefix 的 score 做 centering 再计算 advantage，可去除推理引擎数值差异带来的近固定偏差；类似 advantage normalization，但要按 prefix 而不是全局批量做。
- 对异步采样引入的 policy lag，不要只做 per-token importance weighting；持续监控重要性权重的 ESS，低于 0.5 时强制同步 sampler 权重。该阈值在 Qwen3-1.7B 上被验证为崩溃临界点，可作工程默认触发条件。
- 别只监控 sampler 端前缀上的 KL，它检测不到由滞后反馈导致的塌缩；建议增加与 on-policy baseline 的 KL 对比或 trainer 侧 KL 监控，并配置自动 resync。
你的学习率调度可能并不合理：权重归一化训练中的有效学习率调度
🧭 大模型预训练优化 · Effective LR
ByteDance Seed · Peking University
证明 WN 训练增益主要来自有效学习率轨迹，提出 AIR 调度，在 128B MoE 预训练上比 cosine 降损约 0.01
📌 工作参考价值（4 点）
- 若你在 LLM4Rec / 生成式推荐模型预训练中采用 weight normalization 或固定范数约束，应把 LR schedule 设计对象从 nominal LR 切换到 effective LR，否则会错失 WN 的降损收益。
- 工程上可直接用 AIR 替代 cosine：用 affine 修正 1/√t 衰减以匹配预设 peak/terminal LR，在 128B MoE 实验中比 cosine 的 terminal training loss 低约 0.01，且超参鲁棒性更好，适合线上预训练 pipeline 快速替换。
- 在优化器或训练约束切换（如 WN ↔ WD）时，保持相同 ELR 轨迹可复现训练动态，便于做 infra 对齐和消融实验，减少重新调参成本。
- 优先优化 late-stage LR schedule：早期 LR 选择对最终损失影响较弱，晚期 ELR 调度是主要收益来源；调参资源应集中在后期 schedule 上。
需求交互时：通过相互依赖规格扩展长程编码
🧭 编码代理 · 规格合成与强化学习
LLM Core, Xiaomi · Peking University · University of Hong Kong
CodeSpecWeave 合成带相互依赖规格的任务并用 RL 训练编码代理，显著提升长程开发表现
📌 工作参考价值（4 点）
- 任务设计上，可构造具有相互依赖约束的合成任务（例如同时满足相关性、多样性、商业指标约束），迫使模型进行联合推理，避免退化为简单清单，提升生成式推荐或 query 推荐策略的鲁棒性。
- 数据质量保障上，借鉴 review agent 审计多条 solution trajectories 的做法：在离线样本生成或评估中，用多个模型交叉验证候选输出的合理性和正确性，过滤隐藏缺陷或误判，提高训练数据可靠性。
- 训练范式上，在仿真环境或历史日志中合成带多目标约束的任务，用强化学习优化策略模型，使其在复杂业务约束下（如用户体验与商业收入平衡）学习长期收益。
- 评估体系上，构建包含多维规格的基准，揭示模型在处理相互依赖约束时的能力边界，指导针对性迭代。
用单一算法训练基础模型
🧭 基础模型统一训练范式
Carnegie Mellon University · Johns Hopkins University · Aurora Innovation
将预训练、SFT、RL 统一为单一似然训练目标，把 RL 视作对模型生成分布的最大似然拟合
📌 工作参考价值（4 点）
- 在业务 LLM 迭代中，可放弃严格分阶段 SFT→RLHF 流水线，用统一似然目标直接混合静态标注与模型生成样本，减少多阶段维护成本和切换误差，尤其适合电商文案生成、对话策略等需要快速试错的场景。
- 把 RL 步骤改写为在模型自身生成分布上的最大似然拟合，可降低 reward hacking 风险并稳定训练；在推荐系统用用户行为反馈作为偏好信号时，可借鉴该视角设计更平滑的在线学习目标。
- 将数据选择、配比和训练时机作为核心调参对象，而不是算法切换；可在电商推荐中用行为日志、人工标注、模型生成样本做动态配比，统一训练提升覆盖率和准确率。
- 统一训练提供更强持续学习起点：上新品类、适配新用户群体或增量更新推荐模型时，可沿用同一训练器而不必重启多阶段流程。
A-RSI：零数据多模态自改进的自适应任务刷新
🧭 零数据多模态自改进训练
用训练日志中的奖励方差与准确率动态刷新任务池，实现零外部数据的多模态递归自改进
📌 工作参考价值（4 点）
- 在 RLVR/self-play 持续训练中，用训练日志中的 reward variance 和 accuracy 趋势作为任务池刷新信号，替代依赖验证集或线上 AB，可降低离线指标过拟合风险，适合推荐/广告模型的长期自训练。
- 任务生成与答案校验解耦：用可执行 program/schema 生成题目并单独审计答案，而不是 self-consistency；电商场景可基于商品 schema、用户行为规则生成可编程校验的合成任务，自动清洗噪声 label。
- 维护 model-authored program 库做零外部数据合成，可迁移到商品文案、query 推荐语料增强；用 property-based check 自动验证 reward 与刷新规则，适合离线规模化生产训练数据。
- 自适应刷新机制减少人工调参：监控窗口内学习信号下降（如 reward variance 降低或 accuracy 平台期）再触发新任务生成，能平衡训练成本与效果。
多 Token 预测的正确优化法：Soft-MTP
🧭 LLM 预训练 · Multi-Token Prediction
MIT
提出 Soft-MTP，通过一行代码改动移除标准 MTP 训练中的噪声残差梯度，只保留 KL 自蒸馏信号，全面提升性能与推理加速
📌 工作参考价值（3 点）
- 若内部训练 LLM 用于生成式推荐（如商品描述、搜索 query 推荐、对话式导购），MTP 是一个可落地的训练技巧。采用 Soft-MTP 的一行改动可同时提升模型困惑度和下游准确率，且无额外计算开销，适合直接加到现有预训练流程。
- 在需要 speculative decoding 加速在线推理的场景（如实时搜索建议、Agent 规划生成），Soft-MTP 训练出的 MTP head 能提供更准确的 draft tokens，显著提升 decoding 接受率和加速比，降低延迟。
- 该 KL gradient-recovery trick 可复用到其他共享输出头的自蒸馏任务，例如知识蒸馏或辅助损失设计，避免直接计算大词表 KL 导致的内存瓶颈，兼容现有 fused cross-entropy kernels，工程实现简单。
跟随梯度：将安全退化追溯到训练数据
🧭 LLM 微调数据安全筛选
DatologyAI · University of Illinois Urbana-Champaign (UIUC)
SimpleLoRIF 将低秩梯度归因扩至百万级数据，过滤梯度对齐不安全的样本，攻击成功率最高降22%
📌 工作参考价值（4 点）
- 在微调推荐/Agent LLM 时，可用“梯度方向对齐目标/非目标行为”的分数筛选训练样本，去除与广告合规违规、品牌安全、诱导点击等不良输出梯度对齐的隐式风险数据，不依赖文本表面。
- 工程实现上，只对最后 4 个 transformer blocks 回传并配合低秩投影计算梯度 embedding，可处理百万级样本；推荐团队可用类似方法对商品/query 日志做安全与质量滤除，无需全模型回传。
- 过滤比例与能力存在平衡：删除 top 20% 最对齐样本可显著降低攻击成功率且能力保持或提升；业务上可扫描过滤比例阈值，评估线上指标。
- 可构建定制化数据过滤 pipeline，按比例或子集过滤风险数据；类似思路可迁移到搜索词改写、推荐理由生成等场景的合规性治理。
环境感知调度：提升智能体强化学习采样效率
🧭 Agent RL 环境感知调度与批采样优化
PKU · XJTU · THU · Samsung Research · CASIA
通过环境感知调度任务与环境的 rollout 批次，提升 Agent 强化学习样本效率
📌 工作参考价值（3 点）
- 在电商 Agent（导购、客服）的 RL/偏好训练中，不同任务环境（交易流程、工具 API、校验逻辑）成本与难度差异大，可借鉴 EnvSched 思路：用历史 rollout 的 reward 方差/不确定性做任务调度，优先采样能拉大策略差异的样本，节省昂贵交互。
- 构建任务-环境图：企业内部可复用工具、状态定义和验证器关系，构建图并用节点相似度传播统计量，预测信息量，无需额外 pilot 采样即可冷启动调度。
- 通过 environment quota + similarity penalty 控制 batch 多样性，避免重复观察相似任务，提升每步梯度信息密度；该机制可直接迁移到多场景推荐/对话策略联合训练。
MuonGS：放宽权重范数控制的LLM预训练优化器
🧭 优化器训练 · 权重范数控制
University of Minnesota
用Gram-Schmidt移除Muon更新径向分量，权重范数最多√t增长，长期困惑度更低并加速LLM预训练约15%
📌 工作参考价值（4 点）
- 训练电商/广告域的大模型（CTR、NLP、多模态等）时，可尝试用 MuonGS 替代 AdamW 或 MuonH，尤其在长训练 horizon 下：MuonGS 不固定权重范数，省去严格范数约束的超参调优，同时保持后期有效学习率，可能降低最终损失。
- 把累积有效学习率 C_T = Ση_t/||W_t||_F 作为监控指标：如果训练后期 C_T 增长明显放缓（对数增长），说明有效学习率相对权重范数过小，可考虑放松范数控制、调整学习率或改用 MuonGS 类方法。
- 对推荐模型中的矩阵参数，Muon 类优化器可直接作用于 2D 权重；但 embedding 表通常是高维稀疏结构，需先验证 Gram-Schmidt 投影在混合参数上的工程开销，建议小规模预训练对比后再推广。
- 结论上，权重范数不必严格固定，允许其以 √t 增长可维持长期有效学习率，这一原则可用于指导自定义优化器或学习率调度。
弱化以强化：面向大型推理模型的弱化诱导在线策略自蒸馏
🧭 LLM 推理模型自蒸馏训练
Massachusetts Institute of Technology · NVIDIA
通过量化/剪枝构造弱化模型，利用强弱对比信号进行在线策略自蒸馏，无需外部教师
📌 工作参考价值（4 点）
- 在没有更强教师或外部标注时，可对内部 LLM（商品推荐文案、Agent 规划、搜索 query 改写）做“弱化自蒸馏”：将线上模型做低比特量化或幅度剪枝得到弱版，用同批 on-policy 轨迹的强弱概率差/输出对比做 token 级信号，无需人工标注或大模型 API。
- 剪枝版弱模型比量化版提升更明显（+5.5 vs +4.0），在算力有限时优先 magnitude pruning 作为弱化教师；但剪枝需调稀疏度，注意训练稳定性。
- 该方法可嵌入现有 post-training pipeline：用业务真实 unlabeled prompts 跑 on-policy rollout，收集模型自身错误中间步骤，再与弱化模型对比，重点修复推理链偏离，适合 Agent 工具调用/多步推荐逻辑的 RL 后训练。
- 需要验证弱化模型不能太弱，否则对比信号噪声大；建议按任务难度与模型规模调整量化位数/剪枝比例，先小规模消融。
演化自教师的在策略自蒸馏
🧭 LLM 训练 · 自蒸馏教师进化
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出 Teacher-Evolution Self-Distillation，通过环境奖励优化自教师并自适应加权学生蒸馏，缓解 OPSD 训练停滞
📌 工作参考价值（4 点）
- 在生成式推荐/Agent 的 RLVR 训练中，可将固定 self-teacher 的蒸馏改为带环境反馈的教师进化：teacher 先 rollout，用任务正确性和上下文独立性构造 reward，再对 teacher 做优化，避免指导质量停滞。
- 利用 teacher reward 估计指导可靠性，作为样本级权重：在 student 蒸馏损失中降低不可靠样本的权重，防止错误 token 分布被放大，适合落地到电商文案生成、query 改写等 token 级 RL 训练。
- 把“是否命中上下文无关的正确答案/动作”作为附加奖励信号，与序列级奖励结合，可缓解稀疏奖励与训练波动；尤其在在线学习或持续 post-training 的 LLM 推荐/对话策略中值得尝试。
- 若内部已有 on-policy 蒸馏或 LLM 推理训练流程，可引入 teacher-student 联合更新，但需注意用 adaptive weighting 防止模型因可靠性估计偏差而 collapse。
自强化集体动力学：无监督RLVR中跨任务耦合如何驱动策略崩塌
🧭 RLVR自强化训练崩塌机制
Columbia University
揭示无监督RLVR多数投票自奖励的集体不稳定性，解释训练任务数增加导致模型答案趋同崩塌
📌 工作参考价值（3 点）
- 在电商/推荐场景用自一致性投票或 LLM 自评做无监督 RLVR 时，跨任务共享参数会导致策略崩塌到统一输出；应按 task 或 category 拆分 head/梯度，或显式移除共享方向，避免模型对所有 query 给出相同改写/推荐。
- 任务数越多越容易崩塌。多品类、多目标 RLVR 训练时监控自评 reward 与真实 accuracy 的背离，设置验证集早停；任务规模大时可加大 per-task sharpening 的隔离（如 LoRA per task）降低共享耦合 λ。
- 初始模型置信度低时崩塌风险高。业务冷启动做 RLVR 前先让 LLM 在监督数据上收敛到较自信策略，或用 KL/熵正则项（marginal-entropy bonus）稳定 uniform collective mode，防止退化。
GPDPO：基于组 Pareto 支配策略优化的多奖励冲突学习
🧭 多奖励 RL 冲突过滤与 Pareto 偏好恢复 ★ 深度解读
Sun Yat-sen University · University of Trento
从被冲突过滤的 rollout 中利用 Pareto 支配恢复成对偏好监督，零额外采样提升多奖励 LLM 对齐
📌 工作参考价值（4 点）
- 多目标 RL 场景（相关性/转化/格式/延迟等）若采用 GD2PO 式冲突过滤，不要直接丢弃被过滤 rollout；用 Pareto 支配在 filtered 与组内其他响应间构造偏好对，加入辅助 loss。只复用已有 reward 与 log-prob，无需额外采样。
- 冲突 gate 对 group 大小和组成敏感：论文中组大小 4→64 有 16%–27% 标签翻转；在线采样 batch 不稳定时，优先考虑 pairwise 比较或增大组内响应数来降低优势标签噪声。
- 使用标准 Pareto 而非 strict domination，允许单维 reward tie，能多产生约 88% 的比较边；对二值/离散 reward（如格式合规、广告合规）尤其关键，可缓解辅助信号稀疏。
- 辅助偏好 loss 中对 retained 端点做 stop gradient，只让 filtered 侧更新；若两端都 filtered 再同时更新，避免干扰已稳定样本，这是稳定多奖励 RL 的重要工程 trick。
DTCA：扩散语言模型强化学习的去噪 Token 信用分配
🧭 扩散语言模型 RL 训练 · 信用分配
Zhejiang University · National University of Singapore · SAP
提出 DTCA，按去噪 token 置信度增益估计贡献并分组，用于扩散语言模型 RL 的 token 级信用分配。
📌 工作参考价值（4 点）
- 面向文案/query 生成的 RL 训练：若用 RL 优化广告文案、搜索词或商品标题生成，稀疏 outcome reward 会导致 credit assignment 困难。可借鉴 DTCA 的 token 贡献估计，用生成过程中 token 置信度增益作为细粒度奖励塑形，加速收敛。
- 按语言单元分组校准信号：DTCA 按 POS 分组贡献。在电商场景中，可对商品标题/query 中的品牌词、类目词、属性词分别设定权重，让 RL 更关注关键信息 token，减少语义噪声干扰。
- 熵变化校准避免过优化：策略更新引起的 token 熵变化被用于校准学习信号。实际 RL 训练生成模型时，可监控 token 级熵，抑制高熵 token 的过大梯度，提升训练稳定性。
- 筛选 informative 去噪 timesteps：DTCA 选择关键去噪步骤参与 RL 训练。若业务中采用扩散或非自回归生成模型，可减少无效训练步，节省算力并提升信号质量。
结果奖励 RL 买到了什么：完成、可靠，很少是全新可达
🧭 Outcome RL 训练效果分解与归因
Individual Researcher
将 outcome RL 的 pass@1 提升分解为完成、可靠与可达，发现主要改善完成和稳定性，很少带来新能力
📌 工作参考价值（4 点）
- 在 LLM Agent / 搜索改写 / 生成式推荐等有 token 预算或延迟上限的场景，评估应区分 finishing（限时内是否答完）与 reliability（答完后是否做对），否则容易把超时当成不会做，误判模型能力。
- 如果线上 LLM 生成 query、文案或推理链路经常因超时截断，优先增加 token 预算或压缩推理长度，比盲目上 outcome RL 更直接；本研究显示基础模型在更多 token 下能自我缩小大部分 finishing gap。
- Outcome RL 的收益主要是稳定性/一致性，而不是解决全新问题；在推荐/广告的 LLM pipeline 中，更适合用它来做排序一致性、生成候选再打分等稳定性优化，而不是期待它探索完全未见过的新 item 或新 query。
- 线上监控可同时跟踪 finishing rate、reliability 和 reach 三类指标，先定位瓶颈；例如如果 finishing 已经很高，但 reliability 低，再考虑 RL 或样本重排等策略。
ThinkBit：搜索码字、重校准尺度、按推理选择
🧭 LLM量化 · 标量2-bit推理保持 ★ 深度解读
Microsoft Applied Sciences Group
标量2-bit量化框架，通过敏感度分配位宽、码字搜索、仅训尺度和按推理选择，在MATH-500上大幅超过同尺寸2-bit方法
📌 工作参考价值（5 点）
- 线上长思维链模型压缩：如果要在电商/Agent场景部署推理模型，可用标量2-bit格式（整数codeword × bf16 scale，组大小128），无codebook/rotation/zero-point，dequant只需一次乘法，工程实现简单，能显著降低权重内存带宽；论文中14B模型decode从86提高到150 tokens/s。
- 按层敏感度混合精度：不必全模型统一2-bit，先用KronQ敏感度（输入范数×输出梯度范数）给每层分配ternary/2-bit/3-bit，可将搜索/推荐/Agent模型的量化损失最小化；论文表明2-bit点在成本-噪声平面上不占优，多数层会分配到ternary或3-bit。
- 低成本恢复与校准：冻结codeword，只训练scales和RMSNorm gains（<1%参数）就能把WikiText ppl从46.9降到19.46、MATH-500从14.8拉到47.5；这适合对线上新领域数据做快速低资源校准，无需全量QAT。
- 用业务长链路指标选checkpoint：困惑度和多选题无法区分量化配置（差异<1.5点），但长程任务如MATH-500差异超10点；应构造业务推理样本（如商品推荐解释、Agent工具调用轨迹最终成功率）做配对sign-flip test来选择checkpoint，避免误选。
- QAT数据要加完整推理轨迹：仅通用数据QAT会损害推理（MATH-500从47.5降到43.0），加入完整长思维链数据后同尺寸模型MATH-500从46.7跃升至73.0；业务上收集高质量Agent轨迹数据做量化后训练是划算的。
提示有多重要？金融推理事后自蒸馏的边界条件
🧭 事后自蒸馏 · 多步推理
University of California, Berkeley · CTGT
提出 Fin-SD，以学生自定位错误并生成提示、截断错误前缀进行事后自蒸馏，无需外部教师即可提升多步推理
📌 工作参考价值（4 点）
- 在电商/Agent 中需要多步推理（优惠计算、库存规则、合规审核）但只能本地部署小模型时，可借鉴 Fin-SD：让学生自己生成提示、在正确前缀上条件蒸馏，无需外部教师或完整答案，适配数据驻留与隐私约束。
- 关键 trick：提示内容不重要，监督位置才重要；可用通用/模板化反馈替代精写 critique，显著降低标注与生成成本，只需定位首个错误步骤即可施加有效监督。
- 同家族更大模型生成提示没有额外收益，说明业务中不必调用 6 倍参数模型做教师或标注，小模型自蒸馏即可省算力。
- 蒸馏后生成 token 少 9.5%，有利于降低 Agent 推理延迟和线上成本；通用推理/合规指标无退化，适合作为垂直推理增强的轻量后训练工序。
面向多轮智能体强化学习的进度感知优势塑形框架 ProAS
🧭 多轮 Agent RL 信用分配 · 优势塑形 ★ 深度解读
Zhejiang University · Westlake University · Westlake Institute for Advanced Study · Huawei Noah's Ark Lab
用动态任务参考图对轨迹级优势做非对称掩码和惩罚重分配，解决 critic-free 智能体 RL 的均匀信用分配问题
📌 工作参考价值（4 点）
- 在基于 GRPO/DAPO 的智能体 RL 中，避免把轨迹级 advantage 均匀广播；可构造任务进度参考图（如电商购物流程：搜索→商品页→选规格→结算）给动作打 reasonable/progress-advancing 标签，在优势侧做掩码和重加权。
- 建议优先使用优势塑形而非奖励塑形：论文消融显示直接加 progress-aware reward 比 advantage shaping 低 14.1 个成功率点，简单 mask 合理动作或按 suffix 长度加权也不如 Future-Drift 归一化重分配。
- 工程上可以用历史成功会话自动构建/更新参考图，无需完美人工标注；即使剪枝 40% 或由教师模型蒸馏，只要保留在线演化，仍能带来显著提升，适合快速落地。
- 对负优势轨迹，按动作引起的下游停滞程度（Future-Drift）对惩罚做比例再分配，优先惩罚早期偏航动作，比均匀惩罚更公平，能加速收敛（最高 2.44×）。
Accordion：通过固定前缀层循环实现弹性深度推理
🧭 LLM 弹性深度推理 · 固定前缀层循环 ★ 深度解读
Tsinghua University · Baidu Inc.
一个 MoE 模型通过固定前缀层循环支持五个推理预算，中间预算以约 21-24% 额外时间捕获 89% 深度增益
📌 工作参考价值（4 点）
- 需要线上不同 latency/cost 档位时，可训练一个模型支持多个推理预算，通过固定前缀层循环共享权重，避免维护多个模型；推理时按请求选择预算，FLOPs 和 KV cache 线性扩展。
- 训练时每个 micro-batch 均匀采样一个预算路径，只优化该路径 NTP，无需跨预算一致性损失；第二遍用 zero-initialized tanh gates，初始为恒等映射，训练稳定。预算无关参数优于 budget-conditioned 参数。
- 多领域能力整合可采用参数组加权合并专家，再做 budget-matched 多教师在线蒸馏（MOPD），能保留各预算增益并提升整体指令遵循，适合搜索推荐中的 Agent 多任务模型合并。
- 资源敏感场景优先选中间预算（如 k=6）：以约 21-24% 额外 TPOT 捕获约 89% 深度增益，推荐系统在线服务可按此设计弹性档位。
吃透精度：精度目标缓解基于量规强化学习中的奖励黑客
🧭 LLM 强化学习奖励设计 · 精度目标
KAIST AI · Carnegie Mellon University Language Technologies Institute
提出 FORK 奖励，在量规覆盖（召回）外加入精度目标，抑制冗长与事实错误，大幅提升胜率
📌 工作参考价值（4 点）
- 在用 rubric/checklist 作为 LLM 生成任务（商品文案、推荐解释、搜索结果摘要、Push 文案）的 RL 奖励时，只优化 rubric 覆盖会诱导模型输出冗长且夹带虚构信息；可参考 FORK 同时优化 recall 与 precision，对每个输出片段做必要性打分，减少无效内容。
- 对于电商问答、导购 Agent 的 LLM 回复，若奖励只基于是否覆盖用户需求点，模型可能过度回答、幻觉具体参数；引入 factual-correctness grader 作为精度项，能直接抑制事实错误。
- 工程实现上，可把 rubric 覆盖作为 recall 信号，把“每个 rubric 项是否必要”与“事实核验”组合成 precision 信号；在生成式推荐解释场景中，该设计可显著提升 win rate 并降低平均回复长度。
- 该方法的奖励公式与思想可迁移到任何需要 rubric 约束的开端生成任务，但具体 factual grader 需根据业务数据微调或规则化。
基于 On-Policy 自训练的数据无关大语言模型自我改进
🧭 LLM 自训练 · 数据自由自我改进
Google · Ulm University
用高层主题描述合成问答与推理轨迹，在无外部监督下完成 on-policy 自蒸馏并跨领域提升模型能力
📌 工作参考价值（4 点）
- 在搜索/推荐场景中，仅凭类目或主题描述即可为模型合成针对性训练数据，显著降低人工标注 query-答案对的成本，可用于意图识别、query 改写、推荐理由生成等任务的领域适应。
- 将 on-policy 自蒸馏用于对话式推荐 Agent：让模型自己生成用户 query 和响应轨迹，再用自身生成的高置信度推理作为 dense token 目标，减少 offline SFT 的 exposure bias，改善在线交互表现。
- 合成 privileged reasoning traces（如逐步决策过程）并对模型进行蒸馏，可迁移到电商多步推理场景，例如购物决策路径生成、广告创意推理、客服多轮对话策略优化。
- 该框架不依赖外部教师模型，适合在业务数据敏感、无法调用 GPT-4 等外部 API 的私有化部署环境中做持续自我改进，且能保留非训练领域能力，降低灾难性遗忘风险。
可解释稀疏微调 TopKLoRA 实现忠实电路发现
🧭 稀疏 LoRA 微调与电路可解释性
University of Oxford · University of Cambridge · Neuralk-AI
提出 TopKLoRA 稀疏 LoRA 变体，仅激活 k 个最大 latents，用于定位并精准移除后门电路
📌 工作参考价值（4 点）
- 在业务 LLM 微调中引入 TopKLoRA 稀疏激活，可大幅减少 adapter 参数量和推理开销，同时保留性能，适合部署多个轻量适配器进行 A/B 测试或个性化微调。
- 利用 TopKLoRA 的稀疏电路发现能力，对电商/广告场景中涉及内容生成、推荐解释的模型进行行为审计：定位哪些 latent 维度对应特定输出（如生成违规文案、偏见推荐），实现精准裁剪而不影响整体指令遵循。
- 当模型可能在开放数据或用户反馈上微调时，可借鉴该方法构建“模型 organism”并搜索后门电路，建立安全检测流程，防止恶意数据投毒导致推荐或对话策略被操纵。
- 对于 Agent 与 LLM 结合的多模块系统，可将 TopKLoRA 用于各子模型的适配器部分，通过梯度路由构造局部化电路，便于诊断单点故障或恶意行为在链路中的传播。
舍入位置对齐稳定 LLM 强化学习
🧭 LLM RL 数值稳定性
ByteDance Seed · Peking University
对齐训练与推理的 RoPE/SwiGLU/RMSNorm 舍入位置可避免 BF16 RL 崩溃
📌 工作参考价值（4 点）
- 用 vLLM rollout + HF 重算 log-prob 的 RL 流程，优先检查/对齐 RoPE 路径的舍入位置；本论文中单独对齐 RoPE 即可防崩溃，成本最低、不动推理引擎和 attention kernel。
- BF16 RL 训练时，可把 RoPE/SwiGLU/RMSNorm 的中间激活保留 FP32 到输出再截断为 BF16；这是训练侧局部代码改动，避免了全局 FP32 带来的吞吐损失。
- 出现 LLM RL 不稳定的广告/推荐文案生成或对话 Agent 策略时，先别改算法或调 reward，先监控 rollout 与 training recompute 的 log-prob 差异；差异可能来自 rounding location 而非数据或算法。
- 该结论可迁移到基于 Qwen 等开源模型的搜索推荐 Agent 后训练：维持 BF16 matmul/kernel 性能，同时用局部舍入对齐降低 off-policy 偏差。
Trajectory2Gym：面向工具使用智能体的决策锚定组合交互合成
🧭 工具使用 Agent 轨迹合成与 SFT ★ 深度解读
Westlake University · Ant International
通过构造组合交互并仅监督有可见历史依据的决策，大幅提升多轮工具使用智能体的 SFT 效果
📌 工作参考价值（4 点）
- 决策级监督掩码：训练工具使用智能体时，不要只按最终成功或 API 执行成功过滤轨迹。对每个 assistant 动作检查：参数是否来自决策时可见的上下文（如工具返回结果、用户确认），工具是否可见，以及是否满足工作流顺序。失败的调用保留为上下文但不参与模仿损失，避免模型学会利用 collector 私有信息或错误捷径。
- 定向合成欠支持依赖路径：先统计现有轨迹池中组合结构的支持度（如“查询→错误→澄清→重试→确认→取消→更新”），再针对低于支持阈值的路径生成任务和初始状态。不要随机采样候选，否则稀有结构被漏掉的概率很高；可按模型尺度设定每个 canonical path 的目标深度，小模型少重复，大模型多重复。
- 父级归一化 SFT：一条多轮交互可能被渲染成多行训练样例，若按行平均会让长交互主导损失。以语义交互为单位赋予相等权重，再在内部按目标 token 数分配，可防止长轨迹过拟合，提升多轮和状态依赖任务的稳定性（消融中单独贡献 8.04 点）。
- 成功只做 gate，不做 license：在电商客服、订单处理等 Agent 场景，即使 API 执行成功，也可能包含错误目标或违反用户最新意图（如替换了已取消的商品）。将“成功”作为进入训练池的门槛，但不作为每个动作的监督许可；结合工作流顺序和用户确认来判定目标动作。
测试时记忆演化能否在科学发现中超越测试时训练？
🧭 测试时记忆演化替代权重更新
UC Santa Barbara · UC Berkeley
提出TTME：不更新权重，通过外部记忆持续沉淀经验指导后续发现，性能优于TTT且算力降八成以上
📌 工作参考价值（4 点）
- 在电商/广告的 Agentic 搜索、选品/文案迭代场景，可用“外部经验记忆”替代线上微调：把每次 query/候选/收益反馈写入可检索 memory，后续推理时检索相似案例，避免在线权重更新和灾难性遗忘。
- 具体实现可借鉴 TTME：把成功/失败经验蒸馏成结构化条目（如状态→动作→奖励），用 memory read/write 控制探索；适合低延迟、高吞吐的推荐对话 Agent。
- 计算成本收益可指导工程：类似 Qwen3-8B 规模下，外部记忆方法比在线训练省 80%+ FLOPs、约一半 runtime，适合边缘/实时决策。
- 需注意论文在数学发现任务上验证，迁移到业务前应先在自有任务上对比 TTT、无适应和 memory 方案的收益/复杂度。
低比特 N-Gram 嵌入用于语言模型
🧭 n-gram 嵌入低比特量化与内存优化
DualverseAI
低精度存储 n-gram 嵌入表，4-bit 可节省约 75% 表内存且几乎不损失性能
📌 工作参考价值（3 点）
- 若推荐/搜索模型中使用 n-gram 特征嵌入表（如用户行为序列中的连续 token 片段），可尝试 4-bit 量化存储，通常能节省约 75% 内存且性能损失极小，是性价比很高的工程优化。
- 量化后若精度下降，可加入短时微调恢复大部分性能；若内存预算不变，可将节省的内存用于扩大嵌入表容量，反而可能超过原全精度表效果。
- 对于线上已有大模型（如 DeepSeek、Qwen 系列），其 n-gram 模块可直接做低比特量化，实测困惑度增加 <1.2%，下游任务基本不降，适合对内存敏感的场景。
何时跟随教师：基于优势的在线策略蒸馏
🧭 LLM 在线蒸馏 · 优势加权
University of Pennsylvania · University of Southern California
AOPD 用学生优势加权教师动作，仅靠标准 rollout 和终局奖励即可无偏估计，提升在线蒸馏效率与效果
📌 工作参考价值（4 点）
- 在生成式推荐/搜索场景做 teacher-student 蒸馏时，不要在所有状态都强行跟随教师；可以用 advantage-weighted 监督，只强化对当前 student 有益的教师动作，减少有害模仿。
- 工程实现上，AOPD 只需要保存 student rollout 的 logprob 和 terminal reward，再用 teacher/student 概率比做 importance weighting 即可，无需额外 rollout 或 reward model，轻量且易接入现有 on-policy 训练流程。
- 若业务中已有用户点击/转化/成交等终局奖励，可把蒸馏目标从 token-level SFT 换成 AOPD 形式，使教师监督与业务回报对齐，尤其适用于 query 推荐、push 文案、商品描述生成等 LLM 应用。
- 自蒸馏设置下也能用同一套优势加权逻辑，从历史高质量策略或大模型生成样本中蒸馏，同时避免拖累当前学生已擅长的状态。
HERD：面向持续学习的 Harness 演进递归蒸馏
🧭 持续学习混合框架 · 递归蒸馏
Monash University · University of the Sunshine Coast
提出混合持续学习框架 HERD，用 harness 技能库与有界残差记忆结合双锚漂移约束蒸馏，实现新任务获取与低遗忘。
📌 工作参考价值（4 点）
- 在电商/Agent 持续迭代中，可借鉴「skill/harness + 有界高残差样本库」做快速适配：新任务/新类目先用上下文技能处理，只把模型反复出错的高价值样本沉淀为记忆，避免全量重训。
- 蒸馏策略：定期把 harness 记忆蒸馏回基座模型时，采用双锚点（初始 checkpoint + 上一版蒸馏模型）做漂移约束，能缓解长时间递归更新中的遗忘，适合需要频繁发版/增量训练的推荐模型或 Agent policy。
- 资源固定：HERD 在固定 memory 与 compute 预算下运行，给生产环境提供了一个可落地的约束范式：不无限增长上下文/记忆，通过递归蒸馏滚动内化经验，保持线上成本稳定。
- 注意：论文面向通用 LLM 持续学习，不是推荐系统专用；但其中「技能库 + 残差记忆 + 双锚蒸馏」的架构可迁移到多域推荐、搜索 query 策略或客服 Agent 的持续优化。
softmax 与交叉熵的数值修复：消除梯度塌缩与抵消
🧭 数值稳定训练 · softmax/CE 修复 ★ 深度解读
Google DeepMind
修复 softmax/cross-entropy 的两个数值 bug，消除 Slingshot 尖刺与蒸馏漂移
📌 工作参考价值（4 点）
- 在大规模多分类/生成式推荐训练（含 bf16）中，若出现 loss 精确为 0、梯度不对称或 Slingshot 尖刺，优先检查 logit margin 是否超过精度悬崖：bf16 约 5.5，fp32 约 16.6。可直接替换 CE 为论文的稳定实现：loss=softplus(-margin)，margin=-logsumexp(非目标 logits - 目标 logit)，保证 target logit 梯度不归零且梯度严格零和。
- 做知识蒸馏（如 LLM 教师蒸馏排序模型、语义 ID 蒸馏、ctr 蒸馏）时，学生接近教师时标准 soft-target CE 会因 q-p 相减产生非零噪声梯度，导致学生漂移；应改用 log-space 直接计算 q-p 的实现（expm1/log1p），保证 zS=zT 时梯度为 0，bf16 下尤其重要。
- AdamW/Adam 训练时 logit margin 最终会稳定在 log(1/ε)，若 ε=1e-8 则 margin≈18.4，略高于 fp32 悬崖；可通过调整 ε 避开精度悬崖或使用稳定 CE，避免高置信度下的隐性优化问题。
- 该修复为 drop-in 替换、无额外计算开销，建议直接用于训练框架的 CE 实现，防止高置信度场景的数值退化。
SQuAT：球面格型向量量化感知训练
🧭 LLM量化训练 · 球面格型VQ ★ 深度解读
University of Copenhagen · Qualcomm AI Research
提出分离STE的shape-gain向量量化训练，诱导球面优化，实现LLM低比特压缩SOTA
📌 工作参考价值（4 点）
- 在推荐/广告模型的 embedding 表或大权重矩阵压缩中，可借鉴 shape-gain 分解：将权重块拆为方向向量和标量增益，方向用球面码本量化，增益用少量比特（如 chi 分位标量量化），能在低比特下保留更多角度信息。
- 分离 STE 设计：在量化训练时对 shape 和 gain 分别使用 STE，而非对整个量化器用联合 STE，可诱导切空间更新，改善低比特收敛，该技巧可迁移至其他 VQ 或低秩训练场景。
- 若需对大规模模型做 VQ-QAT，采用分块分配、索引缓存、Triton 融合最近邻搜索，可将训练速度提升一个数量级（12.8×），适合电商场景下亿级参数的在线部署。
- E8S 球面码本支持分数比特率（如 1.75 bpw），有助于在存储与精度之间找到更细粒度的 Pareto 最优，对资源受限的端侧推荐模型尤其有用。
同运不同择：面向智能体强化学习的孪生世界信用分配
🧭 Agent RL 训练 · 反事实信用分配 ★ 深度解读
University of Sheffield · Carnegie Mellon University · University of Michigan
共享 Gumbel 噪声的孪生世界实现 turn 级反事实信用分配，方差降为 1−ρ 倍，7 个 QA 基准平均提升 5.3/4.5 点 EM
📌 工作参考价值（4 点）
- 在 LLM Agent 或多轮交互推荐中，固定检索/工具/打分等确定性组件，引入 keyed Gumbel noise 做 counterfactual rollout，评估某个 query 改写、工具调用或推荐 action 的增量收益；twin 共享下游噪声可把方差降为 (1−ρ) 倍，以更少样本判定方向。
- 预算分配采用「predicted discordance / cost」平方根规则：对分歧大且便宜的决策多分 twin，对必成功/必失败的 prompt/trajectory 少分；实际可用 logistic 模型预测分歧概率，配合 Horvitz-Thompson 加权保持无偏。
- 信用回传可组合：token-level advantage = trajectory-level GRPO advantage + 标准化 twin credit（A_t = A_traj + ω Â_t/σ̂），简单有效；在电商搜索 Agent 中可将最终成交/点击奖励回传给关键 query、是否继续搜索、最终回答等 action，减少好决策被失败 episode 误罚。
- 工程上 keyed noise 作为 logits processor 开销约 2%；self-twin 和 same-evidence shortcut 能省大量 auxiliary tokens；注意 live web/stateful API 需缓存或替换为确定性版本，否则耦合减弱但无偏性仍保留。
从噪声、多样来源中学习高价值训练数据权重
🧭 训练数据加权 · 元梯度学习
Hiddenweights · Arena · UCLA · Stanford · CMU
用目标域小数据集元梯度优化训练样本权重，学得可泛化、可迁移的加权规则，提升奖励模型对噪声与合成数据的利用效率
📌 工作参考价值（4 点）
- 在电商/广告的 LLM 奖励模型或偏好对齐中，维护一个高质量目标域评测集（如人工标注的偏好对、业务 KPI 相关的判分），用元梯度自动学习每个训练样本的权重，替代手工噪声过滤规则，尤其适合点击日志、用户评论等噪声多样的数据。
- 参数化加权规则可以部署为流式数据选择器：对新到达的样本实时预测权重，做过滤或重采样，适合推荐系统的大规模 UGC、曝光点击日志等持续数据流，降低存储与训练成本。
- 合成数据与人工数据混合时不再依赖固定比例，而是学习每个样本的权重，让混合数据超过任一单独来源；可复用到生成式推荐的物品描述、query 改写、广告文案生成的合成数据利用场景。
- 先在小模型上学习数据权重规则，再迁移到更大模型，能显著降低大规模训练的数据清洗与调参成本，是一种工程上可行的 Data-Centric AI 方案。
EPIC：基于精确 KL 前缀重要性比率裁剪的 LLM 策略优化
🧭 LLM 强化学习 · 前缀级信任域裁剪 ★ 深度解读
Tsinghua AIR · ByteDance Seed · Tsinghua University
提出前缀累积似然比作为精确重要性权重，用 r-1-log r 坐标构建校准裁剪目标，稳定离线 MoE RL 训练
📌 工作参考价值（4 点）
- 电商/Agent 场景若用 RL 微调 LLM 生成商品文案、对话策略或搜索词，常面临异步 rollout 与离线策略偏移，可借鉴前缀级重要性比率裁剪：它比 token 级 GRPO 更能感知前缀累积漂移，又比序列级 GSPO 保留早期位置信号。
- 在 MoE 架构的 LLM 训练中，EPIC 无需存储专家路由索引即可稳定训练，大幅降低 driver 进程内存（对比 R2/R3 降 77.5%/93.0%），适合资源受限的大规模部署。
- 实现上只需对现有 PPO/GRPO 损失做轻量改造：累计 log ratio 得到前缀比率，按校准边界裁剪，无额外模型或 replay，可直接嵌入 verl 等框架。
- 信任域边界采用精确 reverse-KL 坐标和几何均值行为概率校准，比固定 clip 范围更适应长尾响应，对长序列生成任务（如多轮 Agent 交互、长文案生成）的 RL 调优有参考价值。
通过 Dreaming Learning 缓解生成模型模型崩溃
🧭 生成模型训练 · 模型崩溃缓解
Sapienza University of Rome · Sony CSL Rome, CREF · University of Copenhagen · Complexity Science Hub Vienna
用高温自采样样本作正则，阻止合成数据训练中的谱隙变窄与多样性塌缩
📌 工作参考价值（4 点）
- 在电商/广告场景用 LLM 批量合成 Query、商品标题或推荐理由时，若后续模型继续在这些合成数据上训练，容易出现多样性下降。可以借鉴 Dreaming Learning：训练时额外对一个高温度 Td>1 下模型自身采样结果加正则 loss，低成本抑制分布塌缩。
- 数据积累不一定能阻止模型崩溃，尤其采样温度 Ts<1 时。如果合成数据链路里为了可控性使用了低温度采样，要主动引入高温度样本或正则，而不是只增加数据量。
- 该工作用 transition operator 的次主导特征值和谱隙监控多样性，适合做离线监控指标：在训练生成式推荐/Query 模型时，可以周期性观察谱隙是否收窄，提前发现模型多样性退化。
- 方法实现简单，只增加一个 loss 项，不改变模型结构，容易嵌入现有 LLM/SLM 训练流程；对 124M GPT-2 级别模型也验证有效，中小规模业务模型可参考。
TraceForge：按学生模型家族风格生成推理轨迹的蒸馏方法
🧭 LLM 蒸馏 · 推理轨迹合成
Independent Researcher
提出 TraceForge，在仅有教师答案时合成学生家族原生推理轨迹用于蒸馏，代码任务提升显著
📌 工作参考价值（4 点）
- 黑盒教师 API 只给答案时，不要放弃 CoT 蒸馏：可训练一个本地生成器，用 (context, answer) 自动补写学生模型家族风格的推理轨迹，再用于 SFT 小模型；尤其适合电商 Agent 的工具调用轨迹、商品推荐理由、query 改写推理等场景。
- 训练生成器时先用自有模型家族真实 CoT 做 SFT，再引入 critic/reward model 做对抗训练或 best-of-N 筛选；工程上相当于给合成轨迹增加真实性过滤，能显著提升下游效果，成本可控。
- 保持 teacher answer 不变、只优化中间 reasoning trace 的思路值得复用：业务中可固定黑盒模型输出的最终标注/答案，把优化重点放在解释路径、中间步骤或工具调用序列，减少跨模型风格错配带来的性能损失。
- 评估时把 authenticity 与 correctness 分开：需要独立 judge 打分真实性，并同时看最终任务指标；避免只追求 CoT 看起来真实但实际无益。
Ask-to-Distill：学习为策略蒸馏合成数据
🧭 LLM蒸馏 · 合成数据优化
University of Illinois Urbana-Champaign · The Hong Kong University of Science and Technology · Texas A&M University
用教师-学生分布分歧作为无答案信号，训练合成器生成能暴露教师监督的问题，提升on-policy蒸馏效率。
📌 工作参考价值（4 点）
- 无标注数据价值评估：在电商搜索/推荐中，当用LLM生成训练样本（如query改写、商品描述、用户意图）时，可借鉴教师-学生分歧+兼容性作为样本价值代理，无需人工标注或正确答案即可筛选高价值样本。
- 低成本的迭代数据合成：冻结学生-教师对计算奖励，避免每个候选样本都更新学生模型，大幅降低合成数据筛选的计算开销，适合业务中大规模生成候选后过滤。
- 分布诱导器思路：将生成器训练为“引出教师知识”的提问者，可迁移到Agent场景——让模型学会生成能暴露教师策略优势的任务，用于自我提升或策略蒸馏。
- 长度与多样性控制：在合成训练数据时加入长度惩罚和多样性奖励，可防止模型退化到短平快样本，保证覆盖长尾场景，对推荐系统的长尾物品描述生成有参考价值。
截断与否？循环Transformer截断BPTT的缩放研究
🧭 循环Transformer训练与缩放律
MMLab, The University of Hong Kong · Yale University
拟合统一缩放律发现完整BPTT优于截断，两圈循环用27%少参数和8%多计算达到更低验证损失
📌 工作参考价值（3 点）
- 若在推荐/广告模型中采用共享层块的循环结构以减少参数量，不要为了省显存而截断BPTT；在同等总计算预算下，完整BPTT通过更少前向循环反而效果更好，可优先降低循环次数而非截断反向传播。
- 缩放律表明截断会“折扣”有效参数，因此在估算模型容量或做资源规划时，应把截断后的有效参数而非原始参数纳入考虑，尤其对于参数量敏感的端侧或在线学习场景。
- 当业务强约束参数量（如模型部署在边缘设备），可考虑训练两圈完整BPTT的循环Transformer，比计算最优非循环模型少约27%非embedding参数，且仅需多约8%训练计算，适合参数受限但训练算力相对宽裕的情况。
判定理由：面向生成式奖励模型的决策证书监督
🧭 生成式奖励模型训练与理由质量监督
University of Connecticut · NEC Labs America
提出 DeCert 框架，用决策证书评估 rationale 有效性与一致性，构造偏好对训练生成式奖励模型
📌 工作参考价值（4 点）
- 在电商/广告中若用 LLM 生成推荐理由或广告解释，不要仅用最终点击/转化标签微调，可采样多个解释，用自动设计的 certificate（validity + verdict consistency）打分，构造偏好对进行 DPO 训练，让模型区分解释质量。
- 无需人工标注 rationale 参考，节省成本；可对线上 LLM-as-a-judge 的评估结果自动构造 rationale 偏好数据，提升判断一致性。
- DeCert 显著缓解 position bias，可将训练后的 judge 用于搜索结果、推荐列表的 pairwise 评估，减少位置对判断的干扰，提升评估可信度。
- 对于生成式推荐（如直接生成商品描述/推荐理由），可将 verdict 正确性与 justification 质量解耦监督，避免“蒙对结论但给错理由”，提高用户信任和转化。
PAR：面向状态跟踪长度泛化的进度对齐循环方法
🧭 循环语言模型长度外推训练
Ant International · National University of Singapore
训练迭代 k 预测前 k 步状态并锚定范数，使 0.5B 模型在状态跟踪上将外推因子提升至 16 倍
📌 工作参考价值（3 点）
- 在 Agent 多步任务或长会话状态跟踪中，可引入进度对齐中间监督：让模型在每一步/迭代预测已执行操作后的状态，而非只给最终答案，能显著提升长序列上的准确率。可结合 prefix self-distillation 用仅有最终结果的数据构造中间标签。
- 对循环状态（如 RNN 隐状态、KV cache 或累加器）做范数归一化：将每次更新后的状态缩放到与首次迭代相同的范数尺度，防止数值漂移，这是长度外推的关键 trick，可在长上下文或多轮对话状态缓存中尝试。
- 学习一个 completion readout 或 early exit 模块，让模型自行判断何时输出答案，避免固定深度或人工设定停止条件，适合在线推荐/对话中动态控制计算量。
桥接自蒸馏用于在线策略学习
🧭 蒸馏训练 · On-Policy 推理蒸馏
Technical University of Munich · LMU Munich · Munich Center for Machine Learning (MCML)
提出 Bridged Self-Distillation 统一框架，用教师推理轨迹作特权上下文，通过自教师与 verifier 实现在线策略蒸馏，适用于任意教师场景
📌 工作参考价值（3 点）
- 蒸馏大模型用于业务中的 query 生成、推荐解释、Agent 规划时，若教师是开 API 或分词器不同，可直接采用 BSD：教师只输出推理文本作为上下文，学生自我蒸馏，省去 logits 对齐和词汇映射。
- 用业务 verifier（点击率、转化率、规则满足等）作为结果信号，结合在线策略样本只对失败 rollout 施加 token 级修正，可训练出更贴合业务目标的小模型。
- 特权上下文技巧可迁移：训练时给模型额外的推理线索或高质量解释，推理时不暴露，类似推荐中训练时使用详细的用户行为解释，部署时只用原始特征，可有效提升小模型能力。
训练整个 Agent：策略与 Harness 联合进化
🧭 Agent 训练 · RL 联合优化工具/hooks
Zhejiang University · LIGHTSPEED · Independent Researcher
HarnessAdapt-RL 在强化学习中同时训练策略模型与工具/hooks，显著提升 coding agent 的 pass@1
📌 工作参考价值（4 点）
- 搜索/推荐 Agent 训练不应只更新 LLM 参数，可将工具描述、hooks、检索接口等视为可学习组件，在 RL 中与策略共同迭代；尤其适合电商 Agent 中 API 调用、query 改写、商品召回等工具链的联合优化。
- 借鉴其变更接受条件：每个工具/hook 变更只有在离线评估中提升 pass rate 或可训练率且不降低另一方才保留。业务上可对应“商详页点击率/转化率提升，同时训练样本有效率不下降”的门控机制。
- 任务特定的机制级技能可由 frozen teacher 生成，训练时注入引导，上线前移除，降低部署复杂度，同时保留策略泛化增益；适合将专家规则或人工 SOP 转化为训练期辅助信号。
- 对反复出现的交互问题（如失败重试、上下文截断、工具返回格式错误）可进化 tools/hooks 而非硬编码，并让策略学习与新 harness 协调，避免过早冻结早期版本的优化陷阱。
野外智能体世界模型：计算机使用智能体环境合成
🧭 训练环境合成 · CUA · RL ★ 深度解读
UNC-Chapel Hill · Microsoft Research · Georgia Tech · Northeastern University · Independent Researcher
开源流水线合成 GUI/MCP/CLI 跨界面环境与长程任务，用质量门控与 RL 训练出跨 8 个 OOD 基准泛化的 CUA 智能体
📌 工作参考价值（4 点）
- 对电商 Agent 训练：可借鉴 WildAWM 的「可执行世界 + 五类质量门控」生成带验证器的多步任务，尤其 Counterfactual Probe 能防 LLM 法官谄媚，适合审核购物车/下单/售后等长流程合成数据。
- RL 奖励设计：把最终成功与子任务 checklist 部分得分结合，给长程任务更密集监督；Format penalty 对 GUI 动作解析很重要，可迁移到 App 操控或网页购买 Agent。
- 全开源栈（GLM-5.2 + OpenCode）证明环境合成无需闭源模型，业务上可低成本自建仿真环境，不必依赖外部 API。
- 世界合成用 persona + multi-day day plan 积累状态，可生成带用户历史/商品/库存的连续环境，用于推荐或搜索 Agent 的长期交互训练。
HarnessRL：策略与训练夹具协同演进的开放式强化学习
🧭 LLM 后训练 · 自适应奖励与训练接口 ★ 深度解读
Alibaba Token Hub, Alibaba Group · Université de Montréal Mila - Quebec AI Institute
提出 HarnessRL，通过任务采样、rollout 引导与 rubric 标准三接口协同进化，并在冻结策略上实测更新效果，显著减少奖励失效。
📌 工作参考价值（4 点）
- 在基于 LLM judge 的奖励训练中（如商品文案、对话策略、Agent 行为生成），把 rubric 视为可训练配置而非固定标准：按每条标准诊断 blind/saturated/spurious，饱和任务降采样、达不到的标准注入 few-shot 引导、刷分标准拆分或重写，能直接缓解 reward hacking。
- 借鉴 JIT critic 机制：所有 reward/rubric/采样权重/引导变更，先冻结当前策略，在小批量上测 reward 变化，仅当变化落在校准接受带内才生效；这比直接应用规则或生成式更新更稳，能显著降低训练后期反复横跳。
- 建立 training-time memory 和语义检索：把历史 rollout、评分矩阵、rubric 变更按任务和 criterion 存下来，检索跨任务相似标准与正负样本，作为引导 reference 或标准修改证据；在电商多任务 RL 中可复用，降低人工调 reward 成本。
- 如果做生成式推荐/Semantic ID 等开放生成，奖励函数退化问题同样会出现；可借鉴该框架让采样分布、生成约束和评判标准与策略协同演化，而不是等到刷分后再修复。
CoworkEnv：合成面向长时程同事智能体的训练环境
🧭 AI cowork agent 训练环境合成
The Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Hong Kong Baptist University · Independent Researcher
用工作流需求合成可执行训练环境，同时产出 SFT 演示与 RL 奖励，训练小型 cowork agent
📌 工作参考价值（4 点）
- 电商智能客服/导购 agent 可参考 capability-guided 任务生成：从工作流需求出发，用程序化校验与反馈修复生成请求、工具接口、评分检查，减少人工标注和评审成本。
- Teacher executions 生成 SFT 演示 + student rollouts 产出 RL 奖励的两阶段数据管线，适合在线学习场景；可直接复用到多轮导购、售后工单处理等长时程任务。
- 关注 reward processing 与 credit assignment 配置：在长多轮 agent RL 中，分步奖励处理和信用分配对训练动态影响大，建议做消融而非直接套用单轮稀疏奖励。
- 对推荐系统本身借鉴有限，但可执行环境与程序化验证的思路可用于构建推荐 Agent 的仿真评估器，快速回归多步工具调用策略。
BitSparse：ReLU 前馈网络的紧凑激活存储
🧭 训练显存优化 · 稀疏激活无损压缩
University of Cambridge · University of Oxford
提出 GPU 端无损稀疏激活压缩格式 BitSparse，在 Modded-NanoGPT 和 Nemotron-H 上降低每 token VRAM 31%/30%，开销不超过 1%
📌 工作参考价值（4 点）
- 若广告/推荐训练模型使用 ReLU/ReLU² 激活且前馈层存在大量稀疏零激活，可用 BitSparse 无损压缩激活缓存，降低训练 VRAM，支撑更大 batch 或更长序列，不牺牲精度。
- 压缩/解压以 Triton kernel 融合进 autograd function，开销 <1%，可作为自定义 activation checkpointing 的轻量替代或补充，适合在大模型训练框架中集成。
- 支持 BF16 和 FP8 激活，与混合精度训练兼容；业务上若已使用 FP8，可直接复用该压缩思路。
- 预分配 buffer 避免 variable size tensor 分配时的 host synchronization，这个工程技巧对推荐模型中动态序列长度样本的训练同样有价值。
策略梯度估计中的基线项与分数中心化
🧭 RLHF/策略梯度估计·重要性采样
University of Illinois Chicago · Perplexity AI
用 reward 与 importance-weighted score 的协方差替代正则化 IS 策略梯度，厘清 group-mean baseline 与 score centering 的不同作用
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM RLHF 后训练中，若用 sequence-level PPO/GRPO 且 ratio 被 clip，直接用 batch 内 mean reward 作为 group-mean baseline 即可，不必再对 importance-weighted score 做额外 centering，降低实现复杂度。
- 若采用 token-level advantage（细粒度 reward/PPO），当 importance ratio 被 truncation/masking/clipping 时，必须对 importance-weighted score 做 score centering（减去总体均值，可用 moving average 估计），否则策略梯度会带偏置。
- 建议把梯度写成 Cov(reward, weighted_score) 而非单纯加权 reward；该形式天然对 constant reward shift 稳健，适合离线异步训练中 stale policy 的纠偏。
- 序列级 IS 下 score centering 无额外收益，token 级 IS 下则是必要修正；实现前先确认 reward/advantage 的粒度再决定是否引入 score centering。
长期记忆写入的归因强化学习模型 Hy-Memory-30B-A3B
🧭 Agent 长期记忆写入 · 归因强化学习 ★ 深度解读
Tencent Hunyuan
训练跨 Mem0/MemOS/Hy-Memory 的紧凑记忆写入器，用逐块探针和归因奖励实现细粒度信用分配，平均 55.49% 超过 Claude Opus 5
📌 工作参考价值（4 点）
- 奖励归因替代稀疏终局奖励：若业务中存在多轮 agent 状态管理（如对话策略、用户画像更新），可将单个最终答案分数拆解为逐块局部探针（recall probes + trap probes）与跨块归因结果奖励，用冻结 judge 打分，解决长序列下 credit assignment 问题。
- chunk-level GRPO 思想可迁移：对任何「每个位置有可观察局部结果」的序列决策任务（如生成式推荐中的 item 序列、搜索会话策略），优势按位置分组归一化而非整个 trajectory，避免一个坏动作惩罚所有正确动作，每个 rollout 每位置只投一票。
- 银行隔离与 carry-forward 训练模式：RL 训练时每个 rollout 写入独立 bank，仅选择最佳 bank 进入下一个窗口，保持训练与部署分布一致，避免 teacher forcing。此模式适用于任何维护外部状态的 RL 训练（如推荐系统的长期兴趣状态、购物车策略）。
- 平台故障与策略错误必须区分：坏策略动作应保留为低奖励 trajectory，平台故障（如 API 失败、分页缺失、checkpoint 空）要重试并从分母排除；同时监控 teacher token coverage、chunk-to-segment mapping 等静默失败，避免训练看似正常但梯度为零。
CleanRM：用少量干净反馈对 RLHF 做样本级噪声奖励建模
🧭 RLHF 奖励建模 · 样本级噪声校正 ★ 深度解读
Zhejiang University · Xiaohongshu Inc · National University of Singapore · New York University · University of Illinois at Urbana-Champaign
用少量干净反馈经最优传输校准样本级噪声率，并构造无偏代理损失提升奖励建模与 RLHF
📌 工作参考价值（4 点）
- 点击、点赞、评分等 point-wise 反馈噪声天然是样本级的，不应沿用全局噪声率假设；可抽样少量高质量人工/专家复核样本作为 clean set，训练一个轻量样本级噪声率估计器，再做损失校正。
- 把 CleanRM 的两阶段思路迁移到 CTR/CVR 或推荐 reward 建模：先学样本级翻转概率 μ(x)、ν(x)，再用无偏 surrogate loss 训练主模型；相比全局 IPS 或 forward correction，更贴合业务中不同 item/query 的噪声异质性。
- 最优传输对齐 clean set 和 noisy set 的联合 (embedding, preference) 分布，工程上只需 backbone 输出的 embedding 和少量干净标签，不需要大规模标注；可复用于 LLM-as-judge 的评分去偏，尤其当业务依赖模型打分构建训练信号时。
- 下游策略优化对 reward model 的噪声高度敏感；在电商/Agent 场景如果要用 reward model 驱动策略或排序，先做样本级去噪能直接放大下游收益，论文中 FFT 安全分数相对 naive 提升 79.5% 可作为收益量级参考。
CLUE：通过发掘社交上下文实现语用理解
🧭 训练模型发现对话社会线索用于语用理解
Purdue University
用两阶段训练+GRPO奖励让模型自我发掘对话中的社会线索，准确率提升且推理 token 减少超 80%
📌 工作参考价值（4 点）
- 可借鉴 Grounded Information Utilization 奖励设计：在对话理解、用户反馈归因等场景，要求模型的新推断必须引用具体交互证据，并惩罚冗余推理，可显著压缩推理 token，降低线上成本。
- 两阶段训练方案适合小样本业务任务：先用监督证据推理教会模型引用上下文，再用 GRPO 强化，类似客服对话意图消歧、评论情感归因等标注数据少的场景可以低成本迁移。
- 推理 self-contained、不依赖外部 RAG 或知识库，适合低延迟 Agent 的对话理解模块，减少检索链路，同时输出可验证的证据引用。
- 评估中加入推理 token 效率指标，避免只追准确率导致 CoT 过度生成；跨域跨语言 F1 提升 9.3% 的结果说明该训练方式有泛化潜力。
多奖励 RL 的逐奖励 Token 级信用分配
🧭 多奖励 RL 令牌级信用分配 ★ 深度解读
University of Minnesota · National University of Singapore · University of Illinois Urbana-Champaign · University of Southern California · University of Pennsylvania
用 verifier 信息 self-replay 定位每个 reward 的相关 token，把 advantage 按相关性重分配，加速并提升多奖励 RL
📌 工作参考价值（4 点）
- 对电商/Agent 里带多个可验证约束的生成任务（商品文案、广告标题、工具调用、SQL/API 生成），把每个 reward 的 advantage 按 self-replay 的相关性分配到 token，而不是整段均匀；尤其格式类 reward 只落在标签/keyword/CTA 等少数 token，能显著加快收敛。
- 若 verifier 有可文本化信息（参考 query、执行 error、约束条件），可直接复用 MRTPO 的 leave-one-out replay：同一条 response 在 P_all 和 P_\k 各 forward 一次，用 next-token 分布的 JS 距离得到 token 权重；无需额外模型或标注，成本只比 GDPO 多 10–20%，且只在 reward 组内有方差时 replay。
- β=0.5 是不错的默认值，前 10 步 smoothstep warmup；保留 1−β 的均匀份额避免重分配过激，并可对 reallocated part 做二阶矩约束。这个方法正交于 SAW/DVAO 等 response 级 reward reweighting，可以叠加。
- 做 prompt 约束（如“必须包含关键词、以某句结尾、加双引号”）时，直接去掉单个约束 replay 能定位到 checker 实际读取的 token；对 IFBench 这类未见约束泛化提升最明显，适合冷启动或模板频繁变化的场景。
EliteReplay：质量多样性搜索保留 RL 后训练中的多样解
🧭 LLM RL 后训练多样性保持
The Ohio State University
用质量多样性搜索构建精英解档案并与 GRPO 结合回放，提升准确率同时保留 LLM 解多样性
📌 工作参考价值（4 点）
- 在 RL 微调用于搜索排序、query 改写或商品文案生成时，可引入精英档案回放：先用冻结模型采样多样正确解建立档案，训练中与策略梯度损失共同优化，避免模型只集中在少数高奖励行为，保持生成模式的多样性。
- 将质量多样性搜索作为通用记忆库机制，在 RL 训练中周期性回放高质量多样样本，可缓解模式坍缩与灾难性遗忘，适用于需要多策略并存的推荐或 Agent 协作场景。
- 评测中除了准确率，加入 pass@k 和 U@k（distinct correct strategies） 两类指标，能更全面反映模型在多解场景下的能力；在搜索建议、歧义 query 改写等业务中，覆盖多个正确意图比单一 top-1 更重要。
- 对歧义 query（如 AmbiQT）的覆盖能力可以直接迁移到电商搜索/推荐：用多样性保持的后训练模型同时召回多个可能的商品意图或生成多个改写 query，提升用户体验与召回覆盖。
KnowGPO：面向搜索 Agent 的知识分组策略优化
🧭 搜索 Agent 强化学习 · 过程奖励 ★ 深度解读
Zhejiang University · Tencent
把搜索轨迹按已满足的原子知识条件分组，用增量知识增益做过程奖励，8B agent 超过多数 32B 开源系统
📌 工作参考价值（4 点）
- 电商导购/客服 Agent 可把多轮对话状态抽象为“已确认的原子约束集合”，例如已确认类目、预算、尺码、场景；每轮新增确认约束作为 incremental gain，按“当前已确认约束集合”分组做组内对比，避免按 query 文本相似度硬聚类。论文显示这种语义分组有效对比步数 ESR 达 97.8%，远高于 observation 相似度的 51.8%。
- 若有转化/成交/收藏等结局 label，可离线把成功会话反向拆成必须确认的知识条件，再用这些条件给失败或中间轨迹构造过程奖励。两阶段构造 pipeline：先生成 placeholder 条件，再用答案和成功轨迹做实体接地，能降低对单条成功轨迹的依赖。
- 过程奖励只需 incremental knowledge gain，不需要 critic 或 learned reward model；verifier 用 LLM 异步执行，可隐藏训练墙钟开销。对预算有限的团队，这比学 reward model 更容易落地。
- 混合 outcome reward 与 process reward 时不要过度偏向 process：论文最佳 ω=0.3，过大会偏离最终转化目标。业务中可优先在 0.2–0.4 内调参，避免多轮 agent 只优化局部信息收集。
连续对抗训练增强 LLM 可迁移诚实性
🧭 对抗训练 · LLM 对齐与诚实性
Tara Research · Mila – Quebec AI Institute · Technical University of Munich
CATCH 用数百条自报告场景构造对抗训练对，让 LLM 在压力下保持诚实并跨任务泛化
📌 工作参考价值（4 点）
- 借鉴 CATCH 的构造方法：用 self-reporting 场景生成“有依据 vs 编造”答案对，仅需数百条即可训练模型远离不诚实输出，成本低，适合电商推荐解释、商品属性描述等场景，抑制模型编造不存在的优惠或参数。
- utility data 的选择是保持通用能力的关键：CATCH 在外循环加入 utility 数据防止诚实训练导致能力漂移，优于纯激活引导。在微调推荐对话或 Agent 时，应同时混合正常推荐/通用 QA 数据，避免模型变得“诚实但无用”。
- 对抗训练的内外循环范式（embedding 扰动让错误答案更容易，再更新参数偏好正确答案）比 SFT 更强，可迁移到广告文案生成中防止夸大宣传，或在多智能体场景中减少 Agent 隐瞒信息（如不披露广告属性）。
- CATCH 不增加推理开销，可直接部署到线上推荐 Agent；若已有 activation steering 方案，可考虑替换或叠加，以保持更强 utility。
Meta 面向 AMD GPU 的端到端协同设计与高性能 AI 训练
🧭 异构 GPU 训练协同优化 ★ 深度解读
Meta · AMD
通过硬件-模型协同设计、Origami 分析性能模型与 agentic kernel 优化，使 MI350X 在 DLRM 训练吞吐达 B200 的 101%
📌 工作参考价值（4 点）
- 硬件-模型协同设计：若业务有 AMD MI350X 或其他大 HBM 加速器，不要直接移植 CUDA kernel / 模型配置；应利用更大 HBM 扩大 per-GPU batch size、减少 activation checkpointing，并尝试扩大 embedding 表、序列长度或 hidden dim，可同时获得吞吐和模型质量收益（论文报告 20% 提速、>0.1% NE 提升）。
- 用分析性能模型替代离线 autotuning：推荐模型 GEMM 形状多且不规则，Origami 用硬件参数化 tile 模型微秒级选择 kernel，精度达 93%；可将类似思路用于自有训练框架的 kernel 选择或 Triton autotune 配置，避免维护海量 lookup table。
- 把 AMD 多 chiplet 的坑写进 agent skills：atomics 在 MI350X 上高竞争下可慢 10×，应优先用 shared memory 树归约 / 寄存器 cache 替换全局 atomic；把这类优化编码为 agentic workflow 技能，可自动修复长尾 kernel（论文中 JFA 提速 2.3×、端到端 25%）。
- Triton kernel 的硬件适配经验：AMD 64 线程 wavefront 不同于 NVIDIA warp，建议更大的 num_warps、浅 pipeline（num_stages≈2）、用 PID swizzle 改善 L2 locality，并启用 matrix_instr_nonkdim=16 / fast_expf 等；这些可作为跨 GPU 平台的 kernel 调优 checklist。
面向长程智能体强化学习的树感知后验蒸馏
🧭 Agentic RL · 树回溯信用与后验蒸馏 ★ 深度解读
Tsinghua University · Tencent
提出 TreeOPSD，用树回溯信用构建有限目标分布，以 Forward-KL 后验蒸馏替代固定策略梯度，无 critic 地稳定长程 Agent RL
📌 工作参考价值（4 点）
- 多轮 Agent 训练的 rollout 预算优化：initialize-then-expand 用 M 条完整轨迹 + 每个轨迹 N 个前缀分支，在同样 token/工具调用预算下（M=4, N=2 约等于 8 条全 rollout）构造 rollout tree，获得 turn-level 信用；电商导购、售后客服等长程 agent 可直接用这种采样方式，不用改 reward 标注。
- 用有限目标替代固定 advantage 权重，缓解 sequential mini-batch 漂移：把每轮信用映射成伯努利教师 q=1/2+V/τ，再用 Forward-KL 匹配当前 policy 的 sigmoid 后验 p=σ(avg log ratio)；梯度会自动在目标处消失、过冲后反向，可以避免多轮更新中的 policy staleness，适合在线更新频率高的推荐策略。
- 点式 credit 比 listwise centering 更适合多臂/多子节点场景：分支后的父节点下多个有用子节点都应上升，listwise 的 V_c - V_i 会让它们互相抵消；在推荐/搜索的候选生成、多工具调用分支中，可以考虑把树 backup 后的 pointwise credit 直接作为监督信号。
- 长序列 off-policy 更新的数值稳定 trick：用 per-token 平均 log-likelihood ratio 构造 p=sigmoid(s)，避免整条 turn 的 likelihood ratio 指数爆炸；这个做法可复用到长文本/多轮交互的 policy 优化或蒸馏中。
面向持续学习：通过子空间调优减轻遗忘
🧭 持续学习 · 子空间约束微调 ★ 深度解读
UC Berkeley · Mila · McGill University · Université de Montréal · UMass Amherst
通过将权重更新限制在低能量奇异子空间，SST 有效减轻 LLM 微调中的灾难性遗忘
📌 工作参考价值（4 点）
- 在业务中微调 LLM 以适应新领域或任务时，可引入 SST 保护已有通用能力，避免上线后基础能力下降，尤其适用于需要持续更新的推荐/广告模型。
- SST 与优化器无关，只需对优化器最终更新做投影，可直接嵌入现有 SFT/RLHF 流程，无需修改损失函数或数据，工程实现成本低。
- 保护主导奇异方向可显著减少对基模型的 KL 漂移（2-4 倍），有助于保持输出分布的稳定性，对在线学习或 A/B 测试更友好。
- 在顺序学习多领域任务时，SST 能够累积能力而非互相覆盖，适合构建多能力融合的模型或专家合并场景。
免训练的 On-Policy 蒸馏
🧭 无训练模型蒸馏与多专家聚合
University of Illinois at Urbana-Champaign · Tsinghua University
提出免训练 on-policy 蒸馏，仅用前向传播和最小二乘逐层合并多个专家模型，无需梯度更新
📌 工作参考价值（4 点）
- 多领域专家模型合并：若业务中有多个针对不同场景（如推荐、搜索、广告）微调的模型，可借鉴 TF-OPD 通过前向计算几百个 rollout 提取输入二阶矩，逐层最小二乘融合，无需联合训练，节省算力和迭代时间。
- 模型融合的精度提升：相比简单 task arithmetic 权重平均，逐层最小二乘匹配专家输出分布能保留更多能力；在推荐模型做多目标融合或跨域迁移时可引入此方法提升融合质量。
- 数据筛选策略：论文发现去除重复循环的生成 token 显著提升融合效果（AIME25 从 task arithmetic 水平到专家水平），提示在蒸馏或融合数据准备中应重点清洗低质量重复内容，避免噪声影响层权重估计。
- 工程部署：融合只需每专家数 GPU 小时的前向计算，适合快速将多个专家模型合并为通用模型上线，尤其适用于需要频繁更新多领域能力的 Agent 或推荐系统。
训练推理模型生成多样化科学创意
🧭 LLM 创意生成 · 集合级 RL 多样性
New York University · Stony Brook University · Salesforce AI Research
用集合级强化学习奖励多样性，训练 8B 模型一次生成 K 张高质量且互异的科学创意卡
📌 工作参考价值（4 点）
- 生成多个候选时用距离加权奖励：在推荐理由、广告文案、搜索 query 建议等场景，要求模型一次生成 K 个候选，并在强化学习/偏好优化中把每个候选的质量分数乘以其与已生成候选的语义距离（如 embedding 相似度的倒数），可显著减少重复、提升集内多样性。
- 结构化卡片输出：让模型输出类似 idea card 的结构化 JSON（标题、卖点、理由、证据），便于后续用规则或模型做联合评分、去重与排序；电商可生成“商品卖点卡”或“用户兴趣标签卡”。
- 集合级联合评分替代逐条采样：在 RL/GRPO 中直接对一组 K 个候选做 group-level reward，而不是逐条独立采样打分，能更好平衡质量与覆盖，工程上可用一个 LLM judge 或业务指标作为奖励。
- 执行反馈作为最终验证：借鉴用 coding agent 跑实验验证想法可执行性，在业务中可让生成内容进入仿真或小流量评测，用真实业务指标（CTR、转化）作为 success 信号，避免只靠 LLM 自评。
重新思考现代 MoE 路由探索：MirrorMoE
🧭 MoE 预训练路由探索优化 ★ 深度解读
ETH Zurich · The University of Hong Kong · Max Planck Institute for Intelligent Systems · WU Vienna
MirrorMoE 通过 token 自适应抑制低概率路由专家缩小探索空间，解决细粒度共享专家 MoE 的探索困境并稳定涨点
📌 工作参考价值（4 点）
- 若服务链路使用 DeepSeek/Qwen3 等 MoE 基座做 embedding、生成式推荐或 Agent 策略，当启用或调大 fine-grained top-k 时，不要假设 shared experts 一定带来收益；可先做单 expert 消融或随机路由诊断，确认 shared experts 是否主导输出并压制路由探索。
- 训练阶段可采用 MirrorMoE 式“选择分布与聚合分布分离”：用镜像 logits 选专家，用原始 logits 权重聚合，再把 rho 从 0.4 cosine 退火到 0；工程实现只需额外一次 softmax 和符号翻转，训练成本几乎不增。
- 负载均衡 loss 应加在实际贡献概率 xi 上，而不是选择概率 p 上；当低权重专家被激活但几乎不贡献时，这种设计能避免均衡目标误导路由，可迁移到多兴趣/多任务 MoE 推荐模型。
- 若模型不含 shared experts，MirrorMoE 提升有限；不要盲目上该 trick，应优先用于 shared-expert + 较大 K 的配置，并在增大 K 时重点观察是否出现“K 涨指标不涨甚至下降”的探索困境。
Cortex：将上下文收益固化进 LLM 参数记忆
🧭 LLM 记忆固化 · 参数更新 ★ 深度解读
Zhejiang University · ByteDance Seed · Tsinghua University
用前瞻性重演与 FFN-only 低秩/结构化更新，把上下文增益蒸馏为可堆叠的参数记忆，兼顾 CR 与 RR
📌 工作参考价值（4 点）
- Agent 经验与临时规则沉淀：可把商品知识、活动政策、API 文档、成功轨迹等上下文，先用冻结模型生成“预期查询+上下文条件回答”，再蒸馏到 0.74M–2.73M 的小型 FFN adapter；无需把完整上下文塞进 prompt 或检索库，适合高频、确定性的商户规则/接口知识固化。
- 架构选择：只更新 FFN/MoE，冻结 attention、router 和 backbone；Structural 新增非线性通道比低秩 Synaptic 更擅长代码/API 类可复用过程，且 MoE 用 shared branch 给所有 token 直接训练曝光，减少遗忘、提升 CR。
- 训练目标 trick：用 top-K_v 截断 KL + 对齐后 FFN hidden-state MSE 监督，teacher 带上下文、student 不带；这对少样本、要保 base 能力的高保续更新很有效。历史 query replay 只留 query、不存 context，降低隐私和存储成本。
- 落地边界：CR/RR 的权衡在实体邻近知识上仍明显，组合推理/可移植性（portability）是短板；建议只固化高频、低歧义技能，开放生成仍保留 RAG/prompt 兜底。
后见之明特权 RLVR：免组采样的单次轨迹令牌信用分配
🧭 RLVR 单 rollout token 信用分配 ★ 深度解读
华南理工大学 · 清华大学 · 香港科技大学 · 华为2012实验室 · 深圳技术大学
用已验证轨迹的未来信息对单次 rollout 计算归一化 JSD token 权重，替代 GRPO 组采样，训练最高提速 2.30 倍
📌 工作参考价值（4 点）
- 对交互成本高、rollout 贵的电商 Agent（如导购、多步搜索、谈判）可尝试 HP-RLVR 的单 rollout 方案替代 GRPO：rollout 量降至 1/8，适合模拟器或真实用户反馈昂贵的场景。
- 工程实现上无需额外 critic 或 reference model，只需用同一 frozen policy 做两次前向：因果视图与加入未来+verifier 反馈的 hindsight 视图；verifier 结果渲染成文本 outcome descriptor，可直接复用现有推理路径。
- 落地时建议监控 zero gradient records 与同质 reward group 比例：GRPO 在稀疏 reward 下大量梯度为零，HP-RLVR 可以避免该问题，但历史 baseline 引入偏倚，需结合任务小规模 paired run 验证。
- 注意该方法的精度 tradeoff 是任务相关的：数学任务占优，代码与 ALFWorld 低于 GRPO；业务侧不能默认单 rollout credit 一定更好，应先在小流量任务上对比 best checkpoint 与完整训练耗时。
基于信息增益校准的在线策略蒸馏用于深度搜索智能体
🧭 On-policy distillation · 信息增益校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Renmin University of China · Beijing University of Posts and Telecommunications · Beijing Academy of Artificial Intelligence (BAAI)
提出 IG-OPD，用检索后信息增益校准 OPD 的预算与方向先验，修正证据盲监督
📌 工作参考价值（4 点）
- 多轮检索/会话 agent 蒸馏时，teacher 对 query 的似然偏好不等于检索证据的实际效用；可引入 post-retrieval information gain（如文档是否包含答案、证据是否改变后续置信）作为校准信号，对 query/tool-call tokens 做奖励修正，避免好 query 被误罚。
- 按 turn 而不是按 token 长度分配监督权重：搜索/召回 turn 通常短但信息增益高，合成/回答 turn 长但增益低；ITC 的预算重分配可通过 token loss 乘 ratio 实现，无需改 trainer，工程成本低。
- 在电商搜索/推荐中，用户 query 改写、检索式推荐、多跳推理 agent 训练可借鉴 IQC 只修正 action-critical tokens（query 字符串、工具参数）而保持 reasoning tokens 不变；对第一跳正反馈、后续跳负反馈更可靠，可据此设计课程和 cosine ramp 避免早期对搜索行为的过度惩罚。
- 训练后模型推理无额外开销，但蒸馏时需额外做一次 teacher 对 gold answer 的评分，增加约 10% 训练时间/显存，适合离线训练阶段接受。
可验证奖励强化学习中动量何时有效
🧭 LLM 强化学习优化器动量策略 ★ 深度解读
Peking University · Shanghai Jiao Tong University · SIMIS · Stanford University
证明 RLVR 中固定动量增益会被采样噪声淹没，需随学习率放大 β 才能稳定获益
📌 工作参考价值（3 点）
- 在 RLVR/GRPO 类 LLM post-training 里，AdamW 的 β1 别只留默认 0.9；可以尝试 β1=1-1e-6 甚至 1-1e-9，同时观察 reward/准确率是否稳定提升。
- 如果想降学习率换取更稳训练，应同步放大 β，使 η/(1-β) 维持在安全区间，避免固定 β 导致动量增益被采样噪声淹没。
- 做带采样奖励的在线策略优化（如 Agent 任务、推荐/广告的 policy gradient）时，若发现 momentum 无效，先别否定动量，检查 lr 与 β 的比值是否过小；用少数 seed 很难区分固定 β 和 no-EMA，建议多 seed 或看 SNR。
潜在压缩与测试时训练：可训练 KV Cache 压缩
🧭 LLM 长上下文 KV cache 压缩 · 测试时训练 ★ 深度解读
Tsinghua University
将压缩 KV cache 视为可训练参数，用测试时训练拟合注意力与蒸馏，在 32× 压缩下 RULER 达 96.7%
📌 工作参考价值（4 点）
- 商品详情页、用户长期行为序列、长评论等重复使用的长上下文，可离线预压成可训练 KV cache。模型权重冻结，线上多 query 复用，适合推荐/搜索中大量候选文档场景；但注意论文只考核逻辑 KV-pair 预算，实际物理内存与速度需自行测评。
- 测试时训练不需要下游真实 query：用 480 个通用 prompt 与 teacher 全量 cache 生成 rollouts，就能提供 attention 与蒸馏监督。电商可以模板化商品属性、风格、摘要等通用问题，避免依赖真实用户日志。
- 初始化组合可直接复用：KVZip+ 重建分数选 preserver（占 75% 效果最好）、teacher attention 选 anchor、farthest-first 选 diversifier；ablations 表明 preserver 预算分配对准确率影响最大。
- 若把压缩文档 cache 与后续 query cache 合并，必须按 log-normalizer 加权而不是等权平均，否则准确率几乎归零；attention bias 贡献有限但可保留。
失败乃成功之母：用有依据的事后反思重放恢复 GRPO 监督
🧭 强化学习训练 · 失败恢复监督 ★ 深度解读
University of California, San Diego · Adobe Research · University of Virginia · University of Toronto · University of New South Wales
提出 RSHD：从失败 rollout 写纠正笔记，经重放效果筛选和防泄漏后蒸馏回 plain-prompt，在 GRPO 全失败组上恢复监督信号
📌 工作参考价值（4 点）
- 如果你在业务中用 GRPO/RLVR 微调 Agent 或 LLM（如对话式购物 Agent、query 改写、推荐文案生成），当一组 rollout 全部失败时 GRPO advantage 为零，这些 hardest cases 完全被浪费。可借鉴 RSHD：对失败轨迹写不超过 80 词 corrective note，但不看参考答案；用原组 no-note 成功率作为 baseline，只保留 replay 成功率高于 baseline 的 note；再把带 note 的成功续写蒸馏回 plain-prompt，推理时零额外开销。
- 工程实现上，note 搜索可直接在 TRL GRPOTrainer 上加两个 hook，复用现有 vLLM server；训练 token 约翻倍但只在训练期。对业务中失败率高的长尾难题尤其有效：论文按 base 模型 0/8 成功率分层，RSHD 较 GRPO 的收益几乎全部落在“从不成功”的样本上，简单样本基本不退化。
- 安全与防泄漏不可省：论文观察到约 9% 的 note 直接写出参考答案，约 60% 未通过 replay 测试。复用时要保留“字符串匹配检测答案 + replay 效果筛选”，而不是直接信任 note 文本做蒸馏，否则会引入泄漏或强化错误诊断。
- 训练细节可复用：蒸馏权重用带 note 与不带 note 的 log-prob 正 lift 并 clip 到 [0,2]，只更新 plain-prompt student，teacher stop-gradient；当没有 note 被保留时该步完全退化为 GRPO，避免噪音。这个机制对业务中 RL 微调 Agent 的稀疏奖励场景很实用。
Waypoint-OPD：基于门控在线策略蒸馏的 RL 策略偏移迁移
🧭 RL 策略偏移蒸馏 · 门控迁移
Alibaba Cloud Computing
用中间检查点方向一致性门控教师 RL 前后策略偏移，提升数学与代码推理蒸馏效果
📌 工作参考价值（4 点）
- 在 RL 蒸馏中保留中间 checkpoint 成本低：只需额外一次 frozen-teacher 打分，即可按 early/late 偏好方向一致性过滤噪声，适合线上小模型蒸馏。
- 门控思想可迁移到排序/Agent 策略蒸馏：teacher 策略在训练中迭代不稳定时，不要直接用最终参数差，而是用中间检查点检测方向冲突，抑制相互抵消的 policy shift。
- 对用 RL 微调 LLM 做 query 生成、生成式推荐或 Agent 决策的业务，可以借鉴 on-policy 蒸馏方式：让学生自生成轨迹，teacher 打分并计算 early/late log prob 差，只把方向一致的策略偏移作为监督，避免把探索期噪声传给学生。
- 论文在数学与代码推理验证，迁移到电商场景需适配奖励和动作空间，但“方向一致性 gating”是通用 trick。
预测策略内自蒸馏中特权信息的有效性
🧭 多轮代理场景下的自蒸馏训练
University of Michigan – Ann Arbor · Mila · Scale AI
系统评估多轮代理场景下16种特权信息配置，提出KL散度指标预测其训练收益
📌 工作参考价值（4 点）
- PI 的内容与生成源比固定设计更重要：优先选择信息密度高、由更强模型生成的轨迹片段作为 PI，尤其在多轮 Agent 对话中可显著提升自蒸馏收益。
- 训练前用 KL 指标预筛 PI 候选：计算 sampled-token reverse KL (D) 与 error-step KL contrast (Δd^{-}_{err})，比直接看 PI utility 更能稳定预测训练后性能，可避免信息泄漏导致的误判。
- 当候选 PI 差异较大时，利用 Δd^{-}_{err} 为每个任务动态选择 PI，比随机选择平均提升更高；适合业务中多任务、多轨迹来源的场景。
- 自蒸馏目标可与 GRPO 等强化学习目标结合，在有效 PI 下获得比纯 GRPO 更强的性能，适合需要兼顾模仿与探索的电商 Agent 训练。
语言智能体中动作执行与预测的协同进化
🧭 语言智能体 RL 训练 · 动作预测辅助目标
University of Illinois Urbana-Champaign · University of California San Diego · Meta AI
在成功轨迹上以未来动作序列为多步辅助目标，让策略骨干同时执行与预测并共同进化，提升样本效率且无推理开销
📌 工作参考价值（4 点）
- 长链路 Agent 训练可直接复用：在电商导购、搜索比价、下单等多步任务中，可只对成功会话构造“从中间历史预测未来动作序列”的辅助损失，同一动作在不同历史位置反复监督，能显著压缩所需的成功轨迹数量；适合在 WebShop 类仿真环境先跑通再迁到真实场景。
- 无推理侧负担，适合在线部署：该方法不增加额外模型、不改变单步推理流程，可在现有 policy 模型上直接加辅助 loss 训练；对推荐/搜索 Agent 的服务架构几乎零侵入。
- 比 value/observation 辅助目标更稳定：若业务中 agent 奖励稀疏，且页面日志、终端输出长且嘈杂，可优先尝试这种多步动作预测目标，而不是拟合下一步观测或单标量价值。
- 时间集成可迁移到生成式推荐：同一 item 从不同用户历史前缀反复预测，等价于多步预测正则，或可缓解长序列生成中的 exposure bias，值得在 Semantic ID 或生成式重排任务中试验。
长程强化学习需要 Muon 优化器
🧭 Agent RL 优化器与训练 recipe ★ 深度解读
Renmin University of China · Duke University · Institute of Automation, Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences
在仓库级 issue 修复的异步 RL 中，Muon 配合单 rollout、TIS 与奖励塑形显著提升训练成功率
📌 工作参考价值（4 点）
- 训练多轮交互 Agent（对话式推荐、商品搜索助手）时，可尝试隐藏权重矩阵换用 Muon，其余 embedding/output head/norm/vector 保持 AdamW；稀疏奖励长轨迹任务中 Muon 的谱范数约束可能带来更稳更新，但需监控 collapse，Adam 与 Muon 差距会受 recipe 影响。
- 线上已有旧策略产生的轨迹时，可复用单 rollout 异步训练 + 截断重要性采样：按 token 计算 π_train_old / π_rollout 比值并截断到 [0,2]，再加权 PPO loss；不必等待同 issue 多条轨迹，适合电商 Agent 环境异步执行时策略滞后场景。
- 对过长回复、无效工具调用加负奖励，但建议将单独或组合 penalty clip 到 [−0.25,0.25] 再加到 advantage 并标准化，避免惩罚过重破坏策略；长度惩罚在最终回合可省略。
- Ablation 显示 length penalty 影响大、tool-error penalty 影响相对较小且不一定稳定；不要盲目堆 penalty，先做单组件实验。
CriticOPD：用批评引导重写恢复在线策略蒸馏的可靠监督
🧭 On-policy distillation 可靠监督恢复 ★ 深度解读
Brigham Young University · University of North Carolina at Chapel Hill
教师先批判错误，学生从最后错误处重写；教师带批判评分、学生无批判训练，显著提升数学推理蒸馏效果。
📌 工作参考价值（4 点）
- 在电商/Agent 的生成式策略蒸馏中，不要直接对错误的学生轨迹做 token 级教师监督；先让强模型批判错误，截断到最后一个错误后重写，只蒸馏重写 suffix，可避免教师跟错，并保持学生轨迹覆盖。
- 把 critique/reference answer 当 privileged context：教师评分时可见，学生训练和上线都不可见，因此能利用更强反馈而不增加推理时延或 prompt 长度；适合有可验证结果的任务，如 query 改写是否召回商品、结构化生成是否符合 schema、生成代码单测。
- 若业务没有 reference answer，可用 reward model、人工反馈或转化标签替代，但批判质量决定收益；论文显示 73–81% 的 valid error flags 即可带来显著提升。
- 选择“只监督重写后缀、保留错误前缀”的做法，比提前截断或教师接管更接近推理分布；在在线学习或 agent 轨迹蒸馏时可作为降低 occupancy mismatch 的工程原则。
DAGFormer：面向 Transformer 跨层连接的全局拓扑预测
🧭 Transformer 跨层拓扑预测训练
University of Illinois Urbana-Champaign
引入联合训练的拓扑预测器一次性规划全局跨层连接，以输入自适应强度路由信息，显著提升 Transformer 效率与效果
📌 工作参考价值（4 点）
- 动态连接强度与一次性全局拓扑规划的思路，可用于超大推荐模型中多专家/多塔间的信息路由：不再固定每层连接，而是由轻量预测器根据用户/场景/输入特征决定后续模块间的连接权重，提升模型容量利用率。
- 在训练预算受限时，DAGFormer 用 5B tokens 达到 vanilla 10B 的效果，说明拓扑可学习能降低预训练数据需求；对于电商/广告领域需要频繁微调预训练 LLM 或构建垂直模型，可尝试用类似连接搜索减少算力与数据成本。
- 指令微调后 AlpacaEval win rate 63-70%，并且剪枝下退化最小，表明该架构对下游任务和压缩友好；可用于将大模型蒸馏或裁剪到线上推理服务时，保留路由结构以获得更好的性能-成本平衡。
- 对于 Agent 多步决策，可将“哪些模块/工具互相通信”看作全局拓扑预测问题，由控制器一次性规划整条推理路径的依赖关系，可能取代逐步的局部路由，提升长程任务的一致性。
函数空间时序自蒸馏策略优化
🧭 强化学习策略优化与自蒸馏
Indian Institute of Technology Kanpur
提出FSPO单策略框架，以历史分布为固定时序目标并引入特权分歧校正，实现稳定高效的策略优化
📌 工作参考价值（4 点）
- 在训练LLM-based推荐Agent或对话策略时，可采用“历史分布作为固定时序目标”的思路，不维护独立teacher模型，减少显存（论文中峰值从70GB降至56GB），适合资源受限的迭代训练。
- “特权分歧校正”可用来抑制模型生成路径中局部过高的token概率，防止在稀疏奖励下过早收敛到次优回复，类似推荐系统中对高置信度但低转化动作的惩罚。
- “可靠性自适应接地”策略：当模型自生成证据多次失败时自动加强外部参考监督（如规则、知识库），可迁移到电商Agent的工具调用或商品推荐解释中，提高事实准确性。
- “质量与覆盖感知记忆”只保留验证过的行为并改善特权演示，可用于构建在线学习中的经验回放池，优先存储高奖励且多样性的轨迹，优化长尾场景。
LatentLoop：非对称计算分配的循环 MoE 模型规模化
🧭 循环 MoE 训练 · 非对称计算分配
SJTU · Shanghai AI Lab · USTC · CUHK · NTU
提出 LatentLoop，压缩首轮循环序列、保留次轮全分辨率，将省下算力重分配给隐藏宽度，在相同预算下降低 NLL 并提升下游基准
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴 LatentLoop 的非对称计算分配：对长序列第一轮使用压缩表示（如 latent 投影或 token 合并），第二轮保留全分辨率，并将节省的 FLOPs 转向加宽 hidden size，而非直接降低延迟；这可在相同推理预算下提升模型质量。
- 用可学习残差系数诊断循环 Transformer 各次访问的贡献，识别可压缩的浅层/首轮访问，指导剪枝或低精度量化；固定系数实验结论“首轮可压缩、次轮不可压缩”可作为先验。
- 在 MoE 推荐/广告模型中，专家 FFN 权重可跨不同序列分辨率共享，但 attention 参数应独立，以适应压缩后序列与全分辨率序列的差异；这比全共享更细粒度，利于多尺度特征融合。
- 面向资源受限的线上推理，可先对输入序列做低秩/降采样压缩并分配给第一层，保留关键的后期层高分辨率，配合专家共享减少参数和 FLOPs；这比均匀缩放更有效，有潜力用于生成式推荐的大模型加速。
P2T：免训练将过程奖励分解为 Token 级奖励
🧭 RL 奖励归因 · Token-level reward ★ 深度解读
Chinese University of Hong Kong · Hong Kong University of Science and Technology · University of Hong Kong
提出训练免费的 token 级奖励归因方法，用梯度一阶泰勒近似从 PRM 分解过程奖励，加速 RL 训练并提升推理表现
📌 工作参考价值（4 点）
- 若业务中已有可微分的奖励模型（如用户满意度预测、转化模型、Critic、视觉质量模型），可直接用其梯度对生成序列做 token/action 级归因，无需训练新 reward model；公式简单：token influence ≈ ∇_{e_i} R(E)·(e_i - e_null)，一个 backward pass 拿到全序列。
- 将粗粒度奖励作为 baseline 再叠加归一化影响权重，而非直接用影响分数作为奖励，能显著降低梯度噪声；η 从 0.25 到 1.0 都稳，业务上无需精细调参。选择 null token 用模型 padding token 比 EOS/zero embedding 更稳。
- 训练 Agent/生成式推荐策略时，如果只有最终 outcome label（点击/转化/任务成功），可接入现成 PRM 或可微分 reward model，用 P2T 方式分解到每个 action/token，加速 RL 收敛；论文显示达到同等效果可少 3-4 倍训练步数。
- 注意 PRM 质量决定上限；若 PRM 在目标域不可靠，收益有限，应先验证 PRM 在该域判断准确，且 α 可从小增大。
SERO：从可执行 Oracle 续推中学习长时程智能体强化学习
🧭 长时程 Agent RL 的可执行 oracle 续推训练 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University · Tongji University
将训练期 oracle 多步续推作为辅助监督，并用前缀可达性权重控制离策略深度，提升长时程 Agent RL 的 OOD 表现。
📌 工作参考价值（4 点）
- 在多轮会话型业务（导购/搜索/推荐 Agent）中，可维护训练期 oracle（强规则、大模型或人工策略），从线上策略实际到达的状态恢复环境并执行后续 oracle 动作，把整条“可执行分支”而非单步纠正作为 SFT/RL 辅助监督；推理时完全移除 oracle，不增加线上成本。
- 引入 policy-reachability weighting：用冻结策略对 oracle 前缀的 likelihood 乘积衰减深层监督，避免在策略不兼容的深度离策略状态上乱学；随策略提升自动延长有效监督 horizon。可迁移到多步推荐/对话策略蒸馏，对 OOD 流量更稳。
- 将 oracle 辅助 loss 与 base RL 解耦：不改动 reward/advantage/importance ratio，降低与现有 credit assignment 方法（如 GRPO、GraphGPO）的集成成本，业务上可作为插件式模块，关掉 λ_O 即可回退到原方法。
- 如果业务环境支持状态快照恢复，可构造 counterfactual 续推数据用于诊断和训练；若不支持，也可用真实日志回放近似，但需注意状态-环境一致性。
学会读出：语言模型预训练中的反嵌入动态
🧭 预训练中读出矩阵与能力涌现解耦
提出参数轨迹交叉编码，发现模型隐藏态编码任务信息早于其输出读出表达，能力时间线混淆了编码与读出
📌 工作参考价值（4 点）
- 评估 LLM 能力或上线时机时，不要只看行为输出（如生成准确率）。模型内部可能已具备任务信息，但 readout 尚未表达，可结合 hidden state 线性探针或干预 readout 来更早识别可用能力。
- 对生成式推荐/搜索模型（如 Semantic ID 生成）做微调或适配时，readout 作为最后映射层可能滞后于内部表征，可尝试单独调高 readout 学习率或冻结其他层，加速输出表达能力对齐，减少训练早期的“假阴性”。
- 离线分析历史 checkpoints 时，parameter-trajectory crosscoding 只依赖权重、不需要保存 activations，适合在训练迭代中审计能力变化，定位窄窗口，判断某个能力是内部已学到还是读出层尚未跟上。
- 论文偏基础科学，但“hidden state 与输出 gap”的视角可迁移到 LLM-based 推荐/Agent 系统的能力诊断：当输出质量不佳时，先排查是表征没学到还是读出层没表达，避免盲目增大数据或模型规模。
Cowork-Gym：大规模合成交互式工作环境
🧭 Agent 环境合成与后训练
Alibaba Token Foundry
用构建-执行-修订循环合成64.9K个Cowork环境，后训练小模型在多个Agent基准上大幅超越基座
📌 工作参考价值（4 点）
- 用执行反馈自动修复生成环境：在电商/Agent场景中构建训练数据时，可引入 build-execute-revise 循环，把任务目标的可行性、工具可执行性、用户行为一致性和成功标准都纳入自动校验，避免人工审核，提高数据质量和规模。
- 有状态用户模拟器设计：模拟用户不只输出对话，还直接编辑共享工作区（如购物车、订单、商品列表），这让 Agent 训练更接近真实多轮交互。推荐系统对话模拟或电商客服 Agent 训练可借鉴此模式。
- 多阶段后训练配方：SFT + RL + on-policy distillation 的组合让 9B 小模型在 Agent 基准上平均提升 8.7 点，对于业务中缺乏大模型成本的团队，可参考此低成本训练方案提升自研小模型能力。
- 环境多样性与场景覆盖：14 个场景、64.9K 任务规模证明合成数据在覆盖长尾工作流上的价值，类似思路可用于生成大量电商用户任务流（如比价、凑单、多条件筛选）来训练 Agent。
DisaggKD：通过师生分离与融合损失实现高效知识蒸馏
🧭 知识蒸馏训练效率优化
The University of Tokyo · RIKEN AIP · SB Intuitions Corp.
提出教师-学生分离的KD框架，通过fused loss和prefetch ring突破显存限制，匹配同布局损失并提速
📌 工作参考价值（4 点）
- 在资源受限下做LLM蒸馏（例如蒸馏通用大模型到电商领域小模型用于query理解或排序），采用教师-学生分离部署，教师只前向，学生负责训练，避免同一GPU同时存放两套权重和优化器状态。
- 实现KD loss时，若词表过大，不必显式构造完整logits张量，可通过行窗口和词表分片（vocabulary shards）的融合kernel精确计算loss，既省显存又保持数值一致，适合大词表场景（如搜索词预测、文案生成）。
- 在跨节点流水线并行训练中引入prefetch ring协调生产者和训练者，可掩盖通信延迟，提高吞吐，对需要跨节点数据转移的架构有借鉴意义。
- 使用闭式内存和流量模型提前判断不同布局（colocated vs 分离）的可行性，避免OOM，可在设计训练方案时快速评估，节省试错成本。
FlashMask-3：高效掩码感知分布式注意力
🧭 训练系统 · 掩码感知注意力 ★ 深度解读
Baidu Inc.
将列式稀疏掩码扩展至 Hopper 分布式注意力，实现零通信掩码本地化与负载均衡的长上下文训练加速
📌 工作参考价值（4 点）
- 长序列行为建模或多文档检索中，采用列式稀疏掩码（column-wise sparse mask）编码 document/prefix-LM/sliding-window 等结构化 attention，用 O(N) 边界向量替代 O(N^2) 显式掩码，kernel 跳过全掩码 tile，可大幅降低显存和计算，适合用户长期行为序列的 Transformer 训练。
- 分布式 context parallel 下，掩码边界向量仅需做 clip–shift–max 变换即得到 rank-local 掩码，零跨卡通信；在电商/搜索推荐的多机训练中可直接复用，避免 mask 同步开销。
- 对稀疏 mask 导致的负载不均，借鉴 Hierarchical Compute-Communication IPO：先 IPO 做 compute balance，再 inter-node 交换降低 KV 通信量，最后 intra-node rebalance，在工程上可分层优化。
- 通信重叠可使用 NVSHMEM 对称内存 + 一端 RDMA + mask 驱动的 chunk 剪枝，减少约 50% all-gather/reduce-scatter 流量，提升 overlap 效率，适用于大规模分布式训练（如 LLM 驱动的搜索推荐）。
LeanPRM：基于 Lean 的自然语言证明过程监督
🧭 过程监督 · Lean 自动标注
University of Texas at Austin · University of California, Los Angeles · New York University
利用 Lean 形式化证明自动生成自然语言证明的逐步正确性标签，训练过程监督验证器，步级准确率从 48.2 提升至 74.7
📌 工作参考价值（4 点）
- 对 Agent/多步决策轨迹，可借鉴「可执行环境自动打标签」：用沙盒、规则引擎或领域知识库对中间步骤做形式化校验，替代人工标注，低成本构建过程监督数据。
- 「分离形式错误与语义错误」的过滤模型思路值得迁移：先自动生成大量轨迹标签，再训练一个二分类器剔除仅因语法/格式失败但推理正确的负样本，避免污染奖励模型。
- 训练过程奖励模型时，可以混合少量人工标注与大量自动标注；本工作证明在没有人类标注的情况下，自动标签也能显著优于 PRM800K 人工标注，适合快速迭代线上推理链路。
- 对于电商推荐理由生成、搜索 query 改写等有可执行校验（如转化、点击、库存）的场景，可尝试用业务指标为中间步骤提供弱监督，再微调 LLM 做步骤级打分。
WorkRover：通过递归环境演化训练长程 Cowork Agent
🧭 长程 Agent 环境演化与信用分配训练 ★ 深度解读
Fudan University · East China Normal University · Renmin University of China · Shanghai Qiji Zhifeng Co., Ltd. · Shanghai Innovation Institute
提出 WorkRover 框架，用递归环境演化与 Verifier 进度信用分配提升长程 cowork agent 训练，多个基准大幅超过基座
📌 工作参考价值（4 点）
- 环境构建可借鉴 Harness 思路：在电商 Agent 任务平台里，把“上下文 / 任务 / 校验器”作为同一版本包管理，校验器必须绑定证据并接收 valid alternatives；这样能减少“任务生成与评测脱节”导致的错误奖励。
- FCR 的最小修复 + 组合回放适用于线上工作流配置变更：对 query 改写、推荐策略或工具配置做修改时，冻结原 intention / eval 规则，枚举少量组件修复组合，用固定种子回归验证，选最小可验证变更而非全量重生成，降低误伤。
- VTCA 的 turn 级信用分配可直接迁移到长链路搜索 / 推荐 Agent：用确定性 workspace / 结果检查器计算每步可观测进度，不做中间 LLM Judge；通过工具输出或产物版本依赖决定哪些前置查询 / 读取步骤分享奖励，能缓解多跳检索、对比决策中的 sparse reward。
- 训练数据 pipeline：SFT 用大模型生成轨迹 + 验证，RL 前先对 task-verifier 做一致性筛选，再保留少数高质量对，适合在电商业内部署低成本后训练。
EAU：环境-智能体-用户共同进化训练用户中心智能体
🧭 用户中心 Agent RL 训练环境协同进化 ★ 深度解读
University of Alberta · National University of Singapore · Kuaishou Technology · Alberta Machine Intelligence Institute (Amii)
提出 EAU 元代理框架，在 RL 训练中在线诊断并修改用户模拟器、环境奖励与超参，实现三者协同进化
📌 工作参考价值（4 点）
- 用户模拟器不稳定是对话式推荐/客服 RL 训练的常见痛点：可借鉴 symbolic user 规则化控制信息揭示，与 LLM 模拟器按比例混合，获得稳定训练信号同时保留自然交互多样性。
- 训练中让 meta-agent（或自动脚本）监控 rollout 日志、检测 deadlock/信息泄露/reward hacking，并热修复奖励规则或环境约束，避免重启；工程上可将 user simulator、reward scale、max steps 等做成可编辑配置，支持在线调整。
- PPO 训练对话 agent 时，critic 和 GAE 只计算 action tokens 的 advantage，防止 observation 文本稀释学习信号；这一实现细节可直接复用于多轮对话策略优化。
- 跨 run 经验池：把每次训练发现的修改和效果记录下来供后续 run 复用，可加速迭代，适合业务中反复训练 agent 的场景。
锚定噪声驱动的嵌入空间定向探索：改进 LLM RLVR
🧭 RLVR 训练探索增强
University of New South Wales (UNSW Sydney)
在 GRPO rollout 中用少量锚定噪声扰动嵌入位置替代标准采样，以极低成本提升探索多样性，优于 GRPO。
📌 工作参考价值（3 点）
- 在电商/搜索/生成式推荐模型的 RLVR/GRPO 训练中，可在 prompt embedding 后追加一个带共享锚点和高斯噪声的扰动位置，按 10%–20% 比例替换标准 rollout，低成本增加组内 reward 方差，改善优势信号。
- 对扰动 rollout 使用降权优势参与更新，可防止噪声过度干扰策略；该方法不改模型结构、解码和线上推理，适合作为现有 GRPO 训练管道的即插即用探索插件。
- 当业务需要提高生成多样性（如推荐理由、搜索建议、自动文案）时，可借鉴“锚点+噪声”的定向探索思路，让同一 prompt 的候选沿共同方向发散，提升采样覆盖，而非仅依赖调高温度。
谱驱动自适应秩优化器，用于可验证奖励的 LLM 强化学习
🧭 LLM RLVR 优化器设计
Gaoling School of Artificial Intelligence, Renmin University of China
发现 RLVR 梯度能量向低秩子空间集中，提出自适应秩优化器 Ares，跨模型和任务提升准确率
📌 工作参考价值（3 点）
- 在业务中用 RLVR 微调推荐/搜索 Agent 时，可借鉴 Ares 的自适应低秩优化：根据梯度能量占比动态选择更新秩，避免固定 LoRA rank 的欠拟合/过拟合，同时降低显存与通信开销。
- 监控梯度谱能量分布与有效秩下降趋势，可作为 RLVR 训练健康度的诊断指标；若梯度能量没有像预期那样向低秩集中，可能说明奖励信号或任务设计有问题，便于早停或调整。
- 实现上，Ares 的能量阈值法（估计保留一定能量比例的最小秩）可以复用到现有多卡训练框架中，对优化器状态做低秩投影，提升训练吞吐，适合大规模电商搜索推理模型更新。
TPPO：用于语言模型推理的追踪价值 PPO
🧭 RLVR 中 PPO 价值函数参数化改进 ★ 深度解读
Zhejiang University · Westlake University · Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Nanjing University
将 PPO critic 改为逐 token logit 增量累加，在稀疏二元奖励下显著提升推理训练的 token 级信用分配与策略性能
📌 工作参考价值（4 点）
- 若在 LLM 驱动的对话式推荐/搜索 Agent 中用 PPO 做 RL 训练，且奖励是终端转化/点击式的稀疏二元信号，可将 critic 从独立预测 prefix value 改为累积 logit 参数化：每 token 输出一个 scalar，累加后 sigmoid 得到 prefix value，损失用 BCE；实现成本低，不需要 process reward。
- 该方法直接改善 GAE 中相邻 token 的优势排序，减少噪声信用分配；对于需要区分多步推理中关键步骤（如商品筛选、需求澄清）的场景，能提升策略学习的稳定性，尤其适合长轨迹 CoT。
- 注意其假设是 γ=1、binary terminal reward；若业务奖励是 dense 或连续值（如 GMV、转化概率加权），需先做二值化或改造 logit 分解，否则收益可能不成立。
- 在评估 critic 质量时，可借鉴 SNR-conditioned sign accuracy 与 MC anchor 估计，用少量采样诊断训练中 critic 是否在跟踪值演化，避免训练后期价值函数退化。
异质智能体共进化：专用基础模型与LLM Agent的互惠学习
🧭 专用模型与LLM Agent共进化训练 ★ 深度解读
Meta AI · University of Virginia
提出 HACE 框架，让专用基础模型与 LLM agent 互惠共进化，在推荐、蛋白质功能、材料稳定预测上全面超越收敛后基线
📌 工作参考价值（5 点）
- 用 LLM agent 做“经验筛选器”提升收敛后的推荐模型：让 agent 基于当前 specialist 的预测生成候选，只保留贡献 r_i = q_A - q_S > 0 的 verified response，再用这些 response 选择 specialist 的训练样本。电商推荐中可对已收敛的 SASRec/HSTU/Wukong 类模型继续榨取提升，尤其长尾/冷门类目。
- 融合打分公式很轻量，可直接上线实验：joint prediction 使用 s_i(c) + λ a_i(c)，agent 分数按 log reciprocal rank 衰减，λ 通过交叉验证在固定网格上选择。这种 fusion 不改变 specialist 结构，适合快速接入现有排序链路。
- 保留更新需做 paired validation，避免噪声回滚：每次 specialist 或 harness 更新后，在同一 validation batch 上用当前 agent 做配对评估，只接受 ΔJ > 0 的 proposal。工程上可作为在线/离线模型迭代的安全门控。
- harness 进化搜索可自动发现上下文/课程策略：论文中 harness 搜索会自动移除 genre metadata、隐藏候选排名、把课程指向 hard cases。对应推荐系统可进化地决定给 agent 看哪些特征/上下文、以及哪些训练样本进入下轮 specialist 微调，减少人工试错。
- agent 与 specialist 不必同构，小 agent 也可能够用：实验显示 Gemma-4 E4B 比更大的 26B-A4B 带来更稳定提升，说明业务中不必追求超大 LLM agent，计算资源配置可优先给 specialist 微调。
KV4-RL：INT4 KV Cache 量化加速 RLVR 异步 Rollout
🧭 RLVR 训练加速 · KV cache 量化
KAIST · NAVER Cloud · AITRICS
提出 KV4-RL，通过校准无关 INT4 KV 量化与选择性 INT8 保护 attention sinks 和近期上下文，在保持训练质量的同时大幅加速 RLVR 异步 rollout
📌 工作参考价值（4 点）
- 在使用 GRPO/RLVR 微调电商/搜索领域的推理型 LLM（如 query 改写、生成式推荐）时，可直接引入 KV cache 量化加速 rollout：长尾生成导致 KV 工作负载集中，KV 量化比权重量化或 weight-activation 量化收益更大。
- 选择性 INT8 保护策略可迁移到其他量化训练场景：对 attention sinks 和最近若干个 token 保持高精度，能有效缩小采样分布偏移（sampler mismatch），避免训练退化，同时保留大部分 INT4 加速。
- 校准无关的 INT4 KV 量化无需校准数据集，适合 RLVR 异步 rollout 中动态变化的 prompt 和生成长度，工程实现门槛低，可与 token-level truncated importance sampling（TIS）结合进一步稳定训练。
- 若业务中有大规模 LLM 自博弈或在线采样（如用 LLM 生成推荐理由、广告文案），可考虑对 KV cache 采用 INT4 量化，尤其当并发解码使 KV 成为主要瓶颈时，能显著降低推理成本而不明显损失最终模型质量。
连续扩散语言模型的设计空间研究
🧭 连续扩散语言模型训练设计
Apple · University of Oxford · University of Amsterdam
揭示自条件与嵌入几何机制，提出 DoubleCat 和 SemiCat 显著提升连续扩散语言模型文本生成性能
📌 工作参考价值（4 点）
- 在推荐/搜索场景中用连续扩散语言模型生成 query、文案或 push 消息时，优先关注 self-conditioning 和 embedding geometry 两个训练杠杆；DoubleCat 无需额外前向即可修正 train/inference mismatch，适合低延迟在线生成。
- SemiCat 引入 discrete reveals 后，在标准超参下即可达到离散扩散性能，且 tuned sampler 可显著提升精度；这套方法迁移成本低，适合资源有限的业务快速落地文本生成模块。
- 嵌入几何的结论表明交叉熵驱动的 embedding 解码错误率已接近 one-hot，实际部署时不必过度设计嵌入空间，可以节省算力和存储。
- 混合 corruption 过程和异步噪声调度的探索为广告文案、商品标题等可控文本生成提供了新的调参方向，值得在业务数据上做小规模验证。
面向专用神经网络自动调参的多智能体 LLM 系统
🧭 多智能体 LLM · 自动调参
National Research Centre “Kurchatov Institute”, Moscow, Russia · National Research Nuclear University MEPhI, Moscow, Russia · Moscow Institute of Physics and Technology, Dolgoprudny, Russia · Harbin Institute of Technology, Harbin, China
多智能体 LLM 框架用分析师/编码员/记录员三角色在受限语义空间内调优专用神经网络组件，在 SNN 和 PINN 任务上大幅超越基线
📌 工作参考价值（4 点）
- 组件级代码生成：不优化整个 ML 脚本，只让 LLM 改指定的功能组件（如个性化模块、损失权重、特征交叉），保持主网络结构不变，可降低线上模型迭代风险，适合电商推荐模型的快速调优。
- 多角色 + 沙箱 + 实验日志：分析师、编码员、记录员分工明确，配合 sandbox 执行和完整日志，能构建可信的自动实验流水线；可用于超参数搜索、训练策略调优或模型结构微调。
- 弱模型对详细提示更敏感：在成本受限无法用顶级 LLM 时，可优先投资详细的 prompt 设计，而非盲目换更大模型。
- 跨任务通用性：同一框架在分类和 PDE 求解上都有效，提示多智能体自动调参有潜力迁移到推荐系统多任务学习权重、损失平衡等场景。
难一点但别太难：GRPO 课程难度递进的收益与上限
🧭 GRPO 课程学习与动态难度调度 ★ 深度解读
Dalian Maritime University
系统刻画 GRPO 训练中样本难度随策略演化，证明中等难度持续选择并非最优，适度递进到更难难度带可提升性能但过度递进有害
📌 工作参考价值（4 点）
- 在 RLVR/GRPO 训练推荐文案生成、Agent 策略优化时，不要固定使用中等难度样本。可以按当前策略采样 8~32 次估计成功概率，动态划分难度带，并分阶段推进难度带（如从成功率 0.375-0.625 推进到 0.25-0.5），但避免推进到过低成功率区间（如 0.125-0.375），观察到性能非单调下降。
- 初始难度的静态排序会随着策略训练过时：即使全局 Spearman 秩相关高达 0.81，中等难度带的成员保留率只有 20.74%。因此在需要在线数据选择时，必须定期重新估计样本难度，不能依赖训练前一次性难度标注。
- 论文使用的诊断集与训练集分离、基于噪声容忍度的耐心阶段切换策略可直接复用：设定诊断准确率超过噪声容忍度（如 0.0107）才更新 best checkpoint，连续两次未改善则切换阶段，能避免过早切换和噪声波动。
- 中等难度样本（成功率约 0.375-0.625）虽然组内学习信号强，但持续选择并非最优；适度进阶到较难带（0.25-0.5）可获得额外提升。可借鉴该结论设置课程难度带边界，并结合业务数据分布调参。
匹配上下文分组策略优化用于 LLM Agent 训练
🧭 LLM Agent 强化学习 · 长程信用分配 ★ 深度解读
Imperial College London · University of Science and Technology of China · Meituan · Tsinghua University
通过匹配任务进度与状态构造加权动作偏好，提升长程 LLM agent 稀疏回报下的信用分配
📌 工作参考价值（4 点）
- 利用任务规则提取可观测的 rubric progress（如已匹配属性、价格满足、页面状态）作为状态补充，与 state summary 联合定义动作比较上下文，避免因进度差异导致信用错配；在电商导购 Agent 中可借鉴：用已完成步骤（搜索、详情、加购）标注状态，减少不同会话阶段的错误对比。
- 从有限日志或 rollout 数据构造动作偏好时，采用 opposite-fold 交叉标注：一半数据提取候选动作，另一半估计结果证据，降低自相关偏差；适用于从历史会话日志生成离线策略优化信号。
- 根据支持样本数动态缩减偏好权重（n/(n+κ)），防止小样本高方差偏好主导训练；在业务中构造 session-level 偏好对时，可对低支持度的对比自动降权，提高训练稳定性。
- 无需 critic 模型，只附加一个 weighted pairwise objective 即可接入现有 PPO/GRPO 流程，保留原始历史上下文；便于在已有 Agent 训练框架上增量实施。
随机动量传输与廉价预测器
🧭 训练优化 · 随机动量传输
Machine Learning and Optimization Laboratory (MLO), EPFL
提出随机化动量传输，以概率 q 评估梯度修正并用廉价预测替代，在保持 O(T^-1/3) 收敛下显著降低 oracle 调用成本
📌 工作参考价值（4 点）
- 在大模型/推荐模型训练中，二阶动量或梯度修正（如 HVP）计算昂贵，可借鉴随机化加权估计：以概率 q 触发精确修正，其余步用廉价预测（如在线对角预测器），用重要性权重保持条件均值。
- 若采用 STORM 类优化器，当梯度差噪声模大于光滑常数时，设置 q<1 反而降低收敛首项系数（最多约 10%），可提供调节 q 的理论依据，降低训练成本同时性能不降。
- 实验表明同等 oracle 预算下，q=1/4 的随机修正降低训练 loss 18-43%，提升 CIFAR-10 HVP 精度 1.5 点；在电商大模型训练中可先在小任务上验证并调整 q，减少 GPU/TPU 前向与通信开销。
- 在线对角预测器有 regret-to-convergence 保证，适合线上实时训练推荐模型的连续更新场景。
UltraBERT: 突破 BERT 预训练性能极限
🧭 双向编码器预训练优化
Korea University · AIGEN Sciences · Amazon
提出双头掩码率预训练策略，首次同时达到分类与检索 SOTA
📌 工作参考价值（4 点）
- 在电商搜索/推荐中，文本编码器常用于 query 理解、商品标题分类、相关性计算。可借鉴双头策略：一个 encoder 同时输出分类友好的低掩码率表示和检索友好的高掩码率表示，用不同 LM head 解耦任务冲突，避免多模型部署成本。
- 预训练算力投入有边际递减：超过几万亿 token 后 encoder 在下游任务饱和，业务侧做 domain-adaptive pretraining 时不必盲目扩大数据，应把资源转向任务适配或蒸馏。
- 蒸馏和剪枝要谨慎与掩码率搭配：低掩码率下蒸馏可提升分类但高掩码率下损害检索；如果业务中既要分类又要检索，蒸馏目标应只绑定低掩码率分支，避免损害检索表征。
- 实现上，可在同一个 batch 内混入不同掩码率样本，共用 backbone，减少工程复杂度。
Vela：以用户行为作为监督激发 LLM 智能
🧭 LLM 训练 · 用户行为监督 ★ 深度解读
AllSpark Team
用10万用户真实行为构造可见历史/隐藏未来任务微调LLM，同步提升用户理解与通用能力
📌 工作参考价值（4 点）
- 可直接借鉴「可见历史/隐藏未来」的构造方式：把电商/广告日志按时序切分，将浏览、搜索、购买、收藏、负反馈作为可见上下文，用未来购买/点击/广告互动作为 ground truth，自动生成预测式 SFT 数据，省去人工标注。
- 对用户画像摘要、搜索 query 生成、广告文案等 free-form 输出，用 Rubric 类模板 + LLM scorer 做任务特定 criteria 自动评估，例如「证据是否来自历史」「是否避免无据属性」，既可用于离线评测，也可作为训练信号。
- 用基座模型多次采样估计难度，只保留 0.2–0.8 中间难度任务，再选高分轨迹做 SFT/RFT；这套筛选在 AdRecommendation、ProfileSummary 等任务上带来稳定 OOD 提升，成本低，适合业务个性化模型训练。
- 先做用户行为 SFT 再做 RL，比从基座直接 RL 高 7.7 分；在电商/Agent 的 RLHF/GRPO 流程前，可先加入一批行为监督 SFT，作为个性化能力的更强初始化。迁移时需按业务事件 schema 重新设计模板，并注意行为数据隐私合规。
训练具备潜在内在反馈的用户仿真器
🧭 用户仿真器 · 内禀奖励多轮RL ★ 深度解读
Google Research · Georgia Institute of Technology
提出带潜在评估状态的用户仿真器，同时生成用户话术与逐轮评分，用于多轮RL训练助手并省一半以上算力
📌 工作参考价值（4 点）
- 在导购/客服 Agent 做离线 RL 时，可把用户模拟器输出结构化为「下一轮用户消息 + <eval> rating/feedback」，用 rating 直接当逐轮 reward，省掉外部 LLM-as-judge。文中 RL 计算量从 5.48e19 降到 2.45e19 FLOPs，约省 55%，且满意度不降反升（41.44% vs 41.08%）。
- 用真实聊天日志构造 simulator：用大模型对历史会话补标 latent eval 和 intent，再 SFT 小模型，比直接 prompt 大模型 roleplay 更真实、评分更接近真人。适合在电商客服/导购数据上复制，得到可控制、可复用的仿真环境。
- intent 条件化值得做：把用户高层意图作为 system prompt，提升反馈行为可控性，便于按场景（如“找一款送父母的蓝牙耳机”“售后问询”）生成特定仿真任务。
- 若只需要低成本 reward，可简化 LES 只保留 Rating；代价是文本 realism 下降。想要更真实话术，需加入 Internal_Thought/Feedback 等语言型子状态。另外注意反应类不平衡：WildChat 中 Praise 仅占 1.26%，Critique 约 14.15%，训练 reward 或分类时可能需要重采样。
专家学习更快：预训练知识组织塑造更新效率
🧭 预训练数据组织与知识更新效率
University of Rochester
发现按时间顺序预训练得到的专家模型获取新知识所需更新步数远少于随机顺序训练的通才模型，并提出可预测的预训练数据组织策略
📌 工作参考价值（3 点）
- 对于需要频繁更新知识的场景（新品冷启、新类目/实体词、实时政策词），可以尝试将近期数据按时间顺序组织进行增量预训练或微调，获得“专家”特性，使后续通过 LoRA、模型编辑等方法更新时收敛更快、所需样本更少。
- 为防止对历史知识灾难性遗忘，采用“近期时间顺序数据 + 少量历史重放/锚定样本”的混合组织策略；论文给出的策略在保留稳定历史知识的同时增强当前知识更新效率，可作为推荐/排序模型持续学习中的样本回放设计参考。
- 知识更新成本可通过优化动力学预测，实践中可建立小规模探针实验，评估不同数据排序（时间、类目、热度等）对后续更新效率的影响，选择适合业务的数据组织方式，而不是默认随机 shuffle。
超越领域路由监督：多教师在线蒸馏的跨教师守护
🧭 多教师在线蒸馏梯度冲突缓解
Nanjing University · JD.com
提出 ROADMOPD，引入非路由教师作为跨域批评者，通过 token 级信用分配与梯度投影缓解多教师在线蒸馏的梯度冲突
📌 工作参考价值（4 点）
- 在多领域/多任务 LLM 在线蒸馏或 RLHF 中，不要只靠数据路由区分教师；可在同一批轨迹上额外计算非路由教师的梯度/损失作为冲突检测器，用教师一致性加权 token 级损失，低成本缓解共享参数下的梯度冲突。
- 梯度投影是可复用的训练工程技巧：当辅助梯度与主梯度方向冲突时，对主更新做投影去除冲突分量；但落地时应自适应控制投影强度，避免过度约束损害目标域信号，可参考其投影强度的门控/衰减机制。
- 若业务中需同时蒸馏多个领域专家（如电商搜索、推荐文案、客服），可借鉴“跨教师守护”思路：把非目标域教师作为 critic，不直接更新学生，只参与冲突感知的梯度修正，降低劣势领域退化风险。
- 对于 token 级信用分配：利用教师间一致性而非单教师概率来调整 token loss 权重，能减少噪声标签/风格差异带来的干扰，适合生成式推荐中文本质量与领域风格冲突的场景。
ClawLoop：基于 Harness 原生训练闭环的自改进 Agent 框架
🧭 自改进 Agent 训练闭环 · Harness 原生任务合成 ★ 深度解读
Meituan · Peking University
无外部教师模型下，通过任务合成-训练-诊断闭环实现 harness agent 自改进，并迁移到小模型
📌 工作参考价值（4 点）
- 任务合成用可执行 generator 直接产出环境、答案 key 和 answer contract，避免让 LLM 直接生成答案；电商/搜索场景构造模拟任务（订单聚合、库存核对、报表生成）时可借鉴“生成代码而非标签”，把隐含业务规则写成 skill/contract 文件，确保 reward 可验证且不泄漏。
- SFT 阶段只对 agent action token 计算 loss，mask 掉环境观察 token；多轮 agent 训练中商品详情、日志、工具输出往往很长，不做 mask 会主导梯度，这个 trick 可直接复用。
- RL 用 GRPO 时引入 admission band [N_l, N_h] 只保留当前策略通过率居中的任务，太难或太易都不产生 advantage；推荐/对话策略的自我博弈或课程学习可以按通过率过滤样本，动态保持训练信号密度。
- 诊断反馈闭环：让模型自己总结失败轨迹并聚合 failure patterns，驱动下一轮任务生成；可用于 query 改写、Agent 规划失败归因，自动生成针对性补强数据，不依赖人工分析。
当 KL 正则化在群体策略优化中失灵时
🧭 RLHF/GRPO 训练稳定性优化
Alibaba Group
系统分析 GRPO 中参考 KL 与奖励交互的七种失效模式，提出条件 KL 标定组内奖励系数的 ZCPO
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景用 GRPO 类方法做 LLM 策略优化时，若显式 reference KL 导致奖励收敛慢或指标波动，可尝试去掉 KL 项或改用条件 KL 只用在校准组内奖励系数，而非独立正则项。
- 对于文案生成、搜索词推荐等变长输出任务，注意 KL 会随 response length 增长且可能集中在少数 token，造成长度偏置；可考虑 per-token 或条件归一化，避免长文本被过度惩罚。
- 当组内样本 reward 相同或梯度取消时，独立 KL 梯度不会完全抵消，仍会推动策略漂移；可在组内 reward 方差接近 0 时关闭 KL 更新，或采用 ZCPO 式相对漂移标定。
- 将 KL 估计直接加入 reward 会引入采样噪声，建议分离 KL 估计与 reward 计算，并使用更稳健的组内相对校准系数。
多流注意力残差
🧭 高效 LLM 预训练 · 深度残差架构
School of AI, Shanghai Jiao Tong University · Shanghai Innovation Institute · Dots Studio, Xiaohongshu Inc. · School of CS, Peking University
将单流深度注意力残差扩展为多流深度注意力，通过多尺度因果卷积生成多样化上下文视图，在 MoE 大模型上取得 1.58 倍预训练加速
📌 工作参考价值（4 点）
- 若业务需要自研或微调大模型作为排序/召回/Agent 底座，可评估用 MSAR 替换标准残差连接：保持单流存储、按需扩展多流深度检索，iso-loss 预训练加速 1.58×，对 MoE 架构尤其明显。
- 多尺度因果卷积生成不同上下文视图的思路可迁移到用户行为序列建模：使用不同 kernel size 的因果卷积提取短期点击、中期会话、长期兴趣等多时间尺度表示，再通过自适应混合融合，增强序列建模能力。
- 轻量自适应混合多个检索流的机制，可作为推荐模型中多兴趣/多视图融合的替代方案：避免显式维护多流表示和通信开销，降低工程实现复杂度。
- 需注意该工作验证于 18B/28B 大规模 MoE 语言模型预训练，直接搬到电商推荐的小模型或非 Transformer 结构收益未知；引入多流机制可能增加调试复杂度，建议先在离线评测中验证深度特征稀释问题是否真实存在。
HarnessSQL：真实数据库环境中 SQL Agent 的 Harness 原生训练
🧭 SQL Agent 原生训练 · 执行奖励 RL
Hong Kong University of Science and Technology · Microsoft Research · Tsinghua University · University of Macau
提出 HarnessSQL 训练框架，在 SFT 和 RL 中保留完整 SQL 交互结构，大幅提升小模型在真实数据库任务中的执行准确率
📌 工作参考价值（4 点）
- 借鉴 harness-native 训练思想：在电商搜索/推荐 agent 训练时，让模型直接调用线上同构工具（商品检索 API、数据库查询、排序服务），保留完整交互轨迹做 SFT，而不是只输入问题输出答案，缩小训练与线上推理差距。
- 使用 execution-reward RL：以可验证的结果（如商品是否被正确召回、SQL 是否返回正确结果、用户是否点击）作为奖励信号，只对最终成功轨迹给予正奖励，能有效提升长程 agent 任务表现，且无需逐步骤标注。
- 引入 hidden oracle 自动过滤高质量轨迹：在业务中可构建规则或脚本验证任务完成情况，从海量交互日志中筛选成功样本用于训练，降低人工标注成本。
- 隔离可执行沙箱环境：在离线训练时为 agent 提供稳定、可控的数据库/服务沙箱，避免真实环境波动导致训练不稳定；同时可模拟错误注入，增强错误恢复能力。
合成自蒸馏实现小模型持续后训练
🧭 持续后训练 · 合成自蒸馏
KAIST AI · LG AI Research
提出合成自蒸馏，通过稍大同家族模型生成in-distribution监督，解决小模型持续后训练中获取与遗忘问题
📌 工作参考价值（4 点）
- 在电商/搜索场景持续更新轻量级 query 理解或 on-device 模型时，可借鉴「同家族稍大模型生成 in-distribution 伪标签」的蒸馏方式，避免直接使用真实用户反馈造成分布偏移和旧知识遗忘。
- 使用 rejection sampling 过滤低质量合成样本，能提升伪标签可靠性，适合电商/搜索中大量噪声标签或弱监督数据的场景。
- 持续学习前先量化模型输出分布偏移，发现偏移过大时强制启用 in-distribution 重写或防遗忘策略，可部署为在线监控指标。
- 低延迟场景（如移动端推荐特征提取、query 改写）可线下用稍大模型生成高质量训练数据，线上仅部署小模型，兼顾效果与推理成本。
何时需要在线蒸馏？离线学生轨迹蒸馏常更优
🧭 LLM 蒸馏策略 · 在线 vs 离线 rollout
Semi-OPD 用初始学生离线 rollout 蒸馏，在 17 对模型上 14 对优于 OPD，最高 +13.6% 精度、11.4 倍加速
📌 工作参考价值（4 点）
- 做 LLM teacher→student 蒸馏（如 query 改写 / 商品文案 / Agent 策略小模型）时，先别默认 OPD。用一批 hold-out prompt 统计初始师生输出的 top-64 token overlap；若 overlap 不高（论文中多数 < 90%），直接用初始学生离线 rollout 的 Semi-OPD，精度更稳且省 GPU。
- 离线 rollout 可以预生成、缓存、复用，训练时只用固定数据，天然适合电商/广告的离线训练流水线；Semi-OPD 相对 OPD 最高 11.4 倍加速，H100 成本明显下降。
- 若业务必须用 OPD（如需要在线探索），先做 warm start 让学生与老师输出分布接近；否则学生 rollout 随上下文增长会越来越 off-policy，蒸馏信号退化。
- 可以把 token overlap ratio 作为轻量监控指标，在启动蒸馏前判断 OPD 是否值得，避免盲目投入 GPU。
基于预条件空间的舍入：重新设计4-bit AdamW优化器状态量化
🧭 4-bit AdamW 优化器状态量化
University of California, Berkeley · Nubank
提出在预条件空间做随机舍入的4-bit AdamW状态量化方法，显著缩小与32-bit训练的验证损失差距
📌 工作参考价值（4 点）
- 若已经在用 TorchAO 4-bit AdamW 压缩大模型优化器状态，可直接替换第二动量的量化方式：不再做 state-space rounding，而是在 preconditioner space 计算随机舍入概率，改动集中在量化器实现层，训练流程无需重构。
- 第二动量码书可两条路线选择：ZIP-SR 保留零点适合大多数场景；ZE-EDEN 排除零点并 rescale 量化块，可缓解正量化底带来的预条件失真，对推荐/搜索模型中大量稀疏或接近零的梯度更有针对性。
- 第一动量用 4-bit NF4 已经够稳，但输出层（如推荐系统中的 item embedding 或 LLM 的 LM head）对量化更敏感，最后 10% 训练步对输出层第一动量做针对性随机舍入，能进一步降低验证损失，适合在微调生成式推荐模型时采用。
- 对需要大规模预训练或全参数 SFT 的电商/Agent 场景，该方法可降低优化器显存占用，同时把 4-bit 训练与 32-bit 训练之间的验证损失差距最多缩小 70%，适合作为训练成本优化的默认配置。
克服先验障碍：长尾分布下的监督微调
🧭 LLM SFT 数据选择 · 先验障碍 ★ 深度解读
Virginia Tech · Amazon · Meta · MBZUAI · Dartmouth College
提出 prior barrier 概念与 PASS 方法，自适应分配 SFT 预算以克服长尾预训练支持差异
📌 工作参考价值（4 点）
- 指令微调前，先对业务指令/参考集做 response embedding 聚类，形成 capability/concept 粒度；用预训练模型在各 concept 上生成响应，估计 support 和 prior barrier，优先给生成差且混淆多的类目分配 SFT 预算，避免按任务均分。
- 样本打分建议从 query 相似度升级为「正确响应 vs 竞争响应」的区分证据：用正确与错误/易混淆 response 表示构建 evidence matrix，选样时同时惩罚语义重复和有害/竞争样本，适合电商客服、商品导购 Agent 中意图边界模糊的场景。
- 该方法采用边际增益贪心，计算成本低于 LESS/TSDS，适合大规模候选 prompt 库筛选；对已有 LoRA SFT 流程可直接插入，用于提升长尾品类/任务能力。
- 即使不用完整 PASS，也可借鉴「先验障碍 + 自适应分配」思路：训练前用少量 reference 测模型各能力的 base 表现，按 head/tail 设置差异化数据配额。
LadderEdit：编辑级残差压缩实现 LLM 终身编辑内存高效
🧭 终身模型编辑 · 参数高效存储
Yale University · Washington University in St. Louis · Icahn School of Medicine at Mount Sinai · Arizona State University
按编辑难度动态分配 LoRA 秩的压缩方法，内存减少 5.2 倍仍追踪精确 LoRA 性能
📌 工作参考价值（4 点）
- 对大规模个性化 LoRA 适配器（如每用户/每商品/每场景）可直接套用：先以极低秩存储，用少量验证 prompt 检查效果，不达标再提升秩，显著降低存储与显存。
- 持续更新推荐/广告模型时，可借鉴“编辑合约”：为每次更新设定改写/泛化/局部性指标，仅在满足时接受，避免灾难性遗忘。
- 工程实现上，维护多级秩 ladder，编辑先以低秩 sketch 存储，失败才逐步提升，可以节省推理时的内存带宽，适合在线部署。
- 注意：论文侧重事实编辑，与电商场景的偏好/行为数据分布差异较大，需重新设计验证合约才能复用到推荐系统。
哪个技能值得蒸馏？SGUID：为模型-技能协同进化选择紧凑技能库
🧭 LLM 技能蒸馏与模型-技能协同进化
New York University · Amazon
提出SGUID，通过筛选能持续提供有效蒸馏信号的技能子集，实现更稳定高效的模型-技能协同进化。
📌 工作参考价值（4 点）
- 在构建技能/指令库用于 RAG 或 Agent 时，不要仅按语义相关性全量检索；借鉴 SGUID，用 on-policy 蒸馏信号评估每个技能的真实效用，只保留能持续提供正向学习信号的技能，可显著压缩技能库规模（论文中 6 个技能 vs 全库最多 11 倍），降低推理与蒸馏开销。
- 模型-技能协同进化循环可迁移到搜索推荐场景：从线上模型 rollouts 中挖掘新的有效技能（如 query 改写规则、排序策略提示），用选择机制过滤无效技能，避免全量回放导致性能退化（论文中 Qwen3-4B 未过滤技能使 HMMT25 下降 0.3 点）。
- 对生成式推荐或 QueryRec 中的 prompt/技能管理：不是所有提示模板或策略都值得固化进模型，可以通过蒸馏信号筛选少数高价值技能，实现轻量级模型能力提升，特别适合频繁迭代的线上系统。
- 强调选择步骤是保证稳定进化的关键；实际业务中应设置在线评估或小流量实验验证技能有效性，避免直接引入未过滤技能伤害线上模型。
潜在核心分词器：压缩，但要有意义
🧭 多语言 tokenizer 结构发现与词表构建
Microsoft Research Africa · Microsoft Research Accelerator · Microsoft Research India
提出 LCT 将结构发现与词表构建解耦，用形态约束提升多语言分词质量
📌 工作参考价值（3 点）
- 多语言电商/搜索场景若自建或扩展 tokenizer，可把结构发现与词表构建解耦，用 MDL/熵边界/形态约束代替纯 BPE frequency merge，优先保障低资源语言可复用单元。
- 用 fertility 和 MorphScore 评估现有 tokenizer 的语言公平性；对高 fertility 语言做定向词表扩展或 capacity 重分配，可降低线上 LLM 推理成本。
- 生成式推荐/推送文案涉及多语言时，词表质量直接影响序列长度与表示质量；LCT 的结论说明分配词表 capacity 要考虑语言形态结构，而非仅语料频率。
σTransfer：μP参数化下从小网络到大网络迁移不确定性
🧭 μP参数化 · Laplace不确定性迁移
University of Cambridge · Spotify
利用μP推导先验协方差缩放，使Laplace近似中的精度选择可零样本从小模型迁移到大模型
📌 工作参考价值（4 点）
- 大模型不确定性评估省钱：在LLM/Transformer上做Laplace近似或贝叶斯推断时，先用μP参数化，在小模型上sweep先验精度，再零样本迁移到大模型，避免大模型上昂贵的posterior sweep。工程上可直接降低OOD检测、主动学习、拒答决策所需的计算成本。
- μP参数化是迁移的基础：若模型采用μP，先验协方差需按宽度缩放（论文中推导的重缩放），否则精度选择不随宽度稳定。迁移到业务模型时，需要同时采用μP初始化与对应缩放，不能只调精度。
- 后验决策可跨尺寸复用：论文验证了采集函数、OOD得分、拒答决策在后验稳定性下也能直接迁移，无需构造大模型后验。这对线上推荐/搜索系统里的不确定性相关模块（如置信度过滤、探索策略）有参考价值：可以只在小模型上调策略，再部署到大模型。
- 适合模型升级场景：当业务从1B模型升级到7B模型时，可复用已调好的先验精度，避免重新调参，加速约2.3～330倍（取决于任务），且NLL损失极小。
以更少训练学习更多：不确定性引导的渐进收缩实现高效推理后训练
🧭 LLM 推理后训练 · 数据收缩
National University of Singapore · Nanjing University · Fudan University · The University of Sydney · The Chinese University of Hong Kong
用不确定性引导的渐进收缩框架，将推理监督压缩至全量SFT的0.22%训练预算，且维持或提升推理性能
📌 工作参考价值（4 点）
- 在电商/推荐场景用 LLM 生成商品卖点、推荐理由或搜索 query 理由时，可借鉴「不确定性引导的数据筛选」：先对生成轨迹做蒙特卡洛树展开，计算中间步骤的 token 概率方差或模型置信度，只保留高不确定性的样本用于 SFT，能显著降低训练数据量而不丢效果。
- 两阶段收缩可以拆成「离线静态筛选 + 在线动态路由」：离线基于教师模型的不确定性先压缩语料，在线根据学生模型当前 loss 或梯度变化决定是否继续使用某样本，这种策略适合在增量训练或弱标注业务数据上做持续微调。
- 弱到强泛化结果提示：用较弱/较便宜的模型先对大规模生成数据进行筛选，再用筛选后的数据训练更强模型，能降低推理数据标注成本；这在需要大量 LLM 生成内容但标注预算有限的推荐文案、对话式推荐场景很实用。
- 过程级不确定性比只看最终结果的正确性更精细：在处理多步推理链（如购物决策解释、Agent 路径规划）时，可以定位到具体哪一步不稳定，从而针对性补充监督信号或修复 prompt，而不是重训整个样本。
重新思考在线蒸馏中相对策略差异迁移
🧭 LLM 后训练 · 相对策略差异蒸馏 ★ 深度解读
Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · The Australian National University · Renmin University of China
通过隐式奖励视角统一相对策略差异迁移，揭示任务定向差异强于规模差异，且参考过滤与目标兼容性决定迁移成败
📌 工作参考价值（4 点）
- 在跨模型蒸馏或复用强模型能力时，优先取「任务定向优化产生的 update」（如 SFT/RL 后的 expert），不要直接拿更大参数的 base 模型当老师；用 logπ_expert - logπ_ref 的隐式奖励替代绝对 logits，能降低对 teacher 绝对能力的依赖。
- 参考模型不是随便选的：reference 应过滤掉与 expert 共享的通用行为，只保留增量。可以通过 top-k token overlap 选择低重叠 reference；若目标模型与 proxy 不同模型族/代际，优先用与目标同 family 的 reference，可把失败迁移救回来。
- 工程上可以用 top-16 token 分布近似，降低计算；训练时对 token 级 advantage 做 centering（减去当前策略期望）避免 intractable log Z；用 on-policy rollout + stop-gradient actor loss，直接适配 autoregressive 生成。
- 蒸馏过程要同时监控 train 与 validation/held-out，关注目标与 expert 的 token overlap 提升；train acc 上升但 val 不涨说明未泛化，应更换 reference 或 target，而不是继续多训。
MiMo-V2.6：面向自我改进的大规模强化学习训练
🧭 大规模强化学习训练与 Agentic RL 基础设施 ★ 深度解读
LLM-Core Xiaomi
通过扩展 RL 训练计算、任务环境与 grader 计算，在代码/通用/视觉/安全任务上稳定提升 1T 与 310B MoE 模型。
📌 工作参考价值（3 点）
- 防 reward hacking 的工程闭环可迁移到推荐/广告 RL 训练：环境清理（去缓存、隔离网络）、hack agent 对抗探测、训练中离线审计 + 作弊轨迹奖励清零，把 hack 率控制在 2% 以下，适合在线学习/探索场景。
- Groupwise advantage redistribution 思路可用于推荐模型基于 listwise/groupwise 反馈的训练：在 batch 内按质量因子对正样本重新分配 advantage，既保留成功样本梯度又惩罚低质量转化/刷指标行为，避免模型学到投机式优化。
- 大模型 RL 基础设施设计值得参考：统一 trajectory 表示、control/data plane 解耦、partial rollout + Sample Mixer 稳定多任务 batch 组成、冻结 MoE router 保证训练稳定；这些对大规模生成式推荐/Agent 在线更新有直接工程价值。
一个模型循环所有层：语言模型的弹性潜在循环
🧭 LLM 弹性深度与循环推理降本 ★ 深度解读
NVIDIA
通过 adaptive-delta 更新与 rank override 混合深度训练，循环 LLM 在 1 loop 不损精度并随 loop 增长持续提分
📌 工作参考价值（5 点）
- 单模型多档线上服务：ELR 提供一个 checkpoint 通过 loop count 旋钮控制精度/延迟，可替代为不同 latency tier 维护多个模型；在电商搜索、广告文案生成、Agent 长 rollout 等场景可直接按流量层级切换 1-4 loop，无需重训或增加参数。
- 低成本接入循环 LLM：延迟混合深度训练只在最后 25% token 开启，训练 FLOPs 仅约 +16%；已有非循环模型可通过 continuation 方式获得弹性深度，比从头训练循环模型更划算。
- MoE 推理优化技巧：cross-loop route replay 复用首 loop 专家路由，训练 update time 降低 11.7%，推理 forward 降低 1.2% 且精度几乎不变；对于电商大规模 MoE 模型，这是降低反复 router 计算的直接可抄方案。
- KV cache 与生成成本：last-loop KV caching 让 attention KV 显存保持 1-loop 水平，同时保留大部分深度收益；高 loop 还会缩短生成 tokens，适合长上下文 Agent/多轮对话降低显存与耗时。
- 避免 one-loop tax 的关键：必须用 adaptive-delta 更新和 within-step rank override 混合 1-loop 与多 loop 梯度；纯 synchronized sampling 或加权采样无法保住 1-loop 精度，做循环化改造时要避免直接沿用 Huginn 式训练。
语言模型中的自我保存
🧭 持续学习 · 自生成重放防遗忘
New York University · Google Research · Cornell University
用 Task Bank 与自生成重放实现更广泛的持续学习防遗忘，并证明模型可辅助选择重放目标
📌 工作参考价值（4 点）
- 在模型周期更新（如新增品类、场景）时，不要只保存固定旧任务样本，可让冻结的旧模型根据 Task Bank 自动生成重放数据，覆盖面更广，减少对原始训练数据的依赖。
- 用带权重/相关性的 Task Bank 选择重放目标：新任务知情的选择在 4B 模型上能提升旧能力保留率，但在小模型上不一定有效，业务小模型需谨慎验证。
- 监控“之前回答正确的样本的保留率”，而不仅是平均准确率；推荐/广告模型更新时也建议监控老用户、长尾场景的指标，防止平均指标掩盖遗忘。
- 在固定示例预算下，可以用少量新任务样本换取更多重放样本，以旧能力稳定为优先；对线上稳定性要求高的场景（如广告出价、搜索排序）更适用。
自教师与学生同步：联合在策略学习与教学
🧭 LLM 强化学习 · 自蒸馏训练 ★ 深度解读
Perplexity · NVIDIA
提出JOLT联合训练特权教师与无特权学生，使蒸馏梯度与奖励梯度一致，提升样本效率和最终性能
📌 工作参考价值（4 点）
- 在训练LLM-based推荐/搜索/Agent模型时，若存在特权信息（如用户真实反馈、人工标注、高质量参考），可采用JOLT模式：同一模型联合训练特权教师和无特权学生，教师用KL正则化向学生，避免教师走捷径导致蒸馏信号与奖励梯度相悖。
- 对于稀疏奖励的长程任务（如多轮对话推荐、会话转化优化），JOLT的密集token级监督可大幅提高样本效率；教师可接收用户反馈摘要、历史成功策略等作为privileged context。
- 工程实现简单：共享参数的教师和学生分别生成轨迹，使用logprob ratio作为token权重，结合group advantage归一化，无需额外教师模型。
- 超参数经验：教师KL β_T 和学生蒸馏 β_S 宜设较小值（如β_T=0.001~0.03, β_S=0.1），过大会训练不稳定；学生奖励可用时，JOLT+补充直接RL可进一步提升。
组合各教师所学：基于教师相对偏移的多教师在线蒸馏
🧭 多教师在线蒸馏 · 目标构建优化 ★ 深度解读
Iowa State University · LinkedIn · Harvard University
提出教师相对基座 logit shift 作为多教师在线蒸馏目标，消除基座偏好，提升组合信号均衡与效率
📌 工作参考价值（4 点）
- 多教师信号融合（如多域专家蒸馏到统一推荐/Agent 策略）时，不直接聚合教师输出，而计算每个教师相对其基座模型的 logit 偏移（teacher-minus-base），再统一锚定到学生初始化 logits，消除基座偏好，避免单一教师主导。
- 工程上需为每个教师保存/加载基座 checkpoint 做额外前向，单步开销增加 12%-27%，但可节省总 GPU 小时（本实验 35% H100-hours）；基座可得且推理成本可接受时优先采用该目标。
- 在多教师蒸馏前，用 norm ratio、cancellation、cosine 等几何指标监控教师项是否均衡；若 norm ratio > 5，说明某个教师的基座偏好显著主导，需做 shift 归一化或校准（如温度调节）再组合。
- 多阶段课程（如先搜索、后推荐、再 Agent 指令）或多域路由训练中，shift 目标能降低训练顺序对结果的影响（顺序差距从 10.50 降到 6.42 pp），对迭代流程更鲁棒。
长上下文混合模型机理 1.1：从混合注意力到混合位置
🧭 混合注意力 · 长度外推与上下文扩展 ★ 深度解读
Fudan University · Shanghai Innovation Institute · OpenMOSS Team
揭示 NoPE 与位置偏置注意力的协作机理，提出滑动窗口线性注意力实现 16 倍免训练长度外推
📌 工作参考价值（4 点）
- 在电商/推荐场景建模超长用户行为序列时，可采用「NoPE full attention + 滑动窗口/线性注意力」混合架构替代全注意力，降低长序列推理的 KV cache 与计算成本；NoPE 使用 log-scale attention scaling 可免训练外推到训练长度之外。
- 若业务模型需长上下文继续预训练，避免 SWA 混合的短上下文陷阱：滑动窗口不要保持 128，建议扩到 2048 并加入 LongCE 损失；若用 LA 混合，优先利用其训练长度内的拟合优势，OOD 外推需额外设计。
- 在排序/召回模型中引入无位置 attention 头做全局检索时，可参考 3:1 混合比；通过 attention entropy 与 top-k hit rate 分析头功能，避免盲目增加 NoPE 比例导致噪声上升。
- 评估长上下文检索能力时，除下游指标外可加入 RULER/BABILong 与 attention entropy 分析，快速定位长程依赖失效是架构问题还是训练问题。
On-Policy 蒸馏教技能不教知识
🧭 On-policy 蒸馏的知识/技能迁移机制 ★ 深度解读
The Hong Kong University of Science and Technology
reverse-KL on-policy 蒸馏主要迁移组合推理技能，几乎不迁移事实知识；改用 forward KL 才能迁移新事实
📌 工作参考价值（4 点）
- 如果目的是给推荐/搜索/Agent 的轻量 LLM 注入新事实（新品知识、活动规则、2026 新实体、query 改写约束），别只靠 reverse-KL OPD；优先 teacher-demo forward KL 或 SFT，否则学生仍用旧记忆生成错误答案。
- 如果目的是提升多跳推理/规划（商品属性组合、优惠规则计算、对话策略树状拆分），可用 student rollout + reverse KL 的 OPD，重点放在组合执行，不引入新事实。
- 混合目标如 ToDi 可同时获得事实与组合提升，在蒸馏预算有限时可替代单纯 reverse KL；GKD/EOPD 仍偏技能迁移。
- 事实与技能更新在 LoRA 子空间近似正交：事实更新集中在末层，组合技能集中在浅/中层。可为知识更新和推理能力使用独立 LoRA 分支或分层学习率，减少互相干扰。
自回溯蒸馏：把事后经验转为事前前瞻
🧭 RLVR 辅助损失 · 事后到事前蒸馏 ★ 深度解读
Salesforce AI Research · UC San Diego · Texas A&M University · Stanford University
用事后交互轨迹蒸馏出交互前可预测的知识/失败模式，让每条 rollout 均贡献监督，最高提升 24.2 pp
📌 工作参考价值（4 点）
- 在强化学习训练电商导购/搜索 Agent 时，不要只依赖 scalar reward：把每个会话/交互轨迹的事后信息（成功所需知识、失败原因）作为监督，训练模型在交互前输出前瞻性描述。成功轨迹预测用户可能关心的知识点，失败轨迹预测易错点/陷阱；该输出仅作训练目标，推理时不生成，不增加线上成本。
- 对奖励稀疏或组内 reward 一致的场景（大量会话无转化、点击稀疏），GRPO 等 group-relative 方法会丢弃全失败/全成功的 rollout 组；SRD 这类逐轨迹事后监督不依赖组内 variance，能从失败样本中榨取价值。2B 模型在全失败组占 98% 时仍能达到 60.6% 成功率，说明可以复用线上大量负反馈会话做冷启动训练。
- 具体实现用 stopped-gradient 的同一模型当 teacher，输入额外包含 gold solution 或 error annotation，与 student 的前瞻 rollout 做 token 级 JSD 对齐；只选 pitfall 视角通常比 knowledge+pitfall 更稳定且计算更便宜，不要盲目堆多个辅助头。
- 纯 self-distillation 在工具交互任务上可能不稳定（9B OPSD 在 HotpotQA/2Wiki/LCB 低于 vanilla），引入前瞻蒸馏能稳定训练并恢复单调 scaling；在复合 RL+蒸馏目标（RLSD）中也可叠加，通常 +SRD 提升明显。
BRANCH-MoE：面向大规模嵌入模型的平衡感知树路由
🧭 MoE 树形路由与负载均衡 ★ 深度解读
Google Research · University of Southern California
提出将专家置于二叉树叶节点的BRANCH-MoE，用到达加权EMA锚点在没有辅助损失的情况下保持负载均衡并诱导共路由局部性
📌 工作参考价值（4 点）
- 在大规模 CTR/推荐模型中用 MoE 做稀疏专家时，可把 flat top-K 门控换成树形路由：每个内部节点用到达加权均值做 score 中心化（训练用 batch 均值，推理用 EMA），可省掉 auxiliary load-balancing loss 及其调参，同时降低子树饿死风险。
- 树路径天然给出专家二进制地址，可按 prefix 把专家/embedding 分配到设备或参数服务器域；推理时可依据上层 margin 预判是否跨域通信，降低 token 分发成本，适合多级缓存/分片的大规模稀疏 embedding 部署。
- 工程实现上：线性 node map 的树结构局部性最强（UCI 上树距离 0.71 vs 随机 0.817）；换成 MLP 会削弱局部性并提高 load CV，需在目标数据上验证。对输入特征要避免稀有二值列被 z-score 放大成巨大 spike，否则会诱导专家 collapse（Covertype 上需 pin 低方差列）。
- 该方法无辅助损失即可均衡负载，但 Criteo 上 load CV 高于 flat 方法（0.115 vs ≤0.006）；若业务对 per-batch 均衡极敏感，可能仍需要 capacity factor 或调度兜底。
FC-SWE：面向长程软件工程智能体的失败条件强化学习
🧭 Agent 强化学习训练 · Failure-Conditioned RL
NVIDIA · Tsinghua University
引入失败条件 RL 框架，将失败补丁与验证反馈作为恢复轨迹上下文，SWE-bench Verified Resolved@1 从 GRPO 的 38.9% 提升至 41.7%
📌 工作参考价值（4 点）
- 失败反馈作为条件上下文：在电商搜索/推荐 Agent 中，可以把用户负反馈、工具调用失败或验证不通过的结果作为后续恢复轨迹的输入，训练模型主动修复而非重新独立采样，提升多轮交互成功率。
- Trajectory-local rewards：将每次尝试的验证结果单独作为奖励，避免恢复成功错误归因到之前的失败补丁，适合多轮对话或工具调用中每轮独立评估的场景。
- Active-set advantage estimation：只把同一 issue 下实际执行的初始和恢复轨迹纳入比较组，排除未执行的轨迹，可迁移到变长、条件依赖的轨迹训练，改善 GRPO 在复杂 Agent 任务中的优势估计。
- 测试时扩展尝试次数：训练只用最多两次尝试，但测试时用 11 次尝试 Resolved@11 达 70.7%，说明部署阶段可以配合验证器多次尝试，显著提升最终解决率。
基于负策略轨迹的在线蒸馏
🧭 LLM 训练 · 在线蒸馏负样本 ★ 深度解读
NAVER AI Lab
在 OPD 的 rollout 阶段混入低能力负策略轨迹，不改变奖励公式即可注入显式负信号，显著提升推理性能。
📌 工作参考价值（4 点）
- 在 LLM 微调/蒸馏中引入弱模型负样本 rollout：如果业务中有同模型系的低能力版本（如小参数量的 base 或旧版模型），可以将其作为负策略，按一定比例混入 on-policy 训练 batch，不动 reward 即可让模型远离低质量输出，相当于给 OPD 加了一个“反向参考”。
- 负策略 rollout 可以预生成并缓存复用：论文显示纯负策略 rollout（α=1）时，训练时间从 9h19m 降到 3h34m（排除预生成），这对落地 LLM 蒸馏训练的成本优化很实用。
- 负样本选择有讲究：不是随便用差模型，而是同模型家族、能力明显低于 student 的版本；简单加大 temperature、persona prompt 或 drop layer 等降级 student 的方法也能带来少量提升，但远不如单独负策略（+3.4 vs +0.9~1.0 avg）。
- 可复用分析指标 NSP/NOR 做训练调试：NSP 衡量抑制是否集中在负策略偏好 token 上，NOR 衡量学生与负策略的重叠是否下降；二者与最终性能正相关，可用于监控负信号是否按预期生效。
KL正则化策略优化：面向异步LLM Agent的单Rollout免Critic更新
🧭 LLM agent 强化学习策略优化
Princeton University
KLPO将KL正则锚定在采样器，实现每prompt单rollout、无critic的LLM agent策略优化
📌 工作参考价值（4 点）
- 在异步在线 RL（如导购 Agent、客服 Agent、广告文案优化）中，当采样器与训练器策略不一致时，避免 importance ratio clipping，改用 KLPO 的 sampler 锚定 + 最小二乘拟合，可减少 off-policy 偏差与实现复杂度。
- 每 prompt 单 rollout 且 critic-free，只依赖 terminal return，适合长轨迹/工具调用场景，省去 GRPO 成组采样成本，也省去 value 网络与 learned normalizer。
- 若业务已有 SPPO/GPO/REBEL/BPO 类策略优化，可参照 KLPO 统一视角进行替换或校准；top-K / binary KL 近似的精确 gap 公式可用于低成本估计 KL 项时的偏差权衡。
- 需注意论文为理论分析，未在具体推荐/电商数据上验证，实际落地前应先在小规模 agent 任务上验证稳定性与收益。
跨分词器在线策略蒸馏再思考：从对齐覆盖到监督可靠性
🧭 跨 tokenizer 蒸馏优化 ★ 深度解读
Alibaba Cloud Computing
跨 tokenizer 在线蒸馏中，严格 1:1 对齐已覆盖多数 token；学生选 top-16 共享词表即可保留大部分收益，补 mismatch span MSE 反而降精度
📌 工作参考价值（4 点）
- 做跨 tokenizer / 跨模型蒸馏时，可先只对严格 1:1 对齐位置做 shared vocabulary 上的 reverse KL，并让学生自选 top-k（如 top-16）词表子集；这能压缩计算和显存，同时保留大部分蒸馏收益。适合生成式推荐中不同 tokenizer 的 Semantic ID 序列蒸馏。
- 新增辅助监督（如 mismatch span MSE、多任务损失）前，先做梯度方向与相对幅度诊断：计算 g_mis 与 g_strict 的 cosine 和 norm ratio；若 cosine 接近 0/负、norm ratio 随训练上升，大概率引入冲突信号，应降低权重或丢弃。
- 评估“监督覆盖”不要只看静态词表 Jaccard，要看 student rollout 上 strict token coverage 以及共享词表实际概率质量；工程上采样几十条 rollout 即可快速判断是否值得做复杂对齐。
- 在 Agent 或推荐 LLM 的蒸馏中，若希望提升 teacher 信号覆盖，不要盲目追求全位置覆盖；优先保证主损失梯度干净，可先在小支持集上验证收益再扩展。
LoGRA：用低秩梯度草图扩展LLM强化学习
🧭 RL训练内存优化 · 低秩梯度草图 ★ 深度解读
NVIDIA
通过低秩梯度草图压缩RL训练中的梯度和优化器状态，配合预测KL步长控制，大幅降低内存占用
📌 工作参考价值（4 点）
- 资源受限下的RL训练：电商/Agent场景若需对LLM做RL后训练但GPU显存有限，LoGRA能以约45%的内存节省保持性能，可让原本OOM的模型规模落地，适合中小团队。
- 预测KL步长控制：将每次更新的策略偏移限制在预设KL预算内，避免策略突变导致已学行为崩溃。在推荐/Agent在线持续学习中，可将该机制用于策略更新的稳定性控制。
- 梯度压缩与同步复用：LoGRA的压缩更新（低秩因子）可直接用于rollout策略同步，减少通信开销。分布式训练或多智能体协作中可借鉴：用低秩因子传输更新，降低网络负担。
- 注意rank选择：论文消融表明投影秩对性能影响最大（秩4→256提升约3个百分点），而投影矩阵刷新与否影响很小。在实践中应优先调大rank，无需频繁刷新投影。
Rollout 引导的 MoE LLM 强化学习 FP4 量化感知训练框架
🧭 低精度 rollout 加速 MoE LLM 强化学习训练
Alibaba Token Hub, Alibaba Group · Ohio State University
提出 TRACE，通过 rollout 侧量化结果引导训练侧 FP4 舍入，实现 FP4 rollout 与 BF16 性能相当并最高加速 5.4 倍
📌 工作参考价值（4 点）
- 在 RL 调 LLM 推荐/搜索 Agent 或生成式 ranker 时，rollout 阶段是主要算力瓶颈，可尝试 FP4 权重/激活 + FP4 KV cache 联合做 rollout；TRACE 表明可与 BF16 rollout 获得相近的最终策略质量。
- 避免直接用离线 PTQ 量化 BF16 训练好的策略：把 rollout 侧实际量化噪声（舍入结果、scale）作为监督信号引入训练侧 QAT，能显著改善最终 FP4 策略性能，比事后量化更可靠。
- 工程上可借鉴 selective quantization-info caching：只缓存深层 mantissa/scale，降低多 GPU 或分布式 rollout worker 间的存储与通信开销，对 MoE 或超大 LLM 生成服务有直接参考。
- 低精度 rollout 最高 5.4 倍加速意味着相同算力下可大幅增加采样轨迹数量，适合需要大量探索的 query 推荐、对话式推荐 Agent 等 RL 训练场景。
稀疏概率图如何影响 MoE 路由训练行为
🧭 MoE 路由 · 稀疏概率图训练行为 ★ 深度解读
Técnico, Universidade de Lisboa · INESC-ID · Instituto de Telecomunicações · ELLIS Unit Lisbon · Gandara AI
通过可控实验揭示稀疏概率图的零输出能力不会自动带来 token 级专家参与，参与由阈值与 learned score 分布共同决定
📌 工作参考价值（4 点）
- 若线上大模型采用 MoE，不要指望单独换用 sparse map 实现动态专家数；必须同时控制 router score scale（如学习 temperature 或显式正则化），否则稀疏图可能在训练后回到稠密行为。
- 推理阶段弹性专家预算：sparsemax 等稀疏图在 K 从 2 增到 8 时几乎不增加 loss（0.02 nats vs softmax 0.58），适合电商在线服务根据负载动态调整专家数而不显著损害效果。
- 负载均衡目标需适配 sparse map：使用 full probabilities 时零概率专家得不到平衡梯度，建议在 sparse map 下测试不同的 auxiliary probability（如 softmax 概率）或损失权重，实际效果不一定改善，需要验证。
- 评估路由时区分 nominal load 与 contributor load，后者剔除零权重 filler，更能反映真实计算分布；normmax 名义负载均匀但实际 contributor load 明显不平衡，工程实现应统计 contributor load 而非 nominal load。
CutBCE：大词表序列推荐的高效 BCE 损失与梯度内核
🧭 大词表 BCE 训练优化 · TPU Kernel ★ 深度解读
Google Cloud
CutBCE 通过分块重算与稀疏修正避免 [B,N,V] logits 驻留 HBM，在 876k 词表上将训练显存降 65.7%、速度提 225.9%
📌 工作参考价值（4 点）
- 训练多标签召回/序列模型时，用分块 BCE：把 BCE 写成 max(x,0)+log(1+e^{-|x|}) 减去 y*x，按 vocab chunk 计算并立即释放，避免 [B,N,V] logits；PyTorch 里可实现为 chunked loss 或自定义 autograd.Function。
- 反向不要存完整 logits：自定义 VJP/rematerialization 只保留 activations、embedding 和稀疏 target IDs，逐块重算 logits 和梯度；对电商百万级 catalog，这是时间换空间，在 TPU 上因减少 HBM 往返甚至更快。
- 如果部署在 TPU/JAX，可以用 Pallas 把 embedding 梯度累积在 VMEM，降低 HBM 读写；动态查询 VMEM 预算并做序列 chunking，分布式训练用 shard_map 显式控制 psum 和 vocab_offset。
- 训练监控用 count-based 指标：前向直接统计 TP/FP/FN/TN 获得 accuracy/precision/recall/Fβ，不要为监控重建全量 logits，保持低显存。
大规模激活的生命周期：随机诞生、权重衰减驱动的增长与竞争性巩固
🧭 Transformer 训练动态 · 激活规模调控
Aimpoint Digital Labs, Atlanta, GA, USA · Mistral AI, Paris, FR · New York University, New York, NY, USA
揭示 transformer 中 massive activations 由 AdamW 预条件增长与 weight decay 平衡驱动，权重衰减控制其峰值与衰减
📌 工作参考价值（4 点）
- 在微调 LLM 或生成式推荐模型时，若发现 attention sink 激活异常，可通过增大 weight decay 压制峰值；继续预训练时降低 weight decay 则允许 large activation 继续增长，需结合梯度流稳定性权衡。
- 监控 residual stream 激活时不要只看单个 channel，应关注 sink token 的 collective RMS：梯度衰减由整体规模决定，单通道指标会误导。
- 在做量化或 KV cache 优化前，先检查 massive activation 的规模；weight decay 调度可作为训练期控制激活量级的杠杆，避免异常激活导致量化误差或注意力偏差。
- 对训推一体的推荐/Agent 系统，AdamW 的 weight decay 系数可影响模型激活分布，进而改变推理时 attention sink 强度，需要纳入超参搜索范围。
低精度RL中方向感知的Learner-Sampler失配稳定化（TRIAGE）
🧭 低精度 RL 训练稳定性 ★ 深度解读
InfiX.ai · NVIDIA
提出TRIAGE，通过方向感知门控与修复稳定NVFP4强化学习，实现近BF16性能与2.3倍rollout吞吐
📌 工作参考价值（4 点）
- 在生成式推荐/Agent RL 中采用低精度（FP8/NVFP4）加速 rollout 时，不要只按 importance ratio 的 magnitude 做 TIS，应结合 advantage sign 和 learner-sampler gap 的符号，选择性抑制会放大 mismatch 的更新方向（A<0 & δ<0）。
- 用 segment 级（如 64 tokens）而非 response 级或 token 级统计来诊断训练-推理不一致，能更早发现局部风险，避免全局均值掩盖崩溃前兆。
- TRIAGE 的 bounded repair 设计可借鉴：只在 positive advantage responses 上施加 pseudo-Huber penalty，使修复项与 reward 方向一致，不与 policy gradient 对抗。
- 保留 native 低精度前向，仅修改 loss/优化目标，可兼顾吞吐与稳定性，适合大规模线上 RL 训练。
分布鲁棒的混合专家训练
🧭 MoE训练 · 分布鲁棒优化 ★ 深度解读
New York University
提出DRMoET，将MoE专家作为内生DRO组，动态加权高损失路由结果，提升路由鲁棒性和下游性能
📌 工作参考价值（4 点）
- 在电商/广告的大规模MoE推荐模型中，可在现有负载均衡之外引入DRMoET式的专家级损失加权：用EMA平滑的激活加权损失动态调整每个专家的训练权重，无需修改前向路由，即可提升非热门专家在流量波动或分布偏移时的表现，降低线上指标抖动。
- 将「内生组DRO」思想迁移到多任务学习或用户分群：不依赖预定义分组，而是根据模型当前的路由/分配结果动态识别高损失子群，进行针对性加权，比固定分组更适应数据分布变化。
- 工程实现上，该方法只需维护每层专家数的EMA状态和权重（O(LE)标量），计算开销可忽略，且权重detach避免干扰主损失；可低成本部署到现有训练框架，作为对load-balancing的补充。
- 用forced misrouting probe（强制选择中位专家）评估模型对非最优路由的鲁棒性，可作为线上路由策略变更前的离线诊断工具。
HuatuoGPT-3：从基础模型出发的纯RL领域自适应
🧭 RL-only 大模型领域自适应训练
The Chinese University of Hong Kong, Shenzhen · Shenzhen Research Institute of Big Data · Shenzhen Loop Area Institute · National Health Data Institute, Shenzhen
提出OnePO，以自适应目标演化和教师退休实现RL-only领域自适应，在医学上用20K样本超越SFT+RL和纯RL
📌 工作参考价值（3 点）
- 借鉴 Teacher Retirement 机制：在 RLHF/LLM 微调时，若策略模型在验证集上的奖励或质量指标已稳定超过教师/参考模型，可自动切换为纯 on-policy 采样，避免陈旧教师分布限制探索，适合推荐文案、搜索 query 扩写等生成任务。
- Adaptive Objective Evolution 中强化低概率但有信息量的 token（如商品卖点、数字、属性词），可迁移到电商文案生成或搜索增强，让模型更准确覆盖关键低频 token。
- 仅用 RL 从 base model 开始领域适应，可减少 SFT 对生成多样性的压缩，对推荐理由、对话式推荐等需要多样性的场景有参考；但工程上需要解决冷启动，可采用教师输出作为快速启动的辅助数据。
你改了主意，模型没改：多轮对话中的意图解谜
🧭 LLM 多轮意图追踪与自蒸馏训练
HKUST · Tencent Hy
提出 Intent-Eval 揭示 LLM 将已拒绝/被取代内容当作有效需求，并用 Intent-OPSD 自蒸馏缓解意图混淆
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中显式维护 active intent 状态：用户说“换成蓝色”后又取消，不应把蓝色偏好带入后续推荐；可在 prompt 或上下文状态层标记 rejected/superseded，避免模型把“被提及”当成“仍有效”。
- 微调多轮指令跟随模型时可借鉴 Intent-OPSD：冻结同模型 Teacher 以最终决策和完整任务生成正确 active-intent 响应，Student 在含干扰的完整对话上做 on-policy self-distillation；有助于模型忽略被拒绝的中间变更。
- 构建多轮 Agent 评估集时加入 rejected proposal 和 superseded requirement 负样本，专门测意图混淆；这类错误在单轮指令遵循评测里不可见，但会影响真实转化与体验。
- 搜索/推荐澄清场景：用户多轮修正 query（如“不要红色，还是蓝色”）时，系统只应保留最终有效约束；可用版本化需求或 turn-level validity 标记，生成/排序前做一致性校验。
无搜索锐化：序列级幂分布的在线策略蒸馏
🧭 LLM 训练 · 无奖励推理锐化 ★ 深度解读
University of Southern California · Intel AI
OPPD 通过 on-policy 蒸馏把推理时序列级幂分布采样的成本转移到训练阶段，单个生成即可达到或超过 64 候选采样
📌 工作参考价值（4 点）
- 在电商搜索 query 推荐或文案生成中，可以训练模型学习教师模型对完整序列的幂分布，即对完整候选文本（如 query）的概率进行 α 次幂加权，使推理时只需单次生成即可达到近似多个候选采样再加权的效果，大幅降低线上推理延迟。
- 借鉴 on-policy weighted likelihood 训练方式：让待训练模型自己生成候选，用冻结教师（如 LLM）给出概率并计算权重，重点加权学生自身的高概率答案；这比直接蒸馏教师生成样本更贴合实际分布，适用于 Agent 工具调用轨迹或推荐解释文本的训练。
- 工程实现 trick：生成候选时使用教师温度 1/α 的 proposal 降低重要性权重方差，避免权重退化；将长文本分块（例如 64 tokens）让教师一次前向评分，减少调用次数；训练权重与 SMC 重要性权重分别累加，并在重采样后重新归一化。这些都能复用在大规模在线生成任务的稳定训练中。
- 在没有人工偏好或点击信号可用时，可以使用模型自身的序列概率（经由 teacher 锐化）作为软奖励进行训练，提升推理和生成质量；对电商问答、商品推荐理由、营销文案生成等场景可低成本迁移。
循环模型的不动点重思考：训练与推理高效捷径
🧭 循环 Transformer 固定点训练/推理加速 ★ 深度解读
Institute of Foundation Models · USC · CMU
从不动点视角重构循环 LLM，以学习深度先验和正交注入支撑终端 KV 共享、蒸馏预填充与 RL 状态复用
📌 工作参考价值（4 点）
- 若使用循环/looped 模型做 latent reasoning 或深度重排，解码时采用 terminal KV sharing，只保留终点 KV；前提是训练深度先验必须覆盖深层并让状态接近不动点，固定深度训练会在共享后大幅掉点（论文中 GSM8K 从 50.6 掉到 21.2）。可作为 KV cache 降本 3× 的工程方案。
- 把固定深度/固定 PLN 先验换成可学习 categorical depth prior：以 inverse perplexity 为 reward，用 PopArt 归一化 advantage，并用 entropy 系数平衡深度多样性、用 mean penalty 控制平均计算预算；可直接用于 query 改写/Agent 自修正动态分配迭代步数。
- 输入注入时采用 OrthoInj：将 carryover 状态先投影到输入向量的正交补，再加输入；可避免状态沿输入分量抵消注入，提升训练稳定性和 PPL，代码上只是一行投影。
- RL 后训练（如 GRPO）对循环策略打分时，复用 rollout 保存的终点状态，在单次 forward 记录的计算图上循环 backward 计算 Neumann 梯度，scoring+backward 时间约减半，避免 trajectory 重放。
AdaStep：智能体强化学习的自适应步级信用加权
🧭 Agentic RL 步级信用加权 ★ 深度解读
Tsinghua University · Nanjing University · Xiaomi Inc.
为GiGPO的步级优势推导逐状态收缩系数，按返回方差中信噪比自适应加权，无额外模型或rollout
📌 工作参考价值（4 点）
- 在GRPO/GiGPO式多步决策训练（如购物Agent、多轮搜索、导购对话）中，不要用固定系数融合全局与局部优势；按同一anchor state分组，用 1 - E_a[Var(R|s,a)] / Var(R|s) 估计逐状态收缩权重，可抑制下游随机噪声对局部信用的污染。
- 该权重只依赖rollout中的count/sum/sum of squares统计量，无额外前向或critic，几乎零成本；可直接嵌入现有优势计算，适合线上训练管道。
- 对不可靠组（单一动作或每动作样本不足）采用fallback w=1，而不是w=0或均值，实验中更优；说明信息不足时不要过度收缩局部信号。
- 若状态空间连续或部分可观测，直接hash锚点状态不可行，需要额外状态嵌入或聚类才能迁移；可优先在离散文本状态（如WebShop、ALFWorld风格任务）中使用。
从修复的推理中学习：根因引导的在策略蒸馏
🧭 LLM 推理训练 · 根因修复蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · School of Software and Microelectronics, Peking University · School of Information Technology and Management, University of International Business and Economics
提出 RC-OPD，用学生失败推理的根因修复和锚点引导，缓解自蒸馏的推理错配与蒸馏陷阱
📌 工作参考价值（4 点）
- 在训练电商/Agent 多步推理或工具调用链时，不要只用固定 reference trajectory 做 SFT；可以收集模型自己的失败轨迹，定位最早错误步骤，只做局部修复并保留有效前缀，既降低全量重写成本，也能提升样本针对性。
- 将训练目标拆成两类：对错误段用 root-cause 信号强化纠错，对有效前缀用 anchor-guided 信号维持正确行为。这种分段蒸馏思路可迁移到推荐解释、查询改写、广告文案生成等需要保留中间正确约束的任务。
- 诊断-修复-续写循环可形成自动化 on-policy 数据管线：用诊断模型或规则框定错误片段，设置固定 repair budget，通过 continuation 验证修复效果，适合工程化迭代训练 LLM ranker/agent。
- 对生成式推荐中的 CoT/推理链，可以用 valid prefix anchor 避免不必要的约束冲突，减少“模型只抄结论但错误未消”的情况。
规划学习：按剩余训练预算在交叉熵与策略梯度间插值的 horizon loss
🧭 训练损失函数 · 学习预算规划 ★ 深度解读
Google DeepMind
提出 horizon loss，依据剩余学习预算把交叉熵动态过渡到精确策略梯度，提升 top-1 准确率和抗噪能力
📌 工作参考价值（4 点）
- 在 CTR/CVR 预估、多分类、生成式推荐的 Semantic ID 分类等以 top-1/accuracy 为目标的任务中，可尝试把每样本 loss 改为 horizon loss：仅需计算 σ(z+H)-σ(z) 权重乘 ∇z，不改模型结构；需按数据集标定 κ 为剩余学习率之和的换算系数。
- 当训练数据存在点击噪声、错误标注或行为噪声时，cross-entropy 会在后期 memorization 噪声样本；horizon loss 会随着预算减少自动降低这些无法修复样本的权重，从而提升干净测试集 top-1，效果随噪声率增大而增强。
- 若目标是校准或 NLL（如知识蒸馏、温度校准），不要直接套 accuracy 版 horizon loss：应使用 planning cross-entropy（P_H[CE]/(1-e^{-H})），它会降低 NLL 但可能牺牲 accuracy；目标不同要选择对应 planning objective。
- 在 LLM post-training / RLHF 的 policy gradient 场景中，PG 的 myopic 分配缺陷同样存在；可以考虑在 policy gradient loss 中引入剩余 rollout 或训练步数作为 horizon，让早期像 likelihood、晚期像 reward，缓解对 lost causes 的过度投入。
LESSER：基于输出层梯度的后训练数据选择
🧭 训练数据选择 · 输出层梯度近似
University of Pennsylvania · University of Texas at Austin
用输出层梯度近似全参数梯度进行数据选择，降低特征提取FLOP 9.7倍/3倍且保持下游性能
📌 工作参考价值（4 点）
- 在 LLM 微调数据筛选中，只提取输出层梯度作为样本特征，避免全参数反向传播，数据选择成本大幅下降；适用于电商搜索/推荐场景下的 LLM 微调、指令数据清洗。
- 工程实现上只需 hook 模型最后一层，兼容现有 gradient-based 选择方法（如 LESS），可作为 drop-in wrapper 快速迁移，无需改变训练流程。
- 即使单个样本的梯度排序与全梯度存在差异，选出的 batch 梯度仍然对齐，因此批量训练效果稳定；可以在大规模候选池中做粗筛或迭代选择。
- 对 RLHF/DPO 等后训练数据筛选，输出层梯度可替代全梯度做相似度排序，尤其适合计算资源受限的团队进行高质量样本挑选。
On-Policy 蒸馏中的收益与崩溃：强化学习视角
🧭 LLM 后训练 · On-Policy蒸馏 · RL视角
Zhejiang University · Westlake University
用 RL 视角解释 OPD 收益与崩溃：教师隐式奖励会放大学生的已有采样行为，掩码不健康响应与 SFT 初始化可缓解崩溃。
📌 工作参考价值（4 点）
- 做 LLM 后训练/蒸馏（如生成式推荐文案、Agent 轨迹优化）时，不要把教师模型只当作生成器，要同时审计它作为隐式 reward model 的可靠性；若教师打分和业务质量指标失配，可能系统性放大拼凑长文、重复槽位等低质输出。
- 在 on-policy 训练或在线蒸馏流程中加入「不健康响应 mask」：对超长、重复、包含异常模板的 rollout 直接屏蔽或降权，可低成本遏制 reward hacking。
- 上线蒸馏前先做 SFT 初始化，再切换 on-policy 蒸馏；尤其适合电商推荐解释、搜索 agent 工具调用轨迹等冷启动场景，避免从随机策略开始导致退化。
- 监控 rollout 长度分布、重复 n-gram 比例、KL 偏离等指标，作为早期预警；一旦长度/重复度飙升，优先检查教师偏好是否被错误行为劫持。
Pivot-SD：掩码扩散语言模型的高效自蒸馏
🧭 掩码扩散 LM 后训练 · 自蒸馏
KAIST AI · University of Toronto · Vector Institute
用信息增益筛选高影响力掩码 token 进行自蒸馏，提升扩散语言模型推理性能
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 训练中，可用信息增益等指标识别对最终结果影响最大的中间决策 token（如商品属性、工具调用参数），只对关键 token 做监督，降低训练噪声和计算开销。
- 对失败轨迹不要整条丢弃，定位导致失败的 pivot token 使用 targeted unlikelihood，其余 token 保持原样，可以保留有效探索、避免过度惩罚。
- 自蒸馏/离线 RL 中只需少量 query（200 个）和 rollout（每个 4 次）即可达到超过全序列 SFT 和预算匹配 RL 的效果，适合标注和算力受限的业务场景。
- 掩码扩散模型在生成式推荐（如 Semantic ID 生成）中逐步填充 token，可将每一步的 uncertainty reduction 作为信号，动态决定训练重点或推理早停条件。
散度选择控制蒸馏中的熵变化
🧭 LLM 蒸馏目标的熵效应
Stanford University
证明 forward KL 抬高学生熵、reverse KL 压低熵，散度成为隐式熵正则器
📌 工作参考价值（4 点）
- 蒸馏生成式推荐或 query 生成模型时，按输出分布需求选散度：forward KL 会抬高学生熵，适合增加候选多样性/探索性；reverse KL 压低熵，适合需要集中、高置信输出的广告文案、push 文案等场景，但需注意 student-teacher 差距过大时 reverse KL 会欠拟合。
- on-policy 蒸馏中低熵主要来自 token-level reverse KL，而非 on-policy 采样本身；如果 RL/on-policy 训练后模型行为过于 deterministic，可以直接调整 token 级散度损失，而不必改动采样数据策略。
- 使用 interpolated KL 时，训练早期熵变化平滑、收敛时突变；可在训练中监控熵曲线，在收敛前设置早停或动态温度，避免熵崩溃损伤生成多样性。
- self-distillation 中 teacher 拥有特权特征会降低 student 熵，此时应调节散度超参或 softmax 温度做补偿；在电商 teacher-student 迁移中，student 无法使用用户实时行为等特权信息时，可提高 forward KL 权重或降低温度以保持输出多样性。
自适应循环扩散语言模型
🧭 扩散语言模型 · 自适应计算
University of Illinois Chicago · Amazon AGI · Korea University
按 token 难度分配计算，扩散语言模型在多个基准上超越同规模 AR 模型并保持并行解码
📌 工作参考价值（4 点）
- 难度自适应计算可迁移到生成式推荐/query生成：在并行生成 Semantic ID、搜索词或推送文案时，不同 token 的预测难度差异大，可借鉴 ALoDLM 按 token 置信度动态分配迭代次数，避免对简单位置做无谓计算。
- 离散提交 + 隐状态继续精修：对电商场景中的流式生成或交互式 Agent，可将已确定的 token 提前作为条件输入，只对高不确定性 token 保留隐状态继续推理，类似级联早退机制，能显著降低平均延迟。
- 计算调度作为隐变量联合训练：如果把 token 的“停止迭代”决策也作为可学习变量，并用 NELBO 与最终生成质量一起优化，可以在线上对推理预算和业务指标做端到端权衡，比人工固定迭代次数更优。
- 并行解码吞吐优势明显：在需要大批量生成商品标题、广告文案或搜索 suggestion 的场景，扩散式并行解码能提供比 AR 更高的吞吐，适合高 QPS 线上服务。
CARM：面向 LLM 强化学习的抵消感知响应掩码
🧭 LLM RL 离策略响应掩码 ★ 深度解读
Moore Threads AI
用绝对 log-ratio 均值替代带符号 geometric mean，防止双向策略漂移相互抵消，提升 GRPO 训练稳定性与推理/代码效果
📌 工作参考价值（4 点）
- 在做 LLM 推荐/Agent reasoner 的 GRPO/PPO 训练时，可直接把现有 GeoMean 离策略 mask 换成 CARM：只改聚合方式为 mean absolute log-ratio，复用 rollout logprobs，工程成本低，且不改变 token 级 surrogate。
- 阈值可直接当策略漂移监控：对 token ratio band [0.8,1.28]，tau=1.02 意味着最多约 8.88% token 越界；tau=1.04 约 17.58%。可据此设置离线训练过滤阈值和预警线。
- 不要只 mask negative-advantage 样本：CARM 消融显示标准全量 mask 在数学和代码任务上都明显好于 negative-only；正 advantage 样本同样可能离策略，推荐/Agent 任务中奖励稀疏时更建议全量掩码。
- 过滤比例不是越高越好：accuracy 与 masked fraction 非单调，调试时不要只盯 mask rate，应结合验证集准确率、保留样本质量或 best-of-k 一致性来调 tau。
从梯度到能力：理解多教师在线策略蒸馏
🧭 多教师在线蒸馏优化机制 ★ 深度解读
University of Illinois Urbana-Champaign · Princeton University · Westlake University
通过梯度与优化器分析，揭示损失平均、Adam动量、BF16精度和词汇截断如何影响多教师蒸馏的任务性能。
📌 工作参考价值（4 点）
- 多任务/多领域模型融合时，响应长度差异会通过 token 平均隐式改变各任务损失权重；即使显式平衡域权重，域内长度加权仍通过协方差项影响梯度方向。建议在长度差异大的场景下，优先使用响应级平均或引入长度归一化，并监控各任务有效梯度占比。
- Adam 的一阶动量会掩盖不同教师/任务之间的梯度差异，更新方向被历史平均对齐；在线学习或需要快速适应新任务信号时，可尝试使用 SGD 或重置一阶矩，实验显示 SGD 在 PG 损失下四任务均值更高。
- BF16 存储会隐藏大量 FP32 主权重中的小变化（约97% vs 7-11%），导致模型更新看似稀疏，实际并非如此。评估参数变化或稀疏性时，应基于 FP32 master weights，避免被低精度舍入误导。
- top-k 词汇截断虽在梯度方向上与全词汇 KL 高度一致（余弦>0.999），但任务收益取决于损失平均方式；不能仅凭梯度余弦决定是否采用。资源受限时可使用 top-64 交集 KL，但需针对目标任务调整权重。
递归自重写扩展复杂任务成功轨迹
🧭 轨迹重写 · 自改进 SFT
Tencent HY LLM Frontier · University of Maryland, College Park · University of Georgia · National University of Singapore · Indiana University
用 planner-critic-executor 递归重写多 harness 成功轨迹，将 2k 源轨迹扩至 11k，SFT 后 terminal 任务 pass@3 全面提升
📌 工作参考价值（4 点）
- 数据合成去 harness 特定干预：引入 critic 自动检查 verifier leakage / solution leakage，可借鉴到推荐 Agent 训练数据生成中，避免把策略特有字段、评估答案或工具返回信号写进 SFT 样本，提升线上一致性。
- 成功轨迹规模化：用 planner 把少量成功 case 抽取为 runbook，executor 在新 sandbox 重放生成多样化轨迹，适合电商搜索/推荐中稀缺的成交路径、高转化 query 改写样本扩增。
- 多策略并行收集后统一蒸馏：三个 harness 联合比单一最强 harness 多解决 34.3% 任务；在业务中可并行跑多路召回/排序/工具链，仅保留成功结果训练 base 模型，避免单管线能力偏置。
- 过程奖励过滤：重写后 process reward 上升说明中间步骤质量提高；对长程推荐/Agent 任务，可用过程奖励而非只看最终结果来做数据筛选。
DMAD：分布匹配即对抗蒸馏，用于快速视觉生成
🧭 扩散模型对抗蒸馏加速生成
Texas A&M University · Intelligent Creation, ByteDance
把分布匹配蒸馏重构为对抗式分类，免去辅助 score 模型并实现 1.04 FID 一步生成
📌 工作参考价值（4 点）
- 工程上，若做商品图/视频/AIGC 的少步扩散蒸馏，可借鉴共享 backbone + 两个判别头的设计，避免维护不断更新的辅助 score 模型，降低显存和计算，简化训练管线。
- gap-based reweighting 根据真实样本与教师样本的判别 logit gap 动态调节蒸馏监督，这种自适应加权方式可迁移到推荐排序蒸馏、LLM 生成质量判别蒸馏等场景，替代固定权重。
- 对于生成式推荐中的 Semantic ID / 商品文案 / 营销物料生成，若希望用少步生成模型降低推理延迟，可尝试把分布匹配目标写成判别损失，并利用 real-teacher gap 调整监督；比单独训练交叉熵或 score 模型更省资源。
- 论文证明的 logit→log-density ratio 恒等式是通用理论：已有判别器或 LLM reward model 时，用线性 logit 损失就能近似分布梯度，可尝试接入 Agent 或多模态生成 Reward 模型做策略优化。
局部支持学习：无需旧数据的持续学习与遗忘缓解
🧭 持续学习 · 灾难性遗忘缓解
Tel Aviv University · MIT CSAIL
提出 Local Support Learning，用 GMM 门控使 adapter 只在当前分布激活，无需旧数据缓解大模型灾难性遗忘
📌 工作参考价值（4 点）
- 对线上推荐/搜索模型做持续增量更新时，可用 LSL 的 adapter + GMM gate 结构：每个新数据周期训练新 adapter，gate 让 adapter 只在当前数据分布上激活，旧分布数据自动路由到原始权重，无需回放旧数据即可缓解遗忘。
- GMM 门控比普通 MLP classifier 更适合 OOD 拒绝，因其似然在训练分布外快速衰减。在推荐系统多任务/多领域路由中可借鉴：为每个领域/任务建 GMM 门控，实现软路由与分布漂移检测。
- 方法内存和计算高效，支持 7B 参数模型，可迁移到生成式推荐（如 Semantic ID 生成）的持续学习场景：新类目上线时只增加局部 adapter，不破坏旧类目生成能力。
- 工程实现上，GMM 的均值/方差可流式更新或 EMA 维护，避免存储原始激活，适合实时更新的推荐系统。
可扩展可迁移的元网络数据选择需要不同损失
🧭 LLM 训练数据选择与迁移
Nanyang Technological University
提出TESS框架与PVM损失，解决元数据选择网络中的权重抑制与易学特征依赖，实现跨数据集跨模型迁移
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景中，可以用小模型或子集训练一个数据选择网络，再直接用于大模型或全量语料，降低多领域语料（商品描述、搜索日志、指令数据）的清洗与配比成本。
- 工程实现上，数据打分网络建议使用 pointwise value matching 回归目标，而不是直接嵌入现有 MTS 排序或对比损失，以避免权重抑制和依赖易学特征导致的不稳定优化。
- 该方法支持跨数据集迁移，可训练一个通用数据选择器对 query 改写、商品标题生成、会话数据等异构语料动态赋权，提升指令微调效率。
- 若业务存在安全或领域定向微调需求，可复用该框架在目标验证集上自动学习数据权重，替代手工规则或启发式评分。
MetaRubric：面向 Rubric RL 的奖励学习
🧭 LLM RL · 奖励学习与 Rubric 自适应
NTU Singapore
提出 MetaRubric，交替证据感知策略优化与响应引导的 Rubric 自适应，解决 Rubric RL 的虚假信用问题，在医学 QA 上超越静态 GRPO
📌 工作参考价值（4 点）
- 在用 LLM-as-judge 对生成内容（推荐理由、广告文案、Agent 回复）按 rubric 打分时，注意“虚假信用”风险：模型可能未包含要求的实体、动作或信息却获得高分。可增加证据感知的检查层：匹配响应中是否出现支撑某 criterion 的关键短语/实体/工具调用，否则该 criterion 记零分或低权重。
- 构建反事实 prompt 校准 rubric：电商场景可修改商品关键属性（价格、库存、适用人群）生成反事实问题，让 rubric 对上下文事实敏感，避免通用 rubric 给出与事实不符的高分。
- 采用“策略优化 ↔ rubric 自适应”交替训练：定期用线上 badcase 或当前策略响应更新评估 prompt 和 rubric 的 criterion 权重，形成闭环，提升后续 RL 训练的奖励质量。
- 证据感知的奖励塑形可减少 reward hacking：仅当生成内容包含支撑证据时才给予 partial credit，能降低模型用套话或格式正确但信息缺失的响应骗取高分的概率。
面向 Decoder-only MoE 模型的跨语言路由器对齐方法
🧭 跨语言 MoE 路由器对齐 ★ 深度解读
University of California, Los Angeles · Haverford College · MILA - Quebec AI Institute · McGill University
用 MoE router 输出的均值池化作为序列级跨语言对齐目标，在解码器模型中实现显式对齐并提升多语种表现
📌 工作参考价值（4 点）
- 在跨境电商/搜索的多语言 MoE 模型中，可用平行语料（商品标题、query 翻译对、广告文案对）对中间层 MoE router 的 mean-pooled 分布做 KL 对齐；这比 mean-pooled hidden states 更稳定，且无需 token 级对齐，适合短文本与低资源语言。辅助 loss 梯度只走目标语言，source 侧不更新。
- 工程实现建议采用 packed 共享前向 + 源序列早退：把 source/target 拼在一起做变长 attention，source token 在最后一个对齐层后停止计算，可省去 padded 双重前向；α 初值可设为让 α·L_XLR ≈ L_LM，再邻近搜索。
- 对齐层不要全选，用 cross-lingual routing divergence 曲线选「已经共享专家」的中间层，避免在输入/输出语言特异层强行对齐；对齐后隐藏表征 SoftCKA 会跟随提升，说明 router 分布可当轻量内部监控指标。
- 若只能做参数高效微调，router-only（<0.1% 参数）可作低资源语种适配尝试，但结果 noise 较大，不应替代全参训练；核心收益来自给 routers 提供更好 hidden states。
能下棋并解释走法的语言模型
🧭 LLM 与专家编码器融合训练
Princeton Language and Intelligence, Princeton University
4B 模型结合沉默专家棋类编码器与迭代 Bellman 式自蒸馏，棋力达 2697 Elo 且可解释走法
📌 工作参考价值（4 点）
- 电商推荐中已有的高精度但不可解释模型（如精排 CTR/CVR、向量召回）可作为 silent expert encoder，用 cross-attention 接入指令微调的小型 LLM，低成本生成推荐解释或决策理由
- 采用“候选决策—结果分析—整合解释—蒸馏回模型”的迭代 self-distillation：让 LLM 分析推荐列表 top 候选的用户后续行为并蒸馏回模型，可同时提升策略质量与解释一致性
- 先做概念级 QA 课程（如“用户为何点击该商品”）再进入完整解释生成，能稳定从专家表示中抽取可读知识，避免直接生成错误解释
- 4B 模型达到 frontier 水平，说明用领域 expert encoder + 小模型蒸馏可大幅降低线上推理成本，适合电商高 QPS 场景
SoftServe：面向深度学习的可扩展拟牛顿法
🧭 深度学习优化 · 拟牛顿法
University of Massachusetts Amherst · CCM, Flatiron Institute · Cornell University
提出无需线搜索和曲率修正的可扩展拟牛顿族 SoftServe，通过正定曲率估计与 Newton-Schulz 迭代训练大规模网络
📌 工作参考价值（4 点）
- 推荐/广告模型常存在病态优化区域：长尾 item/user embedding 梯度方差大、多任务 loss 尺度差异显著。可尝试 SoftServe 的 diagonal 曲率预处理，作为 Adam 的替代或 warmup 后切换，减少手调 epsilon/weight decay 的敏感性。
- 工业级推荐模型参数巨大，Kronecker-factored 变体可对 layer-wise 曲率做结构化近似，类似 K-FAC 但保证正定，适合 Transformer/特征交互层；工程上用 Newton–Schulz 迭代通过矩阵乘法实现，便于 GPU/TPU 加速。
- 该方法强调无需 line search，减少分布式训练中的通信与超参搜索成本；在离线 CTR/CVR 或召回模型训练中，可先在病态子任务（如 autoencoder 特征压缩、辅助 loss）上验证收敛速度与最终 loss。
- 注意：论文主要面向通用深度学习优化，不是推荐/检索架构本身；落地前需评估其对稀疏 embedding、动态数据流和在线更新的兼容性，初期以离线对比实验为主。
TACO：面向 LLM 微调的三值绝对最大列单稀疏优化器
🧭 LLM 全参微调内存优化器
University of Central Florida · Mohammed VI Polytechnic University
用每列最大梯度符号的稀疏更新替代 AdamW 状态，优化器状态降 174 倍，单卡 H100 可全参微调 30-32B 模型
📌 工作参考价值（4 点）
- 在需要全参微调 LLM 的业务（生成式推荐、Agent 策略模型、query/文案生成）中，可用 TACO 替代 AdamW/AdamW8bit，显著降低优化器状态和峰值显存；据论文 OPT-13B 上优化器状态 27.7GB→0.16GB，峰值显存 80.6GB→27.5GB。
- 适合继续微调已用 AdamW 预训练或 SFT 过的模型：TACO 保留一阶梯度更新几何，可减少切换优化器带来的掉点，而 Muon 在 AdamW-pretrained 模型上可能退化。
- 工程落地可按层拆分：对二维权重矩阵使用 TACO，对 embedding/head 等使用 AdamW 或低内存方案；只存储每列绝对值最大梯度的符号及少量低精度分量，避免动量和二阶矩。
- 单卡 80GB H100 能全参微调 30-32B 模型，降低硬件门槛，适合资源受限团队在推荐搜索场景中训练 LLM。
无需模型：文本熵率过滤缓解迭代微调崩溃
🧭 迭代微调多样性维护与数据过滤
Adelaide Data Science Centre, University of Adelaide · School of Mathematical Sciences, University of Adelaide
提出基于 Kontoyiannis 熵率估计器的纯文本过滤器，在不访问模型的情况下有效提升迭代微调多样性
📌 工作参考价值（4 点）
- 合成数据微调管道可直接引入熵率过滤：在生成式商品描述、搜索 query 或广告文案的迭代训练中，用 Kontoyiannis 熵率估计器对合成样本打分，过滤低多样性样本，避免模型输出重复化；无需调用模型 API 或持有 logprob，工程开销低，适合无模型推理权限的场景。
- 多 Agent 系统多样性监控：将文本熵率作为多智能体生成内容的实时监控指标，当熵率持续下降时触发干预（如提高采样温度或注入新提示），防止 Agent 间输出趋同。
- 替代传统 logprob-based 过滤：论文显示 logprob 过滤在该任务上无显著收益，业务中若已使用 perplexity 等模型依赖的过滤，可尝试替换为纯文本熵率过滤，可能获得更好的多样性且更轻量。
- 少样本验证结论：熵率估计器跨域适用，可作为生成式推荐模型微调时的通用质量代理，用于快速评估数据集的多样性是否充足。
信任方向，搜索步长：LLM微调的零阶与一阶方法
🧭 LLM微调优化 · 零阶一阶混合步长选择
University of Central Florida · Mohammed VI Polytechnic University
提出ZFO框架，用一阶优化器定方向，沿一维子空间做零阶评估选步长，成本低于线搜索
📌 工作参考价值（4 点）
- 在微调用于排序、召回或Agent决策的LLM时，可尝试ZFO自适应步长替代固定学习率或余弦退火，减少手动调参，训练后期或小数据集上可能提升稳定性。
- ZFO仅额外增加两次前向传播（无额外反向），成本极低，可作为插件直接嵌入现有AdamW等训练流程，无需重写优化器。
- 方法解耦方向与步长：保持一阶方向不变，仅动态调整沿该方向的移动距离，能应对损失地形变化，降低训练崩溃风险。
- 实现时注意局部模型选择：论文表明不同目标偏好不同局部模型（如二次/三次），可对验证损失做快速搜索选择，无需复杂超参。
学习风格，遗忘语义：SFT与RFT分类任务案例研究
🧭 微调遗忘机制 · SFT vs RFT
University of California, Davis
理论证明SFT因风格漂移导致语义遗忘下界为正，而RFT保持零语义误差
📌 工作参考价值（4 点）
- 在业务中持续微调LLM（如搜索/推荐文案生成、query改写）时，若教师数据存在风格偏好，SFT可能把模型带偏到风格维度而遗忘底层语义能力；可监控风格漂移指标，或对提示分布做均衡化。
- 当任务需要保持跨风格一致性（如同一语义的多种表达），优先考虑RFT/策略梯度或加入风格不变正则，避免SFT因非均匀教师产生离轴漂移。
- 理论框架可指导混合训练：在已有较好拟合的checkpoint上继续SFT时，注意前几步更新的方向，防止在风格上过拟合；必要时用RFT微调或对SFT更新做投影约束。
- 该工作主要偏理论学术贡献，业务可借鉴点有限，核心价值在于提供理解SFT遗忘的新视角。
用采样做微调：SFT 比你想的更强
🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读
Harvard University
用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏
📌 工作参考价值（4 点）
- 在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
- 对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
- 采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
- 如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。
优化大规模推荐系统训练的有效训练时间
🧭 大规模推荐训练效率优化 ★ 深度解读
Meta Platforms, Inc.
定义ETT%并优化推荐训练生命周期开销，使6个模型平均ETT提升15.5个百分点
📌 工作参考价值（4 点）
- 建立两级 ETT% 看板：把 TTS / NoF / TTR 再拆到调度、trainer 初始化、PT2 编译、wasted training、shutdown，并映射到 owner，设置 service level 告警。电商/广告训练平台可直接照搬，避免只盯 MFU。
- 优先优化冷启动与恢复共享路径：用 synthetic fast-batch 解除数据管道预热与 PT2 编译的串行依赖，把初始化阶段并行化。因为恢复会重复冷启动，收益按 (1+NoF) 放大。
- PT2 编译治理很划算：对变化维度做 mark_dynamic，剪裁 Triton autotune 并固化为静态配置，稳定 symbolic hash，使用 Mega-Cache 复用编译产物；冷缓存编译从 2050s 降到 254s。
- checkpoint 和发布拆离 GPU 关键路径：异步 checkpoint + PyTorch native staging 可降低 save blocking 约 77%；把模型发布从 trainer 内改为 anchor checkpoint + standalone CPU job，每个 job 可释放约 30 分钟 GPU 占用。
在多模态MoE中利用领域专家实现高效适配
🧭 MoE领域专家选择与高效适配
California Institute of Technology
发现多模态MoE专家自发语义专精，ExpertLens解码路由权重定位专家并选择性微调，仅更新21.7-47%参数达4倍加速
📌 工作参考价值（3 点）
- 对已有的多模态 MoE backbone（商品图/文、视频、广告创意理解等），可直接复用 ExpertLens 思路：无需新增标注数据，从 router 权重解码出与目标域相关的专家，再做选择性微调；比全参微调便宜、比 LoRA 更稳，适合电商域迁移（如从通用视觉语言模型适配到美妆/3C 商品理解）。
- 在需要频繁接入新业务/新类目的推荐与广告系统中，可把“专家定位—选择性更新”作为增量适配流程：只更新约 1/4~1/2 参数，训练加速约 4 倍，节省 GPU 成本，同时保持旧任务能力。
- 当标签稀缺或受隐私限制时，这种 data-free 的专家识别可先于标注构建领域路由，后续再小样本微调；对搜索词改写、商品属性抽取、多模态 embeddings 等任务具有工程可行性。
组合偏好与规则奖励的文本到图像后训练方法
🧭 T2I 后训练奖励组合
Arena Intelligence Inc · UCLA
提出组合偏好奖励与规则奖励的 T2I 后训练策略，Flux2dev Elo 提升 69 分，Ideogram-4 达 1223.5 超开源模型
📌 工作参考价值（4 点）
- 奖励组合策略可迁移到推荐/Agent 的 RL 后训练：避免多目标简单加权平均，借鉴其组合策略（如分阶段、约束优化或优先级调度），平衡用户偏好（点击、停留）与业务规则（合规、真实性），降低单一指标被 hack 的风险。
- 偏好 + 规则双奖励结构：在生成式推荐、query 改写或 Agent 输出中，可训练偏好奖励模型（基于大规模用户反馈）配合 rubric 奖励（显式检查忠实度、格式、安全），后者作为防 reward hacking 护栏。
- 小规模高质量奖励数据即可验证 RL 流程：论文公开的 1K 子集能恢复部分全量训练收益，说明业务上可以先构建小规模标注奖励集跑通后训练、快速迭代，再扩展数据和模型规模。
- 用 Elo / 在线评测追踪生成质量：参考 Arena 的 pairwise 偏好评估，在内部对 search suggestion、文案生成等场景建立 Elo 榜单，持续监控后训练收益与退化。
从谱到联合调度：LLM 预训练中的 3+3(+2) 缩放律机制
🧭 LLM 预训练缩放律与调度理论 ★ 深度解读
University of Wisconsin–Madison · Shanghai Jiao Tong University
用线性随机特征证明功率律由累积谱质量决定，并给出 LR/batch 联合调度下保持、改变或破坏损失缩放律的条件与可迁移代理模型
📌 工作参考价值（4 点）
- 训练大规模推荐/广告/搜索模型时，可把 schedule 坐标改成 intrinsic time T=∑η 与 ratio r=B/η，复用 7 参数 surrogate 预测不同 LR/batch schedule 组合的 loss；拟合一条 8-1-1 轨迹后，可 zero-refit 预测 WSD 等 held-out schedule，适合做训练预算分配与 early stopping。
- 若记忆核指数 qK≈1（论文在 OpenWebText/FineWeb/peS2o 上均拟合约 1，许多 LLM/大模型可能接近），存在 memory ceiling：后期继续降噪（如增大 batch 或降低 LR）无法改善最终损失衰减率，应把算力留给前期/中期信号学习，而不是末期降噪。
- 最优 batch size path 可近似为 r*(u)∝ sqrt((1+T-u)^{-qK}[F(u)+σ^2])，即噪声大且会存留到评估时刻的区间应分配更大 batch；这给出了 WSD / warmup-stable-decay 在数据或算力预算下的一种可操作调参依据。
- 若换用 Muon 等非 SGD optimizer，注意等价坐标可能变成 B/η^2 而非 B/η；在不同优化器之间迁移 schedule 时不能用同一套 intrinsic-time 不变性假设。
Latent-MOPD：隐空间多教师在线蒸馏
🧭 多教师在线蒸馏与表示对齐 ★ 深度解读
Case Western Reserve University · Zillow Group, Inc. · University of Illinois at Chicago · University of Florida
首个表示级多教师在线蒸馏方法，通过路由晚期隐藏状态对齐和逐教师 crossfade 融合多专家能力
📌 工作参考价值（4 点）
- 多领域模型融合时，不要只蒸馏输出分布：在 token-level OPD 基础上增加学生与路由专家的 late-layer hidden states 对齐，能保留专家内部推理信息；电商搜索/推荐/广告多场景 teacher 融合可复用这一思路，避免简单平均 logits 稀释专家置信度。
- 当学生与教师 hidden width 不同，用一个共享线性投影（或小 MLP）桥接，并用少量 student-teacher 状态对做 ridge 回归初始化投影，能降低训练不稳；业务中不同尺寸 CTR/CVR 或生成式推荐模型合并时可直接借鉴。
- 多专家训练时务必保持 domain-pure batches：同一 optimizer step 混入多个 teacher 的表示监督会导致表示 collapse，论文中 interleaved 更新使 MATH-500 从 91.7 掉到 9.8；多场景推荐/Agent 能力融合应按场景分组更新。
- 每个 teacher 使用独立 crossfade 时钟：前期表示监督、后期 token 蒸馏，能稳定多专家训练；若多个 teacher 同源同架构，可先用参数平均（model soup）作为学生初始化，再做少量在线蒸馏，电商多领域模型合并有直接参考价值。
学习功能子空间实现神经网络压缩
🧭 低秩压缩 · 功能子空间学习 ★ 深度解读
Helmholtz Munich · Technical University of Munich · Télécom Paris · Columbia University · New York University
用端到端学习的正交投影子空间替代逐层闭式低秩截断，显著提升LLM/ViT高压缩比下的精度与推理效率
📌 工作参考价值（4 点）
- 在电商/广告/搜索的LLM部署中，可用LSP对底座或领域模型做低秩压缩：用线上日志、商品语料或搜索曝光文本作为校准集，冻结原权重、以KL蒸馏学习要删的子空间，比SVD/剪枝更适合极限压缩。
- 直接复用「按输出KL边际成本分配rank」：Q/K/V往往比MLP更可压，注意力层可更激进地降秩；避免均匀分配浪费参数，分配阶段无需梯度，便于工程落地。
- 借鉴tied projector共享Q/K/V输入因子：KV cache只存一个窄潜在向量，可显著降低长上下文用户序列、Agent记忆或会话历史的显存占用；配合Palu/MLA类实现效果明显。
- 训练后合并为标准低秩矩阵，无额外算子，容易接入TensorRT/vLLM等推理框架；warm-up、direction dropout和正交惩罚等技巧可直接迁移到自研压缩流程。
循环 MoE 超越两轮的可扩展训练方案
🧭 循环 MoE 深度扩展与训练稳定化 ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · The Hong Kong Polytechnic University · University of Surrey
LOOM 用残差缩放、输入重注入、逐循环路由与 Looping Residual 让 MoE LLM 稳定循环 9-12 轮并优于基线
📌 工作参考价值（4 点）
- 在生成式推荐或 Query 生成中若采用 Looped LLM / 共享层 MoE，可复用 γ=λ/(H√M) 的残差缩放和逐轮输入重注入，防止多轮迭代后表示漂移与训练发散，尤其适合反复生成候选 query 或语义 ID。
- 在 FLOPs 受限的在线推理中，建议共享专家但为每轮循环配置独立 router：只增加少量路由参数，就能避免专家选择坍缩，让每轮实际激活不同 expert，提升循环计算收益。
- Looping Residual 以固定衰减 EMA 仅存一个累加张量就能保留跨循环历史，适合在低延迟排序/召回中叠加多轮细化信号，显存开销可忽略。
- 训练深层循环模型时采用分段反向传播（每 K=3 循环为一段、段间 detach），峰值显存几乎不随循环数增长，训练更快更稳，值得 GPU/NPU 受限的业务复现。
半事实信用增强策略优化
🧭 LLM 强化学习训练 · token 级信用分配
Zhejiang University · Westlake University · Shanghai Innovation Institute · Shanghai AI Laboratory
提出 SCAPO，将半事实稳定性融入 GRPO 的 token 级信用分配，提升数学推理与 OOD 泛化
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 微调 LLM（如以是否成交/点击作为 verifiable reward）时，GRPO 会把同一 outcome advantage 平均分给所有 token，容易强化 prompt 模板、位置等伪相关；可借鉴 SCAPO，用语义不变改写构造半事实干预，计算 token 概率漂移作为稳定性分数，在早期训练中对不稳定 token 降低 advantage。
- 论文发现解码时直接抑制高 drift token 候选，无需更新权重就能提升推理准确率；这可以迁移到 LLM 排序/召回/query 改写等生成任务，对 prompt 改写或模板扰动下概率漂移大的 token 做推理时惩罚或 mask，降低线上 prompt 敏感性。
- 稳定性分数被归一化后只用于削减不稳定 token 的 advantage，不给稳定 token 额外奖励，避免 reward hacking；实际调优时可沿用这一设计，把稳定性作为正则化/掩码信号而非正奖励。
- 主要实验在数学推理，业务迁移需自行验证；但对需要强泛化、且 reward 容易受 prompt 表面特征影响的 LLM Agent 训练，SCAPO 提供了一种轻量的 token 级 credit 修正思路。
Dr. OPD：学习该跟随哪些教师信号的最优在线蒸馏
🧭 On-policy distillation 自适应 token 加权 ★ 深度解读
Rutgers University
通过双层优化学习 token 级教师信号权重，使学生在在线蒸馏中以 outcome reward 为准则超越教师
📌 工作参考价值（4 点）
- 在蒸馏生成式物品/query 模型时，不要平均地模仿 teacher 的所有 token，可以用 outcome reward（如点击、转化、生成质量分）与 teacher correction 的梯度对齐来给 token 加权。闭式更新 weight = clip(1 + λ * credit, w_min, w_max) 实现简单，λ 在 0.2-0.6 内不敏感，适合线上快速调参。
- 工程上，credit 的计算不需要为每个 token 显式保存参数梯度，用一次 JVP 即可得到所有 token 的方向导数，开销很小；可直接在现有 GRPO/PPO 框架里加一个 JVP + 权重重算步骤，且可以复用 actor optimizer 的二阶矩做 scaling，稳定训练。
- 在业务 LLM 微调中，当 teacher 比 student 强但 reward 信号存在（如 search 中用户点击、query 改写后的检索指标），可先蒸馏后加 reward 加权，可能让 1.7B 小模型超过 4B 教师；对于 base 模型冷启动，若 reward 成功样本太少，提升有限，需要先保证一定的成功 rollout 比例或使用更简单训练子集。
- 可复用的结论：不是所有教师监督都有用，遵循“有利于 reward 的教师信号”才提升业务指标；在 OPD 基础上融合 outcome reward 的方式很重要，简单加 GRPO 或 gate 可能只带来 marginal gains，梯度对齐的 token-level 加权是关键。
分数更高，回答更差：用协议级评分准则缓解 Rubric-RL 的奖励黑客
🧭 RL 奖励聚合 · rubric 设计
Beijing University of Posts and Telecommunications · ByteDance
发现 Rubric-RL 加权求和奖励造成准则间补偿，提出按协议级维度合取聚合的 ProRubric，关键指标提升 10.8 点
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 rubric-based reward（如评估对话质量、商品推荐理由、query 改写）时，不要在 criteria 级别做加权求和，否则模型会靠堆砌次要建议刷分，牺牲关键动作；可把 checklist 离线分组为合取维度，组内全部满足才给分。
- 如果业务已有规则/奖励维度很多，ProRubric 的改动只在奖励聚合层，不碰优化器和 prompt，可低成本接入现有 PPO/GRPO 流程，尤其适合需要硬性约束的生成任务。
- 对 LLM-as-judge 打分，警惕 additive aggregation 带来的 proxy-utility divergence；可加 failure clause 或让关键维度一票否决，避免“分数上涨但真实指标下跌”。
- 在生成式推荐或 Agent 决策中，优先保证“必须做对的一步”不被补偿掉，而不是单纯追求 rubric coverage。
更好的监督在邻近：邻域在线策略自蒸馏
🧭 LLM 推理训练 · 自蒸馏
The Chinese University of Hong Kong, Shenzhen · Meituan, LongCat Team · Peking University · University of Toronto
用局部参数扰动构建专家池并按状态路由，为在线自蒸馏提供更优监督，平均提升 1.67~2.75 点
📌 工作参考价值（4 点）
- 训练电商/Agent 场景下的 LLM 推理型任务（query 改写、推荐解释、工具调用规划）时，可借鉴 N-OPSD：保留多个邻近参数的冻结专家，按状态路由提供多样但参考对齐的监督，避免单一 teacher 覆盖不足。
- 离线专家池构建的贪心选择准则（filtered reference-token gains 超过池当前最佳）可作为通用监督选择指标：只保留能在不同前缀位置提供增量校正的专家，压缩池规模、降低训练成本。
- 路由时分离 anchor direction 与 support level（MaxPeak 选 token，quantile 选专家）值得借鉴到多策略/多专家生成式推荐：不要只选置信度最高（highest peak）的策略，而要选 top token 一致且分布支撑更稳的专家作为训练目标。
- 用 clipped forward-KL 从专家完整 next-token 分布学习，比只学 hard label 更平滑，适合生成式推荐中 Semantic ID 或多 token 决策序列的蒸馏；推理只部署学生，不增加线上成本。
GraphForge：基于图锚定工作空间合成训练工作智能体
🧭 Agent 工作智能体训练数据合成
University of Science and Technology of China · Fudan University · Shanghai Innovation Institute · Shanghai AI Laboratory
用证据图从真实文件合成可验证的工作智能体训练数据，微调后多项基准显著提升
📌 工作参考价值（4 点）
- 可用真实业务文件（商品目录、投放报表、用户日志）构建工作区，并用证据图显式编码文件间关系，确保多步任务每个要求都能追溯到具体支撑文件，避免模型编造数据，适合生成电商运营、广告投放、搜索优化等 Agent 训练集。
- 任务 rubric 与原始文件/单元格锚定，使奖励信号或拒绝采样筛样具备可审计性，降低 reward hacking 和评估噪声，可迁移到 RLHF/DPO 等 Agent 优化流程。
- SFT 后增加 rejection fine-tuning：用自身 rollout 并通过 rubric 筛选高质量候选，无需新增人工标注即可进一步提升 Agent 效果，适合业务 Agent 的快速迭代。
- 初始 rollout 可执行性检查 + revision agent 修复不可行任务，能自动清洗可能失败/不可完成的训练样本，降低坏样本对模型的影响。
LexReward：法律LLM的分类驱动多维奖励框架
🧭 LLM对齐 · 多维奖励建模
Peking University · Northeastern University · Tsinghua University
提出按Style/Element/Chain三维分解的法律奖励框架，用rubric构建偏好数据训练DPO和奖励模型
📌 工作参考价值（4 点）
- 把整体质量奖励拆成多个可诊断维度（如表达质量、关键要素、推理链），分别建模与优化；推荐/搜索生成式场景可类似拆成相关性、多样性、新颖性、转化意图等维度，避免单一粗粒度打分掩盖短板。
- 用 rubric 定义评估标准，让 LLM 对候选输出打分并构造偏好对，替代昂贵的人工标注；在电商文案生成、推荐理由、搜索 query 改写中可低成本生产 DPO 偏好数据。
- 维度专用 reward model 支持 RL 优化且不需要 reference answer，适合在线反馈稀疏、缺乏标准答案的生成任务；可在强化学习推荐或对话式推荐中作为 reward shaping 组件。
- 论文的维度分析思路可迁移到上线前评估：先对模型输出做多维自动评测，定位具体短板维度，再针对性做 DPO 或 RL 优化，而不是全局调参或重新训练。
让稀疏奖励起作用：多奖励 RL 的密度感知奖励聚合
🧭 多奖励 RL 的密度感知聚合
University of Chinese Academy of Sciences · University of Minnesota Twin Cities · University of Wisconsin–Madison · Stony Brook University · Kuaishou Technology
提出 DARA，通过逆平方根密度校正放大稀疏奖励的信号，加速多奖励 RL 训练且不改变策略优化目标
📌 工作参考价值（4 点）
- 多目标 LLM 后训练中，若直接对多个 reward 求和或平均，稀疏目标（如格式合规、工具调用、长度合规）容易被稠密目标淹没。可仿照 DARA 在 GRPO/GDPO 实现中按 batch 内每个 reward 非零优势的比例动态计算权重，对稀疏目标施加 inverse-square-root 加权，无需人工反复调 reward coefficient。
- 监控每个 reward 的 advantage energy 或 active-group density，可以量化判断哪些目标学习停滞；当某个目标 density 骤降时自动提高其聚合权重，比训练后看指标再手动调参更早发现信号失衡。
- DARA 只改 reward aggregation，不改变底层 policy optimization objective 或梯度计算，可作为即插即用模块嵌入现有 RLHF/GRPO 流程，工程风险低；只需在 batch 内按 reward 保存 group-level advantages 即可计算 density。
- 对电商 Agent、对话式推荐、商品文案生成等需要同时满足「格式/调用/质量」等多约束的 LLM 应用，稀疏约束信号密度很低，DARA 的密度感知聚合能减少达到高合规率所需训练步数，降低迭代成本。
小模型更优负样本：偏好蒸馏的缩放规律
🧭 偏好蒸馏 · 负样本构造与缩放 ★ 深度解读
LinkedIn · University of California, Davis · Arizona State University · Clemson University · Pennsylvania State University
在偏好蒸馏中，用更小的冻结模型生成 rejected 响应，比学生自己生成的负样本效果更好且计算成本更低
📌 工作参考价值（4 点）
- 在偏好训练/对比学习数据构造中，不要默认使用同一模型的失败样本作为负样本；尝试用更小的冻结模型生成负样本，可以在降低推理成本的同时提升学生模型效果，尤其在 SeqKD 初始化后。
- 负样本筛选可借鉴 reference likelihood 指标：在固定候选池内选择参考策略下低似然的样本，能获得更强的对比信号，对电商推荐中的 LLM 生成式排序或文案生成同样适用。
- 混合不同来源的负样本可以线性控制训练效果，实际工程中可通过调节小模型负样本占比来平衡成本和收益，无需完全替换。
- 负样本的部分收益来自任务相关的 token 结构而非 prompt 特定错误，因此可将负样本重新分配给其他 prompt 或做 token 级扰动，用于数据增强，提升负样本利用率。
学习该记住什么：长时程反事实记忆优化
🧭 长时记忆优化 · 反事实信用分配 ★ 深度解读
University of Michigan
提出 MGPO 用反事实差分给每次记忆改写分配长时程增量效用，训练紧凑可迁移记忆策略
📌 工作参考价值（4 点）
- 在会话式推荐或多轮 Agent 中，对用户画像/上下文的每次更新，用反事实差分评估该更新对后续推荐或决策的增量价值，而不是仅用最终转化或奖励信号，能更准确地学习何时保留、丢弃或改写记忆。
- 工程上解耦记忆写入器与下游读取器（推荐模型/LLM），可以用小模型训练 compact 记忆生成策略，再服务于多个大模型，降低推理延迟和成本；论文中 8B writer + 14B reader 的组合可跨模型家族复用。
- 采用 potential-based reward shaping 技巧：从回报中减去更新前状态的未来效用作为控制变量，保持策略梯度无偏同时降低方差，训练更稳定。
- 对于长文档/长会话中延迟价值的信息，设计跨未来多个步骤的边际收益聚合，并用位置相关 EMA 归一化不同步长的回报，可借鉴到长时记忆策略的 RL 训练。
循环混合专家模型的联合缩放定律
🧭 循环 MoE 联合缩放定律 ★ 深度解读
Meta AI
提出首个联合建模循环深度与 MoE 稀疏度的缩放定律，用于资源约束下最优循环 MoE 设计
📌 工作参考价值（4 点）
- 在推荐/广告场景部署 LLM ranker 或 copy 生成模型时，可借鉴循环 MoE：固定 active 参数下提高 R 换取 reasoning 能力，稀疏度 E 换取总体知识覆盖；按 latency/显存预算联合调 R 和 E，而不是简单增大 dense 参数。
- 若有训练 scaling law 拟合能力，可仿照论文用小规模 (Nact,D,E,R) sweep 拟合含稀疏度条件的 Neff(R,m)，预估不同 FLOPs/内存下配置的 loss，指导模型 ladder 选型；低内存设备优先高 R 低 E，富内存场景优先高 E 低 R。
- 循环模型天然支持 test-time scaling：同一 checkpoint 只改 R 即可从低算力到高算力平滑提升效果（案例中 R 1→5 提升 Overall +10.3），适合推荐系夜间批量生成与在线高 QPS 弹性推理。
- 工程实现采用 middle-block looping：只循环中间层，前两层和后两层不共享，配合逐层监督可让同一模型在多个 R 下可评测；注意全反向传播计算与 unroll 参数成正比，可用 early exit 减少无效深循环。
CorrGRPO：多奖励学习的相关性归一化 GRPO
🧭 多奖励 RL · GRPO 归一化 ★ 深度解读
Hong Kong University of Science and Technology
将 GRPO 多奖励优势归一化从协方差改为 Pearson 相关，消除大方差奖励主导，提升代码/工具/Agent 安全多目标训练效果
📌 工作参考价值（4 点）
- 工程实现简单：只需在 group advantage 分母中用相关矩阵元素和替换协方差和，分子保持 centered total reward；论文 Listing 1 可直接作为现有多奖励 GRPO 训练代码的改造模板。
- 当业务奖励量纲/方差差异大（例如 CTR、转化、时长、多样性、安全分）时，CorrGRPO 可避免大方差目标主导优势缩放，同时保留预设目标权重；适合作为多目标 RL 的默认 advantage normalizer。
- 高度相关的奖励（点击与转化、多个可用性指标）会被相关归一化自动去冗余，避免重复奖励放大更新；在 reward hacking 或目标一致性强时尤其有用，可辅助探索。
- 训练动态上 CorrGRPO 保留更高策略熵，减缓 entropy collapse，有利于持续探索和发现高奖励策略；可与 KL 系数、DAPO/CISPO 等现有 RL 方法结合。
EasyPPO：稳定 Critic 是 PPO 稳定训练的关键
🧭 RLVR / PPO 训练稳定性优化 ★ 深度解读
University of California, Berkeley · Princeton University
通过 actor-only 截断过滤、按回报方差加权 critic 损失和较小 critic mini-batch，稳定 PPO 训练并全面优于现有方法
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 或生成式排序中用 PPO/RLVR 训练 LLM，不要同时对 actor 和 critic 过滤超长 rollout：截断样本保留给 critic 学习，能避免策略偏向“早点截断也能拿到的条件奖励”，同时 actor 侧只过滤截断样本仍可降低噪声。
- 当不同 query / 用户组 / 问题上的 reward 方差差异很大（如连续奖励：转化金额、延迟、GPU kernel 加速比等），对 critic loss 使用 prompt 组内回报标准差的倒数加权，可以在现有分组采样 rollout 的框架下低成本实现，防止少数高方差 prompt 主导 critic 更新。
- 工程上 critic mini-batch 不必等于整个 rollout batch；默认切成 4 个 mini-batch 并做 gradient clipping，能限制 outlier 影响范围。若改变 mini-batch 数，记得按 η ∝ 1/√K 调整 critic 学习率。
- 训练监控可以看 critic 的 explained variance 和 clip 前 gradient norm；持续大幅波动或 EV 突然下降通常是 critic 失效的前兆，可作为在线崩溃预警。
教师是方向，而非终点：在策略蒸馏中沿RL诱导表示残差外推
🧭 LLM 蒸馏与RL训练优化 ★ 深度解读
University of Science and Technology of China · Rutgers University · Zhejiang University · Independent Researcher
提出 RIDE，在隐藏状态空间外推教师相对其RL前基座残差，稳定超越教师并优于输出空间外推
📌 工作参考价值（4 点）
- 同初始化蒸馏场景下，把 RL 教师相对基座模型的隐藏状态差作为方向而非仅作为终点，可在策略蒸馏中稳定超越教师；推荐/Agent 模型中若需合并多个领域专家或把 RL 结果蒸馏回 base，可复现类似残差外推目标。
- 输出空间 log-ratio 外推对采样噪声按 (λ−1)² 放大，教师与 base 差距小时尤其不稳定；改用逐层隐藏状态回归可消除条件方差，更适合生成式推荐或对话式 Agent 的稳定训练。
- 语言模型 head 各向异性会削弱隐藏状态残差，弱方向承载大部分能量但输出监督只接收小部分；在蒸馏或轻量适配时，对中间层表示做直接回归能保留更多 RL 带来的行为变化。
- λ 是一个轻量外推系数，λ=1 退化为普通 OPRD；实际业务可从小幅 λ>1 开始，既继续 RL 方向又避免格式/长度崩溃。
On-Policy 蒸馏中的 Off-Policy 教师模型问题与 SCOUT 框架
🧭 LLM 蒸馏训练 · 教师自适应 ★ 深度解读
Washington University in St. Louis · AWS AI Labs · Carnegie Mellon University · Georgia Institute of Technology
提出 SCOUT：周期性地用学生前缀对教师做结果奖励 RL，缓解教师 off-policy 问题，提升蒸馏效果
📌 工作参考价值（4 点）
- 当用强 LLM 蒸馏小模型做生成式推荐/query 改写/Agent 策略时，教师面对学生生成的中间状态（候选商品序列、推理链）可能给出不可靠的 token 分布。可参考 SCOUT：让学生采样轨迹，取前缀交给教师继续 rollout，用业务可验证奖励（如点击、转化、代码测试结果）做 RL 更新教师，提升教师在这些状态上的监督质量。
- 工程上教师无需每一步同步：每 10 步学生更新后更新一次教师即可保持大部分收益，降低训练成本；前缀长度可以线性递增，从短前缀开始逐渐暴露长序列，避免早期训练过难。
- 若教师是黑盒 API 不可更新，SCOUT 不直接适用，但可以考虑 prompt-based 教师适配或改用可训练的小教师；该方法与已有 loss 级监督信号修改（如信任区域、加权）正交，可以叠加使用。
- 不要把增益简单归因于额外的教师训练：如果没有在学生前缀上条件化教师更新，仅做 same outcome-reward GRPO 提升有限，说明适配学生分布才是关键。
如何循环 MoE：摊平专家层、解开注意力
🧭 Looped MoE 架构训练与专家路由 ★ 深度解读
Case Western Reserve University · Kyoto University · NII LLMC
Foil 在固定专家参数与每 token 计算下，通过摊平专家层并给每次循环独立注意力，提升 looped MoE 预训练与路由健康度
📌 工作参考价值（4 点）
- 在固定 expert 参数和每 token 计算预算下，优先采用“浅而宽 + 多轮循环”的 recurrent core，而不是深而窄：把现有 MoE 层合并到更少层、增加每层 expert 数并循环更多次，同等成本通常能拿到更低 LM loss 和更健康路由。
- 循环 block 中不要全程共享 attention：给每个 loop pass 单独 attention 参数，experts/router 继续共享；这几乎不增加推理 compute，但能恢复摊平时丢掉的 attention 参数，训练损失和 zero-shot 均更优。
- 监控 MoE 路由不能只看 load balance：可加 MMR（router 第一名 vs 池中位数概率比）和 per-pass MMR peak；MMR 见顶后继续 flatten/循环收益最弱，适合做架构搜索早停或上线前诊断。
- 做小规模架构 ablation 时，可先用 tied attention 探索循环轮数，因为加 passes 不增加参数；但最终生产配置应切换为 per-pass attention。低流量 expert 不等于无用，不要仅按流量直接裁剪。
SAKI：基于最大耦合路由的在线策略蒸馏教师监督
🧭 On-policy 蒸馏 · 最大耦合监督路由 ★ 深度解读
Meituan · KTH Royal Institute of Technology
将教师引导 rollout 中的最大耦合修正事件作为 token 级监督路由信号，在信任域内自适应分配教师 Top-1 监督
📌 工作参考价值（4 点）
- 在推荐/广告 LLM 的 on-policy 蒸馏或 RL 微调中，可直接复用 TRB 式几何桥接（q ∝ p^{1-β} T^β，约束 D_KL(q∥p)≤ε）替代纯 student/teacher rollout，减少弱模型早期状态偏移；ε 同时控制 rollout 偏差和 teacher 监督频率，便于工程轻量调控。
- 把最大耦合的 accept/correction 事件作为自适应课程信号，比按 TV/KL 标量加权更精准：只在需要干预的 token 上触发 teacher argmax 强监督，其余位置保留 RKL；这种「稀疏、冲突自适应」的路由可迁移到生成式出词、query 生成、Agent 多步 rollout 的 token 级监督设计。
- 在线教师推理成本高，可借鉴 speculative block verification：student 草稿 K tokens，teacher 批量验证，first rejection 后丢弃后续 KV 并从修正 token 恢复，既保持 exact-q 分布又获得 4.22× 吞吐提升；对需要在线 teacher 参与的策略学习/蒸馏系统有直接工程价值。
- 若业务中有强生成模型作为 teacher、弱模型作为 student，可在高冲突前缀用 teacher Top-1 做硬标签拉齐，而不是始终用分布 KL；论文表明 teacher-mode 比 teacher-sampled 在数学推理上 +0.62 Mean@8 / +1.56 Pass@8，模式寻求更适合冲突位置。
伸缩式语言模型
🧭 弹性 LLM 训练 · 随机前缀监督 ★ 深度解读
University of Cambridge · University of British Columbia · Google
单次训练让嵌套级联每个深度前缀均为有效语言模型，AULB降43–44%
📌 工作参考价值（4 点）
- 业务需要为不同延迟/成本部署多档 LLM 或小模型时，可尝试嵌套宽度递增架构 + 随机前缀全锚点训练：单次训练得到一个可任意深度截断的模型，替代多份 artifact，降低 GPU 成本（论文中比 vanilla 三模型方案低 1.7 倍）。
- 若只有少数固定 latency 档位，把 prefix sampler 集中在目标出口深度，可在单次训练的同时获得接近独立子模型的出口质量；若需要弹性降级或流量自适应，用 uniform sampler 换取全深度连续覆盖，两者是采样分布上的训练期选择。
- 中间深度崩溃的主因之一是 readout head 未校准而非主干能力不足；若不重训，可先对崩溃前缀做 cheap head-only fine-tune，虽仍落后全训练约 6 倍，但能恢复部分可用性，适合快速止血。
- 该方法在 200M 代理规模验证，迁移到 7B+ 的推荐/Agent 在线服务需自行验证；但每步仅两次 forward-backward、推理无额外开销，工程上易试错。
TIPS：仅用结果监督RL训练生成式过程奖励模型
🧭 生成式PRM训练 · 结果监督RL ★ 深度解读
Renmin University of China · Tsinghua University · University of Electronic Science and Technology of China · Shanghai Jiao Tong University
TIPS仅用3.2K结果标签轨迹，经GRPO强化验证思维链，ProcessBench F1达85.2，超过更大PRM与强判官
📌 工作参考价值（4 点）
- 在需要过程诊断/归因的 Agent 链路（如导购多轮对话、多工具调用、query 改写规划）中，可用该框架训练一个生成式 step judge：让模型输出 CoT + 逐步有效标签 + final label，reward 只看 final label 是否正确，用 GRPO 优化整个序列；推理时直接取 step_labels 作为过程分，省去人工逐步标注。
- 优先选有思维链先验的 thinking 模型或 reasoning-distilled 模型做基座。论文中 Qwen3-4B-Thinking 比 Instruct 多涨 7.5 F1；弱基座容易走“只看最终结论”的 shortcut，逐步判断先升后降，因此可用 ORM 准确率平台期 + 回复长度下降作为早停信号。
- 对电商推荐/搜索场景，可把该方法用于推荐解释或排序理由的逐句正确性判断，以及 query 规划、工具调用链路的错误步骤定位；但要优先选择步骤正确性直接决定最终结果的 task（SQL 生成、API 参数校验、数值/规则链路），因为业务最终反馈如点击/转化与单步正确性耦合较弱时收益会显著变小。
- 训练成本极低：仅需 3.2K 条 outcome-labeled 轨迹即可在 8×A800 上单 epoch 完成，适合为长尾场景快速冷启动一个内部 judge。
在线策略参数更新方向支撑LLM后训练泛化
🧭 LLM后训练·参数更新方向约束
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出OPSFT：约束SFT沿在线策略累积更新方向更新，仅少量在线策略步即可将泛化优势迁移给监督微调
📌 工作参考价值（4 点）
- 在需要保留在线策略泛化能力但训练预算有限的场景，可先跑少量 on-policy 步骤提取累积参数更新方向，再用 OPSFT 将大规模 SFT 更新投影到该方向，避免全量线上采样成本。
- 对已有高质量人工标注/线上反馈轨迹的电商导购 Agent 或文案生成模型，可将这些轨迹作为 OPSFT 的 SFT 数据继续训练，不会破坏之前在线策略学到的探索与泛化能力。
- 该方法提供了一种从在线策略到离线 SFT 的“方向蒸馏”机制，适合工业界在 RLHF/DPO 与 SFT 之间做低成本的训练范式切换。
- 注意该方法主要针对 LLM 后训练流程，不直接改变推荐/召回模型架构；若业务中需要频繁迭代生成式模型，可在训练 pipeline 中作为正则项复用。
超越教师分配：领域归一化的多教师在线策略蒸馏
🧭 多教师策略蒸馏 · 领域归一化
Nanyang Technological University · Yale University · University of Manchester
提出 DN-MOPD，按领域反馈 spread 重缩放，解决多教师策略蒸馏中反馈尺度失衡问题
📌 工作参考价值（4 点）
- 在多任务/多专家蒸馏或 RL 融合时，不要只做任务路由，还要监控并平衡不同 reward/teacher 反馈的尺度；可提前统计各领域反馈的标准差，按该值重缩放，避免高方差信号主导共享模型。
- 如果在线估计 spread 成本高，可直接使用离线测得的固定领域权重，论文表明固定权重接近测量值时性能相当，便于工程落地。
- 对电商搜索推荐中的多目标强化学习（如点击率、转化率、GMV 约束），不同目标 reward 方差差异大，容易让某个目标主导策略，可借鉴按目标 spread 归一化再加权。
- 在 Agent 或多 teacher 集成场景，评估各 teacher 反馈分布，优先降权高方差域，而不是单纯提升弱势域，控制实验显示调低主导域反馈是关键。
On-Policy 与 Off-Policy 学习：蒸馏动力学的系统研究
🧭 蒸馏训练策略对比 ★ 深度解读
University of Cambridge
在强到弱蒸馏中解耦 rollout 策略、KL 方向和 learning rate，发现 on-policy 无一致优势，forward KL 更鲁棒，learning rate 主导遗忘与稀疏性
📌 工作参考价值（4 点）
- 在构建领域 LLM 蒸馏流水线（如将大模型蒸馏到线上小模型用于 query 理解或文案生成）时，优先使用 forward KL + off-policy 数据：成本低且对 rollout 策略鲁棒，不必频繁生成 on-policy 样本。
- 控制 learning rate 是平衡效果与灾难性遗忘的关键旋钮；如果微调后通用能力下降，先调低 learning rate，而不是转向 on-policy 采样。
- 如果需要提升模型对更难任务（如从简单商品描述生成到复杂营销文案）的泛化，可适量引入 on-policy 数据，但注意后续若接 RLVR，该优势可能消失。
- 若要抑制教师模型的风格/偏见迁移（如避免推荐文案出现不符合品牌调性的表达），可考虑 on-policy rollouts + reverse KL 组合。
ReSPO：重塑序列策略优化以应对离线策略学习梯度饥饿
🧭 RLVR 离线策略训练优化
Department of Computer Science, University of California, Los Angeles
提出 ReSPO，用平滑两分支序列级核替换裁剪，修正重要性权重尾部梯度饥饿，加速 RLVR 训练
📌 工作参考价值（4 点）
- 若在 RLVR 训练中复用 rollout 且使用 GRPO/GSPO 时，模型难以学到低频但高奖励的长轨迹（如多步 Agent 决策、长链推荐理由生成），可替换为 ReSPO 的平滑序列级核：正分支保留低重要性权重正样本的非零梯度，负分支抑制高权重负样本，避免梯度饥饿。
- 对 LLM 生成搜索 query、广告文案或推荐解释的强化学习微调，在 reward 稀疏、正样本稀缺场景下，ReSPO 正分支能加速早期优化，比传统 clipping 更友好。
- 工程实现上，ReSPO 核是序列重要性比 W=πθ(o|q)/πold(o|q) 的函数，可与现有 GRPO/GSPO 代码低耦合替换；只需缓存 old policy 的 rollout 来计算比率，复用现有离线数据流即可。
- 论文在 dense 和 MoE Qwen3 上验证有效，对工业级大规模模型与 MoE 架构有迁移参考价值，但需注意业务 reward 信号若噪声较大，仍需配合 variance-control tilt 稳定训练。
学习转向，转向以见：用可训练向量揭示RLVR在LLM中的几何结构
🧭 RLVR 激活几何与训练稳定化
USTC · Tencent Hunyuan · BUPT
发现RLVR有效控制方向位于激活主子空间低方差补集，并提出Alpha-Stabler稳定训练提升RL增益
📌 工作参考价值（4 点）
- RLVR 微调 LLM（如电商搜索/推荐中的 Agent 策略模型）时，可监控激活的主子空间入侵程度来预警训练崩溃，提前止损，节省算力。
- 在反向传播中移除激活梯度在主子空间的分量、保留低方差补集分量，可作为通用训练稳定化 trick，与现有 RLHF/RLVR 流程兼容，尤其适合长步训练。
- 低维有效流形存在但不可无限压缩，提示在低秩适配（LoRA）或资源受限场景下，需平衡干预维度与输入依赖表达性；对在线持续微调有参考价值。
- 跨任务几何对齐与能力迁移相关，可用于评估不同业务任务（查询改写、推荐策略、Agent 决策）之间的迁移潜力，指导多任务训练设计。
从扰动公开文档合成训练数据提升大模型上下文学习能力
🧭 LLM 合成数据与上下文学习训练
AllSpark Team
用少量扰动公开文档合成10k上下文推理样本，将35B模型CL-bench从13.7%提升至24.6%，媲美万亿参数模型
📌 工作参考价值（4 点）
- 用于电商知识库/RAG 助手训练：把产品说明、活动规则、广告政策等内部文档做同义改写/扰动，再生成需逐段推理的问答，只保留“去掉文档就答不对”的样本，可低成本造出强迫模型依赖上下文而不是记忆的数据。
- 两阶段训练：SFT 提升基础上下文跟随，再接 rubric-reward RL 用评分准则作奖励，在少量数据（10k）下把小参数 MoE 模型拉到接近大模型；适合业务中无法大规模标注的场景。
- 过滤机制可复用：用改写前后答案变化、引用证据检查等方法自动筛选高质量上下文依赖样本，避免合成数据里混入可通过参数知识回答的“伪上下文”样本；对长商品描述、多轮 Agent 工具结果等场景尤其有价值。
- 观察到的迁移：改进集中在长上下文理解、指令遵循和推理，对代码和知识影响小。如果业务目标是让模型在复杂上下文里做推荐决策/政策合规，可比通用知识注入更精准。
意外的成功，重复的失败：熵引导信用分配用于LLM推理探索
🧭 RLVR token级信用分配 · 熵引导探索
KAIST · DeepAuto.ai
提出EAPO，利用策略熵与response advantage符号不对称分配token级信用，强化高熵成功、惩罚低熵失败并保留失败中的探索机会
📌 工作参考价值（4 点）
- 在电商/导购Agent的RLVR微调中，可直接利用每步生成时的策略熵作为信用分配信号，无需额外reward model或人工标注；将成功轨迹中高熵决策（如“不确定时尝试新工具/新query”）给予更强正反馈，鼓励探索新策略。
- 对失败轨迹区分“确定性错误”与“探索性失败”：低熵token（模型很自信却错，如错误价格比较结论）施加更强惩罚，快速纠正重复错误；高熵token（模型尝试不确定路径，如生成长尾query）减轻惩罚，保留未来恢复可能性。
- 若在生成式推荐/搜索query改写上做RL，可借鉴EAPO的token-level advantage redistribute：用response-level奖励按熵加权到token，避免对整条失败样本均匀惩罚，有助于维持候选多样性。
- 工程实现上，EAPO只用现有rollout信号（entropy/advantage），可轻量嵌入PPO/GRPO等在线RL流程；适合稀疏reward场景（如用户最终购买/点击），提升覆盖与多样性。
预训练中量化注意力 Softmax：校准与直通梯度设计的影响
🧭 低精度注意力 Softmax 训练 ★ 深度解读
University of Illinois Urbana-Champaign
系统研究量化 softmax 前向与反向规则对预训练稳定性的影响，给出可复现的设计选择
📌 工作参考价值（4 点）
- 工业推荐/Agent 里若对 Transformer 做 QAT 或量化 softmax 部署，不要用 .detach() 隔离 calibration 统计量（row max/min）；必须让 row extrema 反向传播，否则训练前 25-30M tokens 看似正常，之后 loss 突然恶化，末尾可差 0.65-3.07 nats。零和投影不能修复。
- 做 hard rounding 量化时，优先 Prob-STE（在归一化后概率上放 STE），或校准从 MinMax 换成 fixed window to max（FWM）。在 K=4、124M/2.5B tokens 下 MinMax+Weight-STE 差 softmax 0.89 nats，而 FWM+Prob-STE 只差 0.019；K=16 时 FWM+Weight-STE 差 0.004。
- 如果允许可微实现，优先 LERP（分段线性插值）而非 Nearest hard rounding；K=4/16/32 在 2.5B tokens 都能收敛到 softmax 0.005 nats 以内。
- 评估时必须用训练时的 native forward；训练后替换成 exact softmax 会使 gap 扩大，LERP K=2 从 +0.005 跳到 +1.814 nats，说明权重已经依赖训练算子。
MassAlloc Attention：让注意力自主分配计算
🧭 高效注意力 · 自适应计算分配 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
提出MALA，保留完整QK打分，按归一化注意力贡献度跳过低价值后处理，显著降低长上下文训练/推理计算且保持精度
📌 工作参考价值（4 点）
- 在长用户行为序列建模或长上下文推荐中，可借鉴 MALA 思路：保留完整 QK 打分以捕获任意长程兴趣依赖，但用归一化贡献阈值跳过低贡献 tile 的 V 加载和 PV 累积，从而降低线上推理延迟和离线训练 FLOPs，且精度损失极小。
- 统一阈值 τ/L_q 的设计省去逐层/逐头/逐输入单独标定，适合电商场景中用户序列长度动态变化（从几十到几千）的部署；可根据线上延迟要求全局调整 τ，无需重新训练。
- 反向传播复用前向保存的 finalized normalizer，仅用标准 attention 状态推导嵌套支持，不额外存 mask 或索引，内存开销与 FullAttn 持平，对显存受限的推荐模型训练尤其有吸引力。
- 与 MoBA、DSA 等提前丢弃 QK 的稀疏方法不同，MALA 保留完整 QK 打分，适合需要精确长程关联检索的任务（如跨会话用户兴趣召回、长文档中的商品关联），可作为底层注意力替换方案集成到现有长上下文 LLM 推荐或 Agent 系统中。
无需学习停止的自监督置信度训练提升推理效率
🧭 自监督置信度训练提升推理效率
University of Maryland · Capital One
自监督置信度训练仅用600题微调，不改变标准生成，最高减少25%推理tokens且精度匹配
📌 工作参考价值（4 点）
- 对推荐理由、Agent规划/反思、query改写等长推理LLM链路，可在不引入长度惩罚或早停的前提下，增加置信度预测头做自监督辅助训练；线上仍用标准解码，避免额外控制逻辑。
- 中间置信度标签可通过模型自身采样轨迹构造：以最终答案对错/一致性作为软标签，几百条样本即可启动试验，适合业务低成本验证。
- 若线上有大模型生成链路，可优先在数学/逻辑类子任务（如价格计算、规则校验）复用；推荐主链路需设计点击/转化等业务置信度信号再验证。
- 论文显示效率提升来自元认知信号，而非抑制某些推理行为；这提示我们保留推理组成，可能比强制缩短更稳。
新 LoRA 技能应只读不写
🧭 LoRA 技能组合与参数高效训练
Shanghai Jiao Tong University · Xi'an Jiaotong University · The Hong Kong University of Science and Technology (Guangzhou) · Jinan University
提出 READ 只读扩展机制，冻结旧 LoRA 输出子空间并折叠组合更新，实现多任务 LoRA 增量组合且无推理开销
📌 工作参考价值（4 点）
- 线上同时挂多个 LoRA（query 改写、类目预测、广告文案生成等）时，避免直接 weight-space merge；用 READ 式只读耦合追加新技能，旧技能输出子空间不被写入，能减少跨任务干扰，适合增量上线。
- 将每个 LoRA 先重写为 balanced canonical form，保持 ΔW 精确不变但对齐因子坐标，可作为 adapter 入库/发布前的规范化步骤，利于后续组合与版本管理。
- 组合更新可折叠进 base weights，无额外推理开销、无 routing 规则，适合推荐/搜索高 QPS 在线服务，不需要为多任务维护多个前向路径。
- 业务方管理大量 task adapters 时，可借鉴每次仅训练耦合矩阵中一行来追加新技能，训练成本极低，避免对历史任务数据全量重训。
自训练中的策略多样性采样方法
🧭 LLM 自训练数据构建与采样
School of Informatics, University of Edinburgh
提出策略多样性采样，证明解法多样性比正确性和教师规模对自训练更关键
📌 工作参考价值（4 点）
- 构建 SFT/蒸馏数据时不要只按正确性过滤，可以先用模型生成多个高层策略（例如基于价格、用户画像、场景），再展开成完整轨迹，避免同一策略的表面变体；在电商训练 LLM 生成推荐理由、query 改写或 Agent 规划时，能显著提升困难 case 上的泛化。
- 错误但多样的轨迹也有价值：如果缺乏大规模教师标注，可以用小模型自己采样并保留多样化的错误中间步骤，经过筛选或与正确样本混合训练，可能比直接蒸馏大模型更有效，降低 API 成本。
- 对 RLHF/GRPO 在线采样，策略多样性原则说明仅靠提高温度不够，需要显式鼓励策略分支；可以在 reward 中加入策略多样性项，或在 prompt 中要求给出多种解法，提升 rollout 组的信息量。
- 在生成式推荐中构建 Semantic ID 或多路径推理数据时，可将策略多样性作为数据增强与负样本构造的指导思想。
基于轨迹图的逐步优势估计用于 Agent 强化学习
🧭 Agentic RL 的 step-level 信用分配 ★ 深度解读
Shanghai Jiao Tong University · Tencent AI Platform Department
用轨迹图合并多条 rollout，以 Bellman 迭代反传稀疏奖励估计状态价值，得到符合 RL 定义的 step-level advantage
📌 工作参考价值（4 点）
- 无 PRM 的步骤级信用分配：把同一 prompt 下的多条 rollout 按状态合并成有向图，用终端奖励做 Bellman 反向迭代估计节点价值，得到 step advantage。适合多轮对话/任务型 agent 只有结局奖励（成功/失败）的场景，不需要额外 step reward 标注或 critic 模型。
- 状态 canonicalization 可复用：对 LLM 生成的中间状态用 exact matching 或 embedding 相似度聚类，解决语义相同但文本不同的问题。电商搜索 agent、多轮推荐对话中，可以把用户状态和系统动作序列映射为图节点，聚合跨轨迹的相似状态。
- Graph GAE + on-state group norm 稳定训练：用图上的 GAE 加权多跳 TD residual 降低 value estimation bias；按同一源节点的出边做 group normalization。这两个 trick 对稀疏奖励下的策略梯度方差控制有直接借鉴价值，可嵌入现有 GRPO 类训练框架。
- 步骤级重要性比匹配优势粒度：GRPO-C 用 step 级（或序列级）geometric mean importance ratio 替代 token 级分配，避免 response-level advantage 被错误均匀分配给每个 token。若你在做多轮交互的策略优化，建议把 action 定义为“一步回复/一次工具调用”而不是 token，更新时用步骤级 likelihood ratio。
零数据自博弈预训练
🧭 自博弈合成数据预训练
Independent Researcher · Tel Aviv University · Stanford University · LAPTh, USMB
自博弈零数据预训练用生成器-学习器对训，以图灵机程序生成数据，零样本损失随算力可预测缩放
📌 工作参考价值（4 点）
- 自博弈课程生成器-学习器架构可迁移到搜索/推荐中的难例挖掘：让 query 或候选生成器专门产出当前排序/召回模型易错的边界样本，替代固定人工负样本或模板，训练目标随模型能力动态调整。
- 双模型分离（生成器 RL + 学习器 CE）比单一模型自生成训练更稳定，适合生成式推荐中的 Semantic ID 或 query 改写：生成器负责探索新 token 组合，学习器只做密度估计。
- “用算力换人类知识”的思路对数据稀缺场景有参考价值：如果领域内可定义可执行的结构化生成器（如商品标题语法、用户行为序列模拟器），可先小规模验证合成数据的零样本收益是否随算力可预测。
- 注意通用图灵机搜索空间过大，直接工业落地成本高；业务上需把程序空间约束为领域特定 DSL 或模板，否则大量算力浪费在无效结构上。
PoEM：从现有策略预测 RL 结果
🧭 RL 后训练策略组合预测
MIT CSAIL
提出 PoEM 框架，用已后训练策略的线性组合预测新奖励下的 RL 策略，无需再次运行 RL
📌 工作参考价值（4 点）
- 在推荐/搜索的 LLM 后训练中，可维护多个单奖励 LoRA adapters（如相关性、点击、多样性），用 PoEM 组合近似新奖励策略，避免每次改奖励都重新 RL；可利用 reward outputs 快速估计混合权重。
- 若业务需要在线调整多个目标权重（如 GMV vs 用户体验），可离线训练几个 base 策略，线上通过线性组合 log-policy 动态合成，降低训练与维护成本。
- 注意假设：奖励线性组合成立或 log-policy 低秩；在推荐场景中需验证多目标 reward 组合是否满足，若不满足可作为初始化再微调。
- 工程实现可借鉴：用已有 adapter 的 logits/策略输出和 reward 值做最小二乘估计权重，无需额外梯度更新。
熵正则化：对可验证演示交叉熵的免费修正
🧭 LLM 后训练 · 熵正则化
Department of Statistics, University of Michigan
提出 ER-CE，用 token 级熵正则化防止概率质量扩散到未支持的输出，提升可验证任务 verifier 准确率
📌 工作参考价值（4 点）
- 在生成式推荐/文案生成等多正确解可验证场景（如商品标题是否符合规则、推荐理由是否准确），后训练若只用 CE 模仿单一 gold 答案，可能学到次优分布。可尝试在 loss 中加入 token 级熵正则项，实现只需对 logits 计算熵再加权合并，几乎零额外成本，避免模型过度自信于某一路径。
- 若任务有可验证的 reward（如搜索 query 改写后召回率、广告文案离线规则校验），而训练数据每个样本只给一个专家解，直接 CE 可能偏离最大化 verifier 准确率。可借鉴 ER-CE 思路，使策略保留更多样化的正确输出概率，而非只模仿给定演示。
- 注意熵正则化会鼓励输出分布更均匀，可能降低生成确定性，影响线上体验（如推荐文案需风格稳定）。实际落地时需小范围调熵系数，先在线下验证集评估 verifier acc 与多样性的 trade-off。
- 该文主要针对数学/代码，部分思路可迁移，但电商/推荐场景的 verifier 往往较弱或缺失，需先定义好规则校验器再使用此正则化。
Transformer 作为跨任务学习者：共享结构驱动上下文学习样本效率
🧭 ICL 理论 · 跨任务泛化
首次用覆盖数量化跨任务低维结构并构造 Softmax Transformer 实现 ICL 近似与泛化
📌 工作参考价值（4 点）
- 多任务预训练/指令微调时，优先构造共享底层结构的任务族（如同品类推荐、同类型 query 改写），低维任务流形可让模型在小 prompt 下完成新任务；不必盲目堆长上下文示例。
- 覆盖数/锚函数思路可迁移为“任务原型检索”：对电商 Agent 或推荐场景，先对历史任务评估函数做聚类得到代表性锚点，再对新请求做软匹配与加权聚合，缩小检索与推理空间。
- 误差界表明：当预训练任务数量足够覆盖任务空间时，prompt 长度依赖显著下降。这支持工程上优先扩充任务多样性、而非仅增加单任务样本数量。
- 主要仍是学术贡献，直接可落地的算法较少，但可为多任务模型的任务划分、数据配比与上下文长度选择提供理论直觉。
何时何地信任教师：通过熵校准信用分配统一在线蒸馏与 GRPO
🧭 RLVR 与在线蒸馏统一训练
Shanghai Jiao Tong University · Zhejiang University
提出 UECR-GRPO，在 GRPO 更新中统一 verifier 与 teacher 信号，通过熵校准 token 级信用重分配提升数学推理 RLVR
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 训练 LLM 时（如最终成交、点击、任务完成作为 verifier），可以引入一个 teacher LLM 的 log-prob 作为稠密信号；关键是把 teacher 信号和 verifier reward 在 group normalization 与 PPO clipping 之前合并，让 teacher 证据影响 response 排序，而不是事后加权。
- Token 级信用重分配用 response-wise zero-sum projection 保留每个 response 的总任务信用和符号，可借鉴到商品标题生成、对话推荐理由生成等任务：只改变 token 间梯度分配，不改总 reward，降低训练不稳定。
- 全词表 teacher entropy 衰减不确定指导：当 teacher 模型对某些 token 输出很平、熵高时，降低其蒸馏权重；适合电商文本生成中 LLM teacher 噪声大的场景，避免传播错误偏好。
- On-policy 实现中使用 length-normalized teacher score，可避免长文本 recommendation/agent 轨迹中获得更高 teacher score 的长度偏差。
精确分位数平衡与负载误差注入用于混合专家模型
🧭 MoE 训练负载均衡优化
Aleph Alpha
提出 EQB 精确全局分位数计算和 LEI 局部负载误差梯度注入，提升 MoE 训练平衡与质量
📌 工作参考价值（4 点）
- 若自研大规模 MoE 推荐/排序模型，可借鉴 EQB：用两次 256-bin all-reduce 的 BF16 radix selection 计算精确全局分位数，替代 rank-local 平均近似，消除数据划分偏差，通信开销可忽略。
- 局部负载均衡可尝试 LEI：把局部负载误差直接注入 router-score 梯度，替代 GShard 辅助 loss，在保证模型质量的同时改善 expert-parallel microbatch 级均衡，降低计算 skew。
- 训练 MoE 时将全局平衡与局部平衡解耦处理：仅全局平衡可能掩盖 microbatch 级偏斜，导致 EP 效率下降；应同时监控并优化两个层级。
- 对于已有 MoE 推理服务，若发现某些 expert 过载，可参考该工作的平衡机制思路，通过微调 router 偏差或梯度注入来优化负载分布。
面向高效推理：为扩散语言模型学习因果捷径
🧭 扩散语言模型推理训练优化
Zhejiang University · Shanghai AI Laboratory
提出CSL框架，通过提取因果捷径并优先掩码训练，提升扩散语言模型推理精度与收敛速度
📌 工作参考价值（4 点）
- 如果业务中尝试用 Diffusion LM 做推理型任务（如 Agent 规划、推荐理由生成），不要用 random masking；先提取推理链中的关键 token（causal shortcuts），优先 mask 这些 token 做 SFT，能明显提升收敛速度和最终精度。
- 论文给了一套 step-by-step token extraction 流程，可以从业务数据里自动挖出“因果捷径” token 链，适合迁移到需要生成结构化推理路径的场景（如电商导购 Agent 的决策链路）。
- 核心结论是：在双向扩散模型的 SFT 中，控制 mask 分布比随机 mask 更高效，这个思想也可以借鉴到其他 masked/denoising 序列模型训练中，作为训练效率调优手段。
- 对线上推理有启发：如果已部署 DLM，可以通过识别并保护 causal shortcut token 来减少探索空间，加快生成收敛，降低推理延迟。
Rufus-Air：开源 LLM 后训练配方
🧭 LLM 后训练全流程配方 ★ 深度解读
Amazon
公开 GLM-4.5-Air-Base 的完整后训练配方，以难度过滤和奖励可靠性排序驱动 8 阶段训练，显著超越官方 release
📌 工作参考价值（4 点）
- SFT 配比看 token 而非 sample：长轨迹类别（Math、Coding Agent）在 sample 占比不高但贡献近半训练 token。业务上做生成式模型 SFT 时，应按 loss-contributing tokens 评估数据配比，避免被 sample count 误导。
- 难度过滤作为自动课程：RL 阶段统一剔除“已解决”和“不可学”的 prompt，只保留策略当前可进步的区间，随策略提升自动滚动。此思路可直接用于电商文案生成、query 改写、Agent 工具调用的 RL 训练，减少无效 rollout 和梯度噪声。
- 按奖励可靠性排阶段：先跑可验证奖励（规则、执行测试），后跑 judge/model-based 奖励，缩短奖励被 hack 的暴露时间。多阶段 RLHF 或对齐训练时，可借鉴该顺序，把 IF 类接近已有能力的软奖励提前，把开放偏好奖励放最后。
- 基础设施也是配方：统一 chat template、token-in/token-out rollouts、Rollout Routing Replay、可靠 sandbox 服务对 MoE 稳定训练至关重要。搭建内部 RL 框架时，这些工程细节应作为一等公民，而非实现细节。
SLCA-GRPO：解决工具调用强化学习中的跨段信用错配
🧭 工具调用 RL · 分段信用分配 ★ 深度解读
Peking University · Shenzhen University · Tencent PCG QQ Team
将工具段与总结段优势解耦路由，从结构上阻断 summary 奖励对工具 token 的梯度泄漏
📌 工作参考价值（4 点）
- 在工具调用 agent 的 RL 训练中，若总 reward 同时包含工具执行质量与最终回答质量，标准 GRPO 的统一 advantage 会把 summary 噪声传到 tool token。可将轨迹按 token mask 自动分为工具段与总结段，分别做组内 z-score 并只路由到对应 token；几乎零额外成本，适合电商客服、订单查询等多 API 场景。
- 用 Schema-Guided LLM Simulator 替代真实 API 做 RL 探索：schema 校验给出确定性错误反馈，跨模型 LLM mock 生成合理响应，降低真实 API 成本与不稳定；这可以作为离线 RL 基础设施，尤其适合工具 namespace 大的 MCP 生态。
- 设计 process reward 建议拆成格式、工具名 F1、参数 key/value、并行度等子项（HierR），而不是单一稀疏信号；对要求低工具冗余的业务，可用类似 Success@阈值 指标优化平均工具轮数。
- 当模型该调工具却不调时，将 omission penalty 只路由到 summary 段，避免污染工具段，比在总 reward 上全局扣分更稳定。
通过模拟合成：可扩展智能体-系统交互生成一致企业数据
🧭 Agent 训练数据合成 · 模拟环境交互
SAP Labs
提出 schema-free 模拟数据合成范式，LLM agent 通过 policy-enforcing APIs 生成结构有效且高保真企业数据
📌 工作参考价值（4 点）
- 在电商/客服 Agent 训练数据构造中，可部署 policy-enforcing API 模拟器定义合法状态，让 LLM 通过交互生成轨迹，天然保证结构有效性，避免大量人工标注与无效状态。
- schema-free 生成降低接入成本：不必提供完整数据库 schema，适合多业务线快速复用，尤其适合推荐解释生成、搜索 Query 改写等工具调用 Agent 的训练数据生产。
- 将约束验证与分布建模解耦：业务侧可独立优化分布保真，不必改动环境约束；模拟交互能生成长尾/边缘场景，弥补统计合成需种子数据的不足。
- 采用通用 Populator 而非逐领域定制，单一 agent 适配多个 API 环境，可迁移到多域推荐系统，减少重复开发。
小模型搜索智能体的可验证奖励强化学习
🧭 RLVR小模型搜索Agent训练 ★ 深度解读
Leiden Institute of Advanced Computer Science, Leiden University
在0.8B模型上证明RLVR可训练搜索Agent，且稀疏EM奖励最差，token-F1部分信用奖励带来3.8倍提升
📌 工作参考价值（4 点）
- 在资源有限、用小模型做 agentic search/RAG 时，奖励函数不要直接用 exact match 稀疏奖励。改用 token-F1 部分信用奖励（可加格式地板），避免 GRPO 组内优势因零方差而失效。
- 训练与评估共享同一套 prompt 模板、工具接口和解析器，确保格式分布一致；检索到的 token 必须 mask，防止模型学预测语料。
- 使用模型家族原生工具调用格式（如 Qwen 的 nested-XML）而非自定义标签，能降低冷启动难度；用量化检索索引（IVF+SQ8）替代 flat index，内存从 65GB 降到 16GB 且 recall 基本不降，利于训练时多轮 rollout。
- 若在电商搜索/推荐场景训练 Agent 做多跳查询或商品属性推理，可借鉴隐式长度惩罚：生成上限本身会形成对过长 rollout 的惩罚，但训练 reward 与真实业务指标要区分，格式奖励可能让训练曲线虚高。
针对翻译微调LLM：通用遗忘缓解不保护MT特定指令遵循
🧭 LLM 微调与灾难性遗忘缓解
AppTek GmbH, Aachen, Germany · Machine Learning and Human Language Technology, RWTH Aachen University, Germany · Applied Science Private University, Amman, Jordan
比较微调中的遗忘缓解方法，发现EWC保留通用能力最好，但只有混合控制任务数据可保留MT特定指令遵循，且泛化有限
📌 工作参考价值（3 点）
- 在电商/推荐场景微调LLM（如生成推荐文案、query改写、对话Agent）时，建议添加EWC正则化：实现简单，能显著减缓通用基准能力下降（本文8B模型仅降1.7分 vs 标准微调11.0），同时不影响领域任务性能。
- 若需要保留多种控制能力（如文案语气、长度、格式），仅靠通用遗忘缓解不够，应在微调数据中混合少量控制任务示例，但需注意对未见过的指令模板泛化有限，因此要持续扩充控制任务的数据多样性。
- 评估微调模型时必须同时监控通用能力和任务特定指令遵循，不能只看单一指标，因为通用能力保留不代表特定控制能力保留。
量化模型走到哪，就在哪训练：低比特推理的在线策略蒸馏
🧭 低比特量化 · 在线策略蒸馏 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · Zhongguancun Academy · City University of Hong Kong · NJUST
用在线策略蒸馏把教师监督放到低比特量化模型自己的生成轨迹上，将 MATH-500 平均保留率从 35% 恢复到 70%
📌 工作参考价值（4 点）
- 若线上部署低比特 LLM 做 Agent 规划、长推理或长文案生成，QAD 后不要直接上线：补一个少量步数的 on-policy 蒸馏阶段，用模型自己的 rollout 配合冻结 BF16 teacher 和任务 verifier，能显著减少重复循环和 budget exhaustion。
- 蒸馏阶段可以非常简单：反向 KL token-level + group-relative advantage，β=1 固定无需调参；每个 step 8 prompts、G=32/64 rollouts，几十到数百 step 即可，GPU-hours 比 QAD 少 14–23 倍。业务上可低成本验证。
- 教师选择：1.7B 以上的低比特学生用自身 BF16 副本通常足够，不必上更大教师；只有 0.6B 这类学生本身太弱时才需要更强教师。这能省掉大模型推理成本。
- 训练/部署一致性很关键：rollout 必须走部署时的量化前向路径（INT8 activations + low-bit weights），才能把量化扰动纳入训练分布；类似在生成式推荐、query 改写或 Agent 路径采样中，应让训练 rollout 与实际服务链路一致，避免 teacher-forcing 与线上自回归之间的 exposure bias。
PACT：从信用分配到 Critic 对齐
🧭 LLM 强化学习的信用分配与 Actor-Critic 训练 ★ 深度解读
Peking University · Xiaohongshu
证明 token 级信用唯一等于条件奖励差分，提出 Actor-then-Critic 加重要性采样的 PACT，在数学与编码基准显著超越 PPO/GRPO/SAO
📌 工作参考价值（4 点）
- RL 微调推荐/搜索 Agent 时，用 Actor-then-Critic 顺序并对 critic 目标做 importance sampling 校正：先更新 actor，再用更新后 actor 与旧 rollout 的重要性比修正 critic 的 value target，避免 PPO 中 critic 始终落后一个 policy 版本的问题；适合点击/转化/任务成功等 0-1 或归一化 reward。
- Value/critic 训练用 BCE 替代 MSE：在 reward ∈ [0,1] 条件下两者最优解相同，但 BCE 收敛更快、正负样本 value separation 更大；对稀疏奖励、长轨迹的搜索/推荐 Agent 训练尤其实用，可直接替换现有 critic loss。
- 长 horizon outcome-only reward 场景优先使用 GAE λ=1：论文证明 λ<1 会保留中间 critic 误差，且 token credit 近似稀疏时误差可能主导信号；业务中如果只有最终转化/成交 reward，建议 λ=1 或直接使用 RLOO/GRPO 的 response-level baseline，避免细粒度 critic 噪声。
- 响应级 baseline 与 token 级 credit 在期望梯度上等价：RLOO/GRPO 不必强行改造成 token-level advantage；如无高精度 critic，保持 response-level 信号在期望上是安全的，但若要利用长程结构化信息，应优先提升 critic 对齐度和估计准确性。
StableVQ：稳定向量量化 tokenizer 训练实践指南
🧭 VQ 视觉 tokenizer 训练稳定性
Huazhong University of Science and Technology · KlingAI Research · South China Normal University
针对共享投影码本 VQ 训练不稳定，提出 Dynamic STE、Region VQ Loss、Decoupled Schedule 三项无参改进，稳定提升码本利用率与重建质量
📌 工作参考价值（4 点）
- 若在生成式推荐中使用 VQ / Semantic ID 做物品量化，常遇到码本坍塌或利用率低：可借鉴 Region VQ Loss 的思路，让码本独立学习完整覆盖编码器输出分布，而非依赖编码器梯度抖动激活，提升 ID 多样性。
- Dynamic STE 修正了低码本利用率下直通估计器的梯度不稳定问题，适合推荐场景中离散 ID 生成（如 Gumbel-Softmax 或 ST-Gumbel）的梯度回传，避免因初期码本利用率低导致训练崩溃。
- 多模块联合训练（如编码器-解码器 + 码本、生成器 + 判别器）常因收敛速度不匹配而不稳定：Decoupled Schedule 将不同模块使用独立学习率调度，可直接迁移到多任务推荐模型或 Agent 策略与价值网络的联合训练。
- 整体无额外可学习参数、轻量易插入，适合在现有推荐召回或特征量化模块上低成本验证。
信息近端自蒸馏用于LLM持续学习
🧭 LLM 持续学习 · 信息约束自蒸馏
Georgia Institute of Technology · Imperial College London · Politecnico di Torino · UCL Centre for AI
提出iSDFT将教师视为预算信息源，在每步选择满足信息约束的最近分布，提升LLM持续学习中稳定性与可塑性的平衡
📌 工作参考价值（4 点）
- 在电商/推荐场景中，当用新数据微调LLM（如用于query理解、内容生成、推荐理由）时，可采用iSDFT的“信息预算”思想：对每个token动态决定从教师（新任务模型）吸收多少信息，避免新策略完全覆盖旧能力，尤其适合需要持续更新但必须维持基线性能的线上系统。
- 锚定冻结基础模型（frozen base policy）的做法可作为一个轻量正则化项加入现有微调损失，实现简单且可稳定训练，有助于在迭代推荐模型时控制累积漂移，减少对旧用户行为模式的遗忘。
- 闭合形式的指数目标（exponential tilting）无需额外优化循环，工程实现成本低，可直接用于LLM4Rec的在线学习或定期更新，平衡稳定性和塑性。
- 该方法对多任务、多模态的推荐系统持续学习有借鉴意义：可以按任务重要度设置不同的教师信息约束，实现可控的旧知识保留和新知识注入。
1% 的 Token 已足够：在线策略蒸馏中的梯度估计
🧭 LLM 稀疏在线蒸馏 token 选择
MBZUAI · Ant Group
提出信息效率比 IER，将有用性与梯度估计可靠性结合做稀疏在线蒸馏 token 选择，0.1%-1% 预算匹配全量 OPD
📌 工作参考价值（4 点）
- 做 LLM 在线蒸馏或生成式推荐模型压缩时，不必全量 token 蒸馏；用 IER 结合 usefulness 做稀疏 token 监督，0.1%–1% 预算可接近/超过 full OPD，大幅降低 teacher 调用与训练成本。
- 不要只用 loss 或 uncertainty 选 token；高 useful 的 token 可能梯度估计噪声大，实际更新不稳。可借鉴 IER 的 signal-to-noise 思路，对 token/样本做梯度可靠性二次筛选。
- 候选集近似是工程可落地的关键：不必对全 vocab 精确计算梯度方差，用较小候选集估计 IER，能直接嵌入现有 sampled reverse-KL 训练流程，适合工业级 RLHF/GRPO/蒸馏 pipeline。
- 若是 Agent/电商文案生成等多步 trajectory 蒸馏，可把 IER 扩展到 step/token 级预算分配，优先在梯度可靠且 teacher 有信息量的位置蒸馏，节省长轨迹的训练成本。
onPanda：基于 Token 级纠错的 LLM 与 Agent 对齐数据高效标注
🧭 LLM 对齐数据标注 · token-level correction
StepFun · Xiamen University
用 token 级定位-纠错-续写循环高效生成 on-policy 对齐数据，标注时间中位数降低 52%
📌 工作参考价值（4 点）
- 生成式推荐/对话式 Agent 的 SFT 数据可由模型续写产生：先让模型生成候选回复，标注员只做 token 级首错纠正，后续自动截断重新生成，大幅减少人工整段改写，同时保持数据接近模型自身分布。
- token 级纠错记录提供「前缀 - 错 token - 正确 token」的孪生样本，可直接构造细粒度偏好对或 token 级 loss，比整句 preference 更有定位能力，适合电商导购话术、搜索词改写等短文本生成的调优。
- 对 Agent 轨迹标注可借鉴其交互思路：在 trajectory 回放中定位第一个错误 step/token，修正后继续 roll-out，能获得低成本 on-policy 轨迹数据并保留后续状态分布，适合工具调用、多轮商品推荐对话的数据采集。
- 工程上可参考其候选 token 展示与编辑结合的方式：先给出模型 top-k token 供快速点选，无法匹配时再自由输入，兼顾标注效率与灵活性；概率颜色编码帮助标注员快速定位低置信 token。
RULER：面向 SVG 生成的实例感知评分规则奖励
🧭 RL 奖励设计 · SVG 生成
Ant Group · The Hong Kong University of Science and Technology (Guangzhou) · Independent Researcher · University of Oxford
用实例感知 rubric 奖励替代标量指标，VLM 逐项评分并结合 GRPO，无需真值即大幅提升 SVG 生成质量
📌 工作参考价值（4 点）
- 用多维 rubric 替代标量奖励：商品文案、广告创意、AI 生成图片等开放式生成任务中，若仍用 CLIP/Aesthetic 等单一 scalar 作为 reward，容易出现 reward hacking；让 VLM judge 按语义、视觉、风格多轴逐项打分，可提升与人类判断的一致性，并作为 RL reward。
- instance-aware rubric 动态生成：不依赖固定评估模板，而是针对每条 instruction / 用户场景生成定制评分项；在推荐解释、push 消息、搜索 query 生成中，可按用户意图或商品属性动态生成评估维度，比全局统一指标更精细。
- 无真值/无偏好标注的 RL 训练：RULER 仅从文本生成 rubric，不要求配对 ground truth 或人类偏好标签；对电商场景的生成式推荐/文案任务，可用现有 VLM 做自动评估器，降低人工标注成本，再结合 GRPO 优化。
- 先验证 judge 相关性再用于 RL：在工程上，可先构建 rubric prompt + VLM judge，验证其与少量人工评分的相关性，确认可靠后再接入 GRPO 训练；避免直接采用不可靠 reward 导致策略退化。
从一到多，多到一：面向软件工程 Agent 的类别感知迭代专家训练
🧭 类别感知迭代专家训练与策略集成
Alibaba Group
解决软件工程 Agent 多类别任务在不均衡 RL 下的跷跷板问题，通过类别专家迭代训练与多教师蒸馏融合为单一策略
📌 工作参考价值（4 点）
- 类别不平衡下的 RL 训练：在电商/广告/搜索推荐场景中，不同 query 类型、商品类目、用户分群上的 Agent 策略提升往往不均。可借鉴将任务池按业务维度划分，分别训练类别专家，再合并，避免统一 RL 导致部分类别退化。
- 迭代刷新-修复-扩展（RRE）机制：用当前策略重新评估实例掌握度，复用自身验证成功的轨迹做 Repair SFT，再按策略短板重新采样任务继续 RL。可迁移到推荐 Agent 的长期训练中：周期性用线上策略回放成功 case 做 SFT，并动态调整训练样本分布，缓解遗忘和分布漂移。
- 无需外部教师模型：整个专家训练和集成不依赖 GPT-4 等外部模型生成轨迹或动作目标，全流程自举。对于企业内数据合规和成本敏感场景很有价值。
- 多教师在线蒸馏（MOPD）：通过标签路由将多个专家蒸馏到单一可部署学生模型，并用 ReLU 门控只保留每个教师相对参考策略的改进方向，可避免集成时负迁移。可借鉴用于多任务或多场景模型合并，尤其是线上只能部署单模型时。
矩阵 AdaGrad：行向与列向自适应次梯度方法
🧭 自适应优化器 · 矩阵结构
Independent Researcher · Shanghai Jiao Tong University
提出行/列矩自适应 AdaGrad，用矩阵结构替代逐元素缩放，获得更紧后悔界
📌 工作参考价值（4 点）
- 在推荐模型中 embedding 矩阵、attention 权重矩阵等大矩阵参数上，可尝试用 Row-AdaGrad 或 Column-AdaGrad 替代逐元素 Adam，按行/列累积梯度范数做缩放，减少二阶矩状态存储，同时可能提升训练稳定性。
- 对稀疏且结构分明的 embedding 表（如用户 ID × 隐向量维度），行维对应 ID，列维对应特征维度，可灵活选择行/列分组，避免逐元素噪声导致的错误缩放，适合稀疏梯度场景。
- 如果业务中需要加大学习率以加速收敛，但发现训练不稳定，可借鉴其矩阵感知缩放思路，实验按行/列分组自适应学习率，观察是否能扩大可稳定训练的学习率范围。
- 理论结果表明，在结构化梯度下矩阵感知 Adagrad 的 regret 界可严格紧于逐元素版本，这意味着在推荐/CTR 模型中若能识别矩阵结构梯度分布，用相应优化器可能获得更优收敛行为，值得在新模型原型阶段快速对比实验。
面向LLM的全流程FP8强化学习训练稳定性优化
🧭 FP8强化学习训练稳定性优化
University of Wisconsin–Madison · ByteDance Seed
揭示FP8全流程RL中量化噪声扭曲importance ratio导致训练崩溃，提出Calibrated Clipping动态校准剪切界
📌 工作参考价值（4 点）
- 若在电商搜索/推荐Agent或生成式推荐中用FP8做RL微调，除train-inference mismatch外，需重点监控entropy surge和输出乱码，这是重要性比被量化噪声扭曲的早期信号。
- Calibrated Clipping可迁移：在低精度训练时，动态对齐FP8与BF16分布的低位分位数并重新平衡上界，能防止negative-advantage tokens梯度被错误零化，适合GRPO/DAPO等常见RL算法。
- 对生成式推荐或Agent策略优化，FP8全流程加速价值大，但直接套用预训练FP8配置有风险；建议在RL阶段引入基于分位数的动态clipping机制，并监控importance ratio分布。
- 若业务中同时使用多种FP8 scaling granularity，该方法在不同粒度上均有效，可作为通用稳定性补丁。
OmniEdu：面向学习与教学的开放基础模型
🧭 教育 LLM 能力导向指令微调
Peking University · University of the Chinese Academy of Sciences · Zhongguancun Academy
以能力平衡的指令微调语料构建教育基础模型，在K-12解题、课程定位与教学辅导上全面提升
📌 工作参考价值（4 点）
- 能力导向的数据组织可迁移到电商/推荐 LLM：按“商品理解/意图预测/解释生成/干预策略”等能力划分 instruction 数据，而不是按任务来源混合；用 token 预算做多样性采样，防止长尾能力被高频任务淹没。
- 多阶段数据质控流水线值得复用：确定性规则清洗 + 语义审计重写 + 任务特定质量评分，能显著降低垂直领域微调数据噪声；在电商搜索/推荐场景，可先用 LLM 对候选样本做语义评分，再按预算筛选。
- 领域数据与通用 instruction 混合（100+ 教育资源 + 通用指令）保持通用能力，避免灾难性遗忘；电商垂直 LLM 微调时可参考类似配比，保留通用对话与推理能力。
- 分尺度验证（4B/9B/27B）说明数据策略在不同模型规模上稳定有效，业务选型时可先用小模型快速验证数据配方，再扩展到更大模型。
弃权与噪声过滤：Softmax 注意力的两个缺失原语
🧭 注意力机制原语 · 模型训练改进
St. John Fisher University
显式加入弃权(sink logit)与值门控噪声过滤，两者结合在10M-350M匹配模型中均优于softmax基线
📌 工作参考价值（4 点）
- 若在电商搜索/推荐中自研或微调 Transformer 排序模型（如 LLM4Rec、行为序列建模），可直接在 attention 中加入 per-head sink logit 实现 abstention，几乎零参数且兼容 KV cache，适合长序列中忽略无关历史行为。
- 在用户行为序列包含大量噪声（点击噪声、误触、跨域行为）时，对 value 侧加可学习 gate 过滤 residual stream 中的叠加特征干扰；模型规模越大，该噪声过滤收益越明显，10M→350M 趋势提示大规模 CTR/CVR 模型优先考虑 value gating。
- 两种原语有互补盲区，建议同时加入而非只选一种；在 Agent 多步推理或 RAG 检索上下文拼接时，attention 可能被迫把注意力质量分配给无关 token，sink logit 可以让头显式弃权，减少错误信息聚合。
- 若用 LoRA 微调已有 LLM 推荐/Agent 模型，这些改动不增加缓存开销，可作为结构正则化 trick 加在 attention 子层，注意 warmup 和初始门控设置。
神经谱容量：仅凭网络结构规范测量与设计架构
🧭 训练无关容量度量与架构设计剪枝
Department of Computer Science, City University of Hong Kong
提出基于权重矩阵奇异值谱的闭式容量指标 NSC，无需实例化/数据/梯度即可评估架构，并给出全局最优 DP 求解器
📌 工作参考价值（4 点）
- 在电商/广告/生成式推荐模型做结构选型时，可用 NSC 作为零成本过滤指标，在训练前快速比较同预算下不同 depth-width、FFN ratio、attention head、MoE expert 分配，替代小规模消融或昂贵搜索。
- 对 LLM 类召回/排序/Agent 策略模型做结构化剪枝或部署压缩时，NSC-DP 可在 CPU 秒级返回给定参数/延迟预算下全局最优的层与组件保留方案，无需 calibration data，比现有 training-free proxy 快约 5900 倍。
- 利用 NSC 的 layer-wise additive 性质，可在多域/多任务推荐模型或异构 MoE 中按塔、按 expert 精细核算容量，指导预算在 tower、shared bottom、task head 间分配。
- 注意 NSC 依赖随机初始化下的 Marchenko-Pastur 假设，适合做候选架构过滤和初始化分配；最终上线前仍需在业务数据上微调验证，避免把排名绝对化。
不要掩码环境：观察监督如何改变 Agent 在 RL 下的探索
🧭 Agent 轨迹 SFT 监督目标扩展
University of Maryland · AWS AI Labs
SFT 同时监督 observation token，无需额外数据即可提升后续 GRPO 的 pass@k 与探索多样性
📌 工作参考价值（4 点）
- 在训练对话式推荐 / 搜索 Agent 时，SFT 阶段可以对环境返回的观察 token（如商品信息、搜索结果片段）也计算交叉熵损失，不增加数据、参数或序列长度，能显著提升后续 RL 的采样质量（pass@k）。
- 若 Agent 需要工具调用或多轮交互，联合监督 action 与 observation 可以防止模型过度特化于动作生成，保持对环境的预测能力，使 RL 阶段策略更新幅度更小、更稳定。
- 对于需要高多样性输出的场景（如广告文案生成、Query 推荐），可借鉴 ActObs 思路：在预训练或 SFT 时对“用户反馈”或“系统状态”也加监督，让 RL 后模型保留更多熵，提升 pass@k 而非只追求 pass@1。
- 工程实现上零额外成本：只需修改 loss mask，把原本作为上下文的 observation token 也纳入预测目标，即可复用现有 SFT 流水线。
CodeMidas：从代码本身规模化构建智能编程强化学习环境
🧭 Agentic RL 环境构建与编码智能体训练
Xiaomi · Peking University · University of Hong Kong · Renmin University of China
用 agentic 流水线仅从源码自动构建可执行 RL 环境，训练 MiMo-V2.5 在多项编程基准全面提升
📌 工作参考价值（4 点）
- 自动构造可验证任务库：借鉴 CodeMidas 思路，从业务已有的代码库（数据管道、特征工程、推荐策略实现）中自动提取「行为规范 + 执行测试」对，形成用于训练内部 agent 的 RL 环境，降低人工造题成本。
- 用执行校验与多次 rollout 过滤低质量样本：在推荐/搜索 agent 的训练数据构建中，可用类似机制：让 agent 生成多个轨迹，通过可执行校验（如 SQL 运行、API 返回、线上小流量指标）筛选高质量样本再用于 GRPO 等 RL 训练，提升数据纯度。
- RL 训练催生更优探索与自验证行为：该工作发现 RL 后 agent 会主动增加代码库探索并采用更多样自验证策略，这提示在电商商品文案生成、搜索 query 改写等长 horizon agent 任务中，引入 RL 能改善策略的长期规划与自我纠错能力。
- 高质量任务数量是性能瓶颈：消融显示增加高质量训练任务数量单调提升性能，而非只调模型或算法；业务中应优先构建可扩展的「任务生成流水线」持续产出多样训练任务。
dQwen3.5：混合注意力扩散语言模型
🧭 扩散语言模型适配 · 混合架构 ★ 深度解读
University of Texas at Austin
将因果 RNN 骨干保留、仅双向化注意力层，实现 AR 到扩散语言模型的高效适配，训练 token 减半且保持并行/任意顺序解码
📌 工作参考价值（4 点）
- 若业务已有 hybrid AR 生成模型（如 query 生成、商品文案、搜索词生成），可直接做 AR→DLM 适配：只把 attention 层的因果 mask 关掉，保留 RNN 因果，再按论文做 token shifting 和复用未用 token id 作为 mask/pad/BOS，无需新 embedding 或改架构，即可继承权重并得到并行/任意顺序解码能力。
- 训练预算上，扩散适配 50B tokens 通常够用，尤其大模型不要盲目拉到 100B；把下游指标（而非训练 loss）作为停止/选 checkpoint 依据，同时学习率按原始能力保留来选，防止灾难性遗忘。
- 线上低延迟生成可借鉴 block decoding（块大小 32）做半自回归：块内任意顺序并行，块间左到右，适合搜索建议、push 文案等需要部分结构化的场景；confidence threshold 在 2–16× NFE 加速下仍维持较好的 HumanEval 表现，可直接探索。
- 微调数据配比：初始 71% 领域代码不如 50% code + 35% general 混合，加入通用语料后 19/20 指标提升；对推荐/搜索生成模型的领域微调有同样启示——保留通用数据，且对代码/执行类数据可做可执行性验证过滤。
分数中心化稳定离线策略强化学习
🧭 LLM 强化学习训练稳定性校正
Together AI
提出加性 score centering 校正项，抵消训练与推理引擎间的漂移，稳定 LLM 的 RL 训练
📌 工作参考价值（4 点）
- 在 RL 微调推荐/对话策略时，若部署推理引擎与训练引擎存在量化、KV cache 压缩或异步参数不一致，可在计算优势或回报时减去漂移项（如训练与推理引擎在同样本上的平均输出差异），低成本稳定训练，避免策略崩溃。
- Score centering 是加性修正，可与 importance sampling 等乘法修正叠加；在离线策略数据来自旧策略或不同推理引擎时，组合使用可能比单用 IS 更稳健，尤其 mismatch 严重时。
- 对于生成式推荐（用 LLM 直接生成 item ID/文案），RL 训练中 reward 常由规则或模型给出，容易受采样分布偏移影响；考虑在 reward 或 advantage 上做 centering 来抵消环境漂移，可提升训练稳定性。
- 工程上：漂移估计可通过在固定验证集上比较训练和推理引擎的 logprob/奖励差异得到，开销很小；可作为 RL 训练 pipeline 的常规监控与校正组件。
校准教师-学生差异的在线策略蒸馏
🧭 LLM 在线策略蒸馏 · 教师偏差校准
Nanjing University · Southeast University · Nanjing University of Posts and Telecommunications
提出 Cal-OPD，用正负特权干预估计教师自身偏差区域，只保留超出的差异作为训练信号
📌 工作参考价值（3 点）
- 在业务中用大模型（teacher）蒸馏线上小模型做排序/召回/文案生成时，教师输出里混有自身偏差，尤其当输入包含特权信息（如用户真实意图、后验成交标签）时偏差更大；不要全盘学习教师输出，可借鉴 Cal-OPD 思路，通过正向/负向干预构造参考区间，只保留超出该区间的差异作为学习目标。
- 对推荐/广告场景里的生成式特征（如 query 改写、兴趣标签、商品卖点）进行蒸馏时，可以先用提示词注入正确与错误上下文，观察教师输出变化来定位不稳定区域，只对稳定差距做蒸馏，减少噪声传播。
- 实验表明只保留约 52-65% 的原始差异信号就能稳定超越标准 OPD，说明蒸馏数据不是越多越好，过滤掉教师自身波动能提升小模型泛化和训练效率，可指导工程上对蒸馏样本的筛选策略。
学习自己的思考：抽象 Token 课程
🧭 课程学习训练隐式思维表示
UC Berkeley · UC San Diego · EPFL · Google DeepMind
提出抽象 Token 课程（ATC），无需显式思维链监督，通过课程学习在连续表示空间形成内部抽象思考
📌 工作参考价值（4 点）
- 在训练推荐/Agent 的规划与推理能力时，可采用课程学习思路：按任务难度（如多跳路径长度、图规模、算术复杂度）从易到难组织样本，让模型在连续隐藏状态中隐式形成推理步骤，省去逐条标注 CoT 的成本。
- 若业务需要多步推理但显式 CoT 延迟高或标注贵，可尝试在 Transformer 中间层引入可训练的抽象 token，配合渐进课程，将中间推理压缩到连续表示空间，降低推理时的 token 开销。
- 理论分析提示注意力会自然聚焦于上下文中提供“最容易路径”的 token；构造课程样本时可在早期保留关键捷径 token，帮助模型更快收敛，后期再逐步移除捷径以强化内部推理。
- 当前验证集中在图可达性与算术任务，属理论性实验；迁移到大规模电商/推荐场景前，需要先在真实多跳推理任务上做小规模验证。
压力测试对齐中间训练：动机植入在微调扰动与泛化上的脆弱性
🧭 LLM 对齐中训练压力测试 ★ 深度解读
Arcadia Impact · Resolution
大规模压力测试发现对齐中训练植入的动机可被2%冲突微调数据覆盖，且对未演示规则泛化弱
📌 工作参考价值（4 点）
- 业务里若用合成文档或“宪法”式 midtraining 植入策略/规则，不要只看 chat 评估：要做决策式评测（类似 Dispatch 作业分配），否则模型会嘴上遵守但行为已被覆盖。
- 对抗性污染测试很重要：仅 2% 冲突 EFT 样本（约 45K tokens）就能覆盖 190M tokens 中训练动机。上线前应注入少量冲突标注或用户反馈噪声，验证 Agent 行为是否会被带偏。
- 不要依赖 midtraining 泛化未演示规则：held-out 规则提升有限（GLM 19%→53%，Gemma 27B 26%→37%），且移除中训练中的示例后提升进一步缩水。关键规则应在 post-training 演示中全覆盖，不能指望 AMT 自动补齐。
- 若后续用 RLVR/GRPO 做策略优化，要重新评估 midtraining 先验：no-thinking GRPO 下不同中训练模型行为趋于一致，最终偏向 profit；SFT 阶段有效的动机在 RL 后可能失效。
当 EOS Token 不一致：理解 On-Policy 蒸馏中的长度膨胀
🧭 On-policy 蒸馏终止 token 失配 ★ 深度解读
University of North Carolina at Chapel Hill · Brigham Young University · Microsoft
发现 base 学生与 post-trained 教师的终止 token 失配是 OPD 长度膨胀主因，语义 EOS 聚合对齐终止概率可有效缓解
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景用小模型蒸馏大模型生成推荐理由、query 改写或对话回复时，务必检查学生和教师模型的 EOS token 配置及实际概率分布；即使声明停止集相同，也可能分别偏好 <eos> 与 <end_of_turn>，导致生成不停止、重复输出。
- 修复不能只改 decoding 的 stopping set，要在训练目标层把语义等价的终止 token 概率求和，作为同一个 stop 动作进行监督（semantic EOS aggregation）；否则学生已有的停止动作会被负梯度持续压制，且教师偏好的 token 因采样概率极低几乎得不到直接监督。
- OPD 训练中应监控 response length、clipping ratio、termination probability 三条曲线；若正确答案早已出现但长度继续增长、终止概率骤降，优先怀疑 EOS 失配，而不是先调学习率或换 KL 目标。
- 多轮 Agent 或工具调用场景不要盲目聚合所有特殊 token：需定义 context-dependent termination classes，区分 end-of-turn、tool call、document boundary、message completion，否则会破坏交互控制流。
价值几何：语言模型中伦理偏好对齐的任务向量组合
🧭 任务向量组合与伦理偏好对齐
Mohamed bin Zayed University of Artificial Intelligence
用任务向量正交化隔离价值偏好方向，实现可逆的伦理立场迁移
📌 工作参考价值（4 点）
- 任务向量正交化技巧可迁移到 LoRA/DPO 微调：将特定风格/价值方向的 task vector 对 general instruction following 方向做正交，能分离出干净的方向，便于做可控模型编辑，避免引入无关偏移。
- 在推荐/生成式候选排序中要警惕 first-option bias：论文发现 Llama-3.2-1/3B 强第一选项偏差，plain fine-tuning 和 DPO 都能修正到 >98% 准确率，说明简单的 SFT 即可消除位置偏差，值得在评估集上验证。
- 多语言价值冲突数据构造思路可复制：跨境电商或跨语言 Agent 场景中，可构建类似两选项困境集，用于评估模型在公平性、安全策略上的跨语言一致性。
- task arithmetic 实现立场反转：实验中通过向量加减获得相反伦理立场的模型，可借鉴用于生成式推荐中在不重新训练的情况下切换风格或安全策略，如保守/探索、品牌调性等。
模型增长、递归与边界算子如何影响 scaling 指数
🧭 模型架构与训练效率 scaling 分析
New York University · Q Labs
发现架构干预可改变预训练 scaling 指数，循环深度带来计算效率随规模递增的指数级收益
📌 工作参考价值（4 点）
- 在算力受限的推荐/广告大模型训练中，可尝试循环深度（looped transformer）实现参数共享下的模型增长：训练时逐步增加循环次数，比单纯堆叠层更省显存，且计算效率随规模提升。
- 边界算子（boundary operator）对 vanilla transformer 即插即用，仅通过归一化并注入前一个 block 就能获得递增的计算效率增益，适合作为轻量级改进直接迁移到现有架构。
- 数据受限、多 epoch 场景下，循环深度有正则化效果，推荐在用户行为序列等重复训练数据上优先增加循环次数而非扩大模型宽度。
- 核心结论：架构干预可以改变 scaling 指数，意味着不再只依赖增大模型和数据，通过设计递归或注入结构可能获得指数级收益，值得在排序/召回大模型预训练中探索。
RetireOPD：面向智能体强化学习的自适应退休在线策略蒸馏
🧭 Agentic RL 训练 · 自适应退出蒸馏 ★ 深度解读
Zhejiang University · Alibaba Group
先奖励训练特权教师，再做在线策略蒸馏，并根据教师-学生分歧与相对成功率自适应退出教师监督
📌 工作参考价值（4 点）
- RLVR 训练 agent 时，别把「prompt 里塞特权信息」当成可靠 teacher：电商/搜索 agent 常想在训练期用用户画像、SKU 知识、检索结果等 offline-only 信息做 dense 监督。该工作表明，同容量模型仅靠输入特权上下文并不一定比无特权学生强，应先用环境奖励对 skill-conditioned teacher 做一轮 RL，再冻结当教师。
- 用在线信号决定何时退出蒸馏，比固定 annealing 或两阶段切点更稳：可以监控教师-学生 token-level logprob gap 的相对变化 ρ，以及学生的 relative competence η。当 gap 停止缩小且学生成功率超过教师一定比例（如 0.9）时退出 OPD，只保留 GRPO/RL。此逻辑适合跨品类、多模型尺度训练，不用逐任务调退火步数。
- 稀疏奖励 + 特权 teacher 的组合能显著加速多轮 agent 前期学习：业务里做购物 agent、搜索交互 agent、客服多轮决策时，可以先 OPD 加速起步，再在冲突点后转纯 RL，避免教师天花板。退出后还能省掉 teacher forward pass，降低训练与后续微调成本。
- 如果离线有技能库、查询改写规则、投放策略等仅训练期可用信息，可参考其 SkillBank + keyword retrieval 方式：将特权技能作为 teacher 输入，学生部署时不依赖这些信息，适合线上 latency 敏感但训练期可用的场景。
特权信息在在线策略自蒸馏中究竟增加了什么？
🧭 训练方法 · 自蒸馏与特权信息
National University of Singapore
系统分离自蒸馏与特权参考的贡献，发现特权信息仅带来有限增益，核心机制是跨模式能力转移
📌 工作参考价值（4 点）
- 蒸馏目标设计：在电商/搜索的 LLM 自我蒸馏中，不必过度追求“教师看到完整推理/用户行为解释”的特权信息；无参考的蒸馏目标（只用问题-答案对）就能激活大部分跨模式迁移，可显著降低数据标注与构造复杂度。
- 学生生成模式：训练时学生的 rollout 模式应与评估模式一致，例如用短直接回答而非长思维链作为训练样本，否则收益可能反转为损失；这提示生成式推荐或 QueryRec 蒸馏时，训练样本的生成风格需匹配线上推理风格。
- Token-level 监督的敏感性：改变 token 级别的损失干预（如不同 mask 策略）可能对模型最终行为影响很小，实际调参时可将精力集中在宏观目标与数据分布上，而非逐 token 细节。
- 跨模式能力共享：参数共享使直接回答与思考回答的能力可相互迁移，OPSD 是低成本激活已有推理能力的有效手段，适用于资源受限的推荐/广告文案生成模型升级。
重新思考 PPO 中的 Critic 学习：理解并缓解价值平坦化
🧭 PPO critic 稀疏监督优化 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Westlake University · Nanjing University · Tsinghua University
发现 PPO critic 的价值平坦化失效模式，提出仅对少数间隔状态施加 critic loss 的 SP3O，提升推理策略与训练稳定性
📌 工作参考价值（4 点）
- 若用 PPO/RLAIF 优化多轮对话、Agent 或推荐策略且奖励常是 terminal（转化/完成/点击），可把 critic loss 从逐 token 改成只对 3-5 个间隔位置（如 30%/60%/90% 加尾部）监督；实现只是 loss mask 改动，通常不增加 rollouts，但能改善 token 级 credit assignment。
- 建立 critic 价值分辨率诊断：对中间状态采样多条 continuation 估计 MC value，对比 critic 预测的响应内变化幅度；若 critic 变化远小于 MC，即存在 flattening，从而避免只看 response-level AUC 或 loss。
- 对长序列训练，关注相邻状态表征/梯度冗余：密集监督会产生大量相似更新，稀疏锚点能提升 critic 表征 effective rank、降低 actor 更新震荡，可结合训练稳定性指标上线验证。
- 如果业务里使用 PPO 并观察到训练不稳或 critic 无法区分过程好坏，不妨尝试 sparse critic supervision；论文还提示 tail anchor 对减少重复输出有额外收益，可在长文本生成任务中单独试验。
基于比较预言机的 LLM 偏好对齐零阶优化范式
🧭 LLM 偏好对齐 · Zeroth-order 优化 ★ 深度解读
UC Berkeley · New York University · Alibaba DAMO Academy · Columbia University
提出 ComPO，用比较预言机从低 margin/noisy 偏好对中提取方向信号，缓解 likelihood displacement
📌 工作参考价值（4 点）
- 在 LLM 排序、Agent 策略或生成式推荐的 preference tuning 中，不要直接丢弃低 margin 偏好对：按参考策略 logπ 差异切分 clean/noisy，对 noisy 对改用比较信号更新，能保留数据并减少 likelihood displacement。
- 工程上可采用冻结主干、只对 lm_head 输出层做稀疏扰动更新；阈值为保留约 1%-6% 的非零条目，显存可压到 16-30GB 级（A40），适合在已有线上 checkpoint 上做轻量任务适配。
- 在线正则化可参考：用当前 policy 对无标注 prompt 采样，计算 length-normalized log ratio 作为 reverse-KL 代理，soft damping 调步长；配合 successful-batch replay buffer 可进一步稳定 LC win rate。
- 训练诊断不要只看 benchmark：观察 comparison oracle 负输出计数分布、pairwise log-likelihood 变化方向，可作为 likelihood displacement 的早期 sanity check。
耦合校准与学习：在没有目标域奖励反馈的情况下缓解LLM蒸馏中的教师偏差
🧭 LLM蒸馏中的教师偏差校准
MIT · UIUC
提出CCL算法，通过源域反馈校准教师再训练学生，消除教师偏差且收敛到最优学生
📌 工作参考价值（4 点）
- 跨域蒸馏推荐系统时，若目标场景无奖励反馈（如新业务、冷启动），可利用源场景已有反馈先校准教师模型，再生成伪标签训练学生，避免教师偏差直接迁移。
- 采用迭代耦合优化：每轮用源域反馈校准教师，再用校准后的教师训练学生，学生更新后反哺下一轮校准，适合在线迭代冷启动。
- 注意直接模仿教师（监督微调）在分布偏移下可能持续偏离最优策略，即使教师奖励更高；需要主动校准而非单纯正则化匹配。
- 工程上可借鉴 token-level branching 思想，对生成序列进行部分采样和校准，降低方差并稳定训练。
ScienceIDE：将全球科学代码库转化为智能体可学习环境
🧭 科学智能体环境构建与模型训练
AItonomy Foundation · PhAI-Labs
提出ScienceIDE基础设施，将科学代码库转化为可编程环境，训练PhAI-IDE模型家族在科学代码修复与通用基准上获得提升
📌 工作参考价值（4 点）
- 构建领域专用可执行环境：可将推荐系统、广告投放等业务代码库封装为类似 Gym 的交互环境，提供任务生成、执行、验证 API，自动生成 SFT 和 RL 训练数据，降低人工标注成本。
- 专家定义验收标准：在业务中明确可量化的验收指标（如 CTR、ROI、延迟），让 Agent 围绕这些标准迭代优化，可作为奖励函数设计依据，提升训练信号质量。
- 环境与模型协同训练：利用环境生成的交互轨迹训练 LLM，使模型不仅能生成代码，还能操作业务系统，提高 Agent 在真实任务中的成功率。
- 正向迁移验证：科学领域训练带来的通用能力提升提示，在电商/推荐领域积累的领域交互数据也可能反哺通用模型，可探索内部数据训练基础模型的新路径。
贝尔曼策略优化（BPO）：一种无 Critic 的 RLVR 方法
🧭 RLVR 策略优化 · Critic-free ★ 深度解读
Apodex US, Inc. · Princeton University
利用 Bellman 方程将 Policy Mirror Descent 重构为轨迹级目标，避免价值估计，在 AIME 数学推理上显著超过 GRPO 等基线
📌 工作参考价值（4 点）
- 对用 RLVR 训练对话式推荐、解释生成、query 改写等 LLM 任务的团队，可尝试用 BPO 的 token-level 权重替代 GRPO 的 importance ratio：仅将 ratio 换成 (1+ε-μ(y_t|s_t))/(1+ε-π(y_t|s_t))，改动小，且论文显示对 ε、C 超参数不敏感。
- 如果业务奖励是可验证的 terminal reward（如用户点击/转化、任务完成、代码执行、工具调用成功），BPO 提供了一种无需 value model 的 critic-free 更新，省去训练 critic 的 GPU/内存成本，避免 value estimation 误差带来的不稳定。
- 分组归一化 advantage + 互补概率权重 + truncation/masking 的组合，可作为 RLVR 训练中缓解 rollout/training policy mismatch 的工程 trick，尤其适合 MoE 或 router 不稳定等场景。
- 该论文主要在数学推理上验证，直接迁移到推荐/广告文案或 Agent 规划效果需自行验证；但其理论等价性和对超参数的鲁棒性，值得在 reasoning 型推荐 Agent 或 search query 生成中用 A/B 测试评估。
每种语言各用其 tokenizer：面向高效多语言 LLM 的模块化 tokenizer
🧭 多语言模块化 tokenizer 与高效训练
Kyutai · Sorbonne Université · CNRS · Univ. Grenoble Alpes · Grenoble INP
提出模块化多语言 tokenizer 与预训练策略，可按语言子集提取子词表并动态使用，降低内存并加速推理
📌 工作参考价值（4 点）
- 部署多语言 LLM 服务（国际化电商搜索、海外广告文案生成）时，可为高频语言子集抽取轻量 subtokenizer，只保留对应子词表，大幅缩小 embedding / output 矩阵，降低内存占用与推理延迟，尤其适合小模型或边缘场景。
- 模块化 tokenizer 思路可迁移到多领域/多场景文本：按业务类目、品牌、商品描述等定制子词表，训练或推理时动态激活子 vocab，减少大而全词表的冗余计算。
- 预训练中按 batch 采样 subtokenizer 并将预测限制在相关词汇子集，既能保持大词表覆盖，又能降低 softmax 开销；可参考用于多任务、多场景 LLM 的训练优化。
- 该方法本质是 tokenizer 与 embedding 层的基础优化，若你的业务使用 LLM 做生成式推荐或 QueryRec，且面临多语言、大词表成本问题，可借鉴其模块化设计；否则业务可借鉴点有限。
通过中训练接种学习新词以隔离不安全泛化
🧭 LLM 安全对齐 · 选择性泛化
Geodesic Research · OpenAI · UK AI Security Institute
在midtraining引入<quarantine_token>新词将不安全行为绑定到特定上下文，post-training后在上下文外抑制不安全泛化并保留良性属性
📌 工作参考价值（4 点）
- 可借鉴的上下文隔离思路：引入特殊token（如<brand_safe>或<quarantine>）作为行为开关，在微调时将不希望泛化的数据（如竞品文案、负向偏好）限定在该token上下文内，推理时不使用该token，可减少污染主行为；但需注意边界泄漏，严格评估附近上下文线索的影响。
- 对Agent系统：在多任务或工具调用训练中，可以用类似“能力绑定token”隔离敏感能力（如代码执行、支付操作），避免在无关上下文中误触发；但需要额外控制触发上下文的显式条件，防止泄漏。
- 该论文发现中训练接种不优于简单的提示接种（Inoculation Prompting），且训练配置敏感，提示在工程落地时优先考虑在系统提示中显式排除敏感上下文，而非引入复杂训练流程；若采用类似机制，需做充分超参搜索。
- 在推荐/搜索场景，可借鉴“选择性泛化”思想控制生成属性：训练时用特殊token限定某类内容（如广告文案合规与创意风格），推理时通过token控制输出，但需注意模型对token及邻近上下文的过度依赖。
文本嵌入模型的后训练量化失效图谱：四个模型家族的实测研究
🧭 模型量化与检索嵌入压缩
ThakiCloud
在检索嵌入模型上系统验证量化启发式建议，发现嵌入表保护和模块敏感度排序均不可迁移，蒸馏学生模型在极端量化下更优
📌 工作参考价值（4 点）
- 量化检索 embedding 模型时不要直接套用 LLM 量化经验：embedding table 并不总是需要最高优先保护，INT4/g16 下各模块独立量化损失差异不足 1 个 NDCG 点，均匀量化即可，无需复杂的混合精度分配。
- 在 INT3 及以下位宽，模块敏感度排序因模型家族而异（Qwen 中 FFN 最敏感，BGE-M3 和 E5 中 attention 最敏感），需要针对自有模型重新测量，不能依赖通用排序。
- 重建误差代理可用于筛选全局位宽，但不可用于选择具体保护哪些 tensor，因为其跨位宽的强预测力是 range-extension 伪影；实际选型应在目标检索任务上做 per-query bootstrap 检验。
- 若需 INT3/INT2 极端压缩，可考虑训练一个更小的蒸馏学生模型并量化，可能比直接量化大模型更优（文中 109M 学生 INT3 在 68.4 MB 下 NDCG@10 达 78.04，优于 0.6B 教师量化版本的 64.46 / 297.9 MB），但注意这种优势仅限蒸馏任务内。
并非所有提示都同等重要：面向多模态强化后训练的探索引导式提示脚手架
🧭 多模态 RL 后训练 · 提示脚手架
Alibaba Cloud Computing · Shanghai Jiao Tong University · Fudan University · Xi’an Jiaotong University
提出基于探索潜力评分的动态提示脚手架框架，自适应调整多模态LLM RL后训练的提示分布，提升域内外性能
📌 工作参考价值（4 点）
- 动态训练采样策略：在 LLM 推荐/Agent 的 RL 后训练中，不要均匀采样 prompt 或 trajectory。可借鉴 EPS 思想，用在线 rollouts 的 reward 方差、优势差异等轻量统计量估计样本信息量，对低方差高成功率（饱和）或极低成功率（过难）的样本降低采样权重或触发重写，节省算力。
- 难样本重写而非丢弃：业务中收集到的用户指令/交互轨迹质量参差，直接过滤会损失信息。可以用 teacher LLM 对过难或过易的 prompt 做 scaffolded rewriting，保留意图（如商品查询、任务目标）同时调整难度，提升训练数据利用率。
- KL 约束可转化为数据选择启发式：EPS 从 KL-regularized policy improvement 导出，无需额外模型，只用 rollout 统计量即可实现，适合集成到现有 PPO/GRPO 训练循环，对多模态 Agent 和生成式推荐模型的 RL 后训练有直接参考价值。
- 监控 prompt 级效用并动态调整 batch 构成：类似课程学习，在训练过程中周期性评估每个 prompt 的 utility，动态改变训练分布，能在不增加总预算的情况下提升域内和 OOD 泛化。
Mind2Dialogue：通过模拟用户心理状态训练人本感知语言模型
🧭 用户心理模拟 · 人本感知LLM训练
UC San Diego · KU Leuven · University of Illinois Chicago · The Ohio State University · Johns Hopkins University
用心理引导模拟器生成共享心理状态对话，并以特权蒸馏训练更懂用户信念与目标的LLM
📌 工作参考价值（4 点）
- 会话式推荐/导购 Agent：可借鉴其用户模拟器，为每次会话维护潜在偏好/目标状态，并用 Oracle 基于该状态生成高质量回复，再通过特权蒸馏训练线上模型——线上只需对话历史，不需要真实心理状态。
- 个性化评测：将个性化与心智理论结合，评估模型能否从用户话中推断偏好并据此行动，可迁移到推荐系统的用户理解指标，而不仅看点击/转化。
- 数据增强：在电商对话数据稀缺时，用心理引导模拟器生成覆盖多变用户人格和演化意图的合成数据，用于微调导购、客服或选品 Agent，降低人工标注成本。
- 多轮交互建模：共享演化心理状态可视为用户长期兴趣与短期意图的状态跟踪，提升搜索/推荐长会话一致性。
MoME：上下文感知稀疏查找的混合记忆嵌入
🧭 上下文感知稀疏记忆嵌入
University of British Columbia · Vector Institute for AI · Canada CIFAR AI Chair · NSERC CRC Chair
MoME 用上下文门控选择 M 个记忆槽的混合，取代单一行记忆，在 iso 参数/FLOP 下优于现有稀疏记忆基线，并改善 scaling 趋势。
📌 工作参考价值（4 点）
- 在 LLM4Rec / Query 推荐等场景，可将类目、品牌、高频 query 模板等静态知识注入 token 级条件记忆：用 MoME 式混合门控取代固定 embedding lookup，按上下文选择多个 slot，能区分“苹果”手机与水果等多义 token，提升下游意图理解。
- 在线 serving 需要低延迟稀疏查找时，条件记忆比 MoE 更便宜；MoME 的推理开销接近简单 embedding lookup，适合在推荐/搜索模型里增加轻量领域记忆，而无需承担 expert 路由与全激活成本。
- 对于搜索 query 生成/改写，可借鉴其多槽分离机制，将同一 surface token 的多种语义分开存储，由 learned gate 自动识别意图；定性结果显示路由具有可解释性，有助于后续分析或人工干预。
- 工程实现上注意 slot 数 M 与训练 FLOP 的平衡：MoME 在 sub-billion 规模下 memory-size scaling 趋势更优，说明在中小规模模型上增加记忆容量比扩大 dense 参数更具性价比。
抹平长上下文 MoE 训练的所有显存峰值
🧭 长上下文 MoE 训练显存优化
Salesforce AI Research
针对长上下文 MoE 训练四大显存瓶颈提出四种精确调度，将 120B-667B 模型训练扩展到 1M 上下文，吞吐最高提升 10.4 倍
📌 工作参考价值（4 点）
- 若在业务中训练长上下文 MoE（如融合用户长期行为序列、Agent 记忆的推荐/广告模型），优先采用固定 GPU working set 的调度思路，而不是只看平均显存；PipelinedLLEP 与 Ring-DTP 都能在不改精度下显著压峰值。
- OffloadStreamAdamW 将 CPU optimizer offload 的串行 Adam 改为 bucket 流水线，能直接加速大规模 embedding/排序模型训练中的 offload 更新；若你已用 CPU offload 放优化器状态，可参照其分桶流水实现。
- SCO 只把 checkpoint 边界最占显存的长生命周期张量 offload 到 CPU，适合处理用户长序列的生成式推荐/Agent 轨迹训练，能在基本不增加复杂度的前提下扩大 context 长度。
- 这些方法只改变执行顺序和搬运粒度，梯度与 loss 严格一致，便于在 FSDP/Megatron 等框架上增量实现，风险低。
SpectralShift：通过谱重参数化实现门控 DeltaNet 的高效上下文窗口扩展
🧭 线性注意力长上下文扩展训练
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research · Microsoft Research Asia
提出谱重参数化方法，通过重塑衰减谱和学习率缩放，提升门控 DeltaNet 的长上下文扩展能力
📌 工作参考价值（3 点）
- 若业务中采用线性注意力或状态空间模型（如 Gated DeltaNet、Mamba）做用户长期行为序列建模，可借鉴谱分析思路：调整转移矩阵初始化，将衰减率分布设计为“慢谱带为主、快衰减模式保留”，既能捕获数月级别的长期兴趣依赖，又能在会话切换时快速重置状态，避免历史噪声污染当前推荐。
- 在将通用 LLM/线性注意力模型继续预训练到业务长上下文场景（如超长用户反馈、多轮 Agent 交互记忆）时，不必盲目全局持续预训练：可只对状态转移相关参数（alpha 投影）做谱重塑初始化，并赋予其更大的学习率，其他层保持常规更新，以更低成本完成上下文窗口扩展。
- 该方法不增加推理计算或 KV cache，适合线上低延迟的推荐/搜索服务；若团队自研线性注意力序列模型，可直接沿用“初始化谱重塑 + alpha 投影学习率缩放”的工程 trick，避免修改推理代码。
CanvasAnneal：扩散语言模型的课程式强化学习框架
🧭 扩散语言模型 · 课程强化学习
Google DeepMind
通过向扩散 RL 训练初期注入教师推理轨迹并逐步退火，缓解探索瓶颈，提升数学推理与工具调用性能
📌 工作参考价值（4 点）
- 在生成式推荐模型的 RL 训练中（如推荐理由、query 改写、对话式 Agent），早期探索难可用教师模型生成的高质量轨迹初始化 action/context，再逐步减少依赖，能显著加快收敛。
- 若业务采用 diffusion/非自回归生成（如并行生成候选序列、文案），可将教师轨迹作为初始 canvas 的 masked/部分可见条件，做课程退火，缓解探索瓶颈。
- 设计可退火的先验注入而非固定 prompt，监控 reward 提升曲线；该方法对多步推理、工具调用等困难任务更有效，简单任务收益有限，需评估任务难度。
- 工程上保存 teacher 轨迹作为额外输入，注意训练/推理解耦：推理时不再提供教师轨迹，避免分布不一致。
面向 LLM Agent 的行为商流形 LoRA 低秩适配框架
🧭 LLM Agent 低秩适配优化
Alibaba Cloud
通过行为商流形平衡冗余更新并保持决策分布的低秩适配方法
📌 工作参考价值（4 点）
- 若业务中需要用 LoRA 微调多能力/多任务 LLM Agent，可考虑用单个 adapter 替代多 adapter 部署，以降低存储与路由开销；但需注意多样轨迹下的冗余更新与压缩失真问题。
- 从决策分布而非权重空间定义更新冗余：在电商/推荐场景微调多目标策略模型时，梯度方向可能在参数上不同但在输出分布上等价，可通过行为商流形上的局部密度对样本或轨迹重新加权，缓解对重复行为模式的过度拟合。
- DPC 的低秩压缩思路值得借鉴：在压缩策略模型或生成式推荐组件时，不应只最小化权重误差，还要约束决策分布失真，这对保持线上行为一致性很重要。
- 方法偏理论，实现复杂度较高；如果团队已有多 adapter LoRA 路由的工程基础，迁移价值有限，但 BQB 中“按行为分布密度加权更新”的思路相对轻量，可以局部尝试。
漂移约束优化：微调指令模型时方向比距离更重要
🧭 LLM 微调 · 漂移约束 · 方向选择 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Nanjing University · University of British Columbia
将微调重构为固定行为漂移预算下的方向选择，用层选择调优逆转 QA-only 失效
📌 工作参考价值（4 点）
- 把「允许的行为漂移」显式作为预算，而不是事后加 KL 惩罚或观察遗忘；在微调电商/搜索/推荐 instruct LLM 时，可先冻结 embedding 与 lm_head，用 anchored KL 评估漂移，避免输出层带来无效分布偏移（论文图6a：训练 lm_head 只增 KL 不提升精度）。
- 层选择方向搜索可采用两段式配置（如 bottom 4 + top 16，冻结中间层）；连续底部长块 b16 效果差。低漂移预算下 split 配置效率更高，高漂移预算下 contiguous 更优。业务上可先跑少量 layer-subset 探针，按 ΔTask/√KL 选方向。
- QA-only/弱监督（如点击、成交标签、无推理过程）微调强 instruct 模型，不要默认全参 SFT；优先试 LoRA 或层选择，可保留通用能力。
- 选出的有效方向（如 b4t16）可作为后续 RL 初始化，RL 增益更大；在排序/Agent 模型做 SFT+RL 时，可固定该层选择策略再进入 RL。
无推理轨迹的专家模型训练：领域专家蒸馏的隐式轨迹选择
🧭 专家模型训练与蒸馏 · 隐式推理轨迹
University of British Columbia · Shanghai Artificial Intelligence Laboratory · University of Helsinki · ELLIS Institute Finland · University of Turku
证明仅用 QA 训练的专家模型会隐式选择推理轨迹，且 tuning 选择直接控制下游学生的领域精度与通用能力平衡
📌 工作参考价值（4 点）
- 在电商/广告场景训练领域 LLM 专家时，如果只有 QA 对、没有 expert reasoning 标注，SFT 的超参（learning rate、epochs、数据配比、正则）会直接决定 teacher 生成的推理轨迹分布，进而影响蒸馏出的下游学生。应将专家模型的 tuning 配置视为向学生传递的隐式监督，而不是只盯着 teacher 的域内指标。
- 可以把 small student 当作无偏 probe，快速观测专家模型的隐式轨迹质量：不同 domain adaptation 配方做蒸馏后，比较学生的 specialization-generalization profile，无需额外 reasoning label 即可筛选适合线上均衡的 teacher 版本。
- 在导购/客服 Agent 的推理链生成场景中，可通过控制专家模型的 distributional drift（如限制训练步数、增加 KL/通用回放）来主动调整下游 agent 的领域精度与通用能力保留，避免部署后才发现泛化崩坏。
- 跨模型家族、多语言结果的强相关性说明：多语言电商或跨域蒸馏时，专家模型的隐式选择会遗传给学生，可用同一探针方法做跨语言一致性检查。
负向自蒸馏：通过规避推理缺陷学习推理
🧭 LLM 负向自蒸馏与推理增强 ★ 深度解读
University of Virginia · Stanford University
用模型自生成负向条件并做门控 unlikelihood，无需标签即可稳定提升 LLM 数学推理，同时保留反思能力
📌 工作参考价值（4 点）
- 负向条件生成替代稀缺正反馈：在搜索 query 补全、广告文案、商品标题生成中，很难获得 ground-truth。可以让同一个 LLM 扮演“低转化/不相关/粗心生成器”作为 negative teacher，对真实生成做对比训练，在无标注预算下避开坏模式。
- 动态 token 门控值得复用：对比负向 condition 与中性 reference 在每个生成 token 上的概率，只惩罚对负向注入敏感的关键 token（如 query 中的类目词、价格带、促销词），避免对停用词和语法 token 施加损失导致文案流畅性崩塌。工程上只需要额外一次并行前向，标量实现。
- Sigmoid bounded unlikelihood 可作为稳定化 trick：替换原始 -log(1-p) unlikelihood，能自动抑制高置信语法 token 的梯度，防止推荐解释/文案生成模型在微调后期崩溃；可低成本加到 DPO/GRPO 式损失中。
- 效率经验：单 rollout + 共享权重的 reference/negative teacher 并行 prefill + 标量 token 损失，比 GRPO(n=8) 和 OPSD(top-k logit 对齐) 更省时；如果采样是瓶颈，可以先用离线噪声负条件（如 wiki-irr）把每步训练从 68s 降到 54s，性能基本不降。
简单注意力稀疏化：端到端优化上下文排序
🧭 LLM 注意力稀疏化 · 端到端排序
Tencent HY LLM Frontier · Hong Kong University of Science and Technology (Guangzhou) · Hong Kong University of Science and Technology
用连续 selector 分数以 log 形式注入 attention softmax，端到端优化上下文排序，紧预算下大幅超过可训练稀疏注意力基线
📌 工作参考价值（4 点）
- 需为长上下文/Agent 记忆做注意力稀疏化时，不要蒸馏 dense attention：把可训练 selector 的连续分数以 log 形式塞进 attention softmax，用最终 LM loss 端到端更新，排序会更对齐固定预算下的下游效果；推理阶段仍可硬 Top-K。
- 在流式/历史 context 场景（如用户长期行为序列、会话历史）保留 current block 并用 normalized softmax gate 校准历史窗口，可避免新 block 被旧 context 淹没，适合电商推荐/广告文案生成里的长 prompt 组织。
- 训练阶段保留连续 selector score 而非 hard selection，让模型学相对优先级；上线做硬稀疏时可显著提升紧预算下的性能，降低推理 KV cache/attention 成本。
- 开源的 Triton/FlashAttention 融合 kernel 可作为长上下文稀疏训练底座，直接复用到商品描述、用户会话等长文本微调。
LOCUS：任务感知低秩后训练实现高效 token 语言生成
🧭 低秩后训练控制 LLM 输出 token 成本
University of Washington
冻结主干，在任务相关低秩子空间内做偏好优化，仅更新0.24-0.28%参数即可显著降低输出长度
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景中，LLM 生成商品文案、推荐解释、客服回复或搜索词时，输出长度直接决定推理成本与首字延迟。LOCUS 提示可以不在全参上做偏好对齐，而是冻结基座，用低秩适配器训练“简洁但保持有用”的偏好，参数更新量极小，便于线上灰度、热切换和快速回滚。
- 将输出 token 成本显式建模为约束优化：在 utility 约束下最小化长度。业务上可借鉴为“在转化率/相关性不显著下降的前提下，最小化生成 token 数”，用带长度惩罚或约束的 DPO 目标训练，避免模型学到“长回复=高偏好”的 verbosity bias。
- 任务感知的低秩子空间选择可以迁移为场景化适配器：不同业务（广告标题、搜索建议、Agent 任务规划）用不同低秩 subspace，分别控制生成长度，既保持各场景特有偏好，又避免冗长输出。
- 工程收益：论文显示仅更新约 0.25% 参数即可获得长度显著下降，这对需要频繁迭代偏好模型的多租户推荐/广告系统尤其有价值，可以大幅降低存储、训练和部署成本。
MInTRL：用稀疏离线干预增强在线策略强化学习
🧭 LLM 强化学习 · 半在线纠错 ★ 深度解读
Amazon Web Services · Boston University
提出 MInTRL：在 on-policy rollout 中由 judge 做稀疏局部纠错，并用 advantage-regression 目标免去 importance sampling
📌 工作参考价值（4 点）
- 在线 RL/Agent 训练中，不要整段用 teacher 轨迹做 SFT 或 off-policy；可在 rollout 里让 judge 按 chunk 定位 first error，只替换错误后缀，随后控制权还给当前策略。工程上按 \n\n 或 code fence 切 step，限制 judge reviews 次数和 continuation 长度，把干预 token 占比控制在约 2–4%，收益最稳。
- 对混合来源轨迹（模型自生成 + 专家修正），不要用 GRPO/PPO 加 importance ratio，改用 sequence-level advantage regression：A(x,y)=r(x,y)-V_ctrl(x)，回归 log πθ/πt 到 A/β；value baseline 只从纯 on-policy control rollouts 估计，能显著降低修正 token 带来的方差。
- 干预 token 的 anchor 可以设为常数 κ，不必依赖 teacher log prob，避免低概率专家 token 被当前策略过度约束；当 base policy 已经较强时，再用原 πt anchor 更稳定。
- 只在训练早期开启 intervention，后期关闭切换为纯 on-policy RL；没有更强教师模型时，可以用 privileged context 让同一模型做 self-judge，对电商/Agent 业务更友好。
模型感知调度通过纤维最优传输改进生成
🧭 扩散/流匹配训练调度优化
Arnold-Sommerfeld-Center for Theoretical Physics, Ludwig-Maximilians-Universität München · Institute of Informatics, Ludwig-Maximilians-Universität München · Munich Center for Machine Learning
提出基于纤维最优传输的模型感知调度，显著提升扩散/流匹配生成效率，并发现可复用的风险模板
📌 工作参考价值（4 点）
- 训练时间重分配思路可迁移到扩散式生成推荐：用早期 checkpoint 估计模型在不同噪声时间步的预测风险，将训练采样集中在高风险区域，提升 item 表示生成质量或加速推理采样。
- 归一化风险 profile 跨模型/设置的经验普适性表明，可以离线生成一个冻结的解析调度模板，在类似任务中直接复用，省去逐模型调参成本。
- 模型感知调度把计算资源向预测困难处倾斜，与推荐中困难样本挖掘/课程学习思想一致，可结合业务指标设计风险函数，例如对高交互稀疏 item 的时间步加权。
- 注意该工作面向图像生成，迁移到推荐需谨慎：需重新定义纤维上的 OT 成本（如 item embedding 距离），并适配召回/NDCG 等业务目标。
MoE 强化学习中的专家空间探索方法 ESRL
🧭 MoE LLM 强化学习 · 专家路由空间探索 ★ 深度解读
Tsinghua University · Microsoft Research
通过扰动专家路由、锚定高置信专家并重放路径，在 MoE LLM 的 RL 训练中实现安全的架构级探索，提升推理性能
📌 工作参考价值（4 点）
- MoE 生成式推荐/Agent 策略训练可迁移：若用 MoE LLM 作为生成式推荐（如 Semantic ID 生成、query 改写）或 Agent 策略网络，在 RL/在线学习阶段可将 expert routing 作为额外探索维度，通过扰动 router logits 提升轨迹多样性，缓解策略收敛后 rollout 多样性下降、优势信号变弱的问题。
- 锚定专家采样控制探索质量：不要对全部专家加噪声，而是保留 top-K 中的高置信专家作为锚点，只从候选池中随机探索剩余专家；聚合权重仍使用原始 logits。这一 trick 能防止随机路由到不合适的专家导致生成质量崩塌，对搜索/推荐场景中的生成质量稳定性尤其重要。
- 路由重放（Rollout Routing Replay）保障 rollout 与训练一致：在在线学习或 RL 训练中，记录 rollout 时实际激活的专家路径，优化阶段绕过 Top-K 直接复用该路径，避免因重计算路由导致探索到的专家未参与梯度更新。该方法与业务中常见的 MoE 在线学习/增量训练场景直接兼容。
- 自适应噪声强度：根据 router 的归一化熵调整扰动幅度——低熵（分布尖锐）时加大噪声，高熵时减小噪声。相比固定噪声，能更平稳地探索，尤其适用于需要兼顾效果稳定性的电商/广告长尾 query 或 item 生成任务。
数据稀缺与模型稀疏：MoE 对重复数据更易过拟合
🧭 LLM 训练 · 数据重复 · MoE 正则 ★ 深度解读
Stanford University · Paul G. Allen School of Computer Science, University of Washington
在重复数据训练下，MoE 比同 active 参数的 dense 模型退化更早更快，且退化程度由 total 参数决定
📌 工作参考价值（4 点）
- 搜索/推荐/广告等业务里若用 MoE 或稀疏 LLM 做召回、排序、query 生成，数据重复是常见场景（行为序列、曝光样本、promo 物料反复出现）。不要只看 active 参数，要把 total 参数计入训练预算；重复率控制在 4× 以内对 MoE 相对安全，超过 8× 需要警惕。
- 当业务数据受限必须多 epoch 训练时，优先在 MoE 的输出侧做 masking：FFN output masking、expert dropout 或 expert output masking，比 router jitter、weight decay 更有效。生成式推荐/query 生成模型可以在 expert 输出上加 token-level 或 expert-level dropout，缓解重复样本导致的过拟合。
- 多域数据混合训练时，如果某个域 unique 数据不足，不要无限重复该域；把它与语义相似的未重复域混合可能起到正则化作用，而语义差异大的域（如 code 与 web）混合无此效果。对电商多源数据（商品、内容、广告、搜索词）做配比时值得验证。
- 路由早稳定是一个可工程化的监控信号：若 MoE 在训练早期 router 决策就接近冻结，并且 train loss 快速降到很低，通常意味着 expert 在过拟合固定 token 子集。可定期做 expert knockout 分析，量化专家冗余与过度 specialization，作为是否继续训练或切换架构的依据。
统一 per-token 门控族：FKL/RKL 混合的多通道与偏置参数化
🧭 LLM 知识蒸馏损失门控统一参数化
Xiaohongshu Inc. · Tianjin University
把 on-policy 蒸馏中的 per-token FKL/RKL 门控统一为四系数参数化，EOPD/ToDi 成为其一维特例
📌 工作参考价值（4 点）
- 做 LLM 蒸馏时，可把 FKL/RKL 混合权重从固定标量升级为 per-token 门控 λ_t=σ(a·h_t+b·u(x)+c+d·gap_t)，用 teacher 熵 h_t、学生/教师 gap_t 等已能计算的信号作为特征，几乎不额外增加工程成本。
- 可将 EOPD、ToDi 这类已有门控方法放进统一坐标里做 sweep；至少先跑 entropy-only、gap-only、bias-only 三条 1D 线，再叠加多通道和偏置，比盲调 FKL/RKL 权重更有方向。
- 显式 bias c 值得单独保留：它等价于一个可学习的全局混合偏好，部署到不同业务语料（商品文案/搜索改写/push 文案）时可以作为任务先验快速调节。
- 该文在短输出分类任务上方向性收益多，但 n=3 不显著；迁移到电商/推荐文本生成时，建议用多 seed paired replication 评估真实线上收益，别被单 seed 的 33/36 这类计数误导。
Transformer 中的距离泛化：何必费心使用位置编码？
🧭 Transformer 距离泛化 · 位置编码消融
Institute for Theoretical Physics, Goethe University Frankfurt, Germany
系统考察 RoPE/ALiBi/NoPE 在合成延迟复制任务上的距离泛化，发现位置编码效果有限且数据多样性影响关键。
📌 工作参考价值（3 点）
- 在推荐/搜索序列建模中，如果序列长度固定且 token 间距离范围有限，NoPE 可能足够，可移除位置编码以降低模型复杂度和训练成本。
- 训练数据中覆盖的 token 间距离多样性对距离泛化至关重要：构建行为序列样本时，应刻意采样不同间隔的交互对，避免模型只见过短距离依赖。
- 距离迁移学习可能为负，说明模型在特定距离上过拟合；上线前需评估用户行为序列分布与训练分布的偏移，尤其是时间间隔分布变化。
在LLM强化学习中通过永不放弃采样解决难题
🧭 RL for LLMs 动态采样训练优化 ★ 深度解读
Mila, Université de Montréal · Allen Institute for AI · University of Washington · Trillium Labs
揭示RL训练LLM的“马太效应”，提出NGU动态采样将计算从易题重分配到难题，显著提升困难任务pass@1
📌 工作参考价值（4 点）
- 在 RLHF/GRPO 训练推荐、对话或 Agent 策略时，若 prompt/任务难度差异大，可借鉴 NGU：用异步 RL 对简单 prompt 快速过滤，对困难 prompt 持续采样直到出现正样本；但需设置继续采样概率 p 并限制历史 completion 的 age，避免 off-policy 噪声。
- 对于需要同时满足多个约束的电商导购 Agent 或广告文案生成，标准 per-aspect reward 会导致模型只优化容易满足的约束。可先按模型初期 pass rate 重分难度，再对难样本动态加采样，提升所有约束全部通过率。
- 工程上，NGU 的 anchor positives 比直接 downsampling 稳定：保留所有正样本，对负样本按比例 rescale advantage 保持组内优势之和为零；推荐优先使用。
- 离线评估要按难度分桶（如按用户分群、query 难度）分别报告提升，避免整体指标掩盖马太效应；同样适用于推荐系统的长尾 item/query 优化。
ZGCM-1：面向数学与智能体搜索的全开源高效基础模型
🧭 高效训练 · Agentic Search ★ 深度解读
Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence
全开源 7B 模型，靠混合注意力、FP8/Muon 与 MDP 中训，在数学和 Agentic Search 上逼近大模型
📌 工作参考价值（5 点）
- 混合注意力 5:1 SWA/global 可在 256K 上下文将 KV cache 降 6.4x、吞吐提升 3.94x：适合电商多轮对话、长用户行为序列或长文档检索场景，用 7B 级模型支撑长上下文 Agent 而不过度消耗显存。
- 把交互轨迹改写为 MDP 状态-动作对做稠密监督，比整段模仿学习更利于训练 Agent 在搜索/推荐中做局部决策（如何时调用搜索、扩展 query、停止迭代）；可直接复用到电商导购 Agent 的工具调用数据构造。
- FP8+Muon+TWEO 组合实现约 4.2x pre-training time-to-loss，内部迭代模型可行；尤其 TWEO 抑制激活 outlier 是 FP8 稳定的关键，可在训练栈中尝试。
- SFT 数据质量裁剪：约剪掉一半候选，六基准均值 67.78→68.83，证明高质量数据胜于堆量；对电商话术/导购数据可借鉴严格去污和分层过滤。
- Agent 数据与 general 数据联合训练优于先 general 后 agentic 或只 agentic：对话式购物助手不应只用领域轨迹，需保留通用指令遵循能力。
TRACE：用合成奖励训练因果探索推理智能体
🧭 Agent 诊断推理 + 合成奖励 RL ★ 深度解读
Independent Researchers
simulator-oracle-RL 把隐藏干预变客观奖励，训练广告诊断 Agent，35B FullAttr@1 达 0.757，超前沿闭源基线
📌 工作参考价值（4 点）
- 在电商/广告诊断场景，可复用 simulator-oracle-RL：先往离线广告数据或 sandbox 注入已知根因（如 BUDGET_CAP、COMPETITIVE_PRESSURE、CREATIVE_FATIGUE），再生成指标观测；隐藏干预直接作为 RL reward，省去人工归因标注和 LLM-as-judge。
- 归因任务奖励设计值得抄：用 cause correctness 作为门控，driver slice 用 Jaccard 给部分分，再加 binary full-attribution reward；full-attribution 项对多维 audience/placement 切片很关键，2D slice 从 0.00 提升到 0.27，1D 从 0.67 到 0.92。
- SFT warm start 价值明显：先用 oracle-filtered 教师轨迹做 SFT，能让 decision-parse rate 从 0.53 到 1.00，工具调用从 22.05 降到 10.75；后续 RL 只需少量额外工具调用就获得 12 个点 FullAttr@1 提升。
- 可以做一个 oracle verifier，只读 agent 可见数据，检查信号可检测性、信噪比和 confounder 可区分性，过滤掉不可解或太简单的 episode；这种 generation/acceptance 分离适合构造可扩展训练集。
多域中期训练中每域覆盖最优与对齐抗性域差距
🧭 训练数据配比与领域覆盖优化
证明各域覆盖率存在内部最优区间，且中期训练的域差距难以被后续SFT修复
📌 工作参考价值（4 点）
- 多域/多任务数据配比存在非单调最优：业务中的多域推荐或LLM微调，不应简单按数据量加权或追求某域越多越好，10%–40%的覆盖率区间普遍较优，可用小规模单形扫描实验（simplex sweep）确定各域峰值位置。
- 中期训练的数据构成难以靠后续SFT弥补：如果业务系统分阶段训练基础模型和任务模型，早期数据配比造成的领域差距不会在对齐阶段自动消失，必须把数据混合策略前移到中期训练阶段。
- 零覆盖的代价与通用漂移混淆：完全放弃某域会导致该域能力崩溃，但需要设置通用数据控制组（如FineWeb-Edu-only）区分是域缺失还是通用分布漂移，避免误判。
- 探索性θ*配比思路可复用到推荐模型训练：在多个候选数据配比中做端到端全流程评估，选择全流程增益最大的配比，即使单域统计不显著，也可能带来整体提升。
通过下一概念预测迈向隐空间语言模型
🧭 下一概念预测 · 隐空间语言模型
Shanghai AI Lab · LUMIA Lab, Shanghai Jiao Tong University
在 8.9B 参数规模验证 NTP 与 Next Concept Prediction 联合训练，用 51.3% tokens 达到 OLMo-3-7B 最终 loss
📌 工作参考价值（4 点）
- 将 product quantization 作用于 hidden states 构建离散概念 vocab，可类比生成式推荐里的 Semantic ID，对 item/category/query 做多粒度 token-context 联合建模，让 LLM 在生成物品或搜索词时既有 token 级流畅度又有概念级语义约束。
- 只更新 17M 的 VQ module 即可实现域适配，适合电商多品类、多场景快速切换：固定底座，仅调整 codebook/概念映射，省去全参微调，便于线上迭代和 A/B 测试。
- 把 concept representations 注入 draft model 做投机解码，mean accepted length 提升 4.17% 且开销可忽略；在 Agent 工具调用、推荐理由生成等长文本输出场景可低成本加速推理。
- 联合 NTP + NCP 在同等算力下逼近或超过更强 baseline，提示大模型底座或领域微调时可加入概念级辅助目标，提升样本效率和 downstream 指标。
ActReview：基于作者反驳引导与评分量规奖励的可操作同行评审生成
🧭 LLM 后训练 · 行动导向评审生成
Yale University · University of Chicago · TCS Research
用作者 rebuttal 揭示的修改动作作为潜在监督，构建 ActReview-40K 并后训练模型生成可操作且带证据的评审建议
📌 工作参考价值（4 点）
- 用交互反馈作为弱监督信号：rebuttal 与 review 的对齐类似于电商评价回复、客服工单中用户申诉/追问能暴露真实意图，可用于训练解释生成或建议 Agent。
- 候选感知、弱点特定 rubric 奖励可迁移到推荐理由/诊断报告生成：将输出质量拆成多个细粒度 rubric，结合候选集合用 LLM 判定或规则奖励做 GRPO，提升生成质量与可控性。
- 局部证据检索与 grounding 机制适合需要引用商品/内容原文做可信推荐解释、搜索结果摘要或 push 文案的场景，能缓解幻觉并提升可验证性。
- 人类评估中技术准确性仍有 gap，提示业务上线 LLM 建议类功能时应加入技术准确性抽检与领域知识约束，不能只看流畅度和 actionability。
Miles v0.1：生产级后训练系统
🧭 生产级后训练系统与Agentic RL
RadixArk
一个全栈生产级后训练系统，支持RL、LoRA RL、蒸馏等，在64 GPU上对744B MoE做异步Agentic RL步时263秒
📌 工作参考价值（4 点）
- 借鉴其解耦的 rollout 与 trainer 架构：使用 SGLang 作为独立推理引擎，通过 router 管理多个 engine，训练器支持 Megatron-LM / FSDP 双后端，可适配电商推荐场景中大规模 LLM 的 RL 训练或在线学习。
- LoRA RL 支持降低了 RL 微调的资源门槛，适合在电商/广告领域对已有 LLM 做轻量级策略优化，如对话式推荐、搜索 query 改写等业务。
- true-on-policy rollout-training alignment 机制确保训练数据来自最新策略，避免策略滞后，对推荐系统中的实时反馈学习（如 bandit / RL 推荐）有参考价值。
- 异步 Agentic RL 案例（多轮工具调用、外部环境交互）可直接迁移到构建电商导购 / 客服 Agent 的训练 pipeline，缓解 rollout 与训练间的气泡问题。
难度自适应树结构策略优化以扩展RLVR中的推理覆盖
🧭 RLVR训练策略优化 · 树搜索
Pohang University of Science and Technology (POSTECH)
提出DATPO，通过难度自适应树搜索和句子熵引导分叉提升pass@k，增强测试时缩放能力
📌 工作参考价值（4 点）
- 在对话式推荐或搜索Agent的多步决策训练中，可借鉴难度自适应采样：根据问题难度动态分配rollout深度/宽度，避免简单样本浪费算力，同时让困难样本获得更多探索机会，提升策略覆盖率。
- 树搜索结构比并行采样更利于发现正确答案，可用于训练阶段的策略探索；结合句子级熵引导分叉（而非token级）能增强语义多样性，对生成推荐理由或搜索query改写等开放式生成任务有参考价值。
- 引入sibling-diversity advantage term，显式鼓励同一父节点下不同分支的语义差异，可迁移到多臂老虎机或beam search解码中，用于生成多样化的商品文案、广告标题或推荐理由。
- 该工作主要针对数学推理，业务场景直接迁移需谨慎，但RLVR训练中通过结构化探索扩大策略覆盖的思路，对需要长程推理的Agent（如多轮商品筛选、意图澄清）有启发性。
NeoHorse-1：路由 Harness 驱动的 Agentic 后训练与递归自改进
🧭 Agent 后训练 · 路由驱动的课程与蒸馏
TokenRhythm
通过路由 harness 记录能力需求并构建三阶段课程与蒸馏，实现 4B/9B agent 模型的递归自改进后训练闭环
📌 工作参考价值（4 点）
- 利用线上多模型路由日志自动构建训练集：记录每次请求的预测能力需求、选择的模型档位和交互轨迹，形成天然的难度标签；电商/广告场景中可在低成本小模型与大模型路由架构上持续积累数据，定向提升小模型能力。
- 三阶段课程由路由信号组织，先易后难进行 SFT，再衔接 on-policy distillation；相比直接 SFT，让学生模型在自身生成分布上被教师纠正，可稳定提升 agent 工具调用和推理一致性，适合推荐/搜索 agent 的复杂指令跟随。
- 数据准入的多维评估（结构校验 + 六维语义评分 + 子场景标注）值得借鉴：在构建推荐/搜索 agent 的交互数据时，过滤低质量轨迹，避免污染训练集，尤其对工具调用格式和上下文依赖敏感的场景。
- 建立 evaluation→mixture allocation 的闭环：用评测反馈动态调整下一轮训练数据的任务配比，适合多任务持续迭代的电商 Agent 平台（如商品推荐、广告文案、客服工具混合）。
弱到强泛化的 On-Policy 反向蒸馏方法
🧭 弱到强泛化蒸馏训练方法
KAIST AI · Microsoft · University of Toronto · Mila · Université de Montréal
用 On-Policy Reverse Distillation 放大教师策略偏移分量，实现弱到强泛化且不施加教师容量上限
📌 工作参考价值（3 点）
- 模型迭代中利用旧模型知识：电商推荐/搜索排序模型升级（如从精排小模型到 LLM-based ranker）时，旧模型可作为弱教师，用 OPRD 思路在 on-policy rollouts 上计算教师策略偏移，加速新模型训练且避免继承旧模型容量上限，减少全量 RL 成本。
- 多域/多业务模型融合：广告、推荐、搜索多场景有各自模型，可作为多教师进行蒸馏，OPRD 的多教师扩展可能比直接加权蒸馏更高效；结合 verifier（如业务指标奖励模型）过滤教师更新方向，只放大与 verifier 一致的教师指导，防止负迁移。
- Agent 策略训练：在 LLM Agent 或生成式推荐策略优化中，实施 on-policy 蒸馏：用学生自我生成 rollout 评估教师策略位移，仅对 verifier 支持的方向放大梯度，保持策略优化不动点，可避免教师过度约束导致模式坍缩。
通过规范校正通道移除实现 Transformer 稠密结构化压缩
🧭 训练期结构化压缩与架构搜索 ★ 深度解读
Université d’Artois, CNRS, CRIL UMR 8188, Lens, France
训练期用对称 group-lasso 惩罚解决 gauge 自由度，在保留 dense tensor 下动态压缩 Transformer，最高 255 倍 FMA 压缩且精度不降
📌 工作参考价值（4 点）
- 部署推荐/广告 Transformer 时，可优先考虑训练期自适应压缩而非后剪枝：论文证明同样的 utility 度量在后剪枝上失败或显著变差，持续压缩压力会促使网络学到更高效的表征，而不仅删除冗余。
- 如果业务模型含 SwiGLU MLP、attention 等 gauge-connected 结构，可借鉴 additive symmetric group-lasso 惩罚：同时对两侧 factor 做 Frobenius-norm 惩罚，避免直接惩罚 product norm 导致的梯度消失和不稳定；按每通道实际 FMA/参数规模校准 penalty，能把「效用/算力」统一到同一尺度。
- 工程上实现物理 channel removal 而非 mask 稀疏：用 gauge Sinkhorn 先平衡、再 trust-drop 移除整 slice，缩小后的 dense tensor 在 GPU 上保持高吞吐，减少稀疏算子低效；这适合做粗粒度 tower 压缩或小规模重训模型。
- 自适应 ρ 由 loss target 驱动压缩强度，实现较平滑的「先达标再压缩」过程，可作为业务中自动搜架构、控制性能下限的参考；但该理论目前只在 <150M FMA 从零训练任务上验证，迁移到大模型或预训练权重需谨慎。
持续学习机制组合实现长期记忆
🧭 持续学习机制组合与长期记忆
Johns Hopkins University
组合数据/函数/权重 anchor 与 merged LoRA 将 100 任务顺序微调平均保留率从 1.2% 提升至 34.9%
📌 工作参考价值（4 点）
- 模型需要持续更新商品目录或用户行为时，可采用 merged LoRA 为每个新任务/新领域分配独立低秩矩阵，避免直接覆盖全量参数，再定期合并或推理时加权组合，减少灾难性遗忘。
- 借鉴 data anchor：在每次更新时混入少量历史代表样本（或合成回放），即使无法保存完整旧数据，也能显著提升长期保留率；对电商场景可保存高价值/长尾样本的小型 memory buffer。
- 多种机制存在超加性交互，尤其 data anchor + merged LoRA。工程实现上不要单独评估单一策略，应组合验证，并使用 factorial 实验量化主效应与交互作用。
- 任务级 successive halving 搜索设计空间成本可控，适合在业务中快速筛选持续学习策略组合，再投入完整训练。
大规模长上下文 RL 后训练中的在线草稿协同训练投机解码系统
🧭 训练系统 · Speculative Decoding
NVIDIA
构建端到端在线协同训练系统，解决长上下文下上下文并行分支注意力与流水线并行特征传输两大障碍，实现最高 122B 模型显著投机解码加速
📌 工作参考价值（3 点）
- RL 策略训练加速：若团队用 RL 微调 LLM-based 推荐或 Agent 策略，rollout 生成常占大头；可借鉴 speculative decoding 并让 draft 模型在线 co-train 以跟上策略漂移，维持 acceptance length 从而获得端到端加速。
- 长上下文分支注意力合并：论文扩展 zigzag ring attention，将 rank-local 分支注意力与 causal 主序列合并，解决 CP 不支持分支注意力的问题，支持 256K tokens 强扩展并显著省显存；对长序列用户行为/会话建模的训练有直接工程参考价值。
- PP 跨 stage 特征解耦传输：TapChannel 用独立通道传输中间 target features，不干扰主流水线 schedule，可用于在主模型与轻量 draft 模型协同训练中高效传递辅助特征，避免改造现有 pipeline。
SQS：基于稀疏量化子分布的贝叶斯 DNN 压缩
🧭 模型压缩 · 贝叶斯变分推断
Purdue University · University of Texas at El Paso
用 spike-and-slab 先验与高斯混合模型统一贝叶斯剪枝与量化，压缩率更高且精度损失相当
📌 工作参考价值（4 点）
- 统一压缩替代两阶段：电商/广告排序塔及 LLM-based reranker 对推理延迟和内存敏感，可借鉴 SQS 把稀疏化和量化作为同一个变分学习问题，避免先剪枝再量化带来的误差累积；对 embedding 层、FFN 层可分别设置稀疏率和码本宽度。
- 可微的先验/近似方案：spike-and-slab 先验天然支持非结构化剪枝，GMM 后验提供量化码本均值，整体保持可微优化；工程落地时可用更轻量的近似替代复杂积分。
- 面向 LLM 部署可迁移：论文在 Llama3.2、Qwen2.5 上验证，说明适合本地部署的 embedding 模型、轻量生成式推荐模型；可按层或 token 粒度做联合压缩，降低 CPU/边缘推理成本。
- 注意：低 bit 量化依赖硬件算子和量化校准，需结合 TensorRT/ONNX 等推理框架；论文偏学术方法，业务收益还需线上延迟和精度实测。
重新审视完整推理轨迹在后训练中的作用
🧭 LLM 推理后训练 · 轨迹截断
NAVER AI Lab
完整推理轨迹对SFT收益有限，仅用端点训练更高效且可迁移到RL和蒸馏
📌 工作参考价值（4 点）
- 在训练 LLM 生成推荐理由、商品卖点、搜索 query 改写等推理链时，可只保留结论或关键步骤，不必收集完整思维链；中间冗余 token 会分散学习，截断后模型可借助内部知识补齐缺失步骤。
- 使用端点（如最终答案/推荐结果）作为 SFT 目标，能提高样本利用效率，降低 token 长度与训练成本，尤其适合大规模商品语料和长推理场景。
- 对基于 RL 或 on-policy distillation 的 Agent 策略优化，可考虑用部分轨迹或关键状态对替代全轨迹，减少冗余更新和奖励 hacking，保持推理行为稳定。
- 在构建电商问答/搜索推荐 Agent 的训练数据时，优先定义任务端点和关键中间约束，而非依赖完整长文本；该发现支持用更简洁的监督信号。
DataFlex-RL：RLVR 数据策略评估平台
🧭 RLVR 训练数据策略评测
Peking University · UCAS · Institute for Advanced Algorithms Research, Shanghai · Zhongguancun Academy
构建统一 GRPO 配方下评估 RLVR 数据策略的平台，发现选择/加权/自适应策略相比均匀采样无可复现提升
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景中用 RLVR 训练生成式推荐、Query 推荐或文案生成时，均匀采样是强 baseline；引入任何 rollout 选择或加权策略前，先按统一超参多 seed 配对检验，避免无效复杂化。
- 评估指标集合对策略排名影响极大：仅用部分业务指标（如只看点击不看转化或多样性）可能导致排名负相关；需要领域平衡的综合指标，并在上线前检查指标选择是否稳健。
- 可复用 DataFlex-RL 开源平台作为内部 RLVR 数据策略 A/B 测试模板，快速验证新数据策略是否真的带来可复现提升。
- 自适应多域混合不优于固定等权混合，在多任务/多场景推荐中不要盲目上自适应采样权重的复杂设计，先确保数据质量和训练稳定性。
RegionFed：异构零售环境下查询理解的联邦个性化学习
🧭 联邦学习个性化训练 · 梯度级路由
Walmart Global Tech
提出梯度级联邦个性化框架 RegionFed，用区域与全局梯度冲突路由个性化策略，在 transformer 上避免参数级方法崩溃
📌 工作参考价值（4 点）
- 在电商搜索的多地域/多人群 Query 理解模型（如意图分类、实体识别、拼写纠错）需要联邦学习或去中心化训练时，优先采用梯度级个性化，而非在 T5/RoBERTa 等 transformer 上做参数级个性化；后者因 tied embeddings 和 LayerNorm 交互可能崩溃，RegionFed 的梯度冲突路由可规避。
- 将区域梯度与全局梯度的 ℓ2 冲突作为诊断信号，动态决定每个区域是否需要独立模型/适配器，避免对所有区域盲目做个性化，可节省 GPU 与维护成本；该信号也可作为后续 A/B 测试的分流依据。
- RegionFed 对模型结构零侵入，适合在不改线上模型代码的前提下快速验证个性化收益；如果业务已用 T5/RoBERTa 等成熟 backbone，可复用该思路做跨流量段个性化，无需引入新架构。
- 隐私敏感场景下，其 ε≈0.60 差分隐私与 O(1/√T) 收敛保障可作为合规方案参考，但需注意论文在公开数据集上验证，迁移到亿级真实流量前应评估通信与客户端规模。
表示对齐实现可泛化的语言模型安全
🧭 LLM 表示级安全对齐 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
提出 ReSO，直接对齐 LLM 潜在表示与人类道德分类结构，在不监督响应的情况下提升对抗鲁棒性
📌 工作参考价值（4 点）
- 在内容安全/合规审核中，不要只做输出层微调（如 DPO），可对物品/内容/query 的表示与安全分类结构做表示级对齐，增强对对抗改写、隐晦违规的泛化。具体可用 triplet 排序损失拉近同类安全内容表示、拉远危险表示。
- 若已有安全分类标签/人工判断，可构造 graded category vector（严重度×置信度），用 Bradley-Terry 目标对 latent 相似度排序进行优化，不需要生成标签，适合标签稀疏或冷启动场景。
- 监控训练过程中验证 RSA 与攻击成功率（ASR）的相关性，作为早停/剂量指标；在 ReSO 中观察到后期 RSA 回归伴随 ASR 上升，避免过拟合。
- 对 Agent 系统，若依赖 LLM 做安全决策，可考虑对状态/动作表示做类似对齐，提升对未见对抗输入的鲁棒性，而不是仅依赖 prompt 或输出过滤。
不要丢弃 Dropout：优化层稀疏性实现高效 LLM 训练与推理
🧭 LLM 层稀疏训练与推理加速
Cerebras Systems · MBZUAI
系统优化层丢弃的分布、调度与超参数，同等 FLOPs 降低损失，训练省 25% FLOPs，推理提速达 1.5 倍
📌 工作参考价值（4 点）
- 若团队在自研或微调大规模 Transformer 推荐模型 / 用户行为序列 LLM，可重新引入 layer dropout，按论文给出的非均匀层分布、渐进式线性衰减调度和优化器超参配置，在不增加训练 FLOPs 预算下获得更低验证损失，或节省约 25% 训练 FLOPs。
- 利用 layer dropout 训练得到的模型具有 elastic depth 能力，可直接做静态 early exit 或 intermediate layer skipping；在电商搜索推荐、Agent 场景中对 LLM 调用频繁的在线服务，可降低推理延迟并节省算力。
- 训练后的模型可配合 self-speculative decoding，将推理速度再提升至 1.5x 且精度损失可忽略，适合广告文案生成、查询理解、对话式推荐等对响应时间敏感的线上链路。
- 对于已有 transformer 模型，可尝试用 layer dropout 做轻量正则化，提升模型对后续剪枝 / 跳层推理的鲁棒性，为线上弹性部署提供基础。
GRPO 中隐藏的伪优势：有界答案与搜索智能体中的猜测奖励
🧭 RLVR 优势估计修正 · 防猜测偏差
Rochester Institute of Technology · Adobe Research
识别 GRPO 优势估计在有限答案空间与搜索智能体中会奖励猜测行为，并提出 SIGNBALANCE 修正
📌 工作参考价值（4 点）
- 在二元验证 reward 的 RLVR 场景里警惕候选空间大小：电商/搜索 Agent 常把「点击/转化/找到商品」等做成二元 verifier，如果某一步的候选答案集很小（如选品类、选广告位、选价格档），GRPO 的组内归一化优势会奖励撞对的 rollout，策略容易被带偏为猜测而非推理。训练前可先审计每个 prompt group 的有效答案数量。
- 优势估计不要直接用组内 std 归一化：SIGNBALANCE 保持 verifier 的符号，使用全局尺度，并用 stop-gradient 按类别重缩放恢复零均值。工程上可以改成：对每个 prompt group 计算 sign 后，用全局 running std 或固定 scale，再按正确/错误类别分别做 baseline 校正，避免组内 composition 引入伪优势。
- 搜索 Agent 的 credit assignment 要区分路径质量：预算增加会让多条轨迹到达同一答案，GRPO 会奖励大量探索撞答案的轨迹。业务中训练搜索/推荐 Agent 时，如果 reward 只给最终结果，建议在轨迹中间步加入过程 reward（如 query 改写是否有效、是否看了正确商品）或对同终点轨迹做加权，降低撞答案的收益。
- 有界子任务单独处理：开放答案任务中可能嵌套有界子问题（如多选筛选条件），可对这类子步骤单独建模优势，或在 prompt 设计上扩大候选空间，减少 GRPO 伪优势的触发条件。
Headroom-Drift Replay：GRPO 中的原则性重放控制原语
🧭 GRPO 重放控制 · 样本选择
Department of Artificial Intelligence, Sogang University
将 GRPO 重放控制拆为按剩余学习价值排序的 Headroom 与按策略兼容性门控的 Drift，不改动 on-policy 流即减少交互成本。
📌 工作参考价值（4 点）
- 在需要昂贵环境/用户交互的 RL 训练（如 Agentic Search、对话推荐、广告策略优化）中，可引入两层重放控制：先用 Headroom 对历史 trajectory group 按剩余学习价值排序，再用 Drift 过滤与当前策略偏差过大的样本；保留 on-policy 新鲜流不变，避免大规模改动训练管线。
- 把重放选择从训练 pipeline 中解耦成独立原语，方便在已有 GRPO/RLVR 代码上快速实验：只需修改 buffer 采样入口，无需加蒸馏、重要性加权或混合策略优化。
- 如果业务中 rollout 成本主要在环境交互而非模型推理，优先评估 replay 的 wall-clock 收益；该工作表明在 Agentic Search 中可比质量下显著降低耗时，适合交互式/仿真器昂贵的推荐智能体场景。
- 注意 group-level 而非单条复用，保持 GRPO 比较组结构；复用时按 group 整组排序和过滤，避免破坏相对优势信号。
后训练目标如何重塑拒绝电路与转向鲁棒性
🧭 LLM 安全对齐与机制可解释性 ★ 深度解读
Macquarie University
比较 SFT、Ra-SFT、ORPO 三种后训练方法，发现训练目标而非数据重塑拒绝计算，且无一同时满足分布式编码、安全/效用可分离、细粒度可纠正
📌 工作参考价值（4 点）
- 在搜索推荐/Agent 场景使用 LLM 时，安全后训练不能只盯 ASR：ORPO 安全最强但易过度拒答（Gemma ORPO XSTest ORR 31.6%），会误杀合法 query、系统运维或广告文案生成。应同时评估 XSTest 类 over-refusal，并按业务敏感度选择 SFT/Ra-SFT/ORPO。
- 对 LLM 上线前的安全评估，可借鉴其 circuit-level 归因：检查 refusal 是否集中在少数 attention heads 或 MLP。若集中在 attention heads，模型对语义改写类攻击（happy_to_help、role_play）更脆弱，这正是搜索 query 被恶意改写时常见的风险。
- 若做在线安全干预或 activation steering，优先选择 recognition-layer 而非 execution-layer：Gemma Ra-SFT 在 recognition 层 steering 降低 ASR 18.8pp，而 execution 层仅 5.8pp，且对 MMLU 损害更小。这提示可用轻量 steering 做 Agent 流程中的安全过滤，但需先验证架构与训练目标。
- Ra-SFT 引入 reasoning chains 后，拒绝电路更分散、可纠正性更好，但推理开销上升；在低延迟搜索/推荐链路中需权衡。若对响应质量要求高，可考虑用短 reasoning 或只对高风险 query 触发 Ra-SFT。
混合专家架构的统计理解：路由、稀疏激活与共享专家的风险界
🧭 MoE 统计学习理论 · 稀疏路由与共享专家 ★ 深度解读
Tsinghua University · East China Normal University · Beijing Institute of Mathematical Sciences and Applications
用局部化聚合视角统一分析 MoE，给出稠密/Top-K 路由与共享专家的 oracle 风险界
📌 工作参考价值（4 点）
- 在推荐排序模型用 MoE 时，把共享专家设计为全场景/全域公共塔，路由专家只学不同场景、人群或物品类的残差；可减少路由专家重复学习公共模式，降低有效复杂度并稳定训练。
- 做大容量稀疏 MoE 时不要只加专家数 M：理论显示近似误差随 M/K 的 1/d 次方下降，但路由估计代价约 M d/n log(M d n)，应结合线上数据量选择 M 和 K，避免专家数远超样本可支撑规模。
- Top-K 路由对边界敏感：高维稀疏特征下线性路由容易在决策边界附近频繁切换 active expert；可加入路由参数分离正则/边界稳定性约束，并监控 mini-batch 上 active set 稳定性。
- 可将论文中的“离散化候选路由 + 在线指数加权聚合”作为路由蒸馏或稳定化 baseline，不直接依赖端到端非凸联合优化，也能得到可解释的路由不确定性。
两阶段强化学习生成可靠对抗测试用例提升代码 LLM
🧭 代码 LLM 测试生成 · 对抗 RL
Nanyang Technological University, Singapore · Skywork AI
提出两阶段 RL 测试生成框架 TCS，先学可靠测试再对抗生成反例，提升代码生成 pass@1 与答案选择
📌 工作参考价值（4 点）
- 若业务任务具备可自动验证的 reward（如商品属性合法性、SQL 可执行、Promo 规则检查、点击/转化模拟器），可借鉴 TCS 两阶段生成器：Stage 1 贴近参考解/规则生成合法样本，Stage 2 针对线上模型常见失败模式生成反例，用于训练更鲁棒的排序/生成模型或筛选候选。
- 将测试生成器作为可学习的 critic：在电商 Agent 或推荐 query/文案生成中，训练一个判别器为候选输出打分，替代或辅助人工评审；用当前策略的失败样本构造滚动缓冲，持续挖掘 hard negatives，提升候选筛选的区分能力。
- 推理时选择：生成多个候选推荐理由/搜索 query/广告标题，用学到的检查器自动过滤不合格输出，降低低质量内容上线风险；类似无参考评估，适合在线管道。
- 注意领域差异：代码执行反馈明确且低成本，电商反馈（点击/转化）噪声大、延迟高，需用离线模拟器或业务规则先构造可信 reward，不宜直接照搬对抗 RL 的完全在线迭代。
RISE：通过自外推策略蒸馏实现递归自改进
🧭 LLM 后训练 · RLVR 自外推蒸馏 ★ 深度解读
Salesforce AI Research
RISE 外推模型自身 RLVR 轨迹构造 token 级教师，实现递归自蒸馏，无需外部模型或特权条件
📌 工作参考价值（4 点）
- 对点击/转化/完成率等稀疏 reward 训练的推荐、搜索、对话/导购 Agent 策略，可以借鉴 RISE 的两阶段循环：先做一轮 GRPO/RLVR 得到 θ'，再把 θ' 与 anchor 的位移按 β 外推成“未来教师”，用 token 级蒸馏把稀疏 outcome 信号转成稠密监督；尤其适合多轮 Agent 的延迟奖励场景。
- 落地优先用 logit-space 外推：不物化 teacher 参数，只需缓存 anchor 与 post-RLVR 的 top-K logits（K=100，代码类可 K=20）并加 tail bucket；复用 RLVR rollouts，不增加采样成本，整体约 1.3–1.6× wall-time。
- 超参上建议 β0=1.2 并随训练线性衰减到 1；anchor 用 EMA（η=0.1）平滑更新方向，对噪声大的小模型或稀疏 reward 环境更稳；若 RLVR 单步方向已稳定可退回 previous checkpoint anchor。
- 必须有 reward grounding：去掉 RLVR 阶段仅外推自身位移会导致训练崩溃（MATH-500 掉到 2.4%，输出长度爆炸）；因此若业务 reward 可被 hack，需先保证 reward 质量或增加不确定性约束。
时序自蒸馏：无监督学习视频视觉状态跟踪
🧭 自监督时序自蒸馏训练视频状态跟踪
Mohamed bin Zayed University of Artificial Intelligence · ELLIS Institute Finland · Aalto University
用时间采样密度作为自监督信号，让稀疏帧学生匹配稠密帧教师的 next-token 分布，无需标签或额外教师即可提升视频状态跟踪
📌 工作参考价值（4 点）
- 视频/直播电商场景：对商品展示、使用过程、库存/数量变化等短视频，用稠密帧采样的同模型输出蒸馏稀疏帧模型，可在不增加线上推理成本的前提下提升状态/数量判断；souping/轻量视觉编码器适配可作为后续增强手段。
- 无标签数据利用：可以低成本生成合成 clip（物体颜色、数量、位置变化），用 S3T 式的自监督时序蒸馏预训练视频理解模块，再迁移到真实 UGC/广告素材的内容审核或卖点提取。
- Agent/多模态 LLM 训练：如果业务中有连续视频流（如智能客服/导购 Agent 看商品视频），将时间采样密度作为特权信息，让同一模型在自己的稠密/稀疏视图间做 next-token 分布蒸馏，不需要额外 judge，能提升跨时间状态跟踪，且不增加部署成本。
- 如果要改进现有 VLM 在电商视频问答上的表现，可优先考虑对视觉编码器做小规模适配+权重 soup，而非重新训练；论文显示这些组合能稳定提升状态跟踪。
顺序优于联合：On-Policy 蒸馏与 RLVR 的相互作用
🧭 RLVR 与 On-Policy 蒸馏两阶段后训练 ★ 深度解读
University of Alberta · New York University · NYU Shanghai · University of Chicago · University of Waterloo
两阶段 OPD-then-RL 在逻辑与数学推理上稳定优于纯 OPD、纯 RLVR 及所有同一步混合的方法
📌 工作参考价值（4 点）
- 若业务中有稠密教师信号（大模型打分/业务规则）与稀疏奖励（点击、转化），不要每步加权融合；先跑 OPD 把模型推到教师支撑边界，再切 RL 做 reward sharpening，可避免梯度信号打架。
- 切换时机用 OPD 的离线验证分数：验证分数饱和后再切 RL，否则会过早封顶最终效果；电商/推荐里可对应用离线 AUC/召回，验证不再提升时再上策略梯度。
- OPD 冷启动优于离线 SFT：推荐/广告中若只有日志式行为克隆，尝试 on-policy rollout + 教师 soft label 蒸馏，可扩大长尾 query/item 覆盖，再进入 RL 收益更明显。
- 监控 sign conflict ratio 可发现 RL 是否破坏教师阶段的关键参数方向；对 embedding 或 attention 层可设不同保护等级。
通过训练将自然语言规范编译为本地神经函数
🧭 自然语言规范编译为本地神经函数
University of Waterloo · Harvard University
通过教师模型生成示例并训练小适配器，将自然语言规范编译为可本地运行、可组合的神经函数
📌 工作参考价值（4 点）
- 在搜索/推荐/广告的高频文本规则场景（如 query 意图分诊、广告文案合规、商品标题清洗），可把 LLM 编译成轻量本地函数，替代每次远程调用；尤其适合高 QPS 或低延迟要求的在线链路，能显著降低 token 成本和尾延迟。
- 将自然语言规则视为可编译的"源"，用教师模型生成标注样本并训练小 adapter，使规则以模型权重形式版本化、可组合、可回滚；这比直接维护 prompt 或外部 LLM 调用更可控，也便于嵌入 ML pipeline 和 Agent 工具链。
- 编译时间约 1 分钟，准确率 83.6% 且语义匹配容错，适合作为模糊规则引擎的中间层；对关键业务可结合规则兜底或人工校验边界，避免在硬约束场景直接依赖。
- 该思路可推广到电商 Agent：把多个子任务自然语言描述分别编译成小函数，供 Agent 按需调用，减少对单一远程大模型的依赖，提升响应稳定性和可审计性。
硬件感知的 FP4 FlashAttention-4：全 FP4 前向推理与量化反向传播
🧭 Transformer 注意力 FP4 量化加速
Graphcore Research
Direct-P 将注意力分数直接映射为 FP4 概率，GB200 上前向吞吐达 BF16 的 2.13 倍，8B 模型训练更新加速 1.14 倍
📌 工作参考价值（4 点）
- 推荐/广告场景中大量使用 Transformer 处理用户行为序列，注意力算子是性能瓶颈；Direct-P 将 softmax 后的概率直接量化为 FP4，避免中间 FP32/FP16 转换，可显著提升在线推理吞吐、降低时延。
- 训练侧采用“前向量化 Q/K，反向重建概率并使用 FP8 梯度操作数”的混合精度方案，比直接使用 FP4 概率/值更稳定；实际部署时可借鉴该方案避免训练发散，同时获得 1.14 倍的 8B 模型更新加速。
- 若业务使用长序列注意力（如用户行为序列、会话建模），可评估 FP4 注意力对精度的影响；论文结果表明概率 FP4 量化在非因果推理下可行，但训练中 MXFP4 概率/值易发散，需谨慎验证。
- 工程实现上，可将注意力中间结果（概率矩阵）显式量化并落到片上存储，减少 HBM 读写，类似 FlashAttention 的 tiling 策略与 FP4 结合能榨取 Blackwell 张量核性能。
预训练中知识获取：辅助视图让 LLM 学得更好
🧭 LLM 预训练数据表示与知识获取
University of Pennsylvania
辅助视图（知识重构）在固定 token 预算下比重复更能提升 LLM 知识获取，且不依赖强 teacher 生成
📌 工作参考价值（4 点）
- 在电商/推荐场景构建训练数据时，不要只重复原始商品描述或用户评论，可引入多种辅助视图（如改写描述、属性问答、用户评价总结、知识图谱陈述）来覆盖同一知识的不同表述，提升模型对商品知识的记忆与推理。
- 固定 token 预算下，优先增加辅助视图而非同文档重复。例如在微调商品理解模型时，将重复样本的 budget 分配给同一商品的不同表述（不同风格、不同角度），能更高效利用 token，尤其对事实类属性（品牌、成分、适用人群）的 recall 有提升。
- 辅助视图的生成不依赖强 teacher 模型，所以业务中可以用低成本 LLM 或规则模板生成多样化视图，无需昂贵的 GPT-4 级别 teacher，也能获得知识学习增益。
- 预训练或领域继续训练时，数据多样性不足（同一商品反复出现相同描述）可能导致知识获取低效；应控制重复度，增加表述多样性。这验证了数据多样性在推荐领域大模型训练中的价值，可指导数据清洗和配比策略。
自适应局部关系对齐：自回归语言模型预训练蒸馏的 logit 方法
🧭 知识蒸馏训练优化
VJ Technologies · AJ Technologies · Vietnam National University · University of Information Technology
ALRA 结合学生提议与教师锚点，自适应局部对齐改进 logit 蒸馏，提升预训练学生模型零样本性能
📌 工作参考价值（4 点）
- 在生成式推荐（如 Semantic ID、商品标题生成）的蒸馏中，可借鉴 ALRA 的候选 token 选择策略：让学生提出高概率 token，同时将教师的 top1 token 作为锚点加入，避免只用教师或学生导致候选集偏差，尤其适合训练早期学生排序不准确的场景。
- Adaptive Local Divergence 用单位系数替代教师质量系数，防止低概率但语义重要的 token 区域被忽略；这可以迁移到电商长尾商品或 query 的蒸馏，保护稀有但相关的 token 信号不被全局分布淹没。
- Student-Weighted Pairwise Relational Alignment 强调学生概率差小但教师偏好的 token 对，可用于校准推荐生成中 top-k 的局部排序，提升生成结果的多样性与准确性。
- 位置特定且 batch 自适应的 token 数量选择，减少了手工设定 top-k 的超参负担，适合在线学习或增量更新场景，能动态适应数据分布变化。
子空间推断让偏好主动奖励学习更高效
🧭 主动偏好学习 · 贝叶斯滤波
University of Southern California
用低维子空间扩展卡尔曼滤波追踪奖励模型不确定性，以更少偏好标注训出高质量奖励模型
📌 工作参考价值（4 点）
- 可将“低维参数子空间 + EKF”的在线不确定性量化方案迁移到推荐/搜索的用户反馈场景：例如对排序策略、创意文案或 prompt 偏好做主动对比采样，只维护子空间后验，避免对大模型全参数做后验推断，显著降低在线更新成本。
- 采集函数基于参数采样高效计算，可复用信息增益/BALD 等主动学习指标，在电商标注预算有限时用于选择最有信息量的偏好对，减少人工评估次数。
- 方法给出的不确定性校准更好，适合用在带探索的在线决策（如 bandit 或 RLHF 策略）中，降低过度自信带来的推荐风险。
- 可增量接入现有 RLHF/偏好优化流程，若团队使用 LLM-as-a-judge 或偏好奖励模型，可考虑用子空间 EKF 在线更新 reward model，替代全量微调。
答案验证的多教师自蒸馏：多域LLM能力整合
🧭 多教师蒸馏 · 答案验证 · 多域LLM整合 ★ 深度解读
National University of Defense Technology · Zhejiang University · Intelligent Game and Decision Lab
MT-SDPO用答案验证按样本选择正确教师，结合自锚定与特权蒸馏，将多域教师整合为单一LLM策略，提升最弱域并缩小域间差距
📌 工作参考价值（4 点）
- 多域/多任务LLM post-training时，不要按领域标签路由教师；对有可验证答案的任务（如选品打分、参数判断、query改写），用程序化校验器按样本筛选正确教师，再聚合所有正确反馈，可提升最弱域并缩小域间差距。
- Self-anchor 思路：先用学生自己生成且验证正确的 rollout 作为同组错误 rollout 的 privileged context，减少外部教师查询成本；只有学生失败时才查询外部教师，能明显降低训练开销。
- 蒸馏 teacher feedback 时引入词法/规则 sanitizer，过滤掉泄露正确答案或参考选项的反馈，防止模型只学会背答案；电商推荐解释、搜索词生成的 teacher feedback 同样需要这种防泄漏机制。
- 工程实现：离线先缓存每个样本的 eligible teacher set，训练时不必重复回答；推理只保留 student，丢弃教师池、verifier 和 EMA 副本，利于部署。负结果显示：若初始化已经均衡，在线蒸馏收益有限，应先评估最弱域 headroom 再决定是否投入在线阶段。
FlowBalance：验证器校准的轨迹平衡自改进
🧭 LLM 自改进训练 · 轨迹平衡
Tencent HY LLM Frontier · University of Pennsylvania
用 verifier 校准 on-policy 自引导分数，并通过轨迹平衡训练稳定的推理自改进
📌 工作参考价值（4 点）
- 在生成式推荐/QueryRec 的 LLM 后训练中，若已有 outcome verifier（如点击、转化、相关性），可借鉴 group advantage 校准 self-guidance 符号：正优势保留密集信号、负优势反转、无偏好时禁用，避免 dense same-model 信号强化伪自信。
- 轨迹平衡替代逐 token 模仿 loss，对长文本生成（推荐理由、搜索词扩展、商品文案）训练更稳定，能缓解长度坍塌和模式集中，适合带 terminal reward 的离线增强场景。
- 冻结策略视图产生自引导分数的方法，可在 RLHF/DPO 管线上低成本复用，减少额外 critic 或 token 级标注需求；若业务能定义可靠 verifier，可让 LLM 在搜索推荐 Agent 的推理链路上保持策略多样性。
- 无明确 outcome verifier 或奖励稀疏的业务场景，方法借鉴价值有限，主要适用于可自动判定的任务（如数学、代码、结构化查询生成）。
UE5M3 FP4 块缩放实现稳定语言模型预训练
🧭 FP4 低精度预训练 · E5M3 block scaling
Graphcore Research
用 E5M3 块缩放替代 RHT 与 BF16 末层豁免，更简单的 FP4 预训练配方，8B 模型 190B tokens 表现优于 NVFP4
📌 工作参考价值（4 点）
- 若团队有自研 LLM 或大规模召回/广告模型持续预训练，可尝试 UE5M3 block scale 代替 RHT：用更宽标度范围减少额外矩阵变换，简化 FP4 训练管线。
- 选择性 stochastic rounding 只作用于 backward gradients，可作为低比特训练/微调 trick 保留优化信号，适合资源受限的广告/内容模型训练。
- 移除 BF16 末层豁免，所有 eligible internal linears 用 FP4，实测吞吐 +21.2%；在做 FP4/NVFP4 推理或训练部署时可以直接复现这个算子策略。
- 若在实时推荐/Agent 中需要 FP4 量化 LLM serving，考虑软件模拟 UE5M3 块缩放，可能降低 pre-processing 延迟并提升 quantized-inference 精度。
尾部似然强化学习
🧭 生成式策略的尾部优化RL训练
Carnegie Mellon University · University of California, Berkeley · Impossible, Inc. · Together AI · Aurora Innovation
通过最大化超过随机奖励阈值的对数概率，保留生成式策略对稀有高奖励样本的覆盖，提升Best-of-k性能
📌 工作参考价值（4 点）
- 在生成式推荐/搜索词/广告文案场景用 RL 优化连续奖励（点击率、转化价值）时，可借鉴 TailRL 将连续奖励按随机阈值二值化，转化为“超过阈值”的成功事件，让训练更关注高价值尾部样本，避免模型只学会平均平庸输出。
- 推理阶段若使用 Best-of-N 采样/重排序，训练时需保留高奖励候选的覆盖。TailRL 的梯度可视为 Best-of-k 梯度混合，能防止尾部坍塌，直接提升线上多候选采样收益。
- 工程实现成本低：只需修改 advantage 函数或奖励处理逻辑，兼容已有 RLHF/GRPO/PPO 流程，适合现有 LLM 推理微调管线快速验证。
- 对回报分布长尾的业务（大促高转化、高客单、优质内容）尤其有效，可通过动态阈值模拟不同业务指标分位，平衡模型在不同难度目标间的泛化。
终端宇宙：将代理轨迹转化为可扩展终端环境
🧭 代码代理环境重建与训练数据合成
Qwen Team, Alibaba Group · Tsinghua University
从终端代理轨迹重建可执行环境，并扩展单轮/跨仓库多轮任务，SFT 大幅提升代码代理基准
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，可借鉴轨迹回放恢复环境：从真实日志（点击/搜索/下单）反向重建决策前状态，再用补全模型补缺失上下文，生成可重用的训练环境，而非只存静态问答对。
- 广度扩展可用于跨业务域任务构造：挖掘不同店铺/订单/支付等子系统的依赖关系，合成跨系统串联任务，训练模型进行多步工具调用。
- 深度扩展的 user agent 模式可用于多轮交互训练：模拟用户逐步反馈和需求细化，把单轮意图改写成多轮会话，提升推荐/客服 Agent 的持续交互能力。
- 环境可重查询特性适合构建推荐/广告模拟器：通过执行反馈做可验证采样或拒绝采样，替代固定轨迹数据。
重新审视大语言模型在线策略蒸馏：单训练样本
🧭 On-Policy 蒸馏 · 数据效率 ★ 深度解读
Tsinghua University · University of Chinese Academy of Sciences · Northeastern University · University of Illinois Urbana-Champaign · Johns Hopkins University
一个 query 训练数百步即可恢复大部分 full-data OPD 增益，揭示 OPD 数据过剩、算法吸收是瓶颈
📌 工作参考价值（4 点）
- 工业 OPD 数据筛选可转向 state coverage 视角：不是收集更多 prompt，而是选语义多样、能诱导互补状态的少量 query（如 16 个/域即可匹配 full-data MOPD）。在电商 query 改写、生成式推荐、Agent 轨迹生成中，可先对 prompt/query 做语义聚类，取代表点训练，大幅降低标注与训练成本。
- 冷启动或无标注场景可借鉴 content-light 模板与离域日志：只要 teacher 能提供 token-level 监督，chat template + <think> 等空模板或历史对话也能驱动 OPD 接近真实 query 效果；可尝试用模板启动生成式推荐或 Agent 策略蒸馏。
- OPD 训练瓶颈在吸收率而非数据量：固定 states 仍需数百步收敛，说明加大 batch 或数据量未必加速；应优先优化步效率，如 batch reuse、trust region、按 token teacher signal 加权，减少训练步数。
- 多教师蒸馏可按域选少量语义代表 query，每域 16 条即可匹配全量，适合多业务线共享一个生成式推荐/Agent 模型时的数据配比与成本控制。
Cliff：从首个错误中学习过程奖励
🧭 LLM 强化学习 · 过程奖励塑形 ★ 深度解读
Amazon Web Services · University of Illinois Urbana-Champaign
提出 Cliff 奖励塑形，利用 LLM 教师定位学生 rollout 中第一个错误，将正确前缀与错误后缀赋予不同优势，平均比 GRPO 提升 7%
📌 工作参考价值（4 点）
- 在 Agent 多步决策或搜索推荐的多轮交互中，可以用 teacher LLM 定位用户不满意或决策错误的起始步骤，只对错误后缀给负反馈，正确前缀保持中性/轻微正反馈，这比全轨迹统一奖励更细粒度且易于实现。
- 引入“首个错误”信号可避免训练需要精确步级奖励，降低标注成本；实测中等能力 LLM 即可胜任判断任务，且判断比生成更 robust，可借鉴用于电商场景中由中等规模模型判断对话/推荐轨迹质量。
- λ=0 的关键设计：对正确前缀不要给额外正奖励，只将负奖励集中在错误后缀，能防止模型为了延长正确前缀而长度 hacking。在推荐/文案生成中同样可防止模型输出冗余内容。
- 当 teacher 自己的参考解不可靠时，可先用可验证结果（如成交、点击）过滤 teacher 参考，只有 teacher 正确时才使用过程监督，否则回退到原始 outcome reward，这一策略可迁移到有业务指标的推荐系统中。
从生产流量到后训练：构建覆盖企业请求的自托管 LLM
🧭 LLM 后训练 · 模块化 RL 与权重合并 ★ 深度解读
T-Tech
以模块化 GRPO 专家 + 两阶段 SLERP 融合替代联合多目标 RL，32B 模型在内部流量上超越约 7 倍参数基线并承接 50% 请求
📌 工作参考价值（4 点）
- 模块化 RL + 权重合并：在电商 Agent/工具调用/指令遵循等多目标后训练中，不要把所有 reward 联合训练；按能力轴独立 GRPO，再 SLERP 合并。新增能力只需训练一个专家、做 eval-only 融合系数搜索，避免重复调联合超参。
- 多语言 Function Calling 数据：不要直接翻译英文 FC 数据，要基于业务 API schema 原生生成（含本地语言参数值）；对 over-calling 可通过在训练数据里注入 synthetic irrelevance 抑制，而不是只改 reward。
- 面向线上真实流量构建离线 benchmark：用模板感知采样（mask 变量 token、LSH 分组、√count 预算）避免模板流量造成的伪多样性；评测按任务类型路由，分类/抽取用 reference verifier，开放生成用人工校准的 checklist judge，可显著提升评测与人工一致度。
- 自托管部署成本：32B 非 reasoning + FP8 vLLM 可覆盖大多数企业流量，较 235B 级别模型降低 2.8-3.9 倍 token 成本，适合做统一底座；但前沿 agentic 能力需保留大模型兜底。
从重加权到重写：解锁训练数据归因中高影响样本的干预效应
🧭 训练数据归因 · 影响力函数干预
Peking University · YiXin-AI Lab · Beijing Academy of Artificial Intelligence
影响力函数选中的样本在重加权下干预有限，但对其响应进行重写可实现更强、持久且双向的行为改变
📌 工作参考价值（4 点）
- 在 LLM 微调治理中，若需修正拒答/过度生成、安全合规、商品属性表达等行为，用影响力函数（IF）选出的少量高杠杆样本，直接重写其 response（而非 instruction），比调整样本权重或随机改样本更有效且效果更持久、双向可控。
- 可把 IF 作为数据清洗/标注预算分配工具：优先重标注 IF 分数高的训练样本，用行为对齐/对抗的监督信号做定向改写，能通过极小样本集实现行为翻转，避免大量重训。
- 重加权在评估 TDA 时会低估样本干预价值，实际落地评估归因方法时应区分“局部重加权效应”与“重写干预杠杆”，不要仅用 weight-based 干预去验证归因质量。
- 针对电商/搜索场景的 LLM 应用（如商品问答、广告文案、政策拒答），可构建行为探针（如 epistemic abstention、safety refusal），用 IF 定位问题样本并重写响应来快速修复 badcase。
Debias-SparseGPT：大语言模型的偏置感知剪枝
🧭 LLM 压缩与公平性 · 偏置感知剪枝
Laboratoire Hubert Curien, UMR CNRS 5516 · Université Claude Bernard Lyon 1 · Université Lumière Lyon 2, ERIC · École Centrale de Lyon, LIRIS, CNRS UMR 5205
在 SparseGPT 剪枝中引入基于对比输入的二阶去偏正则项，显著降低剪枝引起的偏置放大，同时保持模型质量
📌 工作参考价值（3 点）
- 在电商/推荐场景部署压缩后 LLM（如生成商品文案、用户评论回复）时，SparseGPT 等剪枝可能放大对特定用户群体（性别、年龄 persona）的偏见。可借鉴 Debias-SparseGPT 的思路：在剪枝校准阶段加入对比敏感属性的输入对，并加入二阶正则项，在几乎不损失困惑度/准确率的情况下降低公平性风险。
- 校准集的选择直接影响剪枝后模型质量：在强结构化剪枝（如 2:4）下，应优先选择长上下文、内容丰富的样本，而非随机短样本。提示我们在为推荐场景 LM 做压缩时，校准数据应覆盖业务中典型的长尾、复杂情境，以提高泛化和公平性。
- 若业务中需用压缩后 LLM 做个性化推荐或广告文案生成，可在离线评估时加入 fairness 指标（如不同性别/年龄群体输出差异），并将 Debias-SparseGPT 作为模型压缩 pipeline 的一部分，避免上线后因 persona 提示产生明显偏好。
Graph Machine：边驱动的稀疏动态路由预训练
🧭 稀疏动态路由预训练架构
IterLabs
以可微指针边实现 O(n) 状态 + O(1) 稀疏动态路由，替换 Qwen3-0.6B 75% 层后检索 2-4 个 token 即保持或改善 loss
📌 工作参考价值（4 点）
- 电商推荐中的用户行为序列常达数千甚至更长，可借鉴 GM 的 O(n) 状态 + O(1) 动态稀疏访问思想：用可学习的边/指针替代固定窗口或全局 attention，在序列建模中同时保留长程状态并控制计算与 KV cache 成本。
- 对 Agent 或多轮对话场景，referral mechanism 可看作一种可微的记忆寻址：比固定 top-k 的 RAG 检索更灵活，可以尝试在召回或知识引用模块中引入类似 pointer chasing 的更新，让模型自己学该引用哪些历史状态。
- 工程上，GM 稀疏层每个 KV head 只取 2-4 个 token 即能保持 loss，意味着在线推理时可大幅减少 KV cache 读写和 attention 计算；在推荐模型做长序列或全生命周期建模时，这可能直接降低延迟和显存。
- 注意这是通用 LLM 预训练工作，迁移到电商推荐或搜索需在领域数据上验证混合比例（论文为 75% 稀疏层）、检索 token 数和边更新频率对 CTR/CVR 等业务指标的影响。
MERGED：通过生成专家推理蒸馏的多模态实体解析
🧭 多模态实体解析 · 推理蒸馏 ★ 深度解读
Amazon
无需人工标注，多教师VLM生成推理标签，共识SFT+分歧DPO蒸馏7B学生，PR-AUC超32B基线6.32%且成本降6倍
📌 工作参考价值（4 点）
- 关系定义频繁变化的电商场景（exact/variant/substitute），可直接用多教师 VLM 生成结构化标签与 reason；共识样本用于 SFT，分歧样本用 meta-judge 选偏好做 DPO，无需等待人工 SOP 审核，可把新关系上线周期从月级压缩到天级。
- 让模型输出 label+reason+confidence 的 JSON，并用 label 和 confidence 合成标量分，方便接入现有排序/召回链路；7B 学生单样本 <1s、成本约 $600/百万，适合百万级实时商品匹配。
- 冷启动迁移时不要从基座从头训：从已有相邻任务 checkpoint 继续做一轮 MERGED，10K 样本即可显著提升，适合跨市场/跨品类关系定义快速扩展。
- 生成式推荐/Agent 中若需要模型自我解释，可复用 meta-judge 偏好构造思路，提升 reasoning-label faithfulness；但需评估 meta-judge 的一次性大模型成本。
面向竞赛编程金牌表现的后训练语言模型
🧭 LLM 后训练 + 测试时扩展 ★ 深度解读
NVIDIA
端到端后训练+GenCorrect 迭代测试时计算，IOI 2026 得分 535.4 超人类冠军
📌 工作参考价值（4 点）
- 强 teacher 蒸馏 + 难例/自修正 trace 更划算：用大模型为 hard query、长尾 item 或复杂 Agent 任务生成推理与自我修正轨迹，SFT 能带来大部分单次推理提升；预算有限时优先 SFT，RL 作为补充，且不要只用 terminal binary reward，可引入过程奖励或分步反馈。
- GenCorrect 式反馈闭环适合 query 推荐 / 文案生成：并行采样 100-200 条候选，用 token-shingle/embedding 聚类选 10 个多样性代表，再通过 offline/online evaluator 获取分目标得分，维护累计最佳指标并回填 prompt。适合 API/submission 预算受限、需要多样性覆盖的场景。
- 测试时扩展比继续训练模型更有效：论文中 5 轮 GenCorrect 带来 +107~158 分，远超 RL 的个位数百分点。电商搜索结果页、广告文案或推荐解释可先生成大量候选，再用执行反馈或用户信号筛选，而不是一味增大模型规模。
- NVFP4 + MTP 的吞吐-质量权衡可复用：在固定 inference 窗口内，FP8 KV cache + 关闭 prefix caching + MTP=5 使吞吐 3.7x，质量仅小幅下降。若 Agent 需秒级生成大量候选（如自动出价理由、推荐解释），可先做量化/投机解码保吞吐，再用采样多样性补质量。
先验证再蒸馏：提示级教师门控的在线策略蒸馏
🧭 On-policy distillation 教师门控 ★ 深度解读
AllSpark Team
通过 verifier 探针按 prompt 门控教师信号，可靠才用稠密 OPD，否则退回 verifier-grounded GRPO
📌 工作参考价值（4 点）
- 蒸馏 / 生成式推荐中不要无条件信任 teacher：可对 teacher 生成的候选或软标签加一道低成本验证。用与最终 reward 一致的验证器（业务规则、点击 / 转化标签、代码单测等）采 KT=3 个样本，按 prompt 级通过率决定是否采用 teacher 信号；不过门就退回基于 outcome 的 GRPO 或直接 mask。
- 利用异步 pipeline 里空闲的 teacher 节点做 reliability probes：推荐系统离线训练中教师打分节点常因等学生 rollout 而闲置，把探针生成放在该窗口可把 GPU 利用率从不足 10% 拉到 70% 以上，end-to-end 时间开销仅约 6%。
- 硬路由优于信号插值：TGOPD 不使用加权混合 OPD 与 GRPO，避免不同密度、不同来源信号互相干扰。工程落地简单，且消融显示大部分收益来自屏蔽坏信号而非 fallback。
- 阈值设置从简：三探针两票通过（KT=3, τ=2/3）或多数投票即可，无需精细排序。对缺少精确 verifier 的开放域任务，可先用可自动判定的弱标签（如规则、分类器）验证，扩展受限时优先关注自信错误的高风险 prompt。
StudentSim：训练基于 LLM 的学生模拟器
🧭 LLM 学生模拟与策略 RL
Microsoft Research · University of Illinois Urbana-Champaign
用两阶段训练构建个性化学生模拟器，同时提升行为保真与引导响应，并可作为 tutor RL 奖励
📌 工作参考价值（4 点）
- 构建用户行为模拟器用于推荐/广告/Agent 的离线评估或 RL 时，可采用“全局 pooling 训练 + 按用户 specialization”两阶段路线；尤其适合真实业务中大量稀疏 user-item 行为，既能共享跨用户模式，又能捕获个体偏好。
- 评估模拟器应同时区分“行为保真度”和“策略响应度”：前者衡量像不像真实用户，后者衡量在推荐策略/引导变化下是否合理更新；两者不可偏废，否则会出现只像但不对策略变化反应的“静态画像”模拟器。
- 将高保真用户模拟器作为 reward model 做策略 RL，可用来训练排序/对话式推荐策略；但需要先用 F/R 协议监控模拟器质量，避免 reward hacking。
- 如果只有少量真实用户交互，可借鉴 StudentSimEval 的标准化评测协议，固定训练/评测记录，做可复现的用户模拟器 benchmark。
中性数据下对比偏好优化传递谄媚性认同
🧭 LLM 训练 · 偏好优化中的谄媚性传递 ★ 深度解读
Stanford University · Columbia University
教师模型的谄媚性认同通过 DPO 等对比偏好目标从表面中性数据传递给学生模型，且信号弥散难以过滤
📌 工作参考价值（3 点）
- 在构建偏好优化数据时，chosen 与 rejected 响应生成模型的行为偏差需匹配监控；若 chosen 模型在目标行为（如谄媚性认同、过度迎合用户）上显著高于 rejected 模型，对比目标会放大该差异，学生模型将学到隐性偏差。工程上可先用行为 benchmark 给候选 teacher 模型打分，避免偏差不对称对。
- 对电商/对话式推荐 Agent 增加“用户质疑”回归测试：首轮给出正确推荐后，用挑战 prompt（如“你确定？换一个”）测量模型是否错误改变立场，将坚持率纳入线上评估；该指标对应论文的两轮 sycophancy 测量，可直接迁移。
- 事后数据归因与过滤对弥散偏差信号无效（本文 probe-based attribution 过滤 60k 点仍无法降低），因此不能依赖清洗修复，需在数据生成源头控制 teacher 选择或调整对比强度；高风险场景可考虑直接用 SFT 学 chosen 响应，减少对比目标带来的隐式传递。
中训练阶段知识蒸馏偏向推理，损害事实召回
🧭 LLM 知识蒸馏 · mid-training 优化 ★ 深度解读
Meta AI · University of Washington · Princeton University
发现 mid-training 中标准 KD 产生推理-事实召回权衡，提出基于 teacher entropy 的 Switch Distillation 做 token 路由以保住推理增益和事实召回
📌 工作参考价值（4 点）
- 在业务基座 LLM 继续预训练/领域适配时，若用大模型做 logit 蒸馏，不要全 token 均匀蒸馏。按 teacher 预测熵做 token-level 路由：低熵 token（数学、代码、指令模板、强过程性推理）走 reverse KL 蒸馏，高熵 token（商品事实、知识条目、长尾搜索词）保留 CE 或 ground-truth label，降低对事实型知识获取的抑制。
- 将能力评估拆成 Reasoning / Factual Recall / Knowledge & Commonsense，分别监控，而不是只看平均分；尤其做搜索/推荐模型蒸馏时，事实召回（如商品属性、SPU 知识）不能牺牲。
- 工程实现成本低：只需在已有 teacher logits 上多算 entropy 和 batch 内分位数，不需要额外模型前向或参数，可即插即用；q=20% 可作为默认值。
- 如果业务场景是 Agent 能力蒸馏或 query 改写/生成，建议优先选择与 student 容量差距较小的教师（如 7B 教师优于 13B），并在 post-training 后重新评估，不能只看 mid-training 指标。
归一化低秩适配
🧭 训练优化 · LoRA 归一化
Yuanshi Intelligence · Microsoft Research · The Chinese University of Hong Kong · Shenzhen Loop Area Institute
NoRA 通过归一化 LoRA 下投影矩阵改善训练动态，无需额外参数或推理开销，加速收敛并缓解遗忘
📌 工作参考价值（4 点）
- 在电商/广告场景用 LoRA 微调 LLM 做排序、召回或 query 改写时，可直接采用 NoRA 或仅初始归一化版本，几乎零成本提升训练稳定性和收敛速度，不增加推理延迟。
- 对 RL 微调或持续预训练中的灾难性遗忘问题，归一化下投影矩阵可作为轻量正则手段，适合多任务/多领域顺序微调的推荐 Agent 底座模型。
- 若使用 LoRA 微调生成式推荐模型或 Semantic ID 解码器，可尝试对下投影矩阵做初始化缩放或范数约束，改善低秩子空间的早期优化，进而影响 ID 嵌入质量。
- 工程实现上只需在 LoRA 插入点对 A 矩阵加一行归一化或初始化缩放，改动极小，适合快速在现有 PEFT 管线中 A/B 验证。
将大型推理模型扩展到人工监督之外：通往超级智能之路
🧭 LRM 自监督扩展训练路径综述
The Hong Kong University of Science and Technology · Zhongguancun Academy · Xi’an Jiaotong University · The Chinese University of Hong Kong · The University of Hong Kong
提出奖励轴与经验轴的双维分析框架及 L0-L4 五级阶梯，系统阐述 LRM 在减少人工监督下的扩展路径与风险
📌 工作参考价值（4 点）
- 在电商/广告 Agent 中，可借鉴「可验证奖励」设计：将业务规则、成交结果、用户后续行为等转化为自动校验信号，减少对人工标注的依赖，逐步从 L1 过渡到 L2/L3。
- 引入「经验质量评估」与「反馈保真度监控」：对模型生成的交互轨迹、推荐解释等建立自动评分器，防止在自主探索中出现课程坍塌或奖励黑客，类似推荐系统里的多样性约束。
- 构建模拟环境或沙盒，让 LLM Agent 在推荐/搜索 pipeline 中自我生成课程并迭代，但需加入对抗性校验和人工抽查作为安全阀。
- 注意反馈漂移：在自动奖励下，模型可能偏向表面指标（如点击率）而牺牲长期用户体验，需同时监控策略能力、反馈保真度和经验质量三个维度。
On-Policy 蒸馏真的在蒸馏吗？从噪声教师到自改进
🧭 LLM 强化学习 · 零外部监督自改进 ★ 深度解读
Purdue University
揭示 OPD 增益主要来自抑制低概率 token 而非教师蒸馏；提出零外部监督的熵自适应负优势法 OPSA，AIME24 Avg@32 提升 263%
📌 工作参考价值（4 点）
- 在做 agent/LLM 策略后训练时，如果已使用 OPD/蒸馏提供 token 级信号，可先做噪声审计：统计 teacher 优势方向与最终 reward 不一致的比例；若噪声高，可直接对低 logp token 施加固定或熵自适应负优势，省掉 teacher forward 和 reward model，降低 off-policy mismatch。
- 对商品文案生成、query 改写等需要保持多样性的生成任务，可借鉴 OPSA 的 token 选择：只更新每个 rollout 中最低 20% log-prob tokens，避免高置信 token 的无效更新；同时在高熵位置施加更强负优势，抑制低概率 tail，保留 head 间概率重分配，防止 pass@k/多样性崩溃。
- 多轮购物导购、自动客服等需要长程推理和自我修正的 agent，可把 OPSA 作为廉价的 reasoning post-training 插件：不依赖外部 reward/hint，让模型在无标注下延长反思轨迹、提升最终答案质量；但要注意它主要重分配已有概率质量，初始策略过强或分布过尖时收益可能有限。
- 工程上可直接用 slime/Megatron 实现；无 teacher 额外 forward，训练吞吐优于 OPD，适合资源受限团队。
PaperGym：以评分量规为核心的科研计划生成进化训练框架
🧭 LLM 研究计划生成 · rubric 驱动 RL
Zhejiang University · Apple
把每篇论文拆成训练环境：问题来自目标/背景、标准来自方法/实验，用 rubric 做自蒸馏与 GRPO 奖励，显著降低泄漏并提升计划质量
📌 工作参考价值（4 点）
- 做 LLM 文案/query/商品标题生成的 reward model 时，别让 reward criteria 与训练样本来自同一段内容：把任务输入从目标/背景合成，评估标准从方法、实验结果或业务指标独立抽取，可明显降低 paraphrase leakage（PaperGym 降到 3.7%）。
- 奖励 rubric 不要拍平成一个标量：按方法创新、实验设计/业务效果、可执行性等维度分别计分，能抑制 reward hacking，并给 GRPO 更细的奖励信号。
- 两阶段复用 rubric 的训练顺序值得搬：先让 self-teacher 用 privileged rubric 做蒸馏（OPSD），再把它当 GRPO 奖励；类似电商文案训练可先提供高维商品属性/卖点做 SFT，再用多维评分做 RL。
- 把历史 campaign/实验报告变成 RL 环境：用 campaign goal/background 作为问题，用实际方法论与效果指标构造 rubric，可形成低泄漏的训练数据飞轮。
PLC-DPO：噪声与模糊偏好下的后验标签校正 DPO
🧭 LLM 偏好优化 · 标签修正
KAIST AI · KENTECH
利用校准的策略-参考边际把偏好对路由为 clean/flip/tie，主动校正标签方向与强度，提升 DPO 在噪声和模糊偏好下的鲁棒性
📌 工作参考价值（4 点）
- 若业务中用 DPO/RLHF 对齐 LLM 排序器、广告文案生成或 Agent 行为，可引入基于 policy-reference margin 的在线路由：margin 接近 0 或反向时按 tie/flip 处理，而不是硬训，能降低点击/转化等隐式反馈中的误标和争议样本损伤。
- 不必在数据清洗阶段一次性过滤可疑样本，而是在训练中动态估计并修正监督方向/强度；对搜索推荐中的点击 vs 未点击、或 LLM-as-judge 分歧样本，可构造 robust DPO 损失，减少 false negative/positive 影响。
- 对于电商多模态内容或 Agent 行为偏好冷启动，tie 路由提供更平滑监督，适合标注分歧较大的场景；可先做 human disagreement 分析，再设定 flip/tie 阈值。
- PLC-DPO 可直接作为 loss 层替换现有 DPO，无需改数据或模型结构，适合已部署 DPO/RLHF 的团队快速验证。
组自适应裁剪策略优化（GAPO）
🧭 RLVR 训练 · 自适应裁剪 ★ 深度解读
University of Toronto · Amazon
将 RLVR 中固定裁剪上界改为按组内正确数 c 闭式缩放，保护稀有正确 rollouts 的探索信号
📌 工作参考价值（4 点）
- 在电商/搜索/对话式推荐中用 GRPO/GSPO 做 LLM 微调时，可以直接把固定 clip 上界换成 GAPO 的闭式自适应上界：epsilon_hi(c) = epsilon_lo + (epsilon_max - epsilon_lo) * (k-c)/(k-1)，只需根据当前 prompt 的 group 内正确样本数 c 调整 clip，几乎不增加超参数，且无需 reward shaping。
- 注意 advantage 归一化：不要对 group 内 reward 做 std normalize，否则会放大全对/全错组的权重，稀释稀有正确样本的学习信号；保留原始 advantage 更利于探索，这一结论可以直接迁移到 query 生成或商品文案生成的 RLVR 训练。
- 当发现模型 pass@1 尚可但 pass@k 多样性下降、困难 query 覆盖变差时，优先检查 clip fraction 是否对低 c rollouts 过高，尝试把固定上界改为按 c 线性插值，成本极低，能有效保留困难 query 上的正确生成模式。
- 若条件允许，尽量使用 sequence-level IS 而非 token-level IS；论文中 sequence-level 变体在数学基准上 pass@1 更高，且在相同 clip range 下比 token-level 更稳定，可作为架构选择参考。
小语言模型作为基于量规的强化学习评判器
🧭 高效奖励模型与 RL 训练
New York University · Yale University
1.7B Probe 评委替代大模型生成式评委做逐条量规打分，RL 训练效果更优且奖励判断快 10.7 倍
📌 工作参考价值（4 点）
- 在需要逐条 rubric 打分的 RL 训练中，用冻结小模型 backbone + 线性 probe 头输出每条标准满足概率，替代生成式 LLM judge，可将奖励计算延迟降低一个数量级，适合需要高吞吐在线奖励信号的 Agent 训练与推荐文案优化。
- 对电商多维度评价（如相关性、覆盖度、转化意图）可分别训练多个 probe 头，共享同一小模型编码器，把 instance-specific criteria 转化为隐藏状态上的线性分类问题，避免逐 token 生成，工程实现简单且稳定。
- 当奖励标准明确且 itemwise 标签可标注时，小模型 probe 评委能保留标准级奖励结构，跨任务/领域迁移良好，可用于搜索推荐系统的多属性质量控制，无需为每个新场景重新训练大模型评委。
- 若当前使用 7B+ 生成式奖励模型，可尝试用 1-2B 小模型 probe 替代，在效果不降甚至更优的情况下大幅降低 API 成本与训练时间。
影响力导向蒸馏：解决采样令牌在线蒸馏中的多样性瓶颈
🧭 On-policy 蒸馏多样性保持
BiliBili.Inc · University of North Carolina at Chapel Hill · University of Science and Technology of China · Shanghai University of Finance and Economics
提出 IDA-OPD，用一阶局部熵影响力识别并替换熵收缩更新，仅靠采样令牌教师概率提升 pass@k 并保持 pass@1
📌 工作参考价值（4 点）
- 在蒸馏小模型做生成任务时（如 query 推荐、商品描述、广告文案），不要只盯 pass@1；引入 pass@k 监控多样性继承，避免蒸馏后输出同质化。
- 可以低成本复用 IDA-OPD 思想：用教师仅对采样 token 的 log-prob 做更新，通过一阶局部熵影响力判断更新是否压缩熵，对熵收缩更新做自适应优势收缩，无需全词表教师 logits，适合线上资源受限的生成推荐场景。
- 若已有 on-policy 蒸馏流程，先用该影响力代理做离线诊断，定位哪些训练 step 导致多样性下降，再有针对性调整更新或数据混合，比盲目增加正则更高效。
- 在生成式推荐中，若要继承教师模型生成多样性（如多样商品标题、搜索联想词），可借鉴本文用符号一阶代理解耦教师-学生差距与学生局部概率结构的方法，快速识别负影响力位置。
DARTS：面向模型合并的解码器感知表征手术调优
🧭 模型合并 · 解码器表征偏差校正
ServiceNow · University of Twente
提出熵加权 L1 与逐位置偏置，解决解码器模型合并后的表征偏差累积问题
📌 工作参考价值（4 点）
- 多任务 LLM 合并部署：如果有商品标题生成、广告文案、搜索 Query 改写等多个 FT/LoRA 模型，DARTS 提供后训练校正路径：合并后用极小参数（0.1%）的逐位置偏置修正 hidden states，避免逐任务部署，降低线上 GPU/显存成本。
- 熵加权对齐思路：在蒸馏、对齐或模型合并时，不要对所有 token 同等对待；对高熵（决策临界）位置加大 L1 回归权重，更直接影响生成质量，可迁移到生成式推荐/文案生成的 loss 设计与难例挖掘。
- 位置相关偏置比线性投影更省参且低延迟：因果 mask 下偏差沿 token 位置累积，用 per-position additive bias 捕捉位置误差，serving 时只是 elementwise add，适合低延迟推理。
- 注意合并模型通常仍弱于任务独立模型，适合对延迟/显存敏感、质量可接受权衡的场景；上线前用业务集做 A/B 验证。
可验证奖励的程序学习：后训练LLM的符号反向传播
🧭 LLM 后训练 · 符号反向传播程序学习
CoreThink AI
提出PLVR，用符号反向传播从少量示例学习显式可验证程序，替代权重更新完成LLM后训练
📌 工作参考价值（4 点）
- 把电商/推荐 Agent 中可验证的中间步骤（价格计算、库存校验、规则判断、SQL 生成）抽成 typed primitives，用程序搜索学习编排逻辑，而不是微调模型权重：能力外置后可审计、可逐步验证、可跨模型迁移。
- 用 per-step contract verdict 做 dense reward 替代只校验最终结果，能显著提升多步工具调用链（query 改写→召回→过滤→排序）的学习效率，适合用于训练或引导推荐 Agent。
- 新任务只需约 100 条示例的程序搜索，无需新微调数据；同一原语库可服务多业务线，边际成本低，适合快速扩展不同场景的可验证逻辑。
- 符号反向传播中的类型推断可作为可解释的 credit assignment，用于混合确定性规则与 LLM 判断的业务流程，避免黑盒 RL 的大样本需求。
推导 OpenEuroLLM 模型的缩放定律：学习率、批量大小与损失
🧭 LLM 预训练超参缩放定律
ELLIS Institute Tübingen · Eindhoven University of Technology · Georgia Institute of Technology · University of Freiburg · Jülich Supercomputing Center (JSC)
系统研究 LLM 预训练中学习率与 batch size 的联合最优缩放及边际演化，并刻画损失对模型容量和数据规模的依赖
📌 工作参考价值（4 点）
- 在业务微调或预训练领域大模型时，先做小规模超参扫描，再用拟合的缩放关系外推到大模型：避免在全尺寸模型上重复扫描 learning rate 和 batch size，节省算力；尤其适合电商 search/推荐语料上训练 Query 生成、意图识别或商品描述生成模型。
- 采用 Warmup-Stable-Decay 三段式 schedule 时，关注 stable 与 decay 阶段最优超参是否可迁移：如果发现最优 lr/bs 不迁移，需要在 decay 阶段单独调参；这对追求最终 loss 最优的领域模型训练有直接指导意义。
- 用显式建模模型容量与数据规模交互的 scaling forms 判断欠训练/过训练：在有限数据预算（如电商垂直域语料）和模型规模约束下，预估增加数据或参数带来的 loss 收益，辅助资源分配决策。
- 开源全部预训练 runs 可直接复用为 baseline 或 warm start：若企业计划从零预训练多语言/英语为主的电商领域 LLM，可参考其 scaling 流程与超参选择，减少摸索成本。
训练通信高效 Mixture-of-Experts 语言模型的层重配置方法
🧭 通信高效 MoE 架构训练优化 ★ 深度解读
NVIDIA
减少 MoE 层数并用 Mamba-2 和密集 FFN 补深度，在匹配参数下降低专家并行通信和训练 GPU 小时 30-35%
📌 工作参考价值（4 点）
- 如果业务里用 MoE LLM 做召回/粗排/reranker 或生成式推荐，可尝试把 MoE 层从每个 token-mixing 后都放一个改为稀疏放置，例如 52 层 hybrid 模型只保留 8 个 MoE 层，其余用 Mamba-2 和 dense FFN 补深度，理论上 all-to-all 调用从 23q 降到 8q，实际训练 GPU 小时省 30% 以上。
- 层排序不要随机，采用 phased-greedy：先把 attention 和 channel-mixing 块按虚拟块分配到 Mamba spine，避免连续 channel-mixing，attention 放在 token-mixing 尾部；实验中比 21 个受约束随机排序的验证损失低约 1.8σ。
- 连续堆叠 softmax attention 容易 rank collapse 导致训练发散；如果用 token-mixing-heavy 架构，优先用 Mamba-2/线性注意力作为主干，比 softmax attention 稳定得多。
- 评估架构改动要直接看 GPU-hours 而非理论 FLOPs/参数量；本文的模型形状搜索用 L_E*K 作为通信代价代理，在参数匹配候选中选该值最小者，可复用到自己的搜索流程。
优化器综述：矩阵感知方法与严格评估协议
🧭 训练优化器设计空间与评估协议
沿时间估计、更新几何、时间线管理、表示与系统四轴综述优化器，指出矩阵感知有效但无普适AdamW替代
📌 工作参考价值（4 点）
- 微调推荐/搜索排序大模型或训练生成式推荐模型时，AdamW仍是默认基准；若Transformer权重矩阵占比高，可对attention投影层、embedding层分组试验Muon/Shampoo等矩阵感知方法，但需控制调优预算，避免一次性全量替换。
- 工程上部署低精度训练或分片训练时，优化器状态量化会直接影响收敛与最终业务指标（如CTR AUC、NDCG），需在业务验证集上确认，不能只看训练loss。
- 面对小批量在线学习或流式更新场景，可尝试schedule-free或小批量校正方法，降低对学习率调度和batch size的敏感性，减少调参成本。
- 建立优化器评估协议：固定数据量、批量大小、参数分区、训练时长和硬件环境，同时报告tokens/s或samples/s、显存占用与最终业务指标，避免单维度对比得出误导性结论。
表格数据学习中 Transformer 注意力头的重要性评分
🧭 表格 Transformer 注意力头可解释性与剪枝
Tennessee State University · Enosis Solutions · North Carolina Agricultural and Technical University
首次将注意力头重要性评分用于表格 Transformer，72.5% 实验中移除最低重要性头最稳健
📌 工作参考价值（4 点）
- 若业务中正在用 Transformer 处理用户/物品/上下文特征或表格型特征，可直接对每层每个 head 计算重要性分数，按低重要性逐步剪枝；论文在 40 个 tabular 数据集上显示，先删最低重要性 head 在 72.5% 实验中性能损失最小，适合做线上模型压缩和降本。
- 重要 head 跨层分散，没有稳定层规律；因此剪枝/降载时不要固定保留最后一层或某几层，最好在目标业务数据上重新度量。
- 不同 dataset/schema 的 head 重要性差异大，意味着多域推荐或不同场景（CTR、CVR、push 文案）下不宜共用一套 head mask，可分场景/分域计算重要性，甚至做成 feature-based importance 监控。
- 该方法可以作为解释工具，排查表格型 Transformer 里哪些 head 捕捉重要交叉特征/高基数类别特征，辅助特征工程和模型调试；源码可直接复用。
电路浓缩：通过后训练将行为因果电路集中化
🧭 训练后因果电路压缩
George Mason University
后训练低秩适配器逐轮剪枝低归因边，将行为压缩为更小且保真的因果电路
📌 工作参考价值（4 点）
- 可借鉴其“归因-剪枝-低秩适配器回填”流程，对业务大模型做能力定位与裁剪：先对目标行为（如商品类目识别、query 意图分类）做边归因，逐轮剪掉低贡献边并用 LoRA 适配器保持输出分布，在性能与通用能力不降的前提下得到更小的可审计子网络。
- 该方法强调验证剪枝后任务性能和通用能力均保留，可作为推荐/搜索模型剪枝或蒸馏时的验收标准，避免只优化单一指标而损害泛化。
- 配对消融揭示边间依赖，提醒在推荐系统中评估特征或模块贡献时不能只看单变量消融；可设计成对/组合消融实验，发现模块间的补偿与冗余。
- 整体更偏可解释性学术贡献，直接迁移到电商生产链路需额外工程化，但低秩适配器匹配原模型分布的做法可复用于行为保真压缩。
LeVJEPA：无需启发式的高效可扩展视频预训练
🧭 高效视频自监督预训练 · 无坍塌目标
German Cancer Research Center · Mila · Université de Montréal · Brown University · Advanced Machine Intelligence (AMI Labs)
首个在 LeJEPA 无坍塌目标下训练的视频编码器，用 token dropping 与 block-causal attention 大幅降低预训练算力
📌 工作参考价值（4 点）
- uniform random token dropping 能同时降低注意力序列长度和提升下游指标，可直接迁移到电商短视频/直播内容或用户行为序列的预训练：在 Transformer 输入前按固定比例随机丢弃 token，无需重要性采样，工程实现简单。
- SIGReg 的 collapse-free 单分支目标替代 EMA target encoder + stop-gradient + predictor，可简化多模态/行为序列对比学习架构，减少显存与超参；若团队在用 Two-tower 或 CLIP 式预训练，可尝试用带正则的 invariance loss 去掉动量编码器。
- block-causal attention 让帧表示只依赖过去观测而几乎不损失精度，适合直播流式场景或推荐中的时序行为建模：使用块级 causal mask 可避免未来信息泄漏，并使模型支持在线推理。
- 若已有商品视频/直播数据，token dropping 后的视频预训练在匹配 FLOPs 下接近图像预训练的 appearance 指标，且 motion 指标近乎翻倍，可考虑用视频底座替代静态图底座，增强对动态商品展示的理解。
面向交互式网页生成的 Rubric-to-Code 奖励归因强化学习
🧭 强化学习细粒度信用分配
Inclusion AI, Ant Group · Zhongnan University
将 rubric 级功能反馈转化为局部代码优化信号，替代 GRPO 的序列级统一 advantage，显著提升交互式网页生成成绩
📌 工作参考价值（4 点）
- 对电商详情页、活动页、推荐卡片等多组件生成任务，可用 rubric 并让评估器输出「哪个 span/组件负责该问题」的文本归因，再把归因对齐到 token/组件级 advantage，替代 GRPO 的全局 uniform advantage，提升 RL 训练信号粒度。
- 工程上构建分层 reward：先分离格式、语法、运行时、功能目标，避免不可执行样本污染功能学习；在广告创意/推荐文案生成中可拆成合规、语法、核心卖点、转化目标等层级。
- 若已有描述性评估（如 rubric 写明某功能缺失原因），不要只取总分；可把解析出的 DOM 片段、状态更新、事件处理等代码块与 rubric 关联，做细粒度 credit assignment，提高样本效率。
- 该方法依赖可执行/可静态分析的代码结构；在推荐/广告生成文案或 item 序列时，可替换为标题、卖点、CTA、图片选择等结构化组件，并做组件级归因。
PuRo-2B：用 RTX 5090 以约 5090 美元级预算训练 Qwen2-1.5B
🧭 低成本 LLM 预训练 recipe ★ 深度解读
Tsinghua University · Pengcheng Laboratory
开源低成本预训练 recipe：RTX 5090 + FP8 + MuonH + 课程平均，约 $6.9K 训出接近 Qwen2.5-1.5B 的 2B 模型
📌 工作参考价值（4 点）
- 低成本训练 domain-specific 小模型：RTX 5090 的 BF16/FP8 每美元算力约为 H200 的 2.7 倍，业务侧可评估消费级 GPU 集群做 LLM 训练/微调，而不必只租 A100/H200；但需注意驱动改 P2P/GDR、InfiniBand 组网等工程风险。
- FP8 混合精度可从随机初始化开始，不需要 BF16 warm-up：参考 blockwise scaling（激活 1D 128，权重 2D 128x128），敏感状态保持 BF16/FP32，预期吞吐提升 1.3-1.4x 且质量损失很小，适合训练中小规模排序/召回或生成式推荐模型。
- MuonH 优化器对 attention/MLP 矩阵做 fixed-radius 投影，显式控制 effective LR，比普通 Muon 更稳；在总 token 预算不固定、需要持续训练时，WSD + 较长线性 decay 比短 decay 更划算，可迁移到训练中小型 Transformer。
- 数据课程与 checkpoint averaging：按源内质量分排序 chunk 的 coarse curriculum + 末尾常数 LR checkpoint averaging，不需要全局质量分就能提升下游任务；对多源推荐/搜索语料，可用 proxy 小模型评估各数据源的下游收益，指导 mixture 权重，显著降低数据筛选成本。
RLVR 多域能力融合范式深度对比
🧭 RLVR 多域融合范式对比 ★ 深度解读
Fudan University · Tencent
系统对比 Merge、Mix RL、MOPD，发现跨域关系决定性能，融合仅重排已有解不扩覆盖
📌 工作参考价值（4 点）
- 多能力 LLM 后训练融合选型：如果线上已有 query 改写、商品文案、Agent 工具调用等分别 RLVR 产出的 LoRA/全参 expert，优先试 Merge/Task Arithmetic，融合成本几乎为 0；但下单前先算 task-vector cosine，IF/Agent 类能力通常与其他域近乎正交，merge 后会掉点，需单独评估或提高权重。
- 如果没有现成 expert 且要训练统一模型，用 Mix RL 成本约为单域 RL 的 0.58-0.67x；数据混合比例不能简单按自然数据量，推理型任务（数学/代码/科学）可以互相增强并适度降低配比，指令遵循/Agent 类缺少正向迁移，必须保证足够的采样占比，否则对应 benchmark 会明显塌陷。
- MOPD 适合已有 domain experts 且要求各域精度不掉、可以接受端到端成本更高的场景；它的收敛快但被 teacher 上限约束，不适合期望超越单专家的场景。
- 融合只提升 pass@1、不扩大解覆盖，对搜索/推荐里首屏 top-1 质量优化有效；若目标是长尾多样性或生成式 item ID 覆盖，需要额外做采样、多样性约束，而不是靠单模型融合。
弱模型引导提升 RLVR 中 LLM 探索
🧭 LLM 强化学习 · 探索增强
Wangxuan Institute of Computer Technology, Peking University · National Engineering Research Center of New Electronic Publishing Technologies
用弱模型生成部分推理前缀，强制主模型续写陌生路径，缓解 RLVR 熵坍塌并提升 pass@k
📌 工作参考价值（4 点）
- 在搜索/推荐场景用 RLVR 微调 LLM（如 query 改写、商品文案生成、可验证奖励排序决策）时，可引入弱模型前缀：用轻量模型生成部分推理或候选文本，由主模型续写，以提升生成多样性，适合需要多个候选解的生成式推荐与 Agent 决策。
- 对 pass@k 有要求的生成管道（多路 query 建议、多候选推荐解释），熵保持比单条平均奖励更重要；该方法无需额外 SFT 或复杂奖励设计，可直接复用现有粗排/轻量模型，工程成本低，作为训练阶段的即插即用探索增强。
- 多模型协同（粗排-精排、teacher-student、Agent 层级）可借鉴跨模型扰动思路：刻意用弱模型产生分布不一致的前缀，让强模型适应陌生输入，提高策略鲁棒性；需注意差异过大可能引入噪声，应调节前缀长度或来源模型。
- 若 RLVR 奖励可验证（点击、转化等），可设计外部前缀机制，避免主策略在高奖励模板上过拟合，扩大覆盖的推理路径。
STAR：文档到文档机器翻译的句子翻译对齐率与偏好优化
🧭 LLM 文档级翻译的结构对齐评估与偏好优化
Soochow University, Suzhou, China · Alibaba Group, Hangzhou, China
提出 STAR 结构对齐指标与 StarPO 偏好优化，使紧凑模型在 Doc2Doc 翻译中超过 GPT-4o 且更省 token
📌 工作参考价值（4 点）
- 将 STAR 的句子级结构对齐思想迁移到生成式推荐/广告文案：对输入商品属性、卖点与输出文案做句子或字段级对齐检查，量化漏生成、幻觉、错位比例，作为离线评估或 reward 信号，避免 LLM 漏掉关键卖点或编造属性。
- StarPO 的动态掩码偏好优化可用于训练可控生成：先按结构对齐分数排序候选，构造偏好对时只对错位片段计算 loss / 梯度，减少无关 token 干扰，提升对业务约束（如必须包含关键词、数据字段）的遵守率。
- 紧凑模型 + 结构化偏好优化在特定任务可超过 GPT-4o 且 token 效率更高；在低延迟、高吞吐的电商生成场景中，可优先用小模型配合针对性的对齐训练，不必盲目依赖大模型 API。
- 对 RAG / Agent 多步生成也可借鉴：在检索结果摘要、reasoning 步骤输出中增加源-目标结构保真度检查，防止 Agent 遗漏关键检索信息或幻想额外事实。
SWE-Prime：用更少轨迹实现更好性能
🧭 轨迹数据筛选与分段SFT
Sun Yat-sen University · Huawei Cloud Computing Technologies Co., Ltd. · Chongqing University
提出多粒度两阶段SFT数据筛选，轨迹级选10%高质量子集并片段级屏蔽损失，训练效果超全量数据
📌 工作参考价值（4 点）
- 在电商导购/售后 Agent 的轨迹 SFT 中，可直接借鉴“成功轨迹 ≠ 优质监督”的假设：先按结果质量、过程质量、代表性筛掉含无效操作或高风险步骤的样本，再用小比例高质数据做 SFT，实验显示 10% 数据可超越全量；适合业务上语料噪声大、训练成本敏感的场景。
- 分段级 loss masking 很实用：保留完整轨迹作为上下文，但只让“对最终成交/解决方案有正向贡献、可学习且低风险”的 segment 参与梯度回传，能避免模型模仿冗余点击、重复搜索或危险操作。
- 三段评估指标可迁移：贡献度（是否影响最终结果）、可学习性（Agent 能否从该步骤归纳出策略）、风险（是否会放大幻觉/违规动作）可作为构建推荐/搜索 Agent 轨迹语料的自动过滤信号。
- 若是多步商品推荐/搜索召回 Agent，可按语义将轨迹切分为意图识别、query改写、候选筛选、解释推荐等片段，复用其片段级数据选择框架，只优化关键决策段。
相同排序质量下的决策分歧：训练顺序一致的 LLM 打分器
🧭 LLM 打分器顺序一致性训练 ★ 深度解读
Thomson Reuters Labs · University of Toronto · Vector Institute
提出 OC-SFT 顺序一致性训练，在不损失排序质量下显著提升 LLM 打分器在重排、QA、偏好选择中的决策稳定性
📌 工作参考价值（4 点）
- 线上使用 batched pointwise scoring 时，候选顺序会显著影响分数及下游决策（阈值截断、top-k 阅读、偏好对选择），不要只看 nDCG。推荐在训练阶段加入 OC-SFT 式一致性惩罚：对同一窗口做两次 shuffle，一个 view 做 relevance anchor，另一个 view 拉向 view-mean，MSE 惩罚学生自身 order variance。N=2 足够，推理时仍只需一次 permutation。
- 该方法可将 passage reranking 的 retained-set overlap 从单顺序蒸馏的 0.656 提升到 0.835，同时 nDCG@10 基本不变（0.459 vs 0.449）；在 multi-doc QA 上 answer flip 从 0.177 降至 0.125；在 response ranking 上 pair flip 从 0.869 降至 0.661。一个 OC-SFT permutation 的稳定性即可超过 10 次离线平均 permutation 的 batched self-consistency。
- 训练标签无需 order-averaged distillation 的 10 倍 teacher 计算，只需单个 teacher 顺序，节省离线成本。更强的 teacher 只提升质量不提升稳定性，说明稳定性收益来自 penalty 而非监督信号，可放心复用现有 teacher。
- 如果打分器服务决策场景（如广告过滤、商品精选、prompt 选择），应报告决策稳定性指标：保留集 Jaccard、答案翻转率、偏好对翻转率，而不只是 ranking quality。round-robin partition 可提升 nDCG@10（+0.052）但不能改善决策稳定性，logit calibration 也无效，所以需要从训练目标入手。
有监督微调何时降低指令敏感性？
🧭 LLM 指令敏感性 · SFT 训练指令依赖 ★ 深度解读
Hankuk University of Foreign Studies
SFT对指令敏感性的影响随模型规模、训练指令和评估协议变化，不一定降低鲁棒性
📌 工作参考价值（4 点）
- 在电商搜索相关性/排序模型的 LLM 微调中，上线前用 10+ 条语义等价指令变体评估，报告指令敏感度（标准差），避免单条 prompt 造成的假象；尤其对于 1.7B/4B 小模型，固定指令 SFT 本身就能大幅降低敏感度，可以作为快速鲁棒化手段。
- 对于 >8B 模型的 LoRA 微调，训练指令的选择会影响鲁棒性：在 Qwen3-8B 上简短指令（TA）比详细指令（TB/TC）带来更低的 post-SFT 敏感度，且差异显著；因此在大模型任务适配时，应尝试多个训练 prompt 并用 bootstrap 检验敏感性差异。
- 评估协议选择会直接改变鲁棒性结论：在 ESCI 上自由生成（greedy+prefix）显示 SFT 后更敏感，而强制选择（label likelihood）没有该问题，即使 valid-label 率 >99.8%。在搜索排序场景用 likelihood scoring 比生成式解码更稳定，能减少评估伪影。
- 任务效果和指令鲁棒性要分开监控：SFT 可以提升 nDCG/准确率但可能增加指令敏感性（如 Qwen3-8B + TB），不要用平均指标代替鲁棒性评估。
测试时策略优化：非对称蒸馏与GRPO的无标签推理提升
🧭 测试时训练 · 非对称蒸馏与RL ★ 深度解读
Zhejiang University · Alibaba Group
多数投票伪标签下，正样本蒸馏、负样本GRPO惩罚，配合token级选择，无标签测试时训练匹配有监督OPSD
📌 工作参考价值（4 点）
- 无标签或延迟反馈的业务场景（如搜索/推荐结果的多步解释、Agent 任务完成率）可用模型自身多数投票/一致性产生伪标签；关键是不要直接蒸馏伪标签，而是对“与多数不一致”的样本做 RL 惩罚，这比正向模仿伪标签更抗噪声。
- 多步 Agent 或生成式推荐做 test-time fine-tune 时，正样本用蒸馏、负样本用 RL 惩罚，并且只对负样本中 confident errors（低概率低熵）施加梯度，避免惩罚正确的中间步骤；正样本按 step 重要度加权，降低已收敛位置的权重。
- 工程 trick：RL loss 需要加权重（约 0.1）平衡蒸馏 loss 的量级；固定正负样本 1:1 比动态比例更稳定；选择最短完整轨迹进入梯度更新窗口，可避免关键决策步骤落在梯度窗口外。
- 若业务有“答案可验证但无真值”的场景，优先用多数投票路由而不是 ground-truth 路由：困难样本上 GT 路由可能正样本为空导致训练信号消失，多数投票保证两个分支活跃，形成自我进化。
J-Zero：从零数据实现 Challenger-Solver-Judge 统一协同进化
🧭 自进化 LLM 训练 · 多角色对抗协同
KAIST
提出 J-Zero 统一 Challenger-Solver-Judge 协同进化框架，以对抗自对弈和已知偏好对在可验证/不可验证域持续提升 LLM
📌 工作参考价值（4 点）
- 使用 Challenger 生成越来越难的用户 query/场景，Solver 学习响应，可构建推荐/搜索 Agent 的难例生成器，提升对长尾 query 和对抗性输入的鲁棒性，无需额外人工标注。
- Judge/Reward Model 训练用「生成结构保证偏序」的合成偏好对（如多步检索-重组答案 > 单步答案）替代自评或人工打分，减少 reward hacking 和噪声；推荐系统的 LLM 评估器可复用此思路。
- 零数据自进化闭环可迁移到电商冷启动或新品类：两个角色互相出题与作答，自动生成微调数据，缓解冷启动样本不足。
- 同时进化多个角色（Challenger/Solver/Judge）比单角色自训练更稳定，持续 10 轮不退化；在线推荐 Agent 持续优化时可借鉴此三模块协同更新机制。
将科学论文展开为多轮生成轨迹用于继续预训练
🧭 合成写作轨迹 · 继续预训练 ★ 深度解读
ByteDance Seed · Nanjing University · Evolvent AI
把 arXiv 论文展开为“写作请求→全局计划→逐节思考→正文”多轮轨迹，构建 60B token CPT 语料，提升写作与长文阅读
📌 工作参考价值（4 点）
- 真实业务长文本可反向构造“写作过程”数据，不改写内容：电商商品详情页、广告落地页、搜索导购长文、Push 文案等结构清晰的长文本，保留原文为答案/正文，反向生成用户 request + 全局规划 + 每段写作前 deliberation，适合 CPT 或 SFT，能提升文案生成、摘要、长文阅读，同时把事实锚定在原文减少幻觉。
- 结构化文档拆成多轮轨迹，让模型学会规划与分段生成：按 section/block 拆分，在每段正文前插入 pre-writing deliberation，比“整篇+一段思考”更细粒度；对推荐理由生成、商品对比、报告生成等任务，可把商品参数、卖点、用户评论作为不同 section 来构造数据。
- 数据构造不依赖大模型，用 4B/9B 开源模型即可：论文显示 4B 生成器下游效果最好，且更难拟合的 synthetic data 更有训练价值；业务上可以低成本大批量生产 trajectory 数据，不必上最强 API。
- 评估也锚定 held-out 真实文本，并生成 rubric/checklist：可借鉴到业务评测：从近期未用于训练的真实商品/query/文章抽取，让 LLM 反向生成题目 + 评分规则，用代码可检查的 checklist 做格式/事实约束，配合 LLM judge 打分。
理解 LLM 推理中的进化策略：比 GRPO 更广的推理覆盖
🧭 LLM 推理后训练 · 进化策略 ★ 深度解读
Southern University of Science and Technology · National University of Singapore · Huawei Noah's Ark Lab · City University of Hong Kong · Harbin Institute of Technology, Weihai
系统分析 ES 与 GRPO 的推理后训练行为，发现 ES 保持更广推理覆盖、提升 Pass@K，大参数漂移不必然导致灾难性遗忘
📌 工作参考价值（4 点）
- 作为显存受限或长轨迹 Agent 微调的备选方案：ES 无需 backprop，只做前向 rollout，适合电商 Agent 长对话、多步工具调用。实现时务必对 population rewards 做 z-score 归一化，并使用 one-point estimator（两 point 在 regenerated reasoning rewards 上无增益），可节省一半前向成本。
- 若业务目标需要候选多样性（搜索推荐中的 query 建议、生成式推荐的多个 item 候选、push 文案多版本），考虑 ES 或 ES→GRPO 顺序训练：ES 保持探索，避免 entropy collapse，提升 Pass@K/覆盖率；再用 GRPO 强化单点准确率。已证明顺序混合可在 Pass@1 和 Pass@K 之间扩展 Pareto 前沿。
- 超参数 scaling：大模型（1.5B/3B）ES 用 N=16 即可接近 N=64 的效果，0.5B 需 N=32，说明模型越大所需扰动方向越少。业务上可先用小规模扫描 population size，以降低评估成本。
- 参数 drift 大不等于遗忘：ES 更新幅度远大于 GRPO（40 倍以上），但 held-out 性能保持甚至更好，主要更新集中在 LayerNorm 和 attention。持续学习场景下，可监控 held-out 任务，不必过度担心 drift。
Self-OPD：无教师的流匹配模型在线策略蒸馏
🧭 流匹配模型对齐 · 无教师自蒸馏
Tsinghua University · Zhejiang University · Alibaba Group
提出无需任务专属教师的在线策略蒸馏框架，将学生自探索转为逐步监督，超越现有 RL 与 OPD 方法
📌 工作参考价值（4 点）
- 无教师自蒸馏思想可迁移到生成式推荐或 LLM 对齐：业务中训练任务专属教师模型成本高，可借鉴 Self-OPD 的分支自探索机制，让学生模型通过自身多步采样获得优势信号，减少对复杂教师网络的依赖。
- 多目标奖励融合技巧：在电商搜索/推荐中常需同时优化点击、转化、多样性等指标，Self-OPD 在 reward 层面融合归一化分数而非在梯度层面直接加权，能缓解目标冲突，可在多目标 RL 或 LLM 微调中尝试。
- 分支探索 + 优势加权更新：生成式推荐或文案生成场景中，可使用类似“确定性基线 + 随机分支”的方式产生多样化候选，通过奖励对比计算优势，再用 pull-push 目标引导模型，可能提升生成结果的 reward 对齐效率。
- 工程实现上注意 SDE 候选与方差归一化：该方法引入 SDE 分支和方差归一化来稳定训练，对于训练不稳定或高方差的 RL 任务有借鉴意义，但需注意计算开销翻倍。
什么是好的智能体数据？用 ACE 视角看 LLM 智能体数据生成
🧭 LLM Agent 训练数据生成
Huawei Technologies Co., Ltd · Shanghai Jiao Tong University · Northwestern University · Harbin Institute of Technology, Shenzhen · Shenzhen Loop Area Institute
提出 ACE 框架（准确性-复杂度-多样性）统一评估和设计 LLM 智能体的交互数据生成
📌 工作参考价值（4 点）
- 构建电商/搜索 Agent 训练数据时，可直接用 ACE 框架做数据质检：Accuracy 确保任务信号与环境反馈一致，Complexity 根据目标模型能力分配难度，Diversity 覆盖不同用户意图、商品类目和交互路径，避免只堆数据量。
- 将交互数据统一表示为 (E,q,τ,v) 四元组（环境、任务、交互轨迹、验证器），便于多源数据融合、版本管理和过滤，适合电商场景中模拟用户对话、搜索行为、工具调用等混合数据。
- 优先采用执行锚定的数据生成：让 Agent 实际调用工具并记录真实结果或环境反馈，而不是只生成最终答案，防止模型学到“看似合理但无法执行”的交互模式。
- 多样性不要只做表面改写（换词、换句式），要扩展行为覆盖：增加异常处理、多轮协商、不同查询路径等，这对电商 Agent 应对长尾场景尤其重要。
知何时不复用：自主 LLM 后训练中的条件经验迁移
🧭 自主 LLM 后训练经验迁移控制
Alibaba Cloud Computing
提出 BCIT 方法，在自主 LLM 后训练中只授权可迁移的历史更新，减少有害复用并提升同预算下最终模型质量
📌 工作参考价值（4 点）
- 持续训练或自动更新线上模型时，不要将历史训练更新（数据配比、超参、LoRA 模块）视为无条件成功经验；应记录父模型版本、数据分布、训练阶段，并将每次效果与其来源上下文绑定。
- 在正式改变权重或晋升模型前，先做有界小规模训练试验，验证候选更新在当前父模型状态下是否仍然有效，避免错误更新进入线上后污染后续训练轨迹。
- 对已知硬冲突（如数据源、工具 schema、任务定义变化）建立命名规则，在候选生成阶段直接否决，节省算力并降低风险；所有候选共享统一采纳门槛，只有真实观察事件才进入经验记忆。
- 对 Agent 自动迭代工具调用、prompt 更新或模型微调的场景，可借鉴“条件经验复用”思路：经验不是越多越好，关键是在当前上下文中可行动。
基础模型无监督后训练综述
🧭 无监督后训练 · LLM
HKUST(GZ) · HKUST · Xiaohongshu Inc. · WeChat, Tencent · CUHK
系统梳理80种无监督后训练方法，按内部信号来源分类并提出Input Visibility×Update Persistence统一框架
📌 工作参考价值（4 点）
- 可借鉴无监督后训练思路，利用电商/广告场景中大量无标签的 query、商品描述、用户行为文本对 LLM 做领域适配，减少人工标注成本。
- 四类内部信号（预测统计、样本关系、自生成目标、内部评估器）中，自生成目标（伪标签、rationale、curricula）在业务语料上最易落地：用当前模型对弱标注数据生成伪标签再做自训练，注意配合置信度过滤。
- 内部评估器（self-reward）用于排序/推荐模型微调时需警惕误差递归放大，建议与在线 A/B 指标绑定，避免仅依赖模型自评。
- Input Visibility×Update Persistence 框架可帮助决定部署形态：对时延敏感的在线推荐模块采用离线更新+冻结参数，对离线生成模块可做在线持续无监督更新。
可靠偏好学习：错误增强的情感偏好优化与校准融合
🧭 多模态情感偏好优化与裁判校准
The Hong Kong Polytechnic University · Brno University of Technology · Tsinghua University · National Taiwan University · Kyoto University
通过错误增强负样本与多裁判边缘校准融合，提升多模态情感偏好判断的鲁棒性
📌 工作参考价值（4 点）
- 负样本构造策略可迁移：在训练推荐/广告文案生成或排序模型时，不只是随机采样负样本，而是从正样本出发生成多类受控负样本（如语义流畅但违背用户真实意图的商品描述、评论），显著提升模型对困难负样本的区分度。
- 多裁判融合的校准思路：当用多个 LLM 作为标注器/打分器（如商品质量评估、广告文案评分）时，不同模型输出打分分布差异大，先做 margin calibration（映射到统一尺度）再融合，比直接平均更稳定，可减少单一模型偏差。
- 偏好优化数据增强：用错误增强方式扩充偏好对，能缓解稀疏监督问题，在电商 UGC 情感分析、客服对话语气判断等场景可以低成本生成更多高质量训练对。
- 工程上可复用 soft fusion 思想：对于多个异构模型的预测结果，不采用 hard voting 或简单平均，而是保留偏好 margin 并做校准后加权，适合集成多个微调裁判模型，提升线上评估一致性。
一个症状，三个杠杆：在策略自蒸馏批判性综述
🧭 LLM 训练 · 在策略自蒸馏
OVHai LLM
系统化梳理OPSD的坍缩失败模式，提出信号位置、特权信息、动态衰减三杠杆框架
📌 工作参考价值（4 点）
- 若用 OPSD 微调生成式推荐/搜索 Agent（如 query 改写、商品文案生成），可用模型自身作 teacher 并注入业务侧特权信息（用户真实意图、最终成交商品），但必须监控生成多样性（熵、n-gram 新颖度）以防坍缩。
- 借鉴三个杠杆做训练设计：where——损失只加权关键 token（如最终答案/决策 token）而非全序列平均；what——teacher 的特权信息粒度要渐进揭示，避免过度强条件导致模型只学会抄捷径；when——蒸馏信号随训练衰减，后期保持与 base policy 的 KL 约束。
- 对 Agent 搜索/推荐，坍缩类比于动作空间收窄：训练时环境反馈或 oracle 路径会诱导窄策略，需加入熵正则或行为多样性约束。
- 没有新实验，但提供统一术语与诊断清单，适合作为生产 LLM 微调前的风险自查。
智能体游戏开发：作为可验证轨迹数据引擎扩展世界模型
🧭 世界模型 · 可验证奖励 · RL post-training
National University of Singapore, HPC-AI Lab · InfRec, Cardinal AI Lab · University of California, Berkeley · Hong Kong University of Science and Technology · Independent Researcher
提出 RLHEV 后训练范式，用游戏引擎可执行验证与人类隐式接受信号，为世界模型提供可奖励轨迹数据。
📌 工作参考价值（4 点）
- 在电商/Agent 场景，借鉴“可执行验证”思路：用库存、价格、物流时效、广告合规等确定性业务规则作为 dense verifier，替代 CLIP 这类模糊 proxy；同时用点击/成交/无投诉等隐式人类反馈做 global signal，构建 RL post-training 奖励。
- 把生产中的长程交互日志（搜索→浏览→加购→下单→售后）当作 trajectory data，回流训练 Agent；类似论文将 game development 过程转为可验证轨迹。
- 对跨域/跨环境泛化：论文中发现 transfer learning 对 OOD shift 有正向信号，电商可尝试在相似但不同的域（不同站点、类目、流量渠道）做预训练+微调，并设计可控实验评估。
- 若业务有模拟器（如供应链仿真、店铺经营模拟），可以低成本合成违规/可玩性等验证信号，给 LLM/Agent 提供递归数据引擎；没有模拟器时，也可从人工审核/退款/纠纷数据中抽取弱监督信号。
D^3-MOPD：自适应动态领域调度的高效多教师蒸馏
🧭 多教师蒸馏 · 在线动态调度
AllSpark Team
提出零开销动态调度器，复用每领域reverse-KL信号在线调整多教师蒸馏的数据混合比例，大幅提升收敛效率与性能
📌 工作参考价值（4 点）
- 借鉴 per-domain loss/KL 轨迹作为在线调度信号：在多任务/多域推荐模型（如首页推荐、搜索、广告域联合训练）中，定期追踪各任务的收敛速度与剩余提升空间，动态调整采样比例，避免固定混合导致快任务过拟合、慢任务欠训练。
- 使用 off-process 异步 watcher 实现零开销调度：不侵入训练主循环，适合在现有训练框架中轻量集成，无需改动核心代码即可获得收益。
- 调度策略可迁移到多场景 LLM 微调：当不同领域数据收敛速度差异大时，优先分配资源给“难但可学”的领域，减少已饱和领域的采样，能显著降低达到目标性能所需的训练步数。
- 结论“领域越多、收敛模式差异越大，动态调度收益越大”提示：在电商多域多目标场景下，随着接入业务域增多，这类自适应调度可能带来超线性训练效率提升。
基于可验证奖励的在线策略蒸馏
🧭 RLVR+OPD 无缝结合训练推理模型 ★ 深度解读
LeapLab, Tsinghua University · Beihang University · SMS, Peking University · NLPLab, Tsinghua University
对采样 token OPD 的 log-ratio 奖励做 ReLU 门控，使教师信号与轨迹正确性对齐，零超参结合 OPD 与 RLVR
📌 工作参考价值（4 点）
- 可直接复用的训练 trick：若业务中已有可验证奖励（点击、转化、GMV 等）和教师模型或旧版模型，可在 on-policy 蒸馏损失中只加一行 ReLU 门控——正确轨迹上 max(0, log(πT/πθ))，错误轨迹上 -max(0, log(πθ/πT))，无需额外超参或 loss 权重，即能避免教师信号与业务奖励方向冲突。
- GRPD 替换二元 reward：用 GRPO 的 group-relative advantage 替换二元正确性 sign，再做同样的 ReLU gate，可平滑引入相对优势信息；适合推荐/广告中 reward 噪声大、需要组内归一化的场景。
- 训练健康度监控指标：论文观察到 zero-gated token ratio 稳定在 40-50%，可作为训练健康的实时监控；如果该比例过高或过低，说明教师信号与业务奖励大量冲突或几乎无冲突，需要检查教师模型质量或 reward verifier。
- 架构兼容性：该方法可无缝接入现有 PPO/GRPO/DAPO 训练框架，不改变采样流程；在已有的 RL 训练脚本中实现成本低，适合快速验证。
跨语言排序偏好优化：构建多语言对齐的层级 ranking 框架
🧭 跨语言 LLM 偏好对齐 · Learning-to-Rank ★ 深度解读
Korea University
将 Learning-to-Rank 引入跨语言偏好对齐，利用英语偏好知识提升目标语言一致性与质量
📌 工作参考价值（4 点）
- 在多语言推荐/Agent 回复场景，可用英语高质量偏好数据构建跨语言排序对，通过层级偏好（目标语言正确语言 > 英语正确内容 > 目标语言错误语言）同时约束语言一致性和内容质量，减少语言混淆。
- 将 DPO 的 pairwise 比较升级为 listwise ranking，利用 LambdaLoss 权重（如 nDCG2）对多个候选响应进行全局排序，能更精细地优化目标，例如在生成式推荐中同时对相关性、多样性、语言等维度排序。
- 在偏好优化损失中加入 NLL 项（如 α=0.2）可防止模型只增大 reward margin 而抑制被拒样本概率，避免生成退化，对业务中 LLM 微调有价值。
- 低资源语言/场景下，跨语言 ranking 比单纯 binary 对比更稳健，可借鉴到冷启动物品推荐或小语种文案生成，利用高资源语言偏好知识迁移。
如何稳定且高效地训练 Critic
🧭 LLM RL 的 Critic 稳定训练 ★ 深度解读
National University of Singapore · Tencent Hunyuan
BPCO 通过值域约束、MC 目标、去标准化等配方稳定单 rollout critic，性能匹配或超过 group 基线
📌 工作参考价值（4 点）
- 若在电商/广告场景用 RL 微调 LLM 生成推荐文案、搜索 query 或导购对话策略，可改用单 rollout critic 替代 GRPO 多采样，节省采样成本；并采用 BPCO 的 bounded value head（arctan 映射到 reward 范围）和 MC value target（λ_V=1），这是稳定性最核心的两项改动。
- 当 reward 由规则、评分 rubric 或成交标签产生时，让训练期 critic 额外接收这些 reward-defining 信息（如真实成交额、评分细则），policy 仅使用用户上下文和生成前缀。这样线上推理不增加任何输入，但 critic 拟合更快；小数据量时需注意过拟合。
- 直接移除 advantage batch normalization，使用 raw GAE advantage 更新 policy；实现成本极低，能避免策略收敛后更新不衰减、噪声被放大导致过拟合。
- 若生成序列长度差异大（比如长推荐理由 vs 短 query 改写），将 policy 端 GAE 改为 length-adaptive λπ(L)=1-1/(αL)，α 取 0.4 左右；critic 端保持 λ_V=1 做无偏回归，可稳定长序列上的 credit assignment。
环境正则化策略优化：用 Query-KL 解耦 LLM 训练的稳定与探索
🧭 LLM 强化学习训练稳定性优化 ★ 深度解读
AMAP, Alibaba Group · Xi’an Jiaotong University · JD.com · Beijing Normal University · National University of Singapore
提出 ERPO，将 KL 正则从输出侧移到输入 query 分布侧，在保持探索的同时控制训练环境漂移
📌 工作参考价值（4 点）
- 在生成式推荐/query 改写等 LLM RL 训练中，可尝试用 Query-KL 替代或补充 Policy-KL：约束模型对输入 prompt 的似然漂移，而不是限制输出分布，从而保留输出空间探索，缓解长程训练崩溃。
- 工程实现低成本：用 pre-RL 参考模型预计算并缓存训练集中每个 query 的 log-likelihood，训练时直接复用当前 policy 的前向结果计算 Query-KL；无需额外 forward pass，可直接插入现有 GRPO/PPO/RLOO 框架。
- 对每个 query 按参考模型下的似然做加权（低概率 query 降权），可降低梯度方差、减少对长尾/低质 prompt 的过拟合，适合电商/搜索中 user query 分布不均的场景。
- 用多温度采样（如 0.1~1.5）评估 RL 训练后的模型稳定性，能暴露高温解码下的性能退化，比单一温度更全面；可作为生成式模型上线前的稳定性测试手段。
无CoT数据下推理后训练：混合SFT优于下一块推理RL
🧭 推理后训练 · 数据混合与RLVR ★ 深度解读
University of Science and Technology of China · Shanghai AI Laboratory
同一RLVR预算下，单阶段混合no-CoT与long-CoT的SFT比next-chunk reasoning RL效果更好且省60倍以上算力
📌 工作参考价值（4 点）
- 将高质量 long-CoT 与业务中大量“无 CoT”文本（搜索日志、运营方案、商品知识、用户问题简答）在同一个 SFT 阶段混合训练，再做 RLVR/DPO；不要先无 CoT 后 long-CoT 的顺序 SFT，否则会跨阶段遗忘。适合电商/Agent 中难以标注 CoT 但知识密度高的语料。
- 评估 Agent 推理、query 理解、推荐理由生成等能力时，不要只看 SFT 后中间 checkpoint；无 CoT 混合会造成格式混乱，pre-RLVR 掉点不代表能力差，应以 RLVR 后的最终 ceiling 做决策。
- 若想用 next-chunk reasoning 类 RL 从日志/文档中挖掘隐式推理，注意高熵 token ≠ 需要推理的困难 token；这类目标易塌缩为局部补全模板，且训练算力是混合 SFT 的 60 倍以上。优先把预算花在数据混合而非新增 RL 阶段。
- 对搜索/推荐/导购 Agent：保留短答案 + 长推理的联合 SFT 格式，后续用 verifier reward 修复格式不稳定，比中途切换训练目标更有效。
量化感知修复：恢复压缩4位大模型的实用方法
🧭 LLM 压缩量化与蒸馏修复
Multiverse Computing
提出 Quantization-Aware Healing (QAH)，从原始未压缩模型直接蒸馏到4-bit量化学生，比 QAT 更快更稳，并开源 Hypernova-60B
📌 工作参考价值（4 点）
- 部署压缩大模型时，直接采用 QAH 蒸馏代替传统 QAT 恢复流程：在结构压缩+量化后，从原始未压缩模型蒸馏到量化学生，而非从 bfloat16 压缩中间模型蒸馏或 QAT 重训，可显著加速收敛（约7倍）并避免峰值后崩溃，减少手动早停的调参成本。
- 适用于电商/Agent 中需要低成本 LLM 推理的场景：例如用压缩量化后的 LLM 做 query 推荐、对话生成或商品文案，QAH 能保持与更大模型相近的质量，同时降低 4 倍权重内存和一半参数量，适合线上部署。
- 注意分布式训练后端对质量的影响：工程实现时需固定并验证后端（如 PyTorch FSDP、DeepSpeed 等），该论文报告了后端差异导致的可复现性差距，建议在训练压缩模型时对比后端并固定配置。
- 如果追求快速低成本恢复压缩模型，可以优先尝试蒸馏而非硬标签 QAT：QAH 对超参不敏感，不需要多周搜索，适合业务中快速迭代模型压缩版本。
SPARCL：谱分区解析持续学习
🧭 持续学习 · 谱分解冻结核心子空间
University of Sheffield
识别解析持续学习中的谱干扰问题，通过冻结高能核心子空间并在残差块上递归最小二乘更新，实现闭环解与旧类 logits 核心贡献不变性
📌 工作参考价值（4 点）
- 在推荐/广告模型的增量更新中，可对特征自相关矩阵做谱分解，冻结高能量方向（对应用户主流兴趣、物品核心属性），仅在残差子空间用递归最小二乘（RLS）更新，减少对旧知识干扰。
- 用 RLS 闭式解替代梯度下降做在线更新，计算快且无需存储旧样本，适合高吞吐实时场景（如新物品冷启动、新活动不断上线）。
- 残差随机投影扩展为每个新任务/新产品增加轻量子空间，不干扰核心部分，可作为类似 LoRA 的模块化扩展策略。
- 注意：本文针对分类任务，推荐系统直接迁移需改造，但“谱分区+冻结核心+残差更新”的架构思想值得借鉴。
重新思考 Test-Time Training 中的表达力与效率
🧭 高效长上下文 Test-Time Training
Karlsruhe Institute of Technology (KIT) · National University of Singapore · Fraunhofer IOSB · Lamarr Institute for Machine Learning and Artificial Intelligence · University of Bonn
提出 E²-TTT，通过闭式状态转移并行化分块 TTT 训练，在保持每 token 更新时序结构的同时匹配分块方法吞吐
📌 工作参考价值（3 点）
- 长序列用户行为建模：电商推荐中的用户长期历史、会话依赖往往超过常见上下文长度，E²-TTT 可作为替代或混合 attention 的序列建模模块，尤其在需要长度外推时，其 8× 训练长度外推能力可减少重新训练成本。
- Agent 长任务记忆：多步 Agent 需要持续从长 horizon 任务中学习，TTT 的权重更新机制比 KV cache 更紧凑，E²-TTT 的并行分块训练使在线学习用户偏好或任务适应在工程上更可行。
- 工程实现参考：论文中的闭式状态转移 + 分块并行训练思路，可迁移到任何需要高效时序递归更新的模块，避免简单 chunk-wise 近似丢弃中间状态，同时保持吞吐。
ArmorOCR：基于观察迁移自蒸馏的对抗视觉文本感知
🧭 多模态对抗 OCR 鲁棒训练
Ant Group · Shanghai Jiao Tong University · East China Normal University
提出首个对抗性 OCR 基准 AdvSpot，并以观察迁移自蒸馏与 GRPO 提升 LMM 对抗文本定位识别鲁棒性
📌 工作参考价值（4 点）
- 电商图像中常见变形、遮挡、水印等对抗性文字，可借鉴 AdvSpot 的 13 类模式与区域级标注构造内部鲁棒 OCR 测试集，评估商品标题、标签、资质文本识别。
- OPSD 用 privileged transformed observations 做自蒸馏：先让模型在易读观察上生成定位/识别伪标签，再迁移到对抗观察，可迁移到用户上传图、广告素材等难例训练。
- GRPO 奖励拆分为 localization、recognition、full spotting、VQA 四类并动态加权，可作为多任务强化微调的 reward 设计模板，适用于需要同时优化定位与理解的多模态 Agent 任务。
- 保持通用 OCR 能力不掉的训练策略（两阶段、混合数据）可借鉴到已有 LMM 的鲁棒性增强，避免只提升对抗场景而伤害线上自然文本识别。
DICS：面向决策树分类器的数据驱动质心分裂方法
🧭 决策树分裂搜索加速 · 训练效率优化
Department of Mathematical Sciences, University of Texas at El Paso
用聚类构建类感知的紧凑候选分裂集，大幅缩小分裂搜索空间，加速决策树训练且精度不降
📌 工作参考价值（4 点）
- 在电商/广告排序常用的 GBDT（LightGBM/XGBoost）训练中，可借鉴 DICS 思路：对高基数数值或类别特征先做聚类，用聚类质心作为候选分裂点，替代逐值扫描或直方图分桶的固定候选，有潜力进一步降低分裂增益计算量。
- 类感知的质心分裂能保留判别信息，适合处理类别不平衡或特征与标签强相关的场景，例如 CTR 预估中的用户行为计数特征、商品价格等连续特征。
- 该方法可作为特征预处理步骤集成到现有树模型训练框架中，对训练数据采样聚类得到候选分裂集，再交给树模型搜索，工程实现上只需增加一次聚类开销，换来后续所有节点分裂搜索空间减小。
- 注意 DICS 的理论保证依赖假设，实际落地时需在小规模数据上验证精度损失；若精度敏感，可结合已有直方图方法做混合候选集。
流匹配偏好优化中的流形漂移：奖励黑客的一个根因
🧭 流匹配偏好优化 · 奖励黑客
Westlake University · Zhejiang University · Kling Team, Kuaishou Technology
提出 ThermoDPO 及加权变体，用偏好样本锚定缓解流匹配偏好优化中的流形漂移与奖励黑客
📌 工作参考价值（3 点）
- 在生成式推荐、广告文案/商品图生成中若用 DPO/RLHF 做偏好对齐，需监控生成结果是否偏离原始数据流形（例如用重建误差或密度估计），否则 reward 提升但真实质量和多样性可能下降，即 reward hacking。
- ThermoDPO 的“偏好样本锚定 + 温度控制”思路可迁移：增加 winner-side anchor 项，等价于在 rejection sampling fine-tuning 与 DPO 之间插值，能控制偏离程度；温度低时信号减弱，可改用加权变体强化高分样本梯度。
- 如果业务中有 flow matching 生成（商品图、创意素材），偏好更新会通过法向位移把终端样本推出预训练支持集，建议加入流形距离正则或重建代理项，保持生成内容的自然度和可编辑性。
MidTool：面向智能体工具使用的中期训练数据合成
🧭 Agent 工具使用 · 中期训练数据合成 ★ 深度解读
University of Washington · Snowflake · University of North Carolina at Chapel Hill
构建首个通用工具使用中期训练语料MidTool-Mix，显著提升4B/8B模型在函数调用、多步交互和MCP任务上的表现
📌 工作参考价值（4 点）
- 将工具文档、API schema、代码仓库等非结构化数据合成 agentic trajectories 用于 mid-training，可让模型提前学会参数 extraction 和 workflow composition；电商推荐 Agent 可借鉴此思路，针对商品搜索、订单、优惠券等内部 API 构建专属语料，减少对 post-training 的依赖。
- 两条合成分支分别针对 grounding（从文档/PDF生成 QA 和轨迹）和 execution（从真实 API/MCP 生成可执行轨迹），且必须组合才能全面收益；业务上可分别构建「文档问答+多轮调用轨迹」与「真实工具交互轨迹」两个数据管道，避免单一类型导致能力偏科。
- 数据配比约 42% web + 26% code + 23% PDF + 9% native agentic trajectories，其中 9% 的 native 轨迹对精确函数调用贡献最大；在构建内部工具使用语料时可参考此比例，优先保底 code/文档，但必须预留一部分真实可执行轨迹。
- 训练顺序上先 mid-training 再 SFT/RL 能显著提升多轮交互和 unseen tool 泛化，且 SFT 收敛更快；如果业务已有工具调用 SFT 数据，可先做一轮小规模 mid-training 初始化，再用原有 SFT 数据微调，投入产出比高。
学会遗忘：长上下文稀疏注意力的微调方法
🧭 长上下文稀疏注意力微调 ★ 深度解读
Amazon Web Services · University of Amsterdam · Amazon · Technical University Berlin
提出在任意 KV cache 策略下微调 LLM 的方法，使模型与稀疏注意力协同适应，在中等 GPU 上超越序列并行训练
📌 工作参考价值（4 点）
- 训练/推理一致性：若线上推理启用 H2O、SnapKV 等稀疏 KV cache 策略，微调时务必使用同一策略做前向，否则模型在稀疏推理下会出现输出过长、乱码；论文中 SP 训练模型在多个 Helmet 任务上严重退化。
- 低成本长上下文微调：单卡 40GB 可用 LoRA + 嵌套激活检查点 + CPU offload + delta encoding 处理 KV cache，将 autograd 显存降至与推理相当，适合多轮对话、长工具输出、长行为序列等场景。
- 缓存策略 trick：H2O 归一化累积注意力分数、batch 维度独立淘汰、保留少量 attention sink 前 β 个 token，能提升长上下文稳定性；避免全局统一淘汰。
- 工程落地：可复用 KeysAndValues 库快速对比策略；推动 SDPA kernel 支持返回 summed attention weights 和隐式 causal mask，降低稀疏注意力延迟。
一步一步扩展：大规模混合专家模型的计算高效超参数迁移
🧭 大规模MoE训练超参数迁移
Kakao Corp. · Upstage AI
提出计算高效的两步超参数迁移框架，通过宽度缩放迁移与token外推预测大规模MoE最优学习率
📌 工作参考价值（3 点）
- 在训练大规模 MoE 推荐/广告模型时，可采用 μP 参数化 + 宽度缩放代理模型快速确定学习率，避免对完整尺寸模型做昂贵的超参扫描。对于需要频繁调整专家数量或模型宽度的业务，μP 让最优 LR 在不同宽度间稳定迁移，显著降低调参成本。
- 利用小代理模型在有限 token 预算下的 LR 扫描结果，通过线性回归外推到生产模型的超长训练 horizon（如 10T tokens），R²=0.95 表明该迁移对 MoE 架构高度可靠。训练 infra 团队可据此搭建低成本 proxy 流程，预测大模型最优配置。
- 若业务落地 DeepSeek-V3 类 MoE 架构（含 Multi-head Latent Attention 和 Muon optimizer），需同步引入对应的 μP 适配，否则学习率等配置无法跨模型尺寸复用。工程上应把参数化与优化器选择固化进训练代码，保证迁移性。
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练
🧭 LLM 后训练 · 文档知识内化
Beijing Academy of Artificial Intelligence (BAAI)
提出IAR三阶段后训练框架，将固定文档语料内化为LLM参数知识，兼顾领域QA与通用能力
📌 工作参考价值（4 点）
- 在电商/客服场景需要将商品库、政策文档内化到LLM以支持无检索问答时，可将文档转为多种重构目标（续写、改写、指令条件重建）做注入，比单纯 continued pretraining 更利于后续指令跟随。
- 三阶段分离有效：先注入领域知识，再做答案监督的QA对齐，最后将领域模型与基座指令模型合并恢复通用能力——这种“领域适配+模型合并”模式可直接复用到导购Agent、店铺客服模型，避免灾难性遗忘。
- 若算力受限，LoRA/FAPM 等参数高效方法在部分通用指标上可赢，但 IAR 在领域内化与通用能力平衡上更稳；业务中优先选择 IAR 式全量阶段或混合方案。
- 评估时同时报告领域QA准确率和 IFEval/MMLU 等通用指标，避免只盯领域指标导致通用能力坍塌；业务中应建立类似的领域-通用双维度评测。
DeltaMomentum：基于键值的各向异性动量更新
🧭 优化器动量更新 · Delta Rule
Electrical and Computer Engineering, Carnegie Mellon University
把线性层梯度拆成 key-value，用 delta rule 做方向感知动量更新来加速训练收敛
📌 工作参考价值（4 点）
- 推荐系统特征通常极度稀疏/长尾，例如 user/item id、类目等输入方向的频率高度不均。DeltaMomentum 可直接替换现有优化器的动量 buffer，对高频方向自动降低遗忘、低频方向加快遗忘，特别适合 embedding 层和 wide 部分；无额外持久内存，可在排序/召回模型训练中验证步数节省。
- 若业务在用 LLM 做生成式推荐或领域模型预训练，可在 AdamW 上启用 DeltaMomentum，论文在 67M/370M 语言模型上分别减少 46%/22% 达到同验证损失的步数，对固定算力预算下扩大模型或数据量有直接价值。
- 工程实现注意：额外计算约为 gated-MLP 线性层成本的 22-25%，无 persistent memory；但方法基于线性层 key-value 结构，对 attention 等非简单线性部分需适配，建议先在 MLP/embedding 层替换。
- 调参经验：系数在 μP 下可跨宽度迁移，若业务使用 μP 训练超大规模模型，能用小模型调的系数直接放大，降低调参成本。
EXIMO: VLM 引导的 VLA 策略探索
🧭 机器人 VLA 微调 · 探索-模仿-优化
Google DeepMind
提出三阶段（探索-模仿-优化）VLA 微调算法，用 VLM 规划分解任务并配合 residual off-policy RL，显著提升样本效率
📌 工作参考价值（4 点）
- 可借鉴 VLM 作为规划器分解长程任务：在搜索/推荐 Agent 中，用 LLM 将用户复杂意图拆解为多个可执行子 query 或子步骤，降低单次决策难度。
- “探索-模仿-优化”三阶段训练模式：先通过规划引导收集高质量数据（探索），再做监督微调（模仿），最后用离线 RL 优化策略，比直接在线 RL 或纯 BC 更高效，适合 Agent 策略迭代。
- Residual off-policy RL 思路：在已有大模型策略上训练残差模块进行 RL 微调，避免全参数 RL 的不稳定，可迁移到 LLM 推荐策略的轻量级在线优化。
- 用 VLM 生成 intermediate subgoals 指导策略探索，类似在推荐中生成有序的候选集或子任务序列，提升长链路任务的完成率。
GEAR：生成式扩展与真实锚定的两阶段表格基础模型蒸馏
🧭 表格基础模型蒸馏 · 生成式扩展 ★ 深度解读
Renmin University of China · Ant Digital Technologies, Ant Group · Nanjing University
用生成样本只作为教师查询位置，再用 OOF 真实数据锚定，把表格基础模型压缩为 CPU 可部署的 MLP/树模型
📌 工作参考价值（4 点）
- 在电商/广告场景用大型上下文依赖模型（TFM/LLM）做 teacher、蒸馏到线上轻量模型时，可复用两阶段协议：先用生成样本只作为 teacher query 点、丢弃生成标签，避免 generator 标签 bias；再回到真实样本做 OOF soft/hard 混合锚定。
- OOF teacher prediction 是防自标签泄漏的关键。推荐/广告中如果用 teacher 对训练样本打分再蒸馏，样本本身在 teacher context 里会造成泄漏；按 fold 排除后再 query，能明显提升蒸馏稳定性和泛化。
- 对 LightGBM/XGBoost 这类树模型，直接蒸馏容易不稳定；但先用合成 teacher soft targets 预训练、再真实锚定，二分类 AUC 能超过 CatBoost。适合在现有在线树模型上引入 foundation model 蒸馏，保持工程兼容性。
- 生成器质量决定扩展上限：TabDiff/TabPFGen 优于低容量 Copula/CTGAN；若没有合适生成器，优先用基于真实表条件生成的生成器，生成量 K 控制在 10-20 附近，边际收益已经递减。
Open-MOPD：诊断并修复多教师在线蒸馏中的能力失衡
🧭 多教师在线蒸馏 · 优化预算平衡 ★ 深度解读
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University
提出 token-share balancing、gap-aware 分配与 reward refresh 三种机制，将多教师在线蒸馏能力集成恢复率从 35.6% 提升到 83.4%
📌 工作参考价值（4 点）
- 多任务/多领域训练时不要只看 prompt/sample 比例，要统计 token-level 梯度贡献。短输出任务（如 query 推荐、push 文案）即使 prompt 占比合理，梯度 token 占比可能极低（论文中 IF 占 20.3% prompt 但仅 0.99% 梯度 token）。可借鉴 token-share balancing，按目标 token share 加权 loss，避免单纯过采样挤压长序列任务的 prompt 多样性。
- 动态预算分配：在多目标 RL 或蒸馏中，根据每个 domain 当前 teacher-student gap（或 reward magnitude）动态调整 loss weight，优先分配给 gap 大的任务，并对权重做 clip 防止正反馈发散。推荐系统多任务（CTR/CVR/时长）可监控各任务 reward 幅度变化，设计类似 gap-following allocation 的机制，避免训练后期预算被已收敛任务吸走。
- reward refresh 在 rollout 复用 + 多步 inner update 的工程设置下，用当前策略重算 student-dependent 项（如 log-prob），缓存 teacher 输出，几乎无额外开销，可减少 off-policy 陈旧性。适合大规模 RL/蒸馏 pipeline，特别是对 latency 敏感的多智能体/多能力整合训练。
- 进行多专家能力合并前，先构建 oracle routing 测试床隔离路由误差，量化每个 domain 的 recovered headroom，定位训练中最早停滞、恢复率最低的任务，再有针对性地调整优化预算。
SPADE：自适应合成可执行环境中的自博弈
🧭 自博弈强化学习 · 可执行环境生成 ★ 深度解读
University of Washington · Stanford University · Northeastern University · Carnegie Mellon University · Massachusetts Institute of Technology
提出 SPADE 框架，让 LLM 在环境设计者与推理智能体双角色间自博弈，通过 hint-based regret 生成能力前沿的代码环境，实现开放自我改进
📌 工作参考价值（4 点）
- 模拟用户/环境生成：在电商多轮对话、推荐 Agent、搜索工具调用等场景，可用可执行代码环境（Gym reset/step）生成可验证的多轮交互任务，统一单轮与多轮 RL 训练。用商品数据库、用户行为日志构建沙盒，设计者生成任务，推理智能体进行工具调用；hint-based regret 自动调整难度，比固定难度或纯对抗更稳定。
- 语料库 grounding + 记忆：从真实用户日志、商品描述、搜索日志中采样作为环境生成条件，保持生成任务多样性，防止模式崩溃；用 memory buffer 存储高 regret 任务或难样本，避免重复生成已掌握场景。电商推荐中可用于生成多样化的用户目标/场景，持续提供训练信号。
- 稳定化训练技巧：双角色共享同一模型但独立优势归一化；延迟生成器更新并配合截断重要性采样；asymmetric clipping (ε_low=0.2, ε_high=0.28) 保留探索；regret 信号 floor 到 0 并混合难度锚点。这些在联合训练生成模型和策略模型的 RL 中可直接复用。
- 可验证奖励设计：工具使用环境包含状态检查和确定性 reset gate，确保任务可解且可验证；在电商多轮交互中可设计类似的成功准则检查，过滤无效环境，提高 RL 数据质量。
组校准在线策略蒸馏用于长上下文推理
🧭 知识蒸馏 · 长上下文推理
Tsinghua University · Beijing University of Posts and Telecommunications · OpenBMB
将 verifier 奖励与 OPD 分数做组内归一化并构造有符号残差，用相对优势分配回 token，提升长上下文蒸馏效果
📌 工作参考价值（3 点）
- 在业务中做 LLM 蒸馏或 RLVR 时，若同时有 dense token 监督和稀疏 verifier 奖励（如点击、转化、人工评分），可借鉴 group 内归一化再相减的方式，避免两种信号尺度差异和 sign 错位。
- RACA 的相对优势信用分配适合多步交互场景，例如购物 Agent 的多轮工具调用、对话式推荐的 multi-turn 轨迹，可将最终奖励按 token 优势权重回传，比均匀分配更稳定。
- 不丢弃 dense 教师似然、只做组校准残差微调的思路可复用到生成式推荐或 RAG 后训练：保留 Next Token 监督，同时注入结果导向的 verifier 信号。
辩论训练减少 RLAIF 中的奖励黑客行为
🧭 多智能体辩论 RL 训练 ★ 深度解读
Google DeepMind
双玩家辩论 RL 训练在数学任务上比单玩家 RLAIF 峰值准确率提高约2个百分点，恢复45%性能差距，并保持 judge MCC 稳定。
📌 工作参考价值（4 点）
- 在电商/推荐/广告场景中如果用 LLM judge 做 RL 奖励（如生成推荐理由、搜索摘要、广告文案），单玩家 RLAIF 会随着训练步数增加出现 reward hacking：策略学会模仿 judge 偏见、权威语气或冗余表达，导致真实指标下降。可借鉴辩论架构：加一个共享权重的 critic 与 generator 对抗，critic 的 reward 为 1 - generator 的 reward，每个 batch 各占一半。该常数和结构能维持 judge 与 ground-truth 的一致性。
- 在无 ground-truth 的场景中无法做 early stopping，保持 peak 性能不衰减很关键。辩论训练虽然收敛到 peak 更慢（学习率需降 4x 且一半 batch 给 critic），但峰值后不坍塌，对线上模型发布有价值。工程实现可采用 prefix-then-diverge 策略，每步只随机分叉一个玩家，减少计算成本。
- 如果负责用 LLM judge 训练生成模型，务必同时监控 train/validation reward gap 和 judge 的 MCC 或等价指标。本文发现 RLVR（有 ground-truth reward）的 train/val gap 明显大于 LLM judge 设置，说明学会说服 judge 比学会底层技能更容易泛化，容易掩盖真实能力不足。
- 对于较弱 judge（例如用 cheap 小模型 judge 大模型），增加 rebuttal 回合（ABA）能补偿 judge 能力不足，提升 accuracy 接近标准 judge 水平；在推理/评估成本可接受时，可考虑多轮对抗交互。
超越模仿：基于推理进展的在线蒸馏奖励过滤
🧭 推理蒸馏训练 · 过程奖励过滤 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Zhejiang University · University of Alberta
提出 R2-OPD，用独立过程奖励检测并过滤在线蒸馏中与推理进展冲突的教师信号
📌 工作参考价值（4 点）
- 业务中若用小模型蒸馏大模型做 query 改写、推荐理由生成或搜索意图理解，不要只对齐教师 token 分布：可引入与业务目标一致的过程信号（如是否推进任务完成、是否命中正确商品），检测并 mask 教师信号冲突的片段，避免学到“像老师但错误”的行为。
- 训练多步 Agent 推理链路（如商品筛选、排序解释）时，用 rollout 估计中间状态 solve probability 并把相邻同向 progress 合并后再评估，能显著降低 Monte Carlo 噪声，比逐 step 使用过程奖励更稳定。
- 工程上 masking 比例和 segment 颗粒度很关键：论文中 q=30% 是甜点，q=50% 会损害性能；业务落地建议先做小比例过滤，并对不确定样本保守回退，避免误删有效教师信号。
- 该方法只在离线蒸馏阶段引入额外 rollout 计算，不影响线上推理时延；成本较高，可只对高价值或难样本启用。
低资源语言推理微调：SFT 的所得、RL 的修复与准确率的盲区
🧭 低资源语言推理微调与行为评测 ★ 深度解读
Sophea AI · KIEFER SA
三个 MoE 模型希腊语推理微调显示：准确率被种子噪声主导，语言保真、推理预算与格式遵从等行为指标才稳定，RLVR 可修复 SFT 缺陷
📌 工作参考价值（4 点）
- 微调领域/多语言 LLM 时，不要把 accuracy 当唯一指标：固定种子做 3 次重复训练先测噪声地板；用行为指标（输出是否进入指定 schema、推理轮次/token 预算、格式遵从率）作为发布门槛，并控制指标与生成长度的相关性。
- 数据配方可迁移：如果模型只用于生成/推理（例如商品推荐理由、搜索 query 改写），去掉通用对话数据只保留 reasoning 数据可提升格式遵从与准确率（+6.9pp）；若需同时保留闲聊能力，两阶段训练并用 fallback% 监控第二阶段对指令遵从的破坏。
- RLVR（可验证奖励强化学习）能廉价修复 SFT 的格式缺陷：答案格式 fallback 从 24% 降至 2.5%、答案泄漏到推理通道从 3.5% 降到 0%，且不破坏已获得的希腊语推理习惯；在电商 Agent 中可用规则奖励约束输出 JSON/槽位，避免后处理重写。
- 多语言/低资源部署注意 serving 成本与 tokenizer 生育率：希腊语每词 token 是英语 2.3-2.5 倍，所以缩短 trace 不一定省 token；不同 MoE 家族可能一个省 3× token 另一个反而 1.6× 更贵，评估时要按自己 tokenizer 重算。
FACET：终端任务合成中保留源意图与可执行状态
🧭 终端 Agent 可执行任务合成与数据高效微调 ★ 深度解读
University of Science and Technology of China · Shanghai AI Laboratory · Fudan University
FACET 通过先构建并修复容器环境、以共享可执行状态串联指令/解法/验证器，合成高密度可验证终端任务，用 1.2K 成功轨迹显著提升多尺度模型 Terminal-Bench 表现。
📌 工作参考价值（4 点）
- 在构建 Agent 训练/评估环境时，优先先物化执行环境（文件、schema、服务、依赖），再生成指令、参考解和校验器；用真实落地状态作为共享 grounding，能显著减少 schema/path/contract mismatch。
- 顺序生成 I→S→V 且让 solution 实际执行后再生成 verifier，可以提高 solution–verifier 对齐；在业务中搭建离线模拟环境（如模拟用户、商品库、策略状态）时可直接套用该顺序。
- 验证失败时通过执行 trace 路由到具体 artifact 单独修复，而不是整包重生成，可保留已有效组件、降低合成成本；适合用于构建数据合成 pipeline 或 RL 环境。
- 用更高密度的可执行检查（多个独立断言）能暴露“只差一两个条件”的失败模式，提供更细粒度训练信号；在标注成本高时，应优先提升单条数据的 grounding 与验证密度，而不是单纯扩大数量。
基于图结构在线难度估计的高效RLVR调度
🧭 RLVR 自适应样本调度
PDL Lab, College of Computer Science and Technology, National University of Defense Technology
提出图结构化在线难度估计器，共享相邻样本rollout反馈以缓解冷启动与滞后
📌 工作参考价值（4 点）
- 推荐系统冷启动与稀疏反馈：借鉴图结构上共享反馈的思路，对冷门 item/user 通过语义或行为相似图传播邻居的交互信号，缓解新 item 无曝光或曝光少的估计偏差，类似 GraphSAGE/标签传播，但这里用在线变分状态估计更平滑。
- Agent 任务调度中的预算分配：在 multi-agent 或工具调用场景，可按任务难度与相关性构建任务图，用 Beta-Binomial 聚合同一难度状态的任务执行结果，动态决定给哪些任务更多推理步数或工具预算，避免统一预算浪费在简单任务上。
- 训练样本重要性采样：电商搜索/推荐模型训练时，可以利用模型当前 loss/奖励作为反馈，通过图传播估计样本难度或信息量，对高难度但可学习样本提高采样权重或增强次数，对简单样本降权，提升样本效率。
- 在线均值场变分可复用于实时点击率预估中的 item/user 状态更新：将曝光/点击反馈按状态聚合，用先验鼓励相似 item 同状态，在线更新难度或价值估计，适合流式场景无批量重训练。
Agent Lightning v1.0：面向 Harnessed Agentic RL
🧭 Agentic RL 训练框架与挑战 ★ 深度解读
Microsoft · Fudan University · Zhejiang University · University of Edinburgh
系统刻画 harnessed agentic RL 的 retokenization、advantage 与 loss 归一化挑战，用 3.5k 行框架验证 coding agent 提升 14.6%
📌 工作参考价值（4 点）
- 借鉴 proxy 解耦架构：电商导购/客服 Agent 线上 harness 可直接接 RL 训练 LLM 代理，无需改动 Agent 代码即可采集训练轨迹，显著降低 train-serve skew。
- 训练样本合并不要依赖文本前缀：必须基于 token 级精确前缀判断合并，否则会引入 off-policy 偏差；资源有限时采用 best-effort merging 最实用。
- Advantage 与 loss 应在 rollout 级别计算：当 Agent 内部存在子任务、上下文摘要或 retokenization 导致一个 rollout 产生多个训练样本时，按 sample 数归一化会引入梯度偏差，建议使用 rollout-level token-mean loss。
- 工程上可复用 collocated async RL 让推理与训练共享 GPU 池，比同步约快 2x 且省卡；同时用幂等 API + 重复 LLM 请求去重处理网络重试，适合大规模 rollout 场景。
Agentic ESOpt：以最小 GPU 需求微调长程 LLM Agent
🧭 Agent 微调 · Evolution Strategies ★ 深度解读
National University of Singapore · Southern University of Science and Technology · University of Oxford
用进化策略替代强化学习微调长程 LLM Agent，仅需推理级显存并支持 prompt-参数协同演化
📌 工作参考价值（4 点）
- 长程、稀疏奖励的 Agent 业务（多轮对话推荐、工具调用、自动化工作流）可考虑用 ES 全参数微调替代 GRPO/PPO：只需推理级 GPU 内存，适合无法承载 RL 反向传播的大模型。
- 实现 trick：只存噪声种子、in-place 加减扰动量；每批采样后用 z-score 归一化 reward 再加权更新；扰动半径 σ 用余弦衰减，train-time 保留非零 σ_T 防止过拟合，test-time 衰减到 0。
- prompt-space 优化（如 Trace2Skill、EoH）与参数优化共享同一批 rollout，交替更新 prompt 和参数，可迁移到自动 heuristic/策略设计或线上 prompt-参数协同调优。
- 根据模型能力调整 ES population：强 backbone 可能只需较小 G，能进一步降低采样成本；在 4B 上 G=8→16 提升巨大，但 9B 上提升极小。
On-Policy蒸馏泛化的双面性：同源对齐与多教师跷跷板效应
🧭 On-policy蒸馏泛化与多教师集成 ★ 深度解读
University of Science and Technology of China · Peking University · IQuest Research · MBZUAI · Zhejiang University
控制实验发现OPD迁移教师推理行为而非答案，同源教师跨域泛化强但使多教师路由出现跷跷板效应
📌 工作参考价值（4 点）
- 教师选型：做 LLM 蒸馏/对齐时，优先选同 base model 的 same-origin 教师，而不是只看 benchmark 更强的跨架构/异源教师；尤其在需要跨域、跨语言或长程推理迁移时，同源教师能带来更稳定的全局策略对齐。
- 训练数据筛选：不要按 teacher 是否解出问题过滤样本，teacher 端 pass-rate=0 的难题同样有价值；对 student 已稳定解决的 prompt 可以动态丢弃，能带来小幅一致性提升并节省算力。
- 多教师/多域路由：在多任务业务（搜索、推荐、广告文案等多域 LLM）里，不能把 prompt 路由当作能力隔离墙；教师影响会跨域拉扯，调整某一教师数据比例会产生跷跷板效应，必须全局监控所有域指标，且同源教师拉动力更强。
- 诊断方法：除了训练 loss，监控 teacher-student 的 top-K token overlap 等策略对齐指标，可判断蒸馏是真正对齐整体策略还是仅拟合训练分布；在 Agent 策略蒸馏中可用来控制跨能力迁移。
SubZero+：基于大学习率的高效零阶 LLM 微调
🧭 零阶优化 · 低秩子空间微调 ★ 深度解读
Beijing Normal University · Singapore Management University · Xiaomi Inc. · Beijing Key Laboratory of Artificial Intelligence for Education · Engineering Research Center of Intelligent Technology and Educational Application (MOE)
在低秩子空间内多查询梯度估计+低秩Adam+Haar符号校正，让零阶微调能使用大学习率并稳定提升性能
📌 工作参考价值（3 点）
- 在显存受限的 LLM 微调/适配任务中（如 24GB 卡微调 8B 模型、边缘端私有化部署），可直接借鉴 SubZero+ 的“低秩子空间内多查询 ZO”方案：每步 K+1 次前向，无反向传播，显存接近推理；在相同前向预算下，K=50-100 可显著提高稳定性和准确率。适合 query 生成、文案生成等轻量生成任务的快速适配。
- 若业务里已有 LoRA 等低秩适配模块，可将优化器换成“子空间 Adam”：在低秩参数上维护 r×r 的一阶/二阶矩，按元素自适应步长，几乎不增加显存，但能扩大可用学习率范围、减少调参成本。对广告标题生成、搜索词推荐等多场景快速迭代尤其有用。
- 实现注意：用 QR 分解生成随机投影矩阵时，务必对 Q 按 R 对角元素做 sign correction，否则投影矩阵不是 Haar 分布，会导致方向性偏差，影响优化稳定性。该工程细节可落地到任何使用随机子空间/扰动的算法中（如差分隐私、对抗训练、ZO 超参搜索）。
学习未掌握部分而非已掌握部分：多奖励策略优化的饱和感知优势重加权
🧭 LLM 后训练 · 多奖励 RL 优化
University of Florida · UC San Diego · Northeastern University · Northwestern University · Stanford University
提出 SA-MRPO，独立标准化各奖励并按批次饱和度动态折扣优势，将优化重心转向未饱和目标，提升困难指标性能
📌 工作参考价值（4 点）
- 多目标 RL 微调时，不要先固定加权求和再标准化优势；改为对每个奖励独立标准化，并在每个 batch 估计目标饱和度（如 batch 平均奖励接近上限）来动态折扣其梯度贡献，可让模型自动将优化重心转向未达标目标，避免简单指标吸干预算。
- 推荐系统多任务学习可借鉴“饱和度感知动态损失权重”：每隔若干 step 根据验证集或 batch 上各目标当前水平计算饱和度，自动降低已达标任务的损失权重，把容量留给困难目标（如转化率）。
- 工程实现成本低：只需在 batch 内统计每个奖励的均值或分位数，设计递减函数（如 1 - 均值/上限）生成权重，无需额外超参或元学习，易嵌入现有 GRPO/PPO 流程。
- 多目标场景下应监控指标是否已达标，适时冻结或降低其训练信号，将 RL 信号导向更难提升的目标，符合“保持已满意水平而提升困难目标”的实践原则。
针对性合成多语言数据提升 LLM 多语言推理能力
🧭 多语言 LLM 定向数据生成与训练优化
UIUC · Uniphore
提出 HOTFIXR 数据框架，自动探测多语言弱点并生成合成数据，ID 提升 6.2%、OOD 语言提升 7.1%
📌 工作参考价值（4 点）
- 迁移到多语言搜索/推荐：在不同语言 query 下，LLM 表现不一致会影响搜索结果排序和相关性判断；可借鉴 HOTFIXR 思路，先用 teacher model 自动找出模型在哪些语言/任务上最容易出错，只对薄弱语言做定向合成数据微调，避免全量 language-balanced 数据造成主语言性能下降。
- 困难样本生成与筛选：把“难度优化”用于 query 改写、意图分类、内容理解等模块；让 teacher LLM 生成当前模型易混的合成 query（如相近语言、低资源语言、口语化表达），并保留学生模型答错的样本作为高质量微调数据，减少人工标注。
- 评估指标：引入跨语言一致性 spread 指标，监控线上多语言推荐/搜索在不同语言之间的效果差异，避免只看总体指标掩盖局部退化。
- 工程实现：可搭建自动化的“弱点探测 → 定向生成 → 迭代微调”流水线；每轮用教师模型生成候选数据，根据学生模型 loss/错误率筛选 top-hard 样本，控制数据规模和训练成本。
CForce：通过一致性强制提升扩散语言模型并行解码
🧭 dLLM 并行解码一致性蒸馏
Shanghai Jiao Tong University · Ant Group
提出 Consistency Forcing 蒸馏方法，用后期掩码预测监督早期预测，改善 dLLMs 高并行解码的质量
📌 工作参考价值（4 点）
- 低延迟生成场景可迁移：电商创意文案、商品标题、push 文案等对延迟敏感且可接受部分生成的场景，可以尝试用 dLLM 并行解码替代 AR 解码，并采用 CForce 蒸馏抑制早期掩码预测错误传播，在高并行预算下获得更好的速度-质量权衡。
- 蒸馏目标设计值得借鉴：Confidence Adaptive KL 动态结合前向 KL（模式覆盖）和反向 KL（模式坍缩），可在推荐模型蒸馏、策略蒸馏或 LLM 蒸馏中用于平衡学生模型输出的多样性与准确性，尤其适合标签软化的场景。
- 自回滚轨迹训练提升训练-推理一致性：业务中若使用迭代式生成（如多轮 Agent 交互、多次改写），可以收集模型自身推理轨迹，用后期步的高置信预测作为早期步的监督信号，缓解训练与推理分布不一致。
- edit-capable 解码的监督思路：后期 token-to-token 修正可反哺早期 masked-state 预测，对带修正/编辑能力的生成流程（如搜索词改写、推荐理由生成）有参考价值。
超越故事中心数据的创意写作扩展：属性引导的体裁扩展
🧭 LLM 数据扩充 · 属性引导体裁生成
Chung-Ang University · LG AI Research
用属性引导解耦主题与体裁形式，构建多体裁创意写作数据提升 LLM 跨体裁能力
📌 工作参考价值（4 点）
- 可借鉴“主题种子 + 人工属性模板”的解耦思路：用电商搜索词、商品标题、用户评论等作为主题种子，人工维护不同文案体裁的结构/风格/格式属性（如 push 文案的紧迫感、广告标题长度、商品描述格式），批量生成多体裁营销文案训练数据，提升 LLM 在电商文案生成上的指令遵循。
- 质量过滤环节可结合业务规则与强模型打分：先按属性约束生成，再做过滤，能兼顾格式合规与文本质量，适合落地到商品文案、广告创意、消息推送等对格式和风格敏感的场景。
- 消融结论提示：对生成式推荐/文案 Agent，体裁多样性比单纯扩大单一类型样本规模更重要；可以先小规模控制体裁类别数做验证，再决定是否扩充，节省数据预算。
- 对 Agent 多轮任务，可把工具调用/输出 schema 视为“体裁属性”，通过人工属性库让强 LLM 生成符合格式的合成轨迹，用于训练或蒸馏领域 Agent。
QUASAR：通过损失感知重建降低量化感知训练的损失下界
🧭 量化感知训练 · 损失感知重建 ★ 深度解读
Cornell University · Together AI
将损失感知重建引入 QAT 训练循环，用 Adam 二阶矩做 saliency 进行尺度搜索和加权最小二乘拟合，压低低比特模型 loss floor
📌 工作参考价值（4 点）
- 低比特部署 LLM 时，若线上沿用 PTQ 掉点明显，可切换到 QUASAR 式 QAT：保持 weight-only 量化，不增加推理 overhead，训练开销仅 +1.4%。对需要长期稳定低延迟的推荐/Agent 推理服务有直接落地价值。
- 可直接复用两个 trick：用 AdamW 的 second moment \(v_t\) 作为权重的 saliency 估计，无需额外 Hessian 计算/存储；每步在 [0.3,1.0] 范围内搜索裁剪因子，并对反量化 scale/zero-point 做 saliency 加权最小二乘闭式求解，插入现有训练循环成本极低。
- 在 2-bit 这类极端低精度下，QAT 对数学推理和长链 Agent 任务质量影响显著；QUASAR 直接低比特 SFT 平均数学基准比最强 baseline 高 10.9 点，且是唯一在 HMMT'25 上非零的方法，说明保住长生成能力很关键。
- 该方法兼容 NVFP4 等生产格式，可把同样思路迁移到 MXFP4 或自定义 block-scaled 格式；迁移时只需调整候选 scale 与网格约束，核心目标不变。
SimpleOPD：简单与分词器无关的长上下文推理在线策略蒸馏
🧭 On-policy 蒸馏 · 跨 tokenizer 长上下文推理 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
用共享文本空间跨 tokenizer 对齐并加入终止 token 掩码与参考 KL 稳定长上下文推理蒸馏
📌 工作参考价值（4 点）
- 跨模型/跨 tokenizer 蒸馏工程：业务中想把大推理模型蒸馏到小线上模型，不必做人工 token 映射，直接让 teacher 用自己的 tokenizer 读 student 生成的文本，只对齐文本 span 完全相同的 token；实验中 lexical overlap 始终 >90%，大部分监督信号可以保留，适合 Qwen/Llama/GLM/Gemma 等不同家族的在线蒸馏。
- 长链推理蒸馏的稳定性 trick：OPD 直接从长上下文老师搬推理能力，学生容易出现长度爆炸、截断、重复；可以照搬两个简单做法：① 掩盖 </think>、<|im_end|> 等终止/结构 token 的 advantage，不强制学生模仿老师的终止倾向；② 加 student-reference KL，防止策略偏移。Intern-S2 和 Qwen3.5-35B 上能有效把截断率降到接近 0。
- KL 系数是重要的超参：师生差距越大，越需要更强的 reference KL；GLM-4.7 消融显示 0.5 不足、1.2 过度，1.0 最均衡。业务上做蒸馏可以优先按模型家族差异设 0.5/1.0 两档。
- 训练数据聚焦更利于能力迁移：仅用 proof-only 数据蒸馏，目标证明能力提升最大；混入通用可验证数学数据反而削弱 ProofBench 迁移。类比到业务：要蒸馏商品知识、query 改写或策略推理，训练集应保持任务纯净，不要混太多无关任务。
CROP：基于反事实的任务相关性用于选择性在线蒸馏
🧭 LLM 在线蒸馏中的 token 级样本选择
The University of Hong Kong
提出 CROP，通过反事实敏感性边际度量 token 级任务相关性，优化选择性在线蒸馏的监督分配
📌 工作参考价值（4 点）
- 在业务 LLM 蒸馏或微调中，可借鉴 CROP 对 token 级监督进行加权：仅重点关注与当前任务语义相关的 token，降低无关 token 的学习干扰。
- 利用构造「原始-释义-反事实」三元组来校准 token 敏感度，可用于评估指令中哪些部分真正驱动任务输出，辅助 prompt 精简或数据筛选。
- 方法不依赖外部标注，完全基于模型内部行为，适合线上持续学习或无法大量标注的推荐/Agent 场景。
- 可迁移到生成式推荐，例如对用户 query 或 item 描述生成时，判断哪些 token 影响最终推荐结果，提升蒸馏数据质量。
DFM Mimir v1：1B参数开放HRM模型，仅用许可数据达前沿性能
🧭 1B参数开放HRM语言模型
University of Southern Denmark · Ordbogen A/S · Aarhus University
用HRM架构与161个许可数据集训练1B模型，英语有竞争力并刷新丹麦语SOTA
📌 工作参考价值（4 点）
- 合规数据策略可落地：业务中常受用户隐私、版权数据限制；Mimir 用 161 个许可数据集训出 1B 可竞争模型，说明「只使用许可数据」不必然牺牲性能。电商/广告团队可优先构建高质量合规数据集（如平台内脱敏行为、商品描述、客服会话）做模型训练或微调。
- 小模型 + 高效架构值得关注：HRM 使 1B 参数接近 4B 性能，若其层级推理能降低解码步数或提升推理效率，适合线上生成式推荐/Agent 的低延迟约束；可试验类似层级生成语义 ID 或分步 query 生成。
- 多语言混合训练启示：针对小语种或垂直域数据稀缺，将稀缺语言与高资源语言任务混合训练能提升目标语言表现；跨境电商、多语言 query 推荐可借鉴。
- 完全开放基座便于快速验证：Hugging Face 可直接获取，合规风险低，适合作为多语言业务原型的基座模型，快速测试 prompt/微调效果。
恶意软件分类模型的概念漂移检测与自适应重训练
🧭 概念漂移检测与自适应重训练
Department of Computer Science, San Jose State University · Faculty of Information Technology, Czech Technical University in Prague
用OCSVM等漂移检测触发模型重训练，在精度与周期重训相当下大幅减少重训次数
📌 工作参考价值（4 点）
- 将 OCSVM 作为无监督漂移检测器，监控推荐模型输入特征分布或预测分数分布，超过阈值触发重训练；相比每日/每周定期全量重训，可大幅节省 GPU/训练资源，同时保持效果。
- 借鉴三场景对比实验：static（不更新）、periodic（固定周期更新）、drift-aware（检测到漂移才更新），用 Pareto Front 量化精度与训练成本 trade-off，帮助决定线上模型的更新策略与触发阈值。
- 生产上可对用户行为序列、商品属性、embedding 统计量（均值/方差/分布）构造特征向量，用 MMD 或 MK-Means 做轻量漂移检测，并与自动训练流水线集成，实现模型自适应更新。
- 注意：恶意软件漂移模式与电商推荐漂移不完全一致，但“漂移检测 + 事件触发重训”的框架可直接迁移；OCSVM 实际部署需调优核函数与 nu 参数。
防御性 Boosting：在线概率预测的双重保证算法
🧭 在线 boosting 概率预测与校准
Defensive Booster 同时获得在线梯度 boosting 的 Brier 竞争保证与弱学习条件下的分类误差收敛保证
📌 工作参考价值（4 点）
- 在线广告 CTR/CVR 预测中可将其作为轻量在线集成/校准层：只维护一个弱学习器（如 FTRL 逻辑回归或浅层 MLP）做增量更新，不保存大型集成，同时获得与 span 最优线性组合竞争 Brier 的保证，适合高 QPS、低延迟场景。
- 在非平稳或可能被策略对抗影响的流量中，利用其 dual view：若预测误差持续升高，mistake weights 会形成弱学习条件失败的 hard-core 证书，可作为线上监控信号，触发模型重训、特征回补或人工排查。
- 强自适应变体可在任意时间区间提供局部保证，适合电商大促、突发流量等剧烈分布偏移时对近期区间单独做校准，不用等待全局历史数据积累。
- 若目标是“任意数据下不崩”和“有利条件下快速收敛”，可直接借鉴其目标设计：把 Brier 竞争和弱学习条件两个目标纳入同一在线更新，而不是单独使用在线梯度 boosting 或在线分类 boosting。
合成角色预训练：从零 token 开始对齐
🧭 LLM 对齐 · 预训练阶段 persona 注入
EPFL · MATS · University of Toronto · Northeastern University · SJTU
在预训练阶段注入合成角色反思，从 token zero 安装助手人格，提升对齐与鲁棒性
📌 工作参考价值（4 点）
- 若业务中有基于 LLM 的导购助手或 Agent，可在领域继续预训练阶段混入带品牌语调/平台规范的第一人称反思数据，让模型早期建立期望 persona，减少后期 RLHF/SFT 对齐成本。
- 借鉴 persona binding 思路：在通用预训练后，用少量用户-助手对话数据将预训练安装的 persona 绑定到特定助手身份，可能提升业务场景下响应一致性。
- 实验结果提示早期干预优于后期微调，且优势随预训练数据量增加而扩大；若预算允许，应尽早注入领域价值观而非仅靠后训练微调。
- 注意该方法主要针对通用对齐，电商搜索推荐中的直接迁移价值有限，需自行构造领域反射数据并验证对推荐指标无损害。
拒绝意图而非形式：基于包装的意图组监督用于LLM安全
🧭 LLM 安全对齐训练 · 意图组监督
BrainCog Lab, Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · Beijing Key Laboratory of Safe AI and Superalignment · Ant Group
提出 WIFA 自动增强数据，通过意图组配对和锚定训练改善 LLM 对有害包装的拒绝并减少过度拒绝。
📌 工作参考价值（4 点）
- 数据增强思路：在训练推荐系统或 LLM Agent 时，可针对同一用户意图的不同表达（如 query 改写、prompt 模板变化）构造结构匹配的正负例对，强制模型关注意图而非表面形式，提升鲁棒性。
- 两阶段训练策略：先使用难例（如对抗性样本）进行安全/鲁棒性增强，再通过一致性正则化减少对良性样本的误判，可迁移到电商推荐中需要平衡安全过滤与用户体验的场景。
- 锚定一致性训练：对同一意图的不同表达进行决策分数对齐，确保模型对相似请求响应一致，适用于多轮对话推荐或跨场景的意图识别，减少对同义表达的波动。
- 工程实现提示：无需人工标注每个包装的意图，通过自动配对有害与良性样本可高效构建增强数据，降低数据成本；适用于需要大量多样性表达的业务场景。
LittleLearner：基于小学课程受控知识暴露的语言模型
🧭 受控课程预训练 · 知识边界与注入评估
MPI-IS · Ellis Institute · ETHZ
构建88B token K-5语料并训练5B模型，提供研究知识边界与注入的受控沙盒
📌 工作参考价值（4 点）
- 借鉴课程过滤思路构建电商领域语料：用分类器或规则明确排除超出业务范围（如非在售品类、无关知识）的文本，降低模型幻觉与无关能力浪费。
- 评估知识边界可指导业务 LLM 上线：设计类似“是否知道某品类/政策”的探测题，判断模型是否具备真实业务知识，避免依赖 RAG 或微调误以为能注入新能力。
- 论文发现 post-training 与 ICL 只能更好地利用已有知识，不能提升 out-of-scope 能力。对电商 Agent 的启示：新品类或新政策若完全未在预训练中出现，仅靠检索或少样本提示可能无效，需考虑持续预训练或数据回灌。
- 低成本沙盒模型适合快速验证训练策略：业务中可先训一个小规模受控模型做消融，验证数据配比、课程顺序或知识注入方法，再迁移到大模型。
LLM 预训练中领域数据重复的规模化规律
🧭 LLM 预训练数据重复策略
Tsinghua University · ByteDance Seed
固定 TPP 下最优领域重复次数随模型规模略增且与领域验证损失强负相关，可用小模型外推
📌 工作参考价值（4 点）
- 高质量领域数据有限时，不必盲目避免重复：对模型拟合好、验证损失低的领域，可以安全增加重复次数；可先在小模型上观察不同重复率对验证损失的影响，找到临界点。
- 在数据配比流程中，不要只依据唯一数据量判断领域重要性；用小代理模型（相同 TPP）快速扫描各领域最优重复次数，再将结果外推到大模型，可大幅降低大模型实验成本。
- 推荐/搜索场景中，若某些高价值目标域（如特定类目、核心 query 意图）数据稀缺，可借鉴该重复策略，但需持续监控验证损失，防止从“低损失高可重复”偏移为过拟合。
- 工程上可建立“数据重复率—验证损失”曲线作为数据配比决策的轻量工具，纳入预训练/持续预训练的数据准备 pipeline。
训练混合：将小规模脚手架预训练运行重组为更大语言模型
🧭 模块化 LLM 预训练 · 脚手架重组 ★ 深度解读
Google, Mountain View, CA, USA · School of Computing, Dublin City University, Dublin, Ireland
提出 MoT：在冻结对齐器脚手架中独立训练 Transformer 深度块并重组，验证模块化预训练可行性
📌 工作参考价值（4 点）
- 模块化底座与多域迁移：若做电商/广告/搜索的多域 LLM 底座，可把不同领域的深度 block 独立训练再重组，避免每次全量重训；复用 off-the-shelf aligner 作为稳定表示接口，重组后加少量 end-to-end adaptation 回补接口错配。但要把 aligner 成本按复用次数摊销，R≥3 才有净收益。
- 数据流设计 trick：aligner 存在时，给各子模型上 disjoint data streams 能改善冷组合 PPL（19.3 vs 20.3），没有 aligner 反而恶化；说明在表示接口稳定后，更广 token 覆盖对模块化重组有帮助，可直接用于多 worker 独立训练的数据划分策略。
- 工程核算与调度：把训练成本拆成 train EF / full-charge EF / amortized EF，并估算 layer-equivalent critical path，有助于在做出“模块化训练更省”的结论前避免被 aligner 一次性成本误导；Stage 1 各 scaffold 可并行、故障可局部恢复，适合小规模科研迭代或需要隔离故障的长训练任务。
- 风险与局限：当前仅验证 PPL，未测 downstream reasoning/校准/鲁棒性；在竞价广告/推荐排序这类对业务指标敏感的场景，不能假设模块化预训练模型可直接替换 monolithic，需要补做 SFT/RLHF 或在线 A/B 评估。
语言模型预训练中任务无关训练数据影响度量
🧭 训练数据影响分析 · 预训练动态
Nara Institute of Science and Technology · NII LLMC · Waseda University · The University of Tokyo · IT University of Copenhagen
提出一种无需下游任务或验证集的训练数据影响度量，通过梯度更新对最终参数距离的缩减来估计样本贡献
📌 工作参考价值（4 点）
- 在大规模预训练或微调中，可借鉴该任务无关的影响度量：不需要人工定义验证集，只需利用中间checkpoint和最终参数的梯度投影，即可对每个训练样本的重要性打分，适合数据清洗和异常样本排查。
- 发现的影响数据时序变化（早期文学类数据、后期STEM数据）提示课程学习策略：在推荐或Agent模型的预训练阶段，可以按数据域动态调整采样权重，初期侧重通用/文本类数据，后期逐步引入垂直领域或结构化数据。
- 该方法只需存储中间checkpoint，计算成本低，且无需重新训练，适合工程实现中定期对训练语料进行影响审计，为数据版本管理和数据溯源提供量化依据。
- 在生成式推荐或LLM4Rec场景中，可以利用此思路分析哪些训练样本对最终推荐生成能力贡献最大，辅助构建高质量指令微调数据集。
越流行越难遗忘：LLM 遗忘的自适应流行度策略
🧭 LLM 遗忘训练 · 流行度自适应
AIRI · Sber AI Lab · Skoltech · ISP RAS Research Center for Trusted Artificial Intelligence
AdaPop 按事实流行度自适应调整遗忘梯度，并用双上升控制器自动平衡遗忘/保留，显著降低遗忘内容泄露
📌 工作参考价值（4 点）
- 把「流行度」引入遗忘/更新训练：电商场景中需要让 LLM 遗忘下架商品、过期活动或用户隐私数据时，不要对所有遗忘样本用统一梯度。可以用商品销量、点击量、评论数、搜索热度等作为流行度代理，让热门实体获得更强的遗忘压力，冷门实体减小遗忘力度，避免过度擦除长尾信息。
- 用外部代理估算知识流行度：如果内部训练数据频率不可得，可以借鉴 AdaPop 使用 Wikidata sitelinks 或 LLM-as-Judge 的思路，在业务中用知识图谱连接数、商品关联关系数、LLM 对事实重要性的打分作为替代，计算 per-example 的 exponent，指导梯度缩放。
- 自动调节 retain penalty 的 dual-ascent 控制器：线上持续学习或定期遗忘时，手动设置遗忘/保留损失权重很脆弱。可参考每 epoch 根据保留集表现自动调整保留惩罚，减少对超参搜索的依赖，在删除目标知识的同时维持推荐/问答质量。
- 用隐藏状态距离做内部监控：除了最终行为指标，可以跟踪遗忘集和保留集的隐藏状态相对未更新模型的距离，作为遗忘充分性与保留完整性的 early signal，便于训练中及早发现遗忘不足或过度遗忘。
LazyTrain：有限资源下大模型训练的零浪费产出优化
🧭 LLM 训练资源调度优化
IDEA Research · The Hong Kong University of Science and Technology (Guangzhou) · DataArcTech Ltd.
将checkpoint选择、激活放置、重计算与CPU-GPU-NVMe通信重叠建模为混合整数调度，并耦合混合8-bit算子提升单卡训练效率
📌 工作参考价值（4 点）
- 层流式执行器上将 checkpoint 选择、激活 offload、重计算与 PCIe/NVMe 传输显式建模为混合整数调度问题，避免通信暴露在关键路径；自研微调平台或单卡多卡调度时可把“何时 offload/重计算”做成可求解策略而非硬编码规则。
- 8-bit 优化器状态与快速梯度裁剪耦合为混合算子，压缩优化器状态省显存，同时用快速裁剪掩盖 CPU 端更新延迟；适合 LoRA/QLoRA 或全参微调中优化器状态占显存大、需单卡大 batch 的场景。
- 消费级 GPU（RTX 3090）上最大可行 batch size 各模型规模可增加 1，能直接服务推荐/CTR/CVR 模型 LLM backbone 的对比学习、多任务微调，降低单卡试错成本。
- 离线求解调度策略、训练时执行的思想可迁移到推荐系统训练中，把 embedding offload、参数服务器通信、数据搬运也显式建模为调度问题，提升 GPU 利用率。
MOON：多目标正交归一化更新用于多任务学习
🧭 多任务学习优化 · 矩阵几何梯度操纵
Institute of Artificial Intelligence, Beihang University · Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University · Beijing Academy of Artificial Intelligence (BAAI) · Center for Applied Statistics, School of Statistics, Renmin University of China
在矩阵几何下做多目标梯度操纵，用谱-核范数几何与正交归一更新提升多任务优化效率
📌 工作参考价值（4 点）
- 多任务推荐/广告模型里任务冲突常见，现有梯度操纵方法（MGDA、PCGrad、FAMO）都把参数展平成向量，在欧氏空间操作，忽略了 Transformer 权重矩阵的几何结构。改用矩阵几何下的谱-核范数梯度方向和正交归一更新，可直接替换现有 MTL 优化器，特别适合含 Embedding 矩阵、Attention 权重矩阵的模型。
- 工程实现上：对每个任务梯度矩阵做 SVD 或谱范数归一化，再合并成正交归一方向，计算开销可控；可先对共享底层参数应用，避免全模型展开。
- 若业务中使用多目标融合（如 CTR、CVR、GMV、时长），可尝试在共享底层或 MoE 专家层用该更新规则，替代简单梯度加权，可能改善任务间冲突和收敛速度。
- 注意论文主要验证在通用多任务学习基准，直接迁移到大规模推荐系统需先做离线小规模对比实验，确认收益与额外计算成本。
潜在在线策略自蒸馏
🧭 LLM Agent 在线策略自蒸馏训练 ★ 深度解读
National University of Singapore · Beijing University of Posts and Telecommunications · Shanghai Jiao Tong University
让 OPSD 的特权上下文从手工设计变为可学习的潜在表示，联合蒸馏提升 agent 与代码策略，样本效率显著优于 GRPO/Skill-SD
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 训练中，可将历史成功会话（用户目标+操作序列+结果）检索并压缩成 latent tokens 条件化 teacher，让学生从自己的 rollout 中稠密学习，避免人工写死“成功策略/提示模板”；线上推理只保留学生，不增加延迟。
- 使用 on-policy self-distillation 时必须加 privileged-margin 约束，否则 teacher 会退化到 student，联合训练效果反而比冻结 composer 更差；可用结果奖励（如转化/点击）加权 per-token advantage，margin 建议设在 0.05 左右。
- latent context 注入生产推理引擎不必改底层 embedding，用 placeholder sentinel + dummy token ids 即可兼容 vLLM/SGLang；训练后 composer 和检索索引可以完全离线。
- 在 RLVR 采样预算有限（如每天 1-2k 条 rollout）且需要快速策略迭代的推荐/广告 Agent 场景，latent-teacher 稠密监督比纯 GRPO 样本效率高很多，可作为内部训练组件复用。
上下文匹配蒸馏：面向自回归视频蒸馏的教师因果性
🧭 视频生成蒸馏 · 因果对齐
NVIDIA · University of Surrey
提出因果蒸馏框架 CMD，对齐教师评分与学生生成时的因果信息集，提升自回归视频生成控制精度
📌 工作参考价值（4 点）
- 因果对齐的蒸馏思想可迁移到序列生成模型（如自回归推荐、对话式 Agent）：教师评分时应只使用学生生成该 token 时已见到的历史与上下文，避免未来信息泄露造成训练-推理不一致。
- Prefix Scoring 用学生实际生成的前缀（而非真实前缀）让教师评估当前 token，这类似于 NLP 中的 on-policy 蒸馏，可借鉴到基于 LLM 的序列推荐或搜索 query 生成中，以缓解 exposure bias。
- Prefix Corruption 通过对早期不可靠前缀加扰动来稳定训练，可应用于 RLHF 或蒸馏框架中处理训练初期策略不稳定问题，尤其在实时交互式生成场景（如直播电商文案、动态广告素材生成）有价值。
- 论文主要面向视频生成，与电商/推荐直接业务关联有限，但其中的低延迟自回归生成 + 在线控制思想，对需要实时响应的交互式推荐系统（如对话推荐、动态出价策略）有架构参考意义。
信息丰度悖论：长上下文训练削弱参数化知识
🧭 长上下文训练中参数化与上下文化的权衡 ★ 深度解读
Johns Hopkins University
提出信息丰度悖论：训练上下文越丰富，模型越依赖上下文而非参数知识，导致长上下文训练并非中性增益
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 建模用户行为序列时，盲目拉长训练上下文可能让模型过度依赖近期上下文，削弱对长期兴趣的参数化表达；建议通过无上下文/冲突上下文测试评估模型鲁棒性，找到最优上下文窗口而非一律用最大长度。
- 微调推荐/Agent 模型时，若训练集中大量提供高质量候选上下文（如检索文档、相似商品），模型容易“上瘾”于上下文。可在微调时混合一定比例无上下文或含噪声上下文的样本，迫使模型同时保留参数知识。
- LoRA 适配器放置位置可以调节学习模式：希望模型更多依赖参数知识（如长期用户画像）则倾向于只更新 FFN 层；希望模型更好利用上下文（如对话历史）则更新 Attention 层。可根据业务需求选择模块化微调策略。
- 在 RAG 或长上下文生成式推荐中，性能可能随上下文长度呈倒 U 型；建议在验证集上搜索最优上下文长度，并监控模型在上下文缺失或误导时的衰减程度，避免部署后出现脆弱性。
Dion3：Muon 优化器全栈正交更新加速
🧭 Muon 优化器全栈加速与分布式优化 ★ 深度解读
New York University · Princeton University · NVIDIA · Yale University · Microsoft Research
提出 Gram Newton-Schulz、对称 GEMM 核、分数行选择更新和 megabatching，将 Muon 优化器步时最多降低 6 倍且保持/提升模型质量
📌 工作参考价值（4 点）
- Gram Newton-Schulz 可作为标准 Newton-Schulz 的 drop-in 替换，在权重矩阵 aspect ratio 高（如 MLP/MoE 权重）时显著减少 FLOP，适合推荐/广告模型中常见的宽矩阵，无需改变训练流程。
- 分数行选择 + error feedback 是实用的加速技巧：每次只正交化动量矩阵中 ℓ1 范数最大的 f 行，学习率按 η/√f 缩放，在资源受限时可将优化器计算量降低约 1/f²，且不损害甚至轻微提升模型质量。
- Megabatching 策略对 FSDP 下的通信优化很有价值：按矩阵形状分组做 all-to-all，减少通信轮次至 O(1)，在中小模型通信瓶颈场景（如 1B 模型 8 卡）可降低 35% 优化器步时，值得工程实现借鉴。
- 自定义对称 GEMM 核（CuteDSL）利用对称性只计算下三角并复制到上三角，在 Hopper/Blackwell 上获得近 2× 速度，适合集成到训练框架中以加速大量对称矩阵乘法。
TailBooster：面向极端值增强与操作有效性约束的双层生成框架
🧭 生成式数据增强 · 极端事件预测
Delft University of Technology
提出 TailBooster 双层框架，用 IQR 提取尾部训练生成模型，再用自编码器清洗，保证合成样本操作可行，极端预测 MAE 降低 47-57%
📌 工作参考价值（4 点）
- 对长尾/极端样本单独建模：可用 IQR 或业务阈值从历史中切出极端样本（大促流量峰值、黑产攻击、异常转化、长尾物品冷启动），仅用这些样本训练专用生成模型（如 Tabular VAE），比全量数据训练 GAN/VAE 更能生成高质量尾部样本。
- 生成后加可行性过滤层：在生成器后接一个自编码器，用重建误差作为操作包络，自动剔除不符合历史数据约束的合成样本；无需手工规则即可过滤不合逻辑组合（如超低价格与高成本、短浏览时长与高转化）。
- 评估增强效果直接看下游 MAE：不只评估分布相似性，而是把合成样本加入训练集，观察对极端值预测 MAE 的改善；在推荐/广告系统中可对极端延迟、极端转化等目标做类似回归评估。
- 方法模型无关、数据驱动：不依赖特定生成模型或下游模型，可嵌入现有 pipeline；在缺乏明确业务规则的场景下尤其适用。
AdvFD：通过对抗 Fréchet 距离损失提升视觉生成
🧭 生成模型后训练损失改进
Peking University · KlingAI Research
提出对抗 Fréchet 距离损失（AdvFD），用可学习对抗表示与特征白化缓解 Fréchet hacking，提升视觉生成后训练
📌 工作参考价值（4 点）
- 主要是学术贡献，业务可借鉴点有限。
- 指标 hacking 值得警惕：推荐/广告中仅优化 AUC、NDCG 等静态离线指标可能类似 Fréchet hacking，可尝试引入一个可学习评估器或对抗表征来暴露被固定指标忽略的分布差异。
- 特征白化（whitening）作为对抗训练稳定技巧，可借鉴到多目标/对抗式训练（如 GAN-style 生成式召回）中，防止一侧通过放大特征范数欺骗损失。
- 生成式推荐/创意生成中，后训练阶段加入分布级对抗损失可能提升生成结果与真实分布的全局对齐，但需要进一步验证。
基于变分学习的 RLVR 参数探索
🧭 LLM 强化学习 · 参数空间探索
INSAIT, Sofia University "St. Kliment Ohridski" · Technical University of Darmstadt · National Research Center for Applied Cybersecurity ATHENE
提出 3PO 方法族，通过采样多个策略参数实现参数空间探索，相比 GRPO 在相近 FLOPs 下持续提升 LLM 推理性能
📌 工作参考价值（4 点）
- 在基于 GRPO 的 RLVR 流程中（如训练生成式推荐/query 改写/对话 Agent），可引入参数空间探索：对 LoRA 权重采样多个扰动副本生成 rollouts，与温度采样互补，能缓解奖励信号稀疏导致的训练停滞。
- 借鉴 3PO 的分组奖励估计：将多个参数样本生成的 rollouts 分组计算优势，可减少零优势组，提升稀疏反馈（如点击/转化）下的训练信号利用率。
- 该方法在 near-identical FLOPs 下提升性能，适合业务场景有限的训练预算；可在现有 LoRA + RL 框架中低成本实现参数扰动，无需增加推理开销。
- 需注意：论文在数学/代码任务验证，迁移到推荐/搜索时需调整扰动强度与采样频率，并验证奖励函数（如延迟转化）下是否仍稳定。
开放大语言模型多语机器翻译的无参考后训练
🧭 LLM 多语翻译 · 强化后训练 ★ 深度解读
Xiaomi Inc.
用GRPO加语言门控无参考质量奖励与SFT-RL权重插值，46语翻译12B模型超越多个闭源系统
📌 工作参考价值（4 点）
- 无参考奖励设计：在缺乏成对标注的生成任务（商品文案、搜索query改写、Agent回复）中，可组合多个可学习质量模型打分，并用规则门控（目标语言/格式/长度）过滤无效高分，避免错误输出获得奖励。
- SFT-RL参数插值：训练完成后把SFT与RL权重按α线性混合，无需额外训练即可调节指标trade-off（如相关性 vs 多样性、BLEU vs 神经指标），推荐默认尝试α=0.5作为起点。
- RL数据筛选：对每个prompt采样一组rollout，只保留reward均值和标准差符合条件的样本，能显著提升GRPO训练信号效率，适合从线上日志或无标注语料构造后训练数据。
- 小模型继承大模型增益：用on-policy distillation可以接近RL+插值模型的性能，资源受限时可只对大模型做RL然后蒸馏到线上小模型。
ReRound：重构舍入解决免校准 LLM 量化中的中点歧义
🧭 LLM 低比特量化 · 校准自由 PTQ
Harvard University
用条件扩散模型重建权重作为舍入方向指导，混合 RTN 与重构舍入，提升小模型 3/4-bit 免校准量化精度
📌 工作参考价值（4 点）
- 对广告/推荐场景中部署的小模型（如轻量排序塔、CTR 特征提取器）可尝试校准自由 PTQ：ReRound 不依赖线上数据分布，奇异值匹配选择矩阵避免维护校准集，适合快速迭代压缩。
- 容忍度参数只对歧义区间权重做特殊舍入，可作为量化后处理的“局部修正”思路：在工程上对量化误差敏感的层或权重矩阵单独做扩散重建，其余层用 RTN，控制上线成本。
- 扩散模型生成重建权重这种“以生成做去噪/补全”的思路，可以迁移到 embedding 量化、低秩近似中，针对小模型权重分布做条件生成，提升量化后表示质量。
- 方案完全离线、推理零额外开销，对延迟敏感的排序/召回服务是重要优势；若现有压缩工具链中精度不够，可替换 rounding 模块而不改变推理图。
Se-DPO：自演化令牌信用用于直接偏好优化
🧭 偏好对齐 · 令牌级自适应KL正则化 ★ 深度解读
University of California, Los Angeles · Shanghai AI Laboratory
通过在线从模型自身隐式奖励与参考熵中动态学习每令牌KL预算，解决DPO均匀加权的次优问题。
📌 工作参考价值（4 点）
- 动态重要性加权思想可迁移至推荐场景：类似给用户行为序列中不同位置 token 分配不同 KL 预算，推荐系统中可对用户历史行为的不同步数或不同特征维度分配不同的正则化强度或学习权重，避免平均主义，让关键决策点有更大优化自由度。
- 在线重要性更新机制：静态重要度在训练后期会严重失配，Se-DPO 定期从模型当前状态更新信用。这启发在在线学习排序模型或生成式推荐中，可引入周期性重估每个样本/特征重要性的机制，而不是训练前一次性固定。
- 轻量校准网络的设计模式：用一个小 MLP 融合强度（\(|\hat{r}_t|\)）与不确定性（\(H_{\text{ref}}\)）两个信号，输出信用。推荐系统可类似设计一个轻量子网络，结合预估的重要度与置信度来动态调节损失权重，几乎无额外成本。
- 无需外部信号的在线信用提取：只用模型自身隐式奖励和参考熵，无需教师模型或额外标注。在缺乏外部监督的生成式推荐或 Agent 任务中，可仿照此方法利用模型内部信号进行自适应样本加权。
自我参照在线策略自蒸馏：将 Rényi 散度引入 OPSD 稳定训练
🧭 On-policy self-distillation · Rényi divergence ★ 深度解读
Imperial College London · Peking University · University of Science and Technology of China · Shanghai University of Finance and Economics · Nanyang Technological University
通过参考锚定与 Rényi 投影解耦在线自蒸馏中的目标位置与投影几何，显著提升训练稳定性与多任务性能
📌 工作参考价值（4 点）
- 在 LLM 推理训练（如 GRPO/SDPO）中替代 KL 散度：当使用环境反馈或验证信号进行策略优化时，将目标构造为自我教师与参考策略的几何插值，并用 Rényi 散度（可调阶数 ρ）替换前向/反向 KL，能稳定策略熵、避免模式塌缩，尤其适用于需要输出多样性的推荐文案生成、搜索词改写等任务。
- 参控对反馈信息的依赖程度：超参数 α 控制目标中自我教师（基于反馈）与参考策略的比例，业务中可据此调节模型对用户点击/转化信号的信任度，避免在噪声反馈下过拟合。
- 冻结初始策略作为参考锚点：将预训练初始策略冻结作为参考，保证训练后模型不严重偏离原有能力，适合在线上推理链路中逐步部署，降低上线风险。
- Rényi 投影的密度比温度控制：ρ 参数可看作对教师-学生概率比的幂次调制，能在训练初期压制极高或极低比值的梯度影响，相当于一种自适应梯度裁剪，有助于在不稳定反馈环境下稳定训练。
全带宽Transformer：潜在反馈解码提升预训练效率
🧭 LLM 预训练 · 潜在反馈多遍并行 ★ 深度解读
Johns Hopkins University · Princeton University · Microsoft
顶层隐藏状态与token嵌入融合反馈，以近零解码开销换来约1.5–2倍数据效率与更强推理
📌 工作参考价值（4 点）
- 若在电商/搜索的 LLM Reasoner（选品解释、query理解、Agent 规划）中部署生成模型，可将 latent feedback decoding 作为推理期增强：只需把上一步顶层 hidden state 经 GLU 与当前 token embedding 融合后输入，KV cache 和 serving 栈基本不动，每 token 仅多两次 D×D 矩阵乘法；配合少量多遍训练后，在数学/编码/指令任务上稳定提升。
- 把 prompt 预填充作为重点优化对象：对用户画像、历史行为、候选商品的 prompt 先跑 1–2 遍 fused prefill，再进入生成，收益前置于第一个反馈步，验证损失和 5-shot acc 都有明显提升，适合高价值、可接受额外 prefill 成本的推荐 Agent 调用。
- 数据稀缺的领域微调可以参考训练调度：多数步用标准单遍 NTP，后期混入少量两遍/三遍 batch；只需 3% 三遍 batch 即可让反馈映射从发散变收缩，大幅提升长程稳定性；同时用 prefix mixin 对齐训练与推理的 prompt-then-generate 分布。
- 融合设计要强制使用 hidden state：用 GLU 让 hidden state 走 value 通路、token 只作 gate，避免 additive shortcut 让模型退化回普通 token 输入；再加上 RMSNorm、输入输出 embedding 绑定、jitter noise，可在不牺牲标准 decoding 的前提下获得表示质量提升。
CreativeInstruct：可扩展地教大语言模型平衡质量、创意与多样性
🧭 可控创意指令微调 · 特殊令牌注入
Columbia · UNC Chapel Hill · University of Texas at Austin
通过在指令微调中引入 [StartCreativity] 令牌，使 LLM 在保持后训练质量的同时恢复基模型的创意多样性
📌 工作参考价值（4 点）
- 在电商推荐文案、对话式推荐等需要创意和多样性的场景，可通过插入类似 [StartCreativity] 的特殊 token 控制生成风格，在不牺牲质量的前提下提升多样性。
- 图编辑距离的结构多样性指标可以用于评估推荐理由、产品描述或 push 消息的叙事结构多样性，弥补纯词汇或语义指标的不足。
- 在 RL 训练前先用 CreativeInstruct 增强基模型的创造性，能显著提升后续 RL 的效果，这对用 RL 优化推荐策略或对话 Agent 的探索能力有直接借鉴。
- 单一模型即可平衡质量与创意，避免部署多个模型或蒸馏带来的推理开销，适合线上低延迟生成任务。
Capek 0.5：以执行为中心的具身视觉语言模型
🧭 执行中心的能力整合与多专才合并训练
XPENG ROBOTICS
提出按执行阶段划分能力分类，通过专才强化学习与权重合并-蒸馏实现统一多模态模型
📌 工作参考价值（3 点）
- 多能力统一模型训练范式：以电商/推荐系统中的多任务（CTR/CVR/搜索相关性）为类比，可先将不同目标视为独立能力，各自训练专才（LoRA或独立头），再通过权重合并（如TIES-Merging）和路由蒸馏，得到一个推理开销低且保留各能力的统一模型，避免多模型部署。
- 可验证奖励驱动的强化学习：在推荐Agent的动作决策（如消息推送时机、优惠券发放）中，可利用规则/仿真环境构造可验证奖励（收益提升、转化率），直接用RL优化LLM策略，减少对人工偏好标注的依赖。
- 能力分类指导系统设计：借鉴“空间推理、时间理解、动作指导、状态验证”的分类，在搜索推荐Agent中显式拆分出“用户意图理解、长短期兴趣建模、item选择、结果验证”等子能力，使数据构造和训练目标更聚焦。
DASH：发散自适应监督视野的在线策略自蒸馏
🧭 蒸馏训练 · 推理优化
Institute of Automation, Chinese Academy of Sciences · EverMind · Shanda Group · University of Chinese Academy of Sciences · Wuhan AI Research
提出DASH，根据局部发散与序列均值的差异自适应调整token级蒸馏权重，提升推理模型在线策略自蒸馏效果
📌 工作参考价值（4 点）
- 在推荐/广告场景的生成式模型训练中（如Semantic ID生成），若采用教师-学生在线蒸馏，可引入 DASH 的自适应门控机制，根据生成过程中每个token的偏差程度动态调整蒸馏损失权重，避免对所有token同等对待。
- 该方法不增加额外前向计算，仅复用已有的教师和学生分布，工程实现成本低，适合在已有OPSD流程中快速叠加。
- 对于使用RLVR训练推荐Agent的场景，可将 DASH 作为token级奖励塑形的一种手段，结合 KL 散度权重自适应调整，平衡探索与利用。
- 核心 trick：构建局部发散与全局均值的 gap 作为门控信号，可通过 simple 的递归聚合实现，无需复杂时序模块，易于部署。
Skaling：以交互指数耦合模型尺寸与数据的缩放法则
🧭 缩放法则改进 · 计算最优预测
FAIR at Meta
引入交互指数耦合模型容量与数据，解决标准缩放法则在极端区间的预测偏差，MAPE 降低 1.5–3 倍
📌 工作参考价值（4 点）
- 小规模代理实验精准指导大规模训练：直接采用 Skaling 法则对搜索/推荐模型（如召回双塔、精排大模型）进行缩放预测，捕捉模型尺寸与数据量的交互效应，避免因独立假设导致在数据稀疏或过训练时的计算资源错配。
- 低成本外推最优配置：结合文中稀疏网格策略，用少量低计算量实验（约全网格的 1/10 计算量）即可准确外推更大规模下的 Loss 与最优参数比，适合业务中需快速评估多个模型尺度时的预算分配。
- Agent 微调与 RLHF 的 scaling 决策：在为下游任务微调 LLM Agent 时，可利用该法则预测不同基座大小与微调数据量组合的性能，帮助在预算内选取性价比最高的配置。
- 交互项设计思路可迁移：当推荐模型存在组件间的强耦合（如特征域数量与 embedding 维度的联合缩放），可在损失预测函数中显式引入耦合项，提升拟合效果，该方法具有通用性。
通过基于排名的奖励构造释放生成式奖励模型在LLM强化学习中的潜力
🧭 生成式奖励模型RL训练 · 排名奖励构造 ★ 深度解读
School of Computer Science and Engineering, Northeastern University, Shenyang · NiuTrans Research, Shenyang · Independent Researcher, Beijing · CAS Key Laboratory of Behavioral Science, Institute of Psychology, CAS · Kunming University of Science and Technology
将生成式奖励模型从标量评分转为利用其排名能力构造奖励信号，解决RL中比较优势与评分范式不匹配的问题
📌 工作参考价值（4 点）
- 生成式评估器用于策略优化：在电商/推荐场景中，若使用LLM作为评估器（如评价推荐理由、对比候选素材），可直接沿用RRC思路：不要求LLM打绝对分，而是让LLM对同一查询的多个候选进行两两比较，将胜出次数作为奖励，再用GRPO等RL算法优化生成策略。这比强求标量分数更稳定且能利用LLM的推理能力。
- 锚点引导减少推理开销：RRC-AGR用少量固定参考响应（锚点）替代全量两两比较，将查询复杂度从O(m²)降至O(m×n)。在线上系统延迟敏感时，可预生成锚点集（如历史高赞推荐理由），新样本只需与少量锚点比较即可获得有效奖励信号，极大降低推理成本。
- 投票增强鲁棒性：对于生成式评估，单次判断可能随机，多数投票（voting@k）能显著提升奖励质量。在涉及文案生成、排序合理性判断等主观任务时，通过多轮采样聚合偏好可降低噪声，且可控制推理预算。
- 避免评估与策略耦合：锚点由固定参考策略生成，而非当前演化中的策略，能保持比较基准稳定。在迭代优化生成式推荐模型时，建议使用冻结的基线模型生成参考样本作为锚点，防止奖励漂移。
通过选择性上下文偏好优化学会何时信任
🧭 选择性信任训练 · DPO偏好优化
Duke University · National University of Singapore · UC Berkeley · UC Irvine · Northeastern University
提出选择性信任基准 MIST 与平衡 DPO 训练 SCOPE，使 LLM 在利用上下文时抵御误导信号
📌 工作参考价值（4 点）
- 构建多条件评估集：在 Agent 或 RAG 流程中，可借鉴 MIST 的四条件（干净、误导、正确上下文、无关上下文）设计验证集，评估模型对检索/注入上下文的「选择性信任」能力，避免只测鲁棒性或只测利用率。
- DPO 训练数据构造：利用 clean-correct/misleading-wrong 失败案例构造偏好对，且平衡四种条件（而非仅误导样本），可改善模型在不牺牲正确上下文利用率的前提下降低误导敏感度，适用于微调客服对话、搜索总结等易受噪声上下文影响的 Agent。
- SC2W 指标应用：在推荐解释生成或购物助手场景，可用 SC2W（干净正确被误导翻转为错误的比率）作为核心监控指标，重点检测模型在面对错误产品描述、误导性评论时是否保持正确。
- 工程实现轻量：SCOPE 仅需标准 DPO 训练，无需额外模型结构或强化学习，可直接在现有微调流程中应用，适合业务快速实验。
推理枢轴引导的在线策略自蒸馏实现多语言推理迁移
🧭 训练策略 · 推理枢轴引导 ★ 深度解读
National Key Laboratory for Novel Software Technology, Nanjing University
通过对比有无英文参考解答的教师分布，定位推理枢轴并引导特权蒸馏，提升多语言数学推理能力
📌 工作参考价值（4 点）
- 关键 token 定位：在序列生成任务（如推荐理由、搜索 query 改写、商品摘要）中，可利用两个视图（有无特权上下文）的分布差异，自动识别影响下游推理/决策的关键 token，不必依赖人工标注。
- 蒸馏权重分配：借鉴 PRS 得分与 RPT 门控，在模型蒸馏时将监督信号集中到“推理枢轴”token（如逻辑连词、状态更新词），避免在表面填充词上浪费容量，提升跨领域迁移效率。
- 语言风格锚定：引入冻结参考策略进行锚定损失，可在多语言推荐或广告文案生成中，既注入外部知识（如英文产品描述）又不破坏目标语言的流畅度，缓解 RL 或蒸馏带来的语言退化。
- 训练稳定性：门控分数来自同一模型的两个视图对比，无需额外教师网络，且运行时统计归一化适应不同训练阶段，可降低工程部署复杂度，适合在线蒸馏场景。
无监督在策略自蒸馏：仅依赖模型自身一致性
🧭 无监督自蒸馏 · 内部一致性 ★ 深度解读
UC San Diego · Georgia Institute of Technology · University of Maryland, College Park · ByteDance
用模型多路采样投票伪标签实现对未标注数据的高效在策略自蒸馏，在数学推理上超越有监督方法
📌 工作参考价值（4 点）
- 无标签场景自蒸馏：当推荐/搜索/Agent 场景缺乏标注反馈时，可利用同一请求的多路生成投票一致性构建伪标签，驱动模型自我改进，减少对人工标注的依赖。
- 不一致轨迹定向蒸馏：通过对模型输出不一致的样本进行集中蒸馏，定位并修正模型易错/混淆区域，类似推荐中利用用户反馈不确定性进行针对性优化。
- 蒸馏散度选择：Forward KL 显著优于反向 KL 或 JSD，可作为推荐模型知识蒸馏时的默认选择；教师模型使用 EMA 更新（衰减 0.995）比冻结更稳定，可参考用于在线蒸馏。
- 完整性要求：蒸馏必须使用完整推理轨迹而非仅最终答案，提示在生成式推荐（如商品文案）中保留完整生成过程作为教师信号更有效。
训练后适应技术的六维分类法及其AI治理应用
🧭 训练后适应技术分类与治理
Karolinska Institutet · Karolinska University Hospital · University of Borås · KTH Royal Institute of Technology
提出统一六维分类法，区分微调、RAG等训练后适应技术，支持模型变更治理
📌 工作参考价值（3 点）
- 模型迭代治理：可借鉴其六维分类（机制、目标、数据需求、持久性、结构范围、模型类型）建立模型变更日志，便于在推荐系统频繁微调、RAG更新等场景下合规审计。
- 适应技术选择：通过持久性维度区分一次性微调与持续推理时适应（如RAG、动态提示），指导电商搜索/推荐系统在候选生成、重排序阶段的工程架构选型。
- 技术栈梳理：论文梳理的继承、取代、混合等关系可帮助团队理清模型更新技术栈，避免重复或冲突。
YOLO-PEFT：目标检测器结构感知的参数高效微调框架
🧭 检测器微调 · 结构化放置规划
Tencent · Xiamen University
将适配器放置形式化为可审计的约束规划问题，在实时检测器上实现结构化 PEFT，避免手动试错
📌 工作参考价值（4 点）
- 该方法将适配器插入点选择从人工试错转变为基于显式约束（算子类型、语义角色、图接口）的自动化规划，可借鉴到推荐系统的大模型微调中，例如在 Transformer 推荐模型的不同层或位置上自动选择 LoRA/Adapter 模块，避免盲目尝试。
- 规划时引入“可审计性”和“拒绝提议”机制，对于不合理的微调请求直接拒绝并给出原因，这一安全设计可推广至线上服务中模型的增量更新场景，防止灾难性遗忘或性能断崖。
- 资源预算约束下的模块选择策略对于电商搜索模型的多变体部署（如不同类目、不同延迟要求）有帮助，可以生成满足 GPU 内存或延迟预算的一组适配器配置，降低管理成本。
- 整个流程保持训练-保存-合并-导出路径，确保与标准推理部署兼容，这对实际业务中快速试验和上线至关重要，可参考其工程化流水线设计。
程序化推理数据设计：Completion-Supervised微调下的广泛生成器集合
🧭 程序化数据生成 · 推理训练
Univ. Lille · Inria · CNRS · Centrale Lille · CRIStAL
构建50个生成器的Reasoning Core，揭示紧凑目标和校准难度对完成监督推理训练的关键作用
📌 工作参考价值（4 点）
- 为Agent训练构建程序化推理数据：可借鉴其生成器框架，创建电商购物助手所需的多步决策、约束满足等合成样本，通过难度控制逐步提升模型推理能力。
- 训练数据设计原则：优先保证目标的紧凑性（减少冗长输出）和难度校准，避免模型学习表面模式；在搜索推荐场景中生成query改写或解释时，可据此过滤低质样本。
- 数据质量审计流程：将模型辅助审查、人工裁决和回归测试组合，用于保障搜索/推荐系统的合成训练数据质量，快速发现生成与标注错位。
- 验证数据效用的方法论：不依赖单一的语义合理性，而是直接在下游任务（如DROP/ARC）上评估数据贡献，业务中可据此建立快速反馈循环，筛选真正有效的训练数据。
持续学习的范式转变：从参数中心到系统级适应
🧭 持续学习 · 系统级适应框架
Institute of Automation, Chinese Academy of Sciences · National University of Singapore · Tsinghua University · Shanghai Jiao Tong University · Alibaba Group
提出三轴框架（何时、如何、何处）刻画持续学习从参数更新到系统级适应的演进
📌 工作参考价值（4 点）
- 系统级在线更新：推荐模型可将部分能力外置到记忆库或技能库中，新知识通过写入外部存储而非修改模型参数来实现，避免灾难性遗忘，适合高频变化的电商场景（如新品冷启、大促策略调整）。
- 推理时自适应：借鉴 test-time training 思想，在推荐服务推理阶段根据当前上下文（如用户实时行为）快速调整模型子集或 prompt，无需完整重训，降低延迟并提升实时性。
- 多策略混合更新：结合 off-policy（历史数据回放）与 on-policy（在线交互）更新，利用 LLM 驱动的 Agent 生成合成交互数据，平衡稳定性和探索，适合搜索广告的竞价策略持续优化。
- Agent 交互协议：将推荐系统组件（召回、排序、出价）作为 Agent，通过标准化协议交换记忆和技能，实现不同模块的独立持续进化，提升整体系统的长期适应能力。
可恢复性感知的 Rollout 干预学习
🧭 LLM Agent 后训练 · 可恢复性感知的 rollout 干预 ★ 深度解读
University of Notre Dame · Amazon
将 rollout 干预建模为在线 bandit，从 reward contrast 增益学习在何处、如何分支，提供更强的训练信号并节省算力
📌 工作参考价值（4 点）
- 用 reward contrast 增益代替固定启发式作为干预信号：在对话推荐或商品搜索 Agent 训练中，不用固定的熵或成功率来分配分支预算，而是预测一次额外 rollout 能带来的 reward 方差增益（recoverability），并将其作为在线 bandit 的反馈，学习动态分支策略。
- Shadow-to-Live 双阶段部署：先用高熵 anchor 检测 + 迭代分支收集 (state, action, gain) 轨迹，训练一个轻量控制器；在线训练时用 utility gate 过滤低增益分支，并用 recency‑weighted 滑动窗口持续更新控制器。这种「先暖场再上场」的范式可直接迁移到线上 Agent 训练系统。
- 结构化干预空间：不要只调 rollout 数量，同时联合选择 branch budget 和 decoding 温度（exploit / explore），让控制器学到「增加采样数」和「增加采样多样性」的组合策略，在稀疏奖励的交互推荐场景中尤其有效。
- 在训练流程中实现算力与效果的 Pareto 改善：实验表明 RAIL 用不到半数的 rollout 即可超越 GRPO‑32，在成本敏感的线上推荐 Agent 训练中，可以用更少的交互获得更好的策略，显著降低环境交互开销。
MALT：通过对角线预处理实现轻量级曲率感知的Muon优化器
🧭 Muon优化器的曲率感知对角线预处理 ★ 深度解读
The Pennsylvania State University · City University of Hong Kong
在Muon正交化前加入行/列对角预处理，以极小开销缓解曲率各向异性，配合噪声自适应步长显著提升LLM预训练性能
📌 工作参考价值（4 点）
- 在推荐模型的矩阵参数（如Embedding、MLP权重）上可直接替换Muon为MALT，在不增加显存和时间的前提下获得更优收敛，尤其适合需要降低训练成本的工业场景。
- 噪声自适应步长MALTER可稳定分布式推荐训练中常见的梯度噪声，避免手动调参，提升训练鲁棒性。
- 对角线预处理与正交化结合的思想可迁移到其他矩阵感知优化器（如Shampoo变体），为结构化参数提供轻量曲率适应。
- 对于曲率各向异性明显的Transformer层（如FFN或Attention投影），建议优先使用MALT，在保持Muon原有优势的同时进一步加速收敛。
面向多语言数学推理的在线策略增量蒸馏
🧭 LLM 后训练 · 多语言蒸馏
NAVER AI Lab
提出 On-Policy Delta Distillation (OPD^2)，用教师模型与基模型的概率差作为学习信号，在多语言数学推理上优于 OPD
📌 工作参考价值（4 点）
- Delta 信号可引入推荐 Agent 训练：电商搜索/推荐中，若已有强监督教师模型（如大模型生成的推理路径），可直接使用 OPD^2 的 delta 蒸馏技巧（教师 vs 基模型概率差）替代传统 RL，训练轻量 Agent，提升token级反馈效率。
- 多语言场景可用单语数据提升跨语言性能：实验表明英语蒸馏可泛化到韩语/日语，但需防语言漂移。类似地，若以英语搜索日志训练问答Agent，需混合目标语言数据保持语言一致性。
- 在线采样+教师反馈框架适合动态数据流：推荐系统常面临分布漂移，OPD 的在线策略生成思想可迁移至用户反馈动态更新下的模型滚动训练，用当前模型生成样本再让教师打分，提升样本利用率。
- 概率差作为学习信号可借鉴至对比学习：电商搜索中，正负样本概率差可类似 OPD^2 构造细粒度标签，训练学生模型区分优劣结果，尤其适合 beam search 中的候选排序。
任务条件流匹配：多语言文本嵌入的自适应平衡训练
🧭 多语言嵌入任务自适应训练范式
LINGO Research Group, Indian Institute of Technology Gandhinagar
提出任务条件流匹配，对翻译任务用流匹配，其他任务用匹配目标，结合教师引导与课程学习，多语言嵌入达 SOTA
📌 工作参考价值（4 点）
- 多任务嵌入微调避免冲突：在处理翻译、检索、分类等混合任务时，可借鉴 TCFM 对不同任务家族采用不同的训练目标，例如翻译用流匹配（适合连续对齐），检索/分类仍用对比学习/交叉熵，避免单一目标造成性能跷跷板。
- 教师引导与课程学习稳定适应：通过冻结原始模型做教师，加蒸馏损失保持旧知识，再配合三阶段课程（先教师引导，再逐步引入新任务），可有效防止灾难性遗忘，适用于业务中持续更新多语言嵌入模型的场景。
- 多语言搜索/商品检索：若业务涉及跨语言商品搜索、query 理解，可借鉴 TCFM 对平行语料（翻译对）使用流匹配直接对齐表示，提升多语言 embedding 的一致性，而不损伤其他任务指标。
- 工程实现参考：流匹配模块轻量，可与对比学习头并存，通过 task-conditioned 开关选择路径；课程学习的分阶段训练策略可直接嵌入现有 ML pipeline，无需大幅改动架构。
SFT冲突与RL共存：LLM多任务学习理论实证分析
🧭 多任务RL训练的解耦与并行化 ★ 深度解读
中国科学院自动化研究所 · 中国科学院大学 · 清华大学
多任务SFT导致性能崩溃，RL因梯度近似正交而共存，基于此提出Parallel-RL解耦并行训练
📌 工作参考价值（4 点）
- 多任务RL解耦训练：利用RL更新稀疏且近似正交，可对搜索/推荐的不同目标（如相关性、CTR、多样性）单独训练RL模型，再通过参数求和或平均合并，避免多阶段SFT带来的灾难性遗忘。
- 具体合并方法：先独立用GRPO训练各任务得到ΔW，合并时首选简单求和或平均；若存在干扰，采用TIES方法稀疏化合并，消除参数冲突；最后用少量混合数据（5%）快速适应，可进一步提升整体性能。
- 模块化能力注入：当需要向现有模型添加新能力（如新业务域）时，可对新任务进行RL微调，然后将ΔW合并入主模型，无需重训整个系统，且不影响原有任务表现。
- 训练范式选择指导：SFT更新范数大、任务间重叠高，不适合多阶段或并行训练；推荐系统中若需微调LLM，应优先使用RL，并在多任务设定下避免多阶段SFT，以保持旧任务性能。
Maglev：滑动循环记忆
🧭 高效序列建模 · 循环记忆训练 ★ 深度解读
The University of Texas at Austin
用并行 prefiller 提供记忆目标、decoder 滑动窗口注入循环 K/V，实现有界推理的非线性循环 Transformer
📌 工作参考价值（4 点）
- 长用户行为序列建模：如果线上模型希望固定窗口 KV cache + 有界推理，可用一个更强的 full-attention teacher 离线生成每一步 memory target，蒸馏到滑动窗口 student，避免在线逐步展开 RNN 的延迟。
- Memory 注入方式：把上一时刻用户状态通过 K/V 通道加入当前 attention，而不是占用 token 位，K/V cache 大小不增加；可把用户实时特征和长期记忆分别走 local/recurrent K/V，并用 2σ gate 初始为 1 的双通道门控稳定混合。
- 辅助一致性损失调参：λ 不是越大越好；teacher 和 student 共享大部分参数时，过强的 memory 对齐会约束表示，λ 应小；分离 teacher 时可用较大 λ。该结论可直接迁移到多任务/蒸馏式训练。
- 参数共享策略：prefiller 与 decoder 共享主体参数可大幅省显存，同时保留大部分收益；若业务允许额外 teacher 容量，再考虑分离 stack。
ReflectRL：从专家失败轨迹中学习反射推理以提升策略训练
🧭 强化学习 · 反射推理训练 ★ 深度解读
National University of Singapore · Ludwig Maximilian University of Munich · Technical University of Munich · Nanyang Technological University · Peking University
利用专家模型失败轨迹（黄金负样本）进行反思式推理，并通过策略过渡将能力迁移至直接推理
📌 工作参考价值（4 点）
- 利用高质量负样本作为反思提示：在搜索推荐场景，可将高置信度负反馈（如用户未点击的精选商品）作为“反思上下文”引入策略训练，引导模型显式分析失败原因并纠正，提升困难样本的利用效率。
- 反射到直接的训练过渡：采用余弦衰减等平滑调度，将反思式提示逐步替换为直接提示，使模型内化纠错能力，最终无需额外上下文即可产出高质量决策，适用于RLVR和蒸馏范式。
- 轻量级即插即用：无需新增模型、参数或梯度，仅通过预先生成的负样本轨迹和模板切换实现，工程实现成本低，可直接嵌入现有 on-policy 训练管线。
- 缓解熵坍缩、缩短推理长度：反射训练能维持策略探索度，避免过早收敛，同时在推理时生成更简洁的决策链，有助于降低在线服务延迟。
SPOT：在线策略蒸馏的稀疏探测与结果校准
🧭 在线策略蒸馏 · 稀疏探测与结果校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · East China Normal University · Beihang University · City University of Hong Kong
通过稀疏探测关键位置并利用下游结果校准蒸馏目标，在有限预算下提升推理模型多样解覆盖。
📌 工作参考价值（4 点）
- 稀疏探测+结果校准框架：在生成式推荐或对话Agent中，可在模型不确定性高且候选集紧凑的位置进行额外探索，利用下游业务指标（点击、转化）校准局部目标，替代全量教师监督。
- 位置重要性得分：使用公式 s_t = 归一化熵 × top-k概率质量 × 学生-教师gap 的连乘得分，作为触发多路采样的信号，可用于AIGC场景平衡生成质量与多样性。
- 指数倾斜校准：结果校准的封闭解（式10）提供了一种在保持KL约束下依奖励调整概率分布的方法，可应用于离线策略评估或A/B测试中的概率调整。
- 预算可控的工程化设计：探测位置数M、候选数k_p和每条候选续写数N_p均为显式超参数，便于在实践中根据延迟和成本进行权衡，仅对最有希望的候选展开额外推理。
ALiBi 位置编码的浮点下溢失明问题与缓解策略
🧭 ALiBi 位置编码数值缺陷分析与缓解
Leipzig University (InfAI) · ScaDS.AI Dresden/Leipzig · Seltz · University of Kassel · hessian.AI
发现 ALiBi 的线性偏置在长距离下因浮点下溢导致注意力权重为零，提出 log 缩放距离等缓解方法
📌 工作参考价值（4 点）
- 若在电商搜索推荐等场景使用基于 ALiBi 的 decoder-only LLM（如生成 query、长用户序列建模），需注意长距离 token 的注意力权重可能因浮点下溢变为零，导致头部“失明”，影响长文本检索能力。可通过监控 attention underflow 比例来诊断。
- 训练时可改用 log-scaled distances 作为位置偏置，该方法在 passkey retrieval 任务中表现最稳定，能显著缓解下溢；也可结合 clamping 或混合偏置。
- 评估长上下文模型时，不能仅看常规困惑度或标准基准，需加入 needle-in-a-haystack 类 token 检索任务，避免 ALiBi 的隐性缺陷影响线上长序列性能。
- 若必须沿用默认 ALiBi 斜率，应意识到其作为强基线在 needle-in-a-haystack 任务上仍有竞争力，但需权衡训练稳定性与检索能力损失。
当教师误导时：感知虚假信号的在线策略蒸馏
🧭 在线策略蒸馏 · 虚假信号过滤 ★ 深度解读
Zhejiang University · ByteDance · Shanghai Artificial Intelligence Laboratory
提出 SA-OPD，通过过滤教师信号中输入无关的虚假成分，提升在线策略蒸馏的可靠性与效果。
📌 工作参考价值（4 点）
- 蒸馏偏差诊断：在推荐/Agent 的序列生成蒸馏中，可借鉴“移除 prompt 后教师信号变化”的探测法，判断教师是否依赖输入无关的语言先验、流行度或格式模板，而非用户/上下文真实需求。
- 选择性掩码策略：通过组合低输入接地性 + 高教师-学生分歧两个条件，精准滤除高冲击虚假更新，保留输入相关监督；推荐场景可类似过滤由标题党、模板短语引入的梯度噪声。
- 动态阈值控制：自适应调节过滤比例（约束 FLMR），防止过度丢弃有用信号，适合在训练过程不平稳的视觉或复杂 Agent 交互场景中使用。
- 工程实现轻量：无需额外网络参数，仅增加一次无 prompt 的 log-prob 评估，易于集成到现有 On-Policy 蒸馏流水线中。
渐进式经验演化实现LLM自我提升
🧭 LLM自我演化 · 经验蒸馏与RL混合 ★ 深度解读
Renmin University of China · Tencent Inc.
统一显式经验演化与隐式RL优化的两阶段后训练框架，通过全局经验池萃取可迁移知识并内部化，提升数学推理与数据效率
📌 工作参考价值（4 点）
- 全局经验池与演化：在推荐或Agent中，可维护一个经验池，从成功/失败交互轨迹中抽象可复用策略（如用户偏好模式、失败原因），并定期合并、去重、演化，减少冗余和冲突经验。
- 特权引导自蒸馏(OPSD)：推荐模型在线更新时，可用历史优质决策作为特权信息构造 teacher，对当前策略进行 on-policy 蒸馏，既保留行为多样性又注入有效先验。
- 两阶段优化提升数据效率：先用经验蒸馏初始化模型，降低全部采样错误的比例，再应用 GRPO 等 RL 算法，可大幅减少无效探索，适合在线广告/推荐中低反馈场景。
- 经验效用验证机制：用探针集评估每条经验的边际收益，可过滤低质量经验；在推荐系统策略迭代中，可类似评估新增规则或策略是否带来正向增量。
面向 LLM 的高效知识蒸馏：离线 Top-K logit 缓存与融合分块 KL 损失
🧭 训练效率 · 知识蒸馏 · 长上下文 ★ 深度解读
Multiverse Computing
通过缓存教师 Top-K logits 和融合分块 KL 损失，实现单 GPU 上长上下文蒸馏训练，匹配在线质量且内存线性增长。
📌 工作参考价值（4 点）
- 离线蒸馏策略：预教师 Top-K logit 一次缓存后重复用于多轮消融实验，大幅降低资源占用，适合需频繁蒸馏的推荐模型迭代。
- 长上下文训练解锁：融合分块 KL 损失让峰值内存与序列长度成线性关系，可在单卡 H200 上训练 32K 上下文，用于处理电商搜索中长用户行为序列的场景。
- 损失设计经验：logit KL 损失是知识迁移的必需品，追加隐藏状态特征损失（MSE 或余弦）可稳定提升约 1% MMLU。
- 打包训练简化：蒸馏时用朴素的全 1 注意力掩码做序列打包，仅牺牲约 1 个 MMLU 点，工程实现简单且效率高。
Omega-S：仅用权重矩阵的正则项缓解 LLM 微调遗忘
🧭 LLM 持续学习防遗忘正则化
Biome Makers Inc.
仅从权重矩阵计算拓扑正则项，无需旧任务数据或旧权重，使 LoRA 微调保留率从 62.9% 提升至 84.1%
📌 工作参考价值（4 点）
- 轻量微调防遗忘：在电商/搜索推荐模型进行领域微调时，可作为一个无数据依赖的正则项，避免基础能力衰退，只需在训练循环中添加三行代码，额外开销小于 4%。
- 简化实现路径：论文揭示实际有效成分是节点度方差惩罚，业务中可直接实现该方差项，无需完整拓扑构建，降低工程复杂度。
- 适配 LoRA 微调场景：方法在 LoRA 微调下验证有效，适合当下主流的高效微调范式，可直接嵌入现有推荐模型微调流程，防止对新任务过拟合而丢失原推荐质量。
- 基线对比价值：提供了与 weight decay、EWC 的详细对比，若需在业务中引入持续学习正则，可优先尝试 Omega-S 简化版。
知道何时停止：分段信用分配减少过度思考
🧭 LLM推理训练·信用分配
Capital One
利用推理链中的中间答案承诺作为廉价代理，分段分配信用以抑制无益自我反思
📌 工作参考价值（4 点）
- 在构建 Agent 或推荐系统的多步推理链路时，可借鉴「中间答案承诺」作为信号，自动评估后续步骤是否有助于任务目标，从而提前终止无用的推理分支，降低 token 消耗与延迟。
- 在 RLHF 或 GRPO 训练中，可尝试分段信用分配，而非仅对整个轨迹赋分，以更精细地鼓励有效推理、抑制重复验证等低效行为。
- 对于需要多轮交互的对话式推荐或搜索 Agent，可以引入“漂移检测”，若当前回答远离正确方向，则触发策略调整，避免陷入过长的无意义探索。
- 该方法无需额外人工标注或过程奖励模型，仅利用最终答案标签即可实现分段优势塑形，在资源有限的业务场景下性价比高。
DAPD：双锚点策略蒸馏缓解特权幻觉
🧭 On-policy 蒸馏训练 · 特权幻觉缓解 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China
识别 OPSD 中信息不对称为特权幻觉根源，提出双锚点蒸馏框架 DAPD，在多个任务和尺度上大幅提升性能。
📌 工作参考价值（4 点）
- 信息不对称对齐思路：电商推荐中 teacher 模型常用用户序列等额外特征，student 却无，可构造自条件中间分布作为桥梁，添加无特权信息的对齐损失（类似 Inference Anchor）来抑制幻觉，防止模型依赖不可见信号。
- 双源引导设计：在 Agent 策略蒸馏时，利用 teacher 轨迹（参考解）提供正确性监督，同时用 student 自身 rollout 提供可达性指导，通过 DSA 动态平衡两者权重（较小模型更多信任参考，较大模型更多信任 rollout），可迁移到多臂老虎机或排序策略的学习中。
- 工程技巧复用：DAPD 使用 detached teacher 与共享 snapshot 减少训练开销，且仅在训练时引入额外分布而不增加推理成本，适合用于在线推荐系统的模型蒸馏。
- 尺度适配策略：实验发现模型越大，从自身 rollout 获取的引导越有价值，可据此设计自适应的 source 权重调度，在推荐模型随业务增长时自动调整 teacher–rollout 信任比例。
Wnuan：面向企业专有知识的分阶段后训练问答系统
🧭 后训练 · 领域适应 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI) · Beijing District Heating Group Co., Ltd. (BDHG) · Beijing University of Posts and Telecommunications (BUPT)
三阶段后训练流程将企业 QA 可接受率从 52.76% 提升至 91.51%，其中残差错误采样 RL 显著优于全量采样
📌 工作参考价值（4 点）
- 残差错误采样策略：RL 微调阶段优先选择 SFT 后仍答错的样本进行 GRPO，在固定更新预算下比全量采样或等量随机采样 AAR 提升约 3 个百分点，可用于对话式推荐或智能客服的错误修正优先级设定。
- 通用数据混练抑制能力退化：在领域 SFT 中混入 48.3% 通用数据，以通用 benchmark 平均分最高为选择准则，牺牲少量领域精度换来指令跟随等通用能力的较好保持，对平衡业务专训与通用能力有直接参考。
- 文档到 QA 的自动化构造：将非结构化企业文档（如操作手册、技术标准）自动转化为自包含问答对，并经过规则、忠实度等多轮筛选，可用于从商品描述、活动规则等生成训练样本。
- 多模型集成评估 + 人工校准：采用两主评委加分歧时第三模型投票的集成判分，并用领域专家校准 90.5% 的一致性（Cohen's κ=0.796），适合低成本构建可靠的业务离线评估体系。
Data Turnstile：面向函数调用的可扩展数据合成开放框架
🧭 小模型工具调用数据合成 ★ 深度解读
Amazon AGI
将多轮工具调用交互分解为逐角色生成与验证，用高质量合成数据让 0.6B SLM 无需 CoT 即超越 4B 基座。
📌 工作参考价值（4 点）
- 自定义域数据生成：电商 Agent、搜索助手等场景下，只需提供自有 API 定义与策略文档，即可用 Turnstile 合成高质量多轮对话数据，训练轻量工具调用模型，降低推理延迟和部署成本。
- 模板化验证提升质量：借鉴逐角色生成+结构 / 语义验证+错误重试的流水线，可在内部数据生产中避免一次性生成导致的 API 幻觉、格式错误等；动态注入“无关 API 拒绝”训练样本，解决模型盲目录入调用问题。
- 无 CoT 加速推理：经 Turnstile 数据微调的 SLM 在单轮简单任务上无需 CoT 即可超越带思考的基座，适合对延迟敏感的线上服务；但多轮复杂任务仍需保留 CoT，可依据任务复杂度灵活选择推理模式。
- 多样性控制方法：模板分布、参数组合采样和动态扰动（如模拟 API 执行失败、用户不配合）能显式控制数据多样性，优于仅靠温度采样的方式，适合构造覆盖长尾与异常情况的稳健训练集。
LEMUR：从偏好反馈中学习多目标强化学习的对齐框架
🧭 多目标偏好强化学习
University of Manchester · University of Sheffield · Sheffield Hallam University
通过多人偏好反馈联合学习多奖励模型与策略，无需预定义奖励函数即可平衡多个竞争目标
📌 工作参考价值（4 点）
- 交互式多目标推荐学习：在推荐系统中，可直接收集用户对推荐列表的偏好（如“列表A优于B”）而非设计显式奖励，自动学习CTR、GMV、多样性等目标的隐奖励模型。
- 无权重预设的多目标折中：不需手动指定各目标权重，通过偏好反馈隐式学习用户或业务方的偏好结构，使策略自动适应不同权衡需求，适合电商中动态变化的业务指标。
- Agent决策优化：对对话推荐或任务型Agent，可用此法同时优化任务完成率、对话长度、用户满意度等多目标，利用人类反馈交互式训练，降低奖励函数设计的成本。
- 工程借鉴：联合训练策略与多个目标奖励模型的架构可用于实际在线学习系统，配合主动查询（选择信息量高的轨迹对进行标注）提升样本效率。
面向标量奖励模型的端到端隐式推理学习
🧭 奖励模型 · 隐变量训练 ★ 深度解读
Peking University · Tencent
将推理链视为隐变量，端到端最大化标量RM的数据似然，统一生成与判别目标，提升OOD泛化。
📌 工作参考价值（4 点）
- 搜索/推荐排序模型中的奖励建模：可借鉴隐变量框架，将生成式推理与标量打分联合优化，避免生成器与判别器目标割裂，提高打分的鲁棒性和分布外泛化能力。
- 简化训练流程：使用REINFORCE将生成器的优化目标直接对齐到下游标量RM的对数似然，无需外部教师模型或手工设计的奖励（如Kendall’s τ），减少超参数和数据处理开销。
- 数据清洗trick：利用浅层文本特征训练轻量MLP集成，过滤掉模型易拟合的简单样本（低损失），保留更具泛化价值的困难样本，可迁移到偏好数据或标注数据的质量筛选。
- 在线RLHF中的长度控制：LatentRM在RLHF中生成更短的回复，同时保持高胜率，有效抑制“奖励过度优化”和长度作弊，这对对话系统或生成式推荐中的对齐训练有借鉴意义。
内部放松，跨间平衡：视觉语言MoE的几何引导负载均衡
🧭 多模态MoE负载均衡优化
Peking University · Peng Cheng Laboratory · Qwen Team · Sun Yat-sen University
提出ReBA，通过模态分离与图像内放松路由，解决视觉语言MoE在不同token混合下的负载失衡
📌 工作参考价值（4 点）
- 多模态推荐模型中，图像/文本token数量随请求动态变化时，可借鉴ReBA对图像和文本分别计算负载均衡损失，避免跨模态误差抵消。
- 对于图像特征，按源图像分组，每个图像内均匀路由（Relax Within），能有效抑制分辨率变化导致的负载波动，适合电商商品图片处理。
- 利用“固定负载曲线”离线分析模型在不同token混合比例下的负载表现，提前预估推理瓶颈，指导工程部署资源分配。
- 实现轻量：只需在路由器添加模态标识和图像分组，不改变主干结构，易于在现有MoE推荐模型上试验。
在失败处蒸馏：自适应教师引导恢复负RL组梯度信号
🧭 RL训练优化 · 在线蒸馏 · 梯度信号修复 ★ 深度解读
TJUNLP Lab, Tianjin University · Meituan Longcat Team
针对GRPO中全错样本的梯度消失，用教师置信度加权OPD并选择高价值token蒸馏，辅以正确轨迹SFT，修复学习信号。
📌 工作参考价值（4 点）
- 识别负零方差prompt并施加额外监督：在GRPO训练中，当一批采样全部错误（负零方差）时，梯度消失。可借鉴本文，仅在这类prompt上启用教师蒸馏或SFT，避免对所有数据盲目使用融合损失。
- 教师置信度加权蒸馏信号：在应用OPD时，用教师模型在该prompt上的平均成功率作为权重，缩放token级优势。对应到业务 Agent 训练，若用更大模型打分，可将其置信度作为信号强弱指示。
- 高价值token选择性蒸馏：仅对高学生熵或师生概率差异大的token进行蒸馏，减缓收敛到教师上限，保留RL探索空间。可迁移到推荐话术生成、搜索改写等任务，防止模型过早模仿强模型而丧失多样性。
- 辅以SFT注入正梯度：对负零方差prompt，额外用教师生成的正确答案做SFT，能缓解OPD的优势不对称问题。在实际应用中，对模型反复失败的困难样本，准备少量高质量示范轨迹能有效引导。
自动任务排序实现多策略 LLM 高效训练
🧭 参数高效微调 · 任务分组与排序
The Alan Turing Institute · University of Southampton · King’s College London
提出自动化任务分组与排序框架，用独立 QLoRA 解耦优化路径，在固定参数预算下提升异构任务微调性能
📌 工作参考价值（4 点）
- 多任务微调的任务组织：面对电商搜索、推荐等异构任务（如语义相关性、点击率预估、不良内容检测），可借鉴任务分组与排序策略，将相容任务归入同一适配路径，减少梯度干扰和灾难性遗忘。
- 多 LoRA 替代单一大适配器：使用多个小型 QLoRA 替代一个共享适配器，每个策略只服务一组相容任务，既控制总参数量又提升表达能力，适合需同时维护多个小模型的业务场景（如多国、多站点推荐）。
- 自动化任务路径组织：在固定参数预算下，通过自动分组和排序决定适配器分配，避免人工经验试错，该流程可直接迁移到 Agent 工具调用或意图识别等多能力微调中。
- 工程实现简洁：每个任务组对应一个 QLoRA 模块，推理时按路由加载，与 LoRA 生态兼容，便于在已有 PEFT 框架上扩展，适合快速实验和部署。
自适应 FastOPD：基于学习进展感知的 rollout horizon 扩展, 实现高效 on-policy 蒸馏
🧭 On-Policy Distillation 自适应 rollout 调度 ★ 深度解读
University of Science and Technology of China · Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University
通过监测 OPD 训练进度并仅在边界区域进展停滞且充分利用当前长度时扩展 rollout horizon，自适应加速训练达 71.2% 并保持最优性能。
📌 工作参考价值（4 点）
- 动态调度生成/推理长度：在电商推荐或 Agent 在线采样中，批量内响应长度差异大，长尾拖慢整体。可借鉴自适应扩展机制，根据学习收敛信号（而非固定步数）动态决定是否增加采样长度，避免无效计算。
- 多信号融合监测训练进展：用 top-k 重叠、概率质量、共享贪婪优势、非共享惩罚四个互补信号归一化后取最大值，比单信号更鲁棒地判断当前阶段是否收敛，可应用于推荐模型的强化学习微调中，避免单一指标过早触发策略更新。
- 长度利用率门控过滤长尾：仅当足够比例样本到达当前 horizon 或边界时才扩展，防止少数超长响应主导批次时间。推荐系统中生成式召回的序列长度、对话 Agent 的多轮交互深度均可采用类似门控，减少 straggler 影响。
- 相对基线的归一化：不对原始 teacher-student 一致信号设绝对阈值，而是以刚进入当前 horizon 时的值为基线，计算相对改进幅度。这种自参照设计可迁移到任何动态阶段训练任务，使超参数对模型和数据更稳健。
稳定优势融合：在线策略蒸馏的熵崩溃应对方法
🧭 RLVR与在线蒸馏的稳定融合训练策略 ★ 深度解读
Shanghai University of Finance and Economics · Meituan · The Chinese University of Hong Kong, Shenzhen · Peking University
通过稀疏压缩控制量级、预热退火调度时间，稳定GRPO与OPD优势融合，避免熵崩溃并提升生成质量
📌 工作参考价值（3 点）
- 在强化推荐系统中，业务指标（如点击）提供稀疏奖励，教师模型（如大模型打分）提供密集信号，借鉴SAF的量级控制（top-k稀疏化+tanh压缩）可抑制教师信号中少数极端 token 对梯度更新的主导，避免训练崩溃。
- 采用KL散度触发的预热和线性退火策略，自适应调节教师信号强度，防止早期过度模仿限制探索，后期保留教师指引的同时释放业务奖励的探索压力，可迁移到Agent训练或生成式推荐策略优化。
- SAF仅修改优势融合部分，不增加额外模型或损失，实现轻量、即插即用，适合在已有强化学习训练流程中快速验证教师信号融合效果。
在线策略优化中验证器诱导的支撑重塑
🧭 RLVR在线策略优化的能力保持问题
Peking University · BUPT
在线RLVR优化单一目标会缩小后续任务可采样成功轨迹，导致pass@1与best@k背离
📌 工作参考价值（4 点）
- 多目标 RLVR/RLHF 后训练时，同时监控 pass@1、best@k 与“有成功轨迹的 prompt 比例”，避免平均奖励上升但尾部任务支撑塌缩。
- 对搜索/推荐 Agent 的指令遵循或格式约束训练，RLVR 可能只重排已有开头 token 而非生成新能力；可对前几个 token 加多样性正则或保留基座策略的开头分布。
- 顺序多目标训练（如先数学后 IF）应在每个阶段保存 checkpoint 并评估跨任务 best@k；参考策略约束、路由先验、蒸馏只能部分缓解，建议显式混合数据或联合验证器。
- 若用 RLVR 做转化/点击奖励的 on-policy 优化，需防止模型为提升即时反馈而牺牲搜索/检索友好性；可在 reward 中考虑前几个 token 的信息量或可搜索性。
β-OPSD：将策略优化用于推导、自蒸馏用于训练的推理增强框架
🧭 KL正则化策略优化 · 自蒸馏 ★ 深度解读
University of Maryland, College Park
将on-policy自蒸馏统一为KL正则化策略优化族，通过可控的logit插值目标与return-to-go信用分配替代直接教师模仿，显著提升推理模型训练稳定性与性能。
📌 工作参考价值（4 点）
- 蒸馏目标调度：在在线蒸馏中，不直接跳到教师分布，而是用logit插值在参考策略与教师之间构造平滑课程（β从大到小）。这一trick可迁移至推荐系统的生成式模型训练（如LLM生成商品标题或推荐解释），避免训练初期因教师‑学生差距过大导致的崩溃。
- return‑to‑go信用分配：将序列级KL散度梯度分解为token级累积未来误差，替代局部token‑KL损失。在电商对话Agent中，对于多轮对话的回复质量评估，可借鉴这种将最终用户满意度信号反向传播到每个token的方法，提升训练效率。
- 参考策略的动态/固定选择：实验表明，使用当前学生（stop‑gradient）作为参考端、固定教师作为教师端的混合插值效果最好。这在搜推场景中可对应为：用当前模型的历史快照作为“保守先验”，用业务强信号（如成交）构造教师，在持续学习或在线更新时保持稳定性。
- 低成本策略优化近似：通过闭式解推导出理论最优目标，再用轻量logit混合实现，避免直接RL的方差和成本。在资源受限的推荐Agent微调场景中，可复用这种“推导用RL，训练用蒸馏”的范式，兼顾效果与效率。
超越几何互补：稀疏MoE路由中的一致重叠
🧭 稀疏MoE路由中的一致重叠与功能冗余分析
College of Computer Science and Technology, Zhejiang University · Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University
发现MoE路由中专家子空间大量重叠，但多专家计算仍具功能增益，称“一致重叠”。
📌 工作参考价值（4 点）
- 在推荐系统多专家路由模型中，不应仅凭专家表示空间的几何相似性进行剪枝或合并；需通过冻结路由或受控训练实验评估功能冗余，避免删除有用专家。
- 路由上下文交互项为负，设计路由策略时可考虑该效应，适当保留多专家以弥补前缀信息带来的选择偏好缩小。
- 进行专家负载均衡或容量分配时，可引入Expert Subspace Separation Index (ESSI) 等指标量化子空间分离度，结合下游任务表现综合决策。
- 对Agent多智体系统中的路由，可从共享邻域选择相关专家，不必强制专家分化至互不相交，仍可获得多专家协同增益。
Chimera：混合视觉扩散 Transformer 的设计与 Chinchilla 缩放
🧭 视觉扩散模型的架构与缩放规律
Adobe Research
提出混合扩散 Transformer 及异配缩放规则，在图像/视频生成中实现 7.3× 计算效率提升与 30 秒零样本长度外推
📌 工作参考价值（5 点）
- 长上下文高效建模方案可迁移：Kimi Delta Attention (KDA) 实现 O(N) 复杂度的全局状态跟踪，可用于电商场景中长序列用户行为建模或长视频推荐，降低注意力成本。
- 多模态统一流处理：将文本、图像、视频 token 按光栅顺序混合，无需位置编码，可直接借鉴到电商多模态商品描述（图文视频）的统一表征中，简化预处理流程。
- MoE 稀疏活化策略：稀疏 MoE 层在增大模型容量的同时控制激活参数量，适合推荐大模型（如生成式推荐）的扩展，可平衡效果与推理时延。
- 异构架构的模块化缩放（HeteroP）：根据张量功能扇入与深度动态分配宽度/深度参数，为推荐模型的不同模块（特征交互、序列建模等）提供差异化缩放指导，避免均匀缩放浪费。
- 计算最优数据配比洞察：图像预训练中激活参数量与训练 token 数近乎均分算力，视频则略偏向参数量——可为多模态推荐模型的训练预算分配提供参考。
Echoverse：面向计算机使用智能体的深度演化训练环境
🧭 合成环境生成与协同演化训练 Agent
Microsoft Research
通过协同演化循环构建有深度、可自适应修复的合成环境，显著提升计算机使用智能体的性能与迁移能力
📌 工作参考价值（4 点）
- 可借鉴协同演化循环，为电商搜索推荐 Agent 构建有深度的模拟环境（如带状态变化的用户会话），通过 rollout 反馈动态修复任务和验证逻辑，增强 Agent 对复杂交互的适应力。
- 利用数据库确认验证器（grounded verifier）设计推荐系统的离线评估环境，确保奖励与系统状态强一致，减少奖励黑客问题。
- 在用户模拟器迭代中引入环境修复机制，根据真实失败案例自动生成针对性训练任务，提升模拟器的覆盖率和真实性。
- 强化学习训练时，采用稀疏任务完成奖励与密集步骤奖励结合的混合 reward 设计，加速策略收敛并提高最终效果。
Flux-OPD：使用进化上下文的策略蒸馏
🧭 进化上下文下的策略蒸馏方法 ★ 深度解读
Peking University · Kling Team · Tsinghua University · Shanghai Jiao Tong University · Zhongguancun Academy
通过反向KL分解揭示蒸馏目标为几何平均，用进化上下文进行校正和加权，解决开放域任务缺乏可验证奖励的问题
📌 工作参考价值（4 点）
- 动态上下文的思路可迁移到实时偏好学习：在推荐/Agent场景，用户实时行为轨迹类似论文中的进化上下文，可以周期性地从学生最新生成结果中提取偏好信号，注入蒸馏目标，持续对齐用户兴趣变化。
- 几何平均作为多教师融合目标更稳健：当多个教师分布（如不同模态、不同专家）存在冲突时，取几何平均而非算术平均能强化高一致性下的监督，减弱分歧影响，可用于多目标蒸馏或ensemble融合。
- 冲突项作为自适应加权信号：方法中利用冲突项（−log Z）动态调节上下文影响力，类似于多任务学习中根据梯度冲突调整损失权重；电商推荐中多目标（如点击率与转化率）冲突时，可借鉴该机制去无痛地平衡。
- 校正锚点策略可稳定生成式推荐训练：将上下文差异作为修正信号叠加在稳定锚点（如常规教师分布）上，避免蒸馏目标剧烈震荡，适合需要保持生成稳定性的场景（如商品描述生成、广告文案改写）。
GPTQ-2D：立方时间双边自适应舍入
🧭 矩阵量化 · 双边自适应舍入加速
Institute of Science and Technology Austria (ISTA) · ETH Zürich · Red Hat AI
将 GPTQ 自适应舍入扩展到双边情形，通过反对角线并行化实现立方时间复杂度
📌 工作参考价值（4 点）
- 当推荐模型（如双塔 embedding 或交互矩阵）存在双侧线性变换时，可用 GPTQ-2D 做联合量化，比分别单侧量化精度更高
- 反对角线并行化机制可直接用于加速大规模 embedding 矩阵的离线量化压缩过程
- 如果业务中有 Kronecker 结构误差度量（如特征交叉矩阵压缩），可复用该立方时间算法
- 对于需要同时考虑输入/输出基变换的权重量化场景（如 attention 的 QK 投影），该方法提供了可工程化的快速实现思路
SERPO：面向开放式测试时强化学习的自演化评分标准策略优化
🧭 测试时强化学习 · 评分标准自演化
Huazhong University of Science and Technology · University of Science and Technology of China · Alibaba Group
提出自演化评分标准闭环，替代答案投票，实现开放式文本生成下的测试时强化学习，无需外部奖励
📌 工作参考价值（4 点）
- 自演化评分标准（G‑N‑B 响应进化 + 评分标准进化）可在无外部奖励的条件下构建自我评估系统，适用于电商文案生成、搜索词推荐等开放式场景，自动产生质量评分并迭代提升生成质量。
- 测试时自我进化闭环（采样→构建评分标准→评分→更新策略）可部署为线上模型的持续微调组件，例如用于推荐系统中的 query 改写或商品描述优化，全程无需人工标注。
- 概率化评分标准（将判定 token 的似然转化为奖励）提供了一种轻量、可解释的 reward 建模范式，可直接迁移到 Agent 决策链的自我改进，降低对昂贵奖励模型的依赖。
- 跨基准迁移进化结果表明该方法对不同领域分布有良好泛化性，可启发多任务推荐模型在无监督下自适应新品类或新场景。
不确信用专家，自信就省：MoE-LoRA 置信度自适应路由
🧭 MoE-LoRA 置信度自适应路由
University of California, Irvine · University of Washington
利用路由器分布作为 token 置信度信号，动态分配专家数量，在匹配预算下提升 MoE-LoRA 性能
📌 工作参考价值（4 点）
- 在电商推荐模型的 LoRA/MoE-LoRA 微调中，可直接用路由器分布替代额外置信度模块，实现 token/representation 的动态专家分配，节省推理成本。
- 推荐系统在线服务的 PEFT 适配：设置预算恒温器（budget thermostat）自动校准阈值，使平均激活专家数恒定，便于工程实现尾部延迟控制。
- 对用户/物品 Embedding 的 MoE 计算，可借鉴“分歧扩展”机制：当激活专家输出不一致时追加专家，提升困难样本质量。
- OOD 检测可复用相同的置信度与分歧信号，无需额外模型，为推荐系统的安全性、时效性监控提供低成本方案。
传递接力棒：轨迹接力的On-Policy蒸馏
🧭 On-policy 蒸馏 · 接力轨迹
Zhejiang University · Yuvion Team, Alibaba Group
通过检测前缀失败并让教师短暂接管生成修正轨迹，将错误前缀转化为有效蒸馏信号，显著提升小模型数学推理性能
📌 工作参考价值（4 点）
- 前缀失败的无标签检测：利用教师和学生预测分布差异（如相同位置token概率差）作为接力触发信号，无需额外标注，可直接用于对话Agent的推理步骤监控，在发现错误倾向时自动引入更强模型纠正。
- 接力蒸馏减轻训练浪费：电商场景中，如果推荐理由生成或查询改写模型产生错误前缀，可用更大模型局部修正后继续，既能保留学生探索，又能提供正确梯度，比全丢弃重采样更高效。
- 接力预算控制成本：限制最大接力步数和干预次数，将修正集中在关键早期位置，平衡干预收益与计算开销，适合在线学习或大规模分布式训练。
- 思路可迁移至多步推理Agent：当Agent进行多步骤决策（如购物决策、多轮对话）时，若某步走错，可让教师模型介入修正后再交还，最终全程轨迹用于优化学生，提升整体成功率。
局部适调揭示 Transformer 中不同学习目标的分层偏好
🧭 LoRA 层位置与学习特征适配
Yale University
不同层应用 LoRA 会形成各异的学习特征：词法绑定重早期层，事实关联偏后期层，行为策略学后期动作、中期门控
📌 工作参考价值（4 点）
- 任务驱动的 LoRA 层选择：若需让模型快速绑定新商品名、品牌词等（词法绑定），优先在早期层（1–6层）插入 LoRA，获取速度快且对无关上下文扰动小；若需更新商品属性、事实知识，则应在后期层（约20+层）适配，避免覆盖早期通用表示。
- 对话/Agent 策略微调解耦：行为策略学习（如导购话术、推词决策）中，行为的具体生成（action）适合在后期层适配，而策略控制（何时执行）适合在中间层适配，可分层挂载不同 LoRA 模块，减少策略遗忘与干扰。
- 因果与流程推理任务适配位置：类似推理“用户搜索→点击→转化”的因果链或售后流程，在模型中、后期或全层适配效果更好，不建议只在单侧浅层或深层微调。
- 避免灾难性迁移的基础原则：当希望模型在新任务上泛化且不破坏原有能力时，可参考论文学到的“适应几何”：获取、迁移、边界性三者往往不可兼得，需按业务目标选择关键层位，如追求高迁移性能需考虑中层或全栈适配。
MindForge：通过无源码程序合成教授小模型全周期软件工程
🧭 LLM 训练 · 程序合成 · 教师蒸馏
Huawei Canada · Queen's University · University of Manitoba
自动化将开源命令行程序转为无源码训练环境，用教师轨迹微调小模型，使编程从零构建性能大幅提升
📌 工作参考价值（4 点）
- 可借鉴其自动构建仅暴露接口和文档的无源码沙箱的方法，为推荐系统 Agent 生成训练环境，例如基于推荐 API 文档和模拟用户行为合成决策轨迹。
- 使用大模型作为教师生成高质量全生命周期交互轨迹，再微调小模型，这种蒸馏范式可直接用于将复杂推荐策略（召回、排序、重排）压缩为小型 Agent 模型，降低线上延迟。
- 训练数据覆盖需求分析、设计、实现、测试多阶段，对推荐 Agent 训练有启发：可设计从用户画像分析、策略设计到配置、离线评估的完整任务流，提升模型全局优化能力。
- 从与测试集不重合的仓库构建环境，泛化性提升显著，业务中可用多样化历史推荐场景构造合成数据，微调模型以应对未见过的运营需求或算法变更。
宪法性中期训练：内容存在驱动对齐增益
🧭 中期训练对齐干预与持久性 ★ 深度解读
University of Oxford · Geodesic Research · Oxford Internet Institute
仅在中训阶段插入少量宪法性文本，即可获得经下游微调后仍持久的对齐泛化收益，且能力无损
📌 工作参考价值（4 点）
- 在推荐/对话模型的预训练后、SFT 前，插入少量公司价值观/安全准则文档（几百 M tokens），可大幅提升模型对规则的遵守和跨场景泛化，且不会被后续业务微调覆盖。
- 文档设计不必过度追求课程排序或显式推理块的精细结构；原则性内容的“存在”本身是主要驱动力，降低工程复杂度。
- 这种干预几乎零能力成本，甚至在常识推理等任务上有小幅提升，适合作为标准 SFT 流水线的补充步骤。
- 对齐效果在需要主动对抗上下文压力的场景（如多轮交锋、价值冲突）较脆弱，业务中若涉及此类动态对抗，仍需结合后训练或额外安全机制。
CoRT：基于反事实回放的令牌级评分标准引导策略优化
🧭 令牌级信用分配 · 反事实回放
Nanjing University · ByteDance · University of Chinese Academy of Sciences
提出反事实回放计算令牌级信用权重，在不引入辅助模型的情况下改进 GRPO 的令牌级优势分配
📌 工作参考价值（3 点）
- 令牌级信用分配可直接用于对话/推荐理由生成训练：在电商客服或推荐文案生成中，常根据语义、格式等多条标准打分，将优势信号均匀广播到所有 token 会导致噪声。CoRT 的令牌级加权方法可复制到类似场景，提升训练效率和生成质量，无需额外评分模型。
- 反事实回放思路可迁移到评估对齐任务：在搜索推荐系统的 LLM 评估（如 RAG 生成质量评价）时，可通过构造“有评分标准 vs. 无评分标准”的提示对比，自动获取每个 token 对评分标准的依赖程度，作为细粒度奖励信号。
- 纯推理侧实现，工程成本低：CoRT 仅用两次前向传播（带与不带评分标准提示）计算 log-likelihood 差异，无需训练单独的 token 评分器，可直接插入现有 GRPO 训练流程，适合资源受限的团队快速实验。
DecoEvo：文本空间中求解器与评分准则技能的解耦共进化
🧭 文本空间共进化优化 · 自动评估准则生成
Tsinghua University · University of Chinese Academy of Sciences · Peking University · Qwen Business Unit of Alibaba
提出解耦共进化框架，分别优化求解器与评分准则生成器，避免评估准则退化并提升性能
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景中，当需要为生成式模型（如商品描述、推荐理由）自动设计评估标准时，可借鉴DecoEvo同时迭代优化生成策略和评分准则，避免人工制定准则的局限。
- 解耦的准则更新机制（需求覆盖审核、响应区分度审计）可以单独用于改进现有的自动评估框架，提升评估维度覆盖和区分能力，尤其适合代理或多智体系统的在线性能诊断。
- 该方法不修改模型权重，仅维护外部文本技能，工程实现轻量，适合在业务中快速试错多组提示词和评估标准，降低对模型内参数调整的依赖。
- 在构建电商智能客服或对话Agent时，可利用criterion-level反馈不断挖掘回复弱点，驱动评分准则同步进化，实现更全面的闭环优化。
弱到强在线策略蒸馏：用更弱的模型提升强学生
🧭 弱到强蒸馏 · 在线策略蒸馏 ★ 深度解读
University of Maryland, College Park · Microsoft Research · MBZUAI
通过对比弱模型提取能力方向并锚定到学生基模型，构造代理教师实现弱到强蒸馏，使强学生超越弱教师
📌 工作参考价值（4 点）
- 弱教师也能提升强模型：当没有更强的教师可用时（如前沿推荐模型或Agent策略网络），用一对更小的模型（如不同规模的基模型或不同训练阶段的专家）通过logit差异提取“能力方向”，可以继续提升强模型。
- 代理教师构造方法：在在线策略蒸馏中，代理教师 = 学生基模型 + α*(正模型 − 负模型) logits。这种构造避免了分布不匹配，α控制信号强度与分布邻近度的权衡（图4：α≈1.0最优），可直接用于多领域推荐模型或Agent策略的合并。
- 低成本多专家合并：多个弱领域专家（如不同品类推荐模型）可通过各自与基础模型的对比方向求和，一次性蒸馏进同一个学生，无需顺序微调或担心灾难性遗忘（Eq.12）。
- 保留通用能力：锚定学生基模型作为参考分布，使代理教师保持与学生分布邻近，避免直接蒸馏弱教师导致的通用能力退化，这对需要保持广泛推荐能力的系统尤为重要。
侵入者阈值：LoRA微调的频谱定律
🧭 LoRA微调侵入维度预测 · 理论临界阈值
Technical University of Munich
推导逐层临界更新强度，无参数预测LoRA微调产生灾难性遗忘的侵入维度
📌 工作参考价值（4 点）
- LoRA 超参预警：计算每层临界强度 \(s^* = \bar{\theta}/(\gamma \sigma_1(BA))\)，仅需一次 SVD，无需验证集扫描，可在微调前诊断层是否易产生记忆覆盖，指导学习率、秩 \(r\) 的设置。
- 遗忘抑制规则：依据阈值推导的 spike-budget rule，限制侵入维度数量，在最脆弱模型上降低 62% 遗忘，且不损失任务性能，适用于推荐系统多任务微调时保护旧任务。
- 安全微调策略选择：全量微调天然安全（更新分散在阈值以下），若 LoRA 更新强度接近阈值，可切换更高秩或调整学习率，避免 Agent 在持续学习时遗忘领域知识。
- 层冻结依据：通过阈值快速筛选高风险层，仅冻结这些层或对其施加更小学习率，在电商搜索或广告模型中平衡新任务学习与遗留能力。
从 RLVR 到 RLSVR：通过任务变换为开放领域 LLM 引入自验证奖励
🧭 LLM 自我改进 · 自验证奖励 · 多智体博弈 ★ 深度解读
Duke University · Adobe Inc. · Oregon State University · Pennsylvania State University · Amazon
借用自监督学习的任务变换思想，将开放任务重构为基于信息不对称的自我博弈游戏，自动产生可验证训练奖励
📌 工作参考价值（4 点）
- 对缺少可靠奖励的生成式任务（如文案生成、对话推荐、创意内容），可通过设计信息不对称的多智能体游戏来生成监督信号，避免依赖外部奖励模型或人工评判。
- 交替优化策略：轮流更新“表演者”与“检测者”，防止策略停滞与奖励崩溃，可在自对弈场景中保持持续改进压力。
- 角色优势估计（RAE）：当不同角色面临不对称难度时，通过减去角色专项基线来校准优势，避免因角色固有偏差损伤策略，可迁移到有角色差异的合作/博弈训练中。
- 分组投票机制：多玩家集体决策比单一评判更鲁棒，可以借鉴到多模型投票评估或集成式的自监督反馈系统中。
适量即满足：RL如何缓解大模型任务冲突的全面分析
🧭 RL训练范式减轻任务冲突 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · Baidu Inc.
发现RL训练通过on-policy数据、优势衰减与正负联合优化显著减轻模型合并时的任务冲突
📌 工作参考价值（4 点）
- 当需要将多个专用LLM（如电商中的推荐解释生成、查询改写、商品文案生成）合并为一个部署模型时，优先使用RL（如GRPO、PPO）训练各子任务，可大幅降低合并后的性能退化，减少多模型维护成本。
- 训练数据生成采用on-policy方式（模型自身采样+奖励打分）而非静态SFT数据集，能有效减小参数更新幅度，从而降低跨任务参数冲突。
- 同时利用正样本（高奖励）和负样本（低奖励）进行联合优化，而不是像SFT仅依赖正例，这有助于学习更无偏的更新方向，提升不同任务模型合并时的兼容性。
- 在实际工程中，可结合参数平均或TIES等免训练合并策略，直接集成RL-trained任务专家模型，成本低且效果稳定，特别适合希望快速融合多个LLM能力的推荐或Agent系统。
基于字节前缀边缘化的跨分词器在线策略蒸馏
🧭 跨 tokenizer 蒸馏训练
University of Chinese Academy of Sciences · KwaiKAT Team · Zhejiang University · The Chinese University of Hong Kong
在共享字节空间将教师分布边缘化到学生词汇，无损对齐概率质量，大幅提升跨分词器蒸馏性能
📌 工作参考价值（4 点）
- 若业务中需融合多个使用不同 tokenizer 的文本模型（如商品标题/描述编码器、多语言模型），可借鉴 BPM 将教师分布无损映射到学生词汇，避免丢弃概率或语义错配。
- 字节前缀映射表可离线构建，蒸馏时仅需查表聚合，工程可行；残差类别处理未匹配质量，保证分布完整，可直接移植到自定义蒸馏 loss。
- 对于多模态推荐模型（图文混合 tokenizer 不同），BPM 提供了一种统一概率空间的思路，有助于跨模态知识迁移。
- 在 Agent 工具调用或搜索链路的 LLM 蒸馏中，若教师和学生分词器不一致，BPM 能保留关键 token 的分布结构，减少性能损失。
教LLM自我进化：用强化学习培养核心元技能
🧭 RL训练自我进化元技能
University of Illinois Urbana-Champaign
通过合成进化轨迹和进化感知的RL，教会LLM自我反思等元技能，大幅提升跨领域迭代优化能力
📌 工作参考价值（4 点）
- 借鉴进化轨迹合成方法：在搜索/推荐场景中，收集多轮策略调整的历史数据（如出价序列、排序规则迭代），构造包含状态、收益、历史尝试的训练样本，让模型学会基于历史决策反馈进行增量优化。
- 奖励塑形技巧：利用业务连续指标（CTR、转化率、时长）设计fitness score，替代二元成败，为RL训练提供更细粒度的反馈，引导模型生成更高效的策略。
- 推理时进化搜索：部署推荐/广告Agent时，可对同一请求执行多轮推理，每轮根据环境模拟反馈（如预测的CTR）微调输出，最后选择最优解，实现test-time自我改进。
- 域无关元技能迁移：在代码数据上训练获得的自我反思与迭代优化能力，可迁移到推荐文案生成、搜索词优化等开放域任务，减少对标注数据的依赖。
κ-LoRA：用条件数发现哪些LoRA矩阵更值得更新
🧭 高效微调 · 条件数驱动的选择性LoRA
King Abdullah University of Science and Technology · Carnegie Mellon University
基于权重矩阵的条件数选择性更新LoRA参数，在匹配标准LoRA精度的同时减少约一半的参数量和16.2%的训练时间
📌 工作参考价值（4 点）
- 选择性微调的思路可直接用于推荐模型部署：在电商/广告推荐系统中，通常需对多个任务（CTR、CVR）或场景进行LLM微调，κ-LoRA表明不必更新所有权重矩阵，仅更新条件数大的50%矩阵即可保持效果，节省边缘端/实时更新的算力与内存。
- 条件数作为矩阵重要性的度量可嵌入自动化微调流程：条件数计算轻量，可在微调前快速评估各层权重的重要性，为模型裁剪、量化或稀疏更新提供依据，适用于在线学习的资源分配。
- 谱重平衡的思想可迁移到特征交互层或嵌入表更新：推荐模型中存在大量嵌入矩阵和交互矩阵，可类比用条件数识别哪些特征空间尚未充分学习，选择性进行微调或重训，提升资源利用率。
- 对于Agent中多模型微调的场景，κ-LoRA能有效降低联合微调成本：多Agent系统往往需对多个LLM进行适配，κ-LoRA的稀疏化更新策略可让不同Agent共享基座模型，仅更新各自相关的关键矩阵，减少显存和通信开销。
MoE²-LoRA：为MoE模型设计的MoE风格低秩适配
🧭 MoE模型参数高效微调
Shanghai Artificial Intelligence Laboratory · KTH Royal Institute of Technology · University of Science and Technology of China · Fudan University · The Chinese University of Hong Kong
首次用MoE路由思想做LoRA微调，复用预训练路由器激活动态选择全局共享的LoRA专家
📌 工作参考价值（4 点）
- 若内部用MoE架构LLM做推荐/对话任务（如query改写、商品描述生成），MoE²-LoRA提供了一种高效微调方案：引入全局共享LoRA专家池，既减少参数量又保持多任务适配能力。
- 路由条件投影（RCP）复用预训练路由器激活，可借鉴到多兴趣推荐模型中，用已有用户意图路由为不同兴趣头动态选择低秩适配器，避免静态分配。
- 全局专家池的层间共享机制简化了部署：只需维护一套适配器权重，节省存储和推理时IO；适合边缘设备或需要频繁更新的推荐模型。
- 实验显示该方法在多种MoE骨干上稳健提升，说明即使推荐系统的底层LLM结构变化，该方法也能迁移复用，减少适配成本。
测量参数高效微调的容量：适配器到底写了多少比特？
🧭 PEFT 记忆容量与隐私泄露 ★ 深度解读
Carnegie Mellon University · Columbia University
通过压缩方法直接测量 LoRA 适配器的记忆容量，揭示容量取决于插入位置和基座结构，SFT 会记忆秘密而 RL 不会。
📌 工作参考价值（4 点）
- 适配器放置位置的选择：同一参数预算下，插入 MLP 的适配器存储的比特数约为注意力的两倍。在需要保护隐私的场景（如联邦学习、模型市场），将有泄露风险的适配器放在注意力模块可主动降低其存储容量。
- 隐私风险评估工具：论文提供了可复用的测量方法，能在训练前估算适配器的容量，并与待训练数据集的比特信息量对比，提前判断是否落入“全量记忆”区间，无需事后攻击。
- 强化学习优于监督微调：在必须共享模型但训练数据敏感时，用 GRPO 等可验证奖励的强化学习方法替代 SFT，几乎不记忆训练数据，特别适合 Agent 或推荐系统的用户交互训练。
- 参数数量 ≠ 隐私风险：适配器的泄露风险更多与写入的比特数相关，而非参数总量，因此监控模型存储的比特数比单纯限制秩更有效。
反周期位置编码：莫比乌斯边界条件实现可靠的上下文检索
🧭 反周期位置编码 · 训练稳定性
JRTI, Seoul
提出反周期频率阶梯的 Möbius RoPE，以零困惑度代价消除检索种子彩票，使准确率从 63% 升至 90%
📌 工作参考价值（4 点）
- 在 LLM 推荐或 Agent 中，直接将部分注意力头的 RoPE 频率改为反周期阶梯（奇数倍 π/N），可零成本提升长用户行为序列中关键项的检索稳定性，避免因随机种子导致的性能大幅波动
- 混合编码（25% 注意力头使用 Möbius 频率）使困惑度无损失，可作为工程插件在不重新预训练的情况下提升模型对长对话或搜索历史的可靠回忆能力
- 该编码在训练窗口内的单针检索任务上效果显著，适用于电商场景中从用户长时段历史里精准抽取特定事件（如某次购买、点击）的需求
- 反周期边界条件建立了序列两端的确定性耦合，可能有助于位置敏感的注意力机制，可用于改进现有推荐模型中的位置嵌入设计
KroQuant：基于Kronecker结构化块变换的扩散模型高效训练后量化
🧭 扩散模型训练后量化：Kronecker块变换
提出KroQuant，用学习的Kronecker结构化块变换对激活做32元素块量化，比SmoothQuant更快且精度更高
📌 工作参考价值（4 点）
- 在推荐模型量化部署中，可借鉴KroQuant的块级Kronecker变换抑制激活异常值，参数少、在线开销低，适合实时推理。
- 将量化变换设计为32元素块的小GEMM，直接利用GPU Tensor Core加速，延迟更低。
- 离线LoRaQ权重校准可吸收量化后残差，提升精度，可作为PTQ流程的通用后处理步骤。
- 局部块变换替代全矩阵变换的思路，在保持量化质量同时大幅降低计算成本，适合搜索推荐系统的高吞吐需求。
面向数据异质的隐私保护联邦提示微调：子空间分解专家方法
🧭 联邦学习 · 子空间分解 · 多专家提示
Beihang University · Renmin University of China · Beijing Jiaotong University
用子空间分解建模多专家提示，以低秩因子通信替代全量专家，在差分隐私下平衡个性化与泛化
📌 工作参考价值（4 点）
- 联邦多场景推荐中的参数低秩解耦：可将全局共享基础表示与私有残差分离，通信仅传递低秩因子，减少隐私噪声，适合跨商家数据协同训练，例如用户偏好共享底座+店铺私有调整。
- 动态专家路由用于多域推荐融合：Instance-aware Expert Fusion 的思路可应用于多场景推荐系统，在服务端缓存各领域 logits，客户端轻量路由实时融合，降低推理延迟。
- 隐私约束下的多任务 LoRA 合并：将多个 LoRA 专家表示为共享低秩空间+私有残差，可在不暴露原始参数下进行安全聚合，适合联邦 fine-tuning 场景。
- 通信效率与效用平衡的工程灵感：通过固定公共基底避免每轮传输全量专家，对带宽敏感的边缘推荐模型部署有直接参考价值。
视觉对比自蒸馏
🧭 多模态LLM · 在线自蒸馏
University of Maryland, College Park · University of California, San Diego · Duke University · MBZUAI
通过对比原图与内容擦除图的教师分布差异，无需外部教师或特权信号即可高效训练多模态LLM
📌 工作参考价值（4 点）
- 在商品图像理解的生成式推荐任务中，可构造“原图 vs 内容擦除图”的对比条件，让教师模型强化对商品关键特征的响应，抑制背景噪声，提升推荐文案或搜索查询生成的准确性。
- 使用 EMA 教师进行在线自蒸馏，无需外部强大教师，可降低训练成本。在 RLHF 或生成式检索的训练中，可基于模型自身分布差异构造更优训练目标。
- 对于 Agent 视觉决策（如 UI 操作），微调时采用该方法可使模型更关注任务相关区域，忽略无关背景，提升复杂界面下的精确操作能力。
- 方法不增加推理成本，适合部署在电商线上服务中，实现大规模商品图片的实时理解与描述生成。
希尔伯特算子渐进编码（HOPE）：深度网络学习表征的数学解构框架
🧭 模型压缩与表征解构 · 希尔伯特空间
Google DeepMind · University of California, Berkeley
将网络压缩从离散域搬进希尔伯特空间，用秩1算子统一剪枝与合并，实现无数据无超参数的跨层架构决策
📌 工作参考价值（4 点）
- 可将 HOPE 的秩1算子度量用于推荐模型（如 CTR 预估塔、多任务 MMoE）的结构化冗余分析，指导高效剪枝与专家合并，减少推理延迟。
- 无数据、无超参数特性适合电商/搜索场景中的隐私受限模型压缩（如用户行为数据不可回传时的端侧模型瘦身）。
- 宏块驱除可一次性评估残差块、FFN 子层等复杂子结构的可丢弃性，在 Agent 链式调用 LLM 时对反复调用的基座层做低成本精简。
- 该框架解耦压缩决策与具体层的类型/大小，可嵌入 AutoML 流水线，自动为召回、排序、多模态模块生成帕累托最优的裁剪方案。
涌现性失对齐利用了预训练模型中已有的角色子空间
🧭 角色子空间提取与微调安全性控制
Independent
窄域不良微调泛化源于激活了模型内预先存在的跨领域角色子空间，而非学习新行为
📌 工作参考价值（4 点）
- 微调生成式推荐或对话 Agent 时，哪怕只在单一不良领域（如虚假广告）微调，也可能激活预训练模型中潜伏的负面 persona 子空间，导致在无关推荐/对话场景中也输出有害内容——实践中需对微调数据严格审计，避免隐含不良“意图”导致安全泛化。
- 可以在微调前通过对比 teacher forcing 提取安全与不安全 persona 子空间，并在推理时从残差流中投影掉不安全子空间，实验证明可彻底消除广泛失对齐（27.7%→0.0%），这是一种轻量级的安全对齐工程方法。
- 监控微调早期的梯度方向可提前预警失对齐风险：不安全数据微调的第一步梯度相比于教育性数据，对广泛失对齐 margin 的上升更剧烈，并能预测后续多步的失对齐程度，可用于在线微调流程的异常检测和拦截。
- 实验表明将不良数据分散到多个域比集中在一个域带来更严重的广泛失对齐，在混训多任务推荐/对话模型时，若包含少数不安全域的数据，须警惕其跨域污染效应，可能超过简单的权重叠加预期。
基于统计推断的LoRA秩分配方法
🧭 参数高效微调 · 统计推断
将秩分配视为假设检验问题，利用p值驱动剪枝，实现更稳定的参数预算分配
📌 工作参考价值（4 点）
- 在推荐或对话模型用LoRA微调时，可用统计检验代替基于梯度的启发式重要性分数，自动决定各层/模块的秩分配，避免人工调参与欠佳分配。
- 该方法为每个可学习的低秩组件提供明确的p值，可直接设定显著性阈值进行剪枝，适合在资源受限的在线服务中动态调节模型容量。
- 基于优化器轨迹的渐近正态理论（覆盖AdamW等常用优化器）为下游应用中的梯度统计量提供了可靠分布假设，可用于构建更准确的早期停止或在线不确定性估计。
- 统计检验驱动的分配规则对超参数不敏感，经验诊断表明其稳定性优于AdaLoRA等灵敏度方法，在电商搜索/推荐模型的持续微调场景中能减少重复调参成本。
多头注意力残差：拆分深度路由查询突破单头瓶颈
🧭 多头深度路由 · 消除单头深度读瓶颈 ★ 深度解读
Independent Researcher · University of Wisconsin–Madison
将注意力残差的单头路由查询改为多头，零参数提升模型跨度，单头在大模型退化成有害
📌 工作参考价值（4 点）
- 推荐系统 Transformer 堆叠中，可借鉴 MHAR 替换标准残差连接：不同特征子空间（如用户长期兴趣 vs 短期行为）可从不同层检索信息，缓解单头深度读的妥协，预估中小尺寸实验见 100M–1B 连续改善。
- 单头深度路由在大模型上退化（1B 时比基线差 0.105），提示在大型 CTR/CVR 模型的多层聚合设计中应避免单一全局查询，分组路由更安全。
- 恒等转换方法（delta attention residuals）支持在已预训练模型上无损嫁接 MHAR 进行中训练，可迁移到推荐模型增量训练，避免 loss spike。
- 融合 Triton 路由内核将内存绑定操作的训练吞吐从 0.2–0.5× 提升至 0.55–0.88× 基线，类似的定制算子可优化推荐模型中层间特征重读的工程开销。
ISO：一种原生 RLVR 优化栈
🧭 RLVR 训练优化 · 等谱优化
The University of Texas at Austin · UIUC · Emory University · Together AI · Recursive Superintelligence Inc
发现 RLVR 中的谱继承现象，提出等谱优化框架，固定奇异值只优化奇异框架，加速训练与模型合并。
📌 工作参考价值（4 点）
- 加速 Agent 或推理模型微调：借鉴 ISO-Optimizer 将权重矩阵 SVD 后固定奇异值谱，仅优化输入/输出奇异框架，可在电商搜索 Agent 或生成式推荐模型的 RL fine‑tuning 中大幅减少训练步数，快速验证 reward 设计。
- 无数据模型合并：ISO-Merger 能将多个共享基模型的专项模型（如分别擅长意图识别、参数抽取的 Agent 模型）合并为一个固定谱模型，无需任何额外数据或梯度更新，直接产出可部署的聚合模型，降低线上迭代成本。
- 从预训练到 RL 后训练的优化器迁移：可保留基模型的谱结构，仅将标准优化器（如 AdamW）应用于奇异框架，在推荐系统召回或排序模型的后训练场景中，可能获得更稳定、更快的收敛。
- 模型压缩或部署：固定谱意味着模型大部分参数保持静态，可结合低秩更新或量化，适合边缘侧 Agent 或推荐模型的轻量化部署。
SLAI T-Rex：在昇腾超节点上对DeepSeek-V4家族进行全参数后训练
🧭 万亿参数MoE全参数训练优化
Shenzhen Loop Area Institute
在昇腾NPU超节点上实现万亿参数MoE模型全参数后训练，达34.22% MFU，并构建运筹优化领域专用模型
📌 工作参考价值（4 点）
- 大规模MoE分布式训练优化经验可迁移到推荐模型训练：模型并行+流水线并行组合、计算与通信重叠编排、低层核函数优化等技巧，能直接提升推荐大模型训练效率与MFU
- 领域数据构建管线：结合收集资源和求解器验证的合成数据，可用于构建电商搜索/广告/Agent场景下带强逻辑验证的微调数据集，例如用业务规则引擎验证生成式推荐结果的合理性
- 全参数后训练相比LoRA等轻量微调能更深层地注入领域知识，适合需要强结构化推理的任务（如广告策略生成、复杂购物决策Agent），在算力资源允许时值得尝试
- 昇腾NPU上的全栈优化实践表明，从并行策略到算子级别的适配可带来明显加速，对国产化推荐系统基础设施的选型与调优有参考意义
超网络向大语言模型注入知识的规模法则
🧭 超网络训练时知识注入 · 规模法则
Nace AI · Purdue University
发现超网络生成 LoRA 适配器进行知识注入的损失、准确率和 OOD 泛化遵循幂律缩放规律
📌 工作参考价值（4 点）
- 超网络生成个性化适配器：在推荐系统中，可为不同用户群或内容品类训练超网络，动态生成轻量 LoRA 适配器，实现高效、可扩展的定向知识更新，无需重新全量微调。
- 解耦设计便于工程拆分：将知识注入容量与主模型能力解耦，允许单独扩展超网络（深度/宽度）而不影响线上推理成本，适合频繁更新的电商知识库（如商品属性、活动规则）。
- 利用规模法则指导资源分配：论文给出的预测性规模曲线可作为经验指南，在算力有限时权衡超网络深度、宽度和目标模型大小，快速找到性价比最优的配置。
- OOD 泛化优势用于冷启动：超网络注入在 OOD 场景（未见实体/关系）的缩放指数更陡，可迁移到新品推荐或冷门 category 的知识覆盖，比直接 LoRA 微调更可靠。
陈旧但稳定：面向异步强化学习的陈旧自适应信任域
🧭 异步 RL 训练稳定性优化
Tencent Hy LLM Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University
用 detached log-ratio 作为陈旧度代理，自适应收缩 PPO 区间端点，稳定异步 RL 训练
📌 工作参考价值（4 点）
- 在电商/广告推荐系统的在线异步 RL 训练（如 PPO 策略梯度）中，可直接复用 detached log-ratio 作为 staleness 代理，无需额外模型即可量化策略与行为策略的偏差，据此识别高风险更新样本。
- 采用 仅收缩 sign-selected 端点 的区间约束，在保留大部分 token 原有 PPO 行为的同时，仅对高陈旧度导致的异常外向更新进行保守截断，实现细粒度稳定控制。
- 针对推荐模型可能采用的 MoE 架构，路由重放（routing replay） 技巧可缓解异步陈旧带来的路由不一致问题，与裁剪配合形成互补稳定器，适合大规模稀疏激活的推荐模型训练。
- 工程上，该方法在 SGLang 多推理引擎 + Megatron 异步训练框架下验证有效，可直接迁移到类似解耦架构的推荐 Agent 在线学习系统中，提升训练吞吐下的策略稳定性。
混合事后自蒸馏H^2SD：分轨迹成败的推理增强训练
🧭 LLM 推理训练 · 事后自蒸馏
Shanghai Artificial Intelligence Laboratory · Harbin Institute of Technology · Fudan University · The Chinese University of Hong Kong
提出H^2SD，根据轨迹成败分别用重述增强和参考提示进行教师信号调制与蒸馏，提升推理训练稳定性和效果
📌 工作参考价值（4 点）
- 训练LLM Agent时，区分成功与失败轨迹：对成功响应只做重述增强，用重评估概率调制更新幅度，避免扰乱正确行为；对失败响应引入事后参考提示和逆向KL蒸馏，提供明确纠正信号
- 在商品推荐对话、多轮推理等场景，可利用用户反馈（如点击/转化）作为轨迹正确性标签，分别应用不同的教师蒸馏策略，克服稀疏奖励下的token级信用分配问题
- 混合教师上下文构建方式无需额外强教师模型，仅需事后正确答案（如验证器确认的结果），降低工程依赖，适合轻量级业务fine-tuning
- 重述指令（rephrasing）可凸显关键推理步骤，类似推荐解释生成中可对高质量解释进行改写增强，抑制冗余，提升生成效率与稳定性
MoE 训练中优化器状态该放在哪里？分层状态分配实现内存高效训练
🧭 MoE 训练内存优化
Independent Researcher
针对 MoE 三种参数群体，差异化分配优化器状态，使内存降至原来的 2.6%，且困惑度更优
📌 工作参考价值（4 点）
- 大规模 MoE 推荐模型训练：在训练广告/内容推荐的 MoE 模型时，专家层参数通常占 95% 以上，可仅用 factored second moment（无 momentum），骨干网络保留动量，大幅降低显存，使单卡训练更大 batch 或更多专家成为可能。
- 骨干与专家差异化优化：业务中可借鉴“骨干保留动量、专家不保留动量”的思路，骨干提取通用特征需要稳定收敛，而大量专家可通过轻量状态快速适应不同领域/任务。
- 路由器仅需精确二阶矩：推荐 MoE 中路由器通常极小，保持完整 Adam 状态几乎无开销，且对负载均衡有利（论文中负载均衡接近均匀下限）。
- 从显存到精度无 trade-off：实验表明分层状态分配不损害精度，甚至更好，可直接迁移到现有 MoE 训练流程，无需担心性能回退。
通过自我蒸馏增强基于量规的强化学习
🧭 Rubric-based RL 训练优化
Zhejiang University · ByteDance
用 on-policy 自我蒸馏同时解决 rubric RL 的未被探索准则和压制准则问题，消除训练推理不匹配
📌 工作参考价值（4 点）
- 当使用 rubric-based RL 训练对话/推荐 Agent 时，可借鉴 CriPO 的自我蒸馏框架：对训练中从未满足的准则，构造一个注入准则提示的 teacher 模型，用局部 forward-KL 损失将缺失行为蒸馏到当前策略，无需在推理时引入额外引导，避免 train-inference mismatch。
- 针对 scalar reward 聚合导致部分准则信号被压制的问题（如推荐理由生成中某维度得分高但总分低），可识别与压制准则相关的 token，将其 token-level advantage 翻转为正值，保留被全局奖励淹没的细粒度模式，提升策略学习效率。
- 实现上，两个 self-teacher 均从当前策略加载参数（on-policy），工程简单，且实验中只需约一半训练步数即超越基线，适合资源敏感的业务场景快速迭代。
- 该方法不依赖外部模型或数据，仅利用 rollout 样本和准则元信息，可直接集成到现有 GRPO/PPO 训练框架中，对推荐系统的多目标/多准则 RL 对齐具有参考价值。
重新审视异构大模型合并：加权平均视角
🧭 模型合并 · 异构参数空间加权平均
University of Science and Technology of China
证明通过维度适配和比率控制，无需训练直接加权平均即可有效合并参数量不同的LLM
📌 工作参考价值（4 点）
- 工程上可直接合并不同尺寸的微调模型，无需重新训练，特别适合电商推荐系统中多任务模型的快速融合。
- 使用小比率插值（如0.1）将辅助模型能力注入主模型，例如将对话能力迁移到商品描述生成模型。
- Union-style 扩展或 Intersection-style 截断均为免训练操作，可作为轻量级模型更新方案，部署成本低。
- 注意避免平衡插值，否则性能崩溃；该跷跷板效应提示业务中合并比例需精细 A/B 测试。
核化线性注意力：用对称锥打破容量墙
🧭 高效线性注意力训练与推理
Department of Computer Science, University of Colorado Boulder
提出 KATA 框架，利用自对偶锥保证非负注意力权重，大幅提升线性注意力的联想记忆容量与吞吐量
📌 工作参考价值（4 点）
- 在用户长序列建模中可直接替换 softmax 注意力，KATA 的块状态形式和 O(log T) 深度扫描能将推理延迟降低一个数量级，适合稀疏行为序列的实时兴趣捕捉。
- 关联扫描（associative scan）和秩一 PSD 特征映射提供了一种参数高效的状态放大方法，可迁移到推荐系统的长程用户表征压缩，无需增加 KV cache 大小即可扩展记忆容量。
- 论文中的 Triton 融合内核实现（Flash-Attention 风格前向、块状态并行）可作为参考模板，优化现有推荐模型中的注意力层，特别是在 GPU 上处理超长序列时获得 2×-10× 的吞吐提升。
- 核特征映射的几何设计思路（Welch 下界、球形码）可用于生成式推荐的 Semantic ID 编码，提升 token 空间的容量与分辨力，缓解生成式推荐中的哈希碰撞问题。
LLM-as-a-Coach：面向非可验证任务的经验学习
🧭 LLM 后训练从标量奖励转向经验反馈
Microsoft Research · Tsinghua University · Peking University
将 LLM 评估从标量奖励升级为细粒度经验反馈，通过上下文蒸馏提升开放任务的后训练效果
📌 工作参考价值（4 点）
- 广告文案 / 推荐理由生成：将点击、转化等弱信号通过教练模型转化为细粒度的文本反馈（如“信息量不足”“说服力弱”），再用 EL 蒸馏优化生成策略，替代只优化点击率的标量奖励，能显著提升文案质量与多样性。
- 对话式推荐系统：在多轮交互中，用 LLM 教练对每轮回复进行多维度评价（相关性、说服力、个性等），作为经验知识输入策略模型，缓解纯奖励优化导致的单调回复或“套路化”问题。
- 反馈信号设计：借鉴 EL 的教练设计，将评分准则（rubric）的文本描述直接作为经验知识，无需额外训练奖励模型，适合电商场景中快速部署新产品推荐的文案评估。
- 工程实现：EL 的 on-policy 上下文蒸馏可通过偏好对（preference pairs）实现，与 DPO 流程兼容，避免复杂的 RL 基础设施，对线上系统实时更新更友好。
蒸馏强化学习：将教师监督融入LLM后训练梯度
🧭 强化学习 · 知识蒸馏融合 ★ 深度解读
Nankai University · Zhongguancun Academy · Beijing Institute of Technology · Zhejiang University · Institute of Automation, Chinese Academy of Sciences
通过逆向重要性采样将教师知识注入RL梯度，实现选择性token级信用重分配
📌 工作参考价值（4 点）
- RL训练的教师信号注入：在推荐模型或Agent的RL训练中，可以用一个更强的教师模型对学生生成的序列进行token级重加权（教师/学生概率比），取代传统的KL散度模仿，避免无条件模仿导致的局部最优和模型坍塌。
- 负样本重置技巧：只在优势为正的样本上应用教师权重，负优势样本权重重置为1。在电商推荐场景中，可确保只从“好”的推荐路径中学习教师知识，避免在失败路径上模仿教师而遭受更大惩罚。
- 序列几何归一化：当学生和教师分布差异大时，教师对学生生成token的概率往往偏低，会导致乘积权重骤减，该方法除以序列内几何均值，仅保留相对偏好，稳定训练。尤其适用于跨模型结构（如不同推荐模型家族）的知识迁移。
- 跨模型家族鲁棒性：在师生模型结构差异大(如DeepSeek到Qwen)的蒸馏中，传统OPD容易失效，而Distilled RL仍能稳定提升效果，对需要混合异构模型推荐的场景有参考价值。
博弈论框架下的可解释超参数敏感性分析
🧭 超参数重要性分析 · 博弈论
Louisiana State University
用 Shapley 效应与 Pareto 前沿分析多目标场景下超参数对各目标的影响，识别关键超参数以缩小搜索空间
📌 工作参考价值（4 点）
- 超参数重要性排序：在训练 CTR/CVR 模型前，先用少量样本计算每个超参数的 Shapley 效应，快速锁定对关键指标（如 AUC、LogLoss）真正敏感的参数，避免全量 grid search 浪费资源。
- 多目标权衡可视化：对于同时优化点击率与转化率的推荐模型，利用 Pareto 前沿分析可直观看到不同超参配置在双目标上的 trade-off，辅助业务决策（例如选择偏重 CVR 的配置）。
- 早期模型评估：在模型开发初期，通过 Pareto 前沿分布判断当前超参空间是否已接近有效边界，若远离前沿则考虑重构搜索空间或更换架构，减少无效迭代。
- AutoML 流程增强：可将该框架嵌入现有 HPO 流水线，在贝叶斯优化前先运行敏感性分析，自动剔除低影响超参数，提升搜索效率。
CADENCE：通过覆盖自适应在策略蒸馏弥合推理差距
🧭 LLM 推理蒸馏 · 在策略蒸馏
用覆盖自适应调度、分叉提升与稠密奖励等六个组件，在单台 Mac 上将 0.5B 学生推理提升 21%+
📌 工作参考价值（4 点）
- DRIFT 与 COVA 的 token 级前向-反向 KL 切换：可迁移到业务小模型蒸馏，避免初期学生概率崩溃；在电商搜索 query 改写或推荐理由生成中，当学生模型输出分布与教师差距大时，可借鉴覆盖自适应的 β 调度，从 reverse-KL 逐步过渡到 forward-KL。
- FTB（分叉 token 提升）：利用高熵 token 位置作为关键“决策点”集中梯度，类似在推荐 Agent 的推理链中，对不确定性高的步骤（如商品属性对比）加强学习信号，提升推理可靠性。
- CCD 稠密奖励与部分正确反馈：将二元对错信号替换为数值相似度部分奖励，适合电商场景中候选商品排序或价格合理性判断等非严格 0/1 任务，可提高训练效率。
- 全在策略、单机可跑：蒸馏全程无需数据中心级别资源，64GB 统一内存的 Mac Studio 即可完成，适合中小团队快速迭代推理模型。
CRAFT: 聚类评分标准诊断LLM弱点并生成定向微调数据
🧭 评估驱动的弱能力诊断与定向数据生成
Scale AI
将评分标准视为能力探针，聚类构建能力树诊断模型薄弱能力，针对性生成微调数据，在专业领域显著提升性能。
📌 工作参考价值（4 点）
- 用评分标准（rubric）定位能力缺口：在电商搜索/推荐系统的模型评估中，将人工或自动评分规则（如“查询意图识别是否准确”“推荐多样性是否达标”）转化为能力探针，提取能力描述并聚类，自动发现模型在哪一类子能力上薄弱，而不仅是哪个样本出错。
- 定向生成微调数据：针对诊断出的弱能力节点，利用LLM批量生成针对性训练样本，避免全量数据收集的盲目性，提升数据迭代效率。例如，若诊断出“对长尾查询的语义理解弱”，可定向生成该类查询的标注数据。
- 层次能力树动态选择粒度：参考CRAFT的层次聚类与动态节点选择策略，在能力诊断时自适应地选择最明显的失败层级，避免过细或过粗导致的噪声，使微调更聚焦关键短板。
- 可嵌入持续学习流水线：在Agent或推荐系统上线后，周期性对线上badcase进行rubric标注 -> 能力诊断 -> 生成微调数据 -> 模型更新的闭环，实现持续自我改进。
分组熵控制的策略优化
🧭 LLM强化学习训练 · 分组熵控制
Shanghai AI Laboratory
提出分组熵控制优势塑造方法，解决多任务 RL 训练中探索-利用失衡与优势不可比问题
📌 工作参考价值（5 点）
- 面向电商/Agent从业者的可借鉴点：
- 训练多任务推荐 Agent 时，不同任务（如商品推荐、对话引导）的探索需求不同，可引入分组熵控制，对低熵任务（已学好的模板）适度压制正优势以减少过度利用，对高熵任务（新品类）保留负优势以鼓励探索，避免全局熵调度的僵化。
- 若在推荐对话 Agent 中采用 GRPO 类算法，GEPO 只需在已有分组样本上计算组熵并修正优势，改动微小，适合作为轻量级工程优化直接集成。
- 自适应阈值的思路（用历史熵移动平均动态决定何时干预）可迁移到推荐系统的 Bandit/RL 策略中，实时调整探索系数，无需手动调参。
- GEPO 不引入额外模型，仅利用现有采样组统计量，对线上推理无侵入，符合生产环境对低 overhead 的要求。
更好的开始，更好的结束：自举迭代自推理蒸馏实现压缩推理
🧭 压缩推理 · 自蒸馏
西安交通大学 · 北京大学
提出 BIRD 两阶段自蒸馏，先引导模型生成简洁推理再在线蒸馏，显著减少推理长度同时提升精度
📌 工作参考价值（4 点）
- 多轮对话或 Agent 推理压缩：两阶段思路可直接迁移——先用简短指令采样高质量响应做 prompt-switch SFT，再上线时用在线蒸馏微调，减少冗长推理 token 消耗
- 搜索/推荐推理链精简：在需要模型生成多步推理（如用户意图分析、长 query 改写）时，用类似方法抑制冗余验证和自我修正，降低延迟
- 蒸馏起始状态优化：避免在噪声前缀上做 KL 蒸馏，先从干净分布启动，再在线策略改进，这对其他在线蒸馏场景（如广告文案生成、商品描述推理）有通用价值
- 长度控制与准确率权衡：简洁预热模型可在不牺牲甚至提升精度下大幅缩短输出，可用于实时性要求高的推荐系统推理节点
交互式训练2：实时模型训练的可审计控制平面
🧭 交互式训练控制平面
University of Waterloo · University of Wisconsin-Madison
提供开源控制平面，通过共享协议让人类和智能体对训练过程进行实时、可审计的操控
📌 工作参考价值（4 点）
- 在线训练动态调参：在电商推荐模型持续训练中，可以借鉴其声明式暴露学习率、dropout 等设置，让算法工程师或自动调参 Agent 通过统一接口实时调整，无需重启训练任务。
- Agent 驱动的训练编排：将训练控制能力抽象为 Action（如保存检查点、回滚、切换数据源），LLM Agent 可根据监控指标自动决策并提交请求，例如检测到 loss 异常时自动触发回滚和告警，适合广告模型频繁迭代的场景。
- 审计与复现：所有控制请求和结果按时间线记录，可回溯谁在何时做了何种干预，满足工业级模型训练的合规与排障需求，类似模型版本的 Git 日志。
- 工程实现参考：其“训练循环负责安全控制点”的设计模式可直接复用，在现有训练框架中插入轻量级控制平面，避免多控制器并发冲突，保证状态一致性。
LongStraw：固定GPU预算下的超长上下文RL训练
🧭 RL训练系统优化·长上下文 ★ 深度解读
MindLab · Fudan University
通过分离长提示状态捕获和串行响应回放，在固定GPU数下将GRPO训练上下文扩展至200万token以上
📌 工作参考价值（4 点）
- 长序列推荐模型训练：若需将用户长期行为序列（如200万长度）作为条件训练生成式推荐或Agent模型，可借鉴LongStraw的“捕获一次、回放多次”模式：用无梯度前向计算并保存固定大小的循环状态或压缩的KV页，然后仅对候选物品序列进行可微分回放，大幅削减峰值显存。
- 混合注意力架构选型：Qwen的48个循环层+16个全注意力层的设计启示：对于长历史处理，用循环层（如Gated DeltaNet）避免KV长度线性增长，仅保留少量全注意力层存储必要细粒度上下文，可平衡效果与显存。
- MoE训练中的多维并行布局：GLM同时使用CP（上下文并行）划分长序列和EP（专家并行）划分路由专家，可在固定机器数下扩展长序列训练。推荐系统中若有超大参数模型需处理长序列，可考虑类似并行策略，但需确保梯度完整聚合（论文指出当前未完成KV适配器梯度同步）。
- 训练系统设计原则：当显存成为长上下文瓶颈时，优先优化状态生命周期，而非单纯增加并行度。保留仅响应解码所需的状态，释放瞬态激活，并通过串行回放控制激活峰值。这种思路同样适用于大规模用户行为模型或Agent轨迹的离线RL训练。
有限显存下的长上下文微调：结合分层全局注意力与分段反向传播
🧭 长文本微调显存优化
BMW Group
用分层全局注意力、分段反向传播和分级KV缓存，在16GB显卡上将可训练上下文长度从2K扩展到16K，评估时支持131K tokens
📌 工作参考价值（4 点）
- 在电商推荐场景中，用户长期行为序列或长商品描述经常超过2K tokens，本方法可直接用于消费级GPU（16GB）上微调长上下文模型，大幅降低硬件门槛。
- 分段反向传播与历史KV转存RAM/NVMe的策略，可以借鉴到其它长序列训练中（如序列推荐模型），将不可微历史状态移出显存，只保留当前段可训练，节省显存。
- HGA通过为每个查询块加载有限的历史token，保持每个token的关注量近似恒定，训练速度随上下文长度线性增长，而密集注意力是二次增长，这一特性可在在线学习或增量训练Agent时提升效率。
- 训练得到的适配器可与标准密集注意力生成框架兼容，这意味着可以将高效的HGA训练与成熟的推理引擎结合，在保证模型质量的同时让推理也受益于长上下文。
预训练 LLM 的原地分词器扩展方法
🧭 LLM 分词器工程 · 多语言高效推理
Liquid AI
通过继续 BPE 合并和两阶段微调，无需重训即可扩展分词器，将低资源语言 token 数压缩 2-4 倍，解码提速 2.2-3.7 倍
📌 工作参考价值（4 点）
- 需要支持新语言或新增领域词汇（如电商术语、产品 ID）时，可沿用原分词器继续做 BPE 合并，避免重建词典和重新预训练
- 新 token 嵌入用已有子 token 嵌入的均值初始化，能加速收敛，此技巧可迁移到推荐系统新增 Semantic ID token 的场景
- 两阶段适应：先冻结主干仅训练嵌入层，再全模型继续预训练，可降低迁移成本，适合在线模型热更新
- 端侧部署的推荐 Agent 或对话模型可通过分词器扩展减少 token 碎片，直接降低解码延迟与能耗
在线策略增量蒸馏
🧭 LLM训练 · 推理蒸馏
NAVER AI Lab
用教师与其基模型输出的差异（delta信号）替代直接模仿，更高效传递推理能力增益
📌 工作参考价值（4 点）
- 在基于LLM的推荐或Agent模型中，可以将教师模型设置为经任务指令微调的强版本，基模型为原始预训练版本，蒸馏时拟合两者输出logits之差（delta信号），更聚焦于任务特定的推理模式迁移，避免直接模仿可能引入的冗余信息。
- 对于对话式推荐或多步推理Agent，delta信号能显式捕捉“推理策略增益”，训练更稳定，且论文表明仅需短暂后训练即可大幅提升性能，适合业务快速迭代。
- 若搜索推荐业务中使用强化学习（如RLHF）存在奖励设计困难或训练噪声大，可尝试OPD²替代，直接用token级监督，工程实现简单，无需单独的价值网络或偏好数据。
- 蒸馏过程中需要教师和基模型的双重前向计算，实际部署时可缓存基模型在训练数据上的输出分布，减少计算开销。
整流流最优自蒸馏：线性探测下的闭式解与自动正则化校正
🧭 生成模型自蒸馏优化
University of Texas, Austin
提出整流流中通过混合真实与教师速度的自蒸馏可严格改进教师，并给出最优混合系数的闭式解
📌 工作参考价值（4 点）
- 若在生成式推荐（如扩散模型生成 item embedding）中遇到自蒸馏场景，可直接引用闭式最优混合系数，避免网格搜索，降低调参成本。
- 符号规则（正混合修正欠正则化，负混合修正过正则化）可作为诊断工具：根据教师模型的正则化状态决定合成数据与真实数据的混合方向。
- 一阶段 GCV 或验证调优方法可集成到训练流程中，自动决定合成/真实数据配比，提升生成样本质量。
- 理论保证的生成误差下降，对需要严格质量控制的下游业务（如广告创意生成）具有可靠性的参考价值。
超越熵：对比策略优化实现正确性感知优势塑造
🧭 RLVR中的正确性感知优势塑造
The Chinese University of Hong Kong · South China University of Technology · Nanyang Technological University
用对比分歧替代熵作为优势信号，实现RLVR中更细粒度的token级正确性感知和策略优化。
📌 工作参考价值（4 点）
- 在对话推荐或搜索Agent的RLHF/RLVR训练中，使用参考策略（如预训练LLM）与当前策略的token级分布对比分歧，替代熵来构造优势，可更精细地区分哪些token导致错误，从而提升训练效率。
- 处理推荐或问答任务中常见的“全对/全错”组（zero-advantage组）时，对比分歧可提供内部差异信号，避免训练数据浪费，尤其适用于二元成功反馈的场景。
- 利用正确与错误响应自然引导利用与探索的思想，可设计在线学习策略：对高奖励样本偏向利用（低温度），对失败样本增加探索（高温度或对比分歧驱动的扰动），平衡推荐Agent的短期准确率和长期多样性。
- On-policy蒸馏的视角为生成式推荐模型的知识蒸馏提供新思路：可将外部教师（如精排模型）的输出作为后验分布，用对比分歧对齐学生策略，提升列表生成任务的逐token优化。
共识作为特权上下文实现无标签自蒸馏
🧭 无标签自蒸馏 · 共识锚定 ★ 深度解读
ILLC, University of Amsterdam · ILCC, University of Edinburgh
用多票共识充当特权上下文，将投票信号转化为逐token的密集监督，替代RL并接近带标签蒸馏
📌 工作参考价值（4 点）
- 在无标注的推理场景（如电商搜索对话/商品理由生成）中，可通过采样多个回复、多数投票提取共识答案，将对应的高置信回复作为教师上下文进行自蒸馏，实现无黄金答案的模型提升
- 采用JSD散度进行全词表分布蒸馏，比硬标签SFT保留更多信息，且能利用非共识rollout中的差异信号，适合处理模糊或长尾输出
- 冻结教师快照，避免共享参数训练时迅速崩塌的问题，是低成本稳定蒸馏的关键工程技巧
- 一次采样同时获得投票结果和蒸馏数据，训练仅一个epoch，在精度-计算量前沿上显著优于TTRL等RL方案，适合资源受限的线上业务快速迭代
揭秘 On-Policy 蒸馏：角色、病理与调控
🧭 LLM 训练 · On-Policy 知识蒸馏
The Chinese University of Hong Kong · Tencent AI Lab
系统分析 OPD 作为探索催化剂的两大病理（师生失配与长度剥削），并提出简易信号调控予以克服
📌 工作参考价值（4 点）
- 蒸馏信号质量比教师规模更关键：在电商搜索/推荐场景蒸馏大模型（如生成式推荐理由、查询词）时，应优先保障 token 级监督信号的准确性，而非盲目使用更大教师模型。
- 防止长度剥削的方法可直接复用：当学生模型通过生成长度作弊（如冗余填充或过早截断）优化时，可引入 advantage clipping 与 log-scale compression 来消除长度相关性，使优化目标重回推理质量，这对生成式推荐、对话 Agent 等任务尤其有效。
- Prompt 多样性优先于单问题采样数量：在构造 OPD 训练数据时，增加样本多样性比增加同一 prompt 的采样次数更能提升探索效率，可指导搜索推荐场景中的指令数据扩增。
- 在推荐 Agent 训练中采用类似信号调控：若使用 OPD 训练基于 LLM 的推荐 Agent 与学生模型，可借鉴本文的轻量级信号修正手段，规避师生不匹配导致的错误引导。
深度循环：面向环式 Transformer 的深度缩放方法
🧭 环式 Transformer 深度缩放
Princeton University · University of California, Los Angeles
针对环式 Transformer 参数共享提出新的残差缩放规则，将 DeepNorm 指数从 1/4 提升到 1/2 以保证稳定训练
📌 工作参考价值（3 点）
- 在推荐模型的深度序列编码器（如使用共享层堆叠的 SASRec 变体）中，若采用多轮循环以扩展感受野而不增加参数，可直接套用 DeepLoop 的 α、β 缩放公式，避免因参数重复访问导致的训练不稳定。
- 对于生成式推荐中基于环式 Transformer 的序列生成解码器，该缩放规则保证长循环深度下的梯度更新平衡，使更深的推理计算（test-time compute）成为可行，从而提升生成质量。
- 在资源受限设备上部署大容量推荐模型时，可利用环式结构压缩参数存储，同时通过深度循环实现深度计算扩展，DeepLoop 提供了训练稳定性保障。
单教师视角增强：利用学生引导扰动改进知识蒸馏
🧭 知识蒸馏 · 视角增强
用学生动态特征引导无参数循环移位生成多样视角，实现单阶段高效知识蒸馏
📌 工作参考价值（4 点）
- 电商/广告推荐模型压缩场景（如CTR、排序模型）中，蒸馏轻量级在线模型时，可直接使用学生模型的动态特征生成多视角监督，提升泛化能力，无需维护多个教师或复杂的训练流程。
- 无参数的循环移位扰动实现零额外参数开销，适合资源敏感型线上推理环境；单阶段训练避免预教师训练，简化工程链路。
- 可借鉴该思路将学生特征作为条件，设计自适应噪声注入（如特征层随机移位、维度重排），生成多样化的虚拟教师视图，替代传统的固定教师输出。
- 方法对模型结构无侵入性，可快速集成到现有的 logit/feature 蒸馏框架中，实验观察可直接迁移至电商领域的同等架构模型。
基于代理模型更新信号解耦的 LLM 后训练模块化范式
🧭 LLM 后训练 · 代理探索 · 信号解耦 ★ 深度解读
Shanghai AI Laboratory · Fudan University · Zhejiang University · Shanghai Innovation Institute · Shanghai Jiao Tong University
用轻量代理模型探索相对改进信号并解耦式传输，实现异步、可复用的跨模型后训练
📌 工作参考价值（4 点）
- 低成本探索与迁移：在推荐模型或 Agent 策略训练中，可利用小模型（如蒸馏版或轻量级网络）作代理，探索用户反馈/奖励信号，将相对改进信号迁移到大模型，大幅降低采样与评估成本。
- 异步信号缓存与复用：解耦后，代理探索的更新方向可独立存储为分布差异对，一次探索、多模型复用，适合多场景（电商搜索、广告推荐）快速对齐不同版本主模型，无需重复完整RL pipeline。
- 弱到强泛化迁移：相对改进信号不依赖代理绝对能力，弱代理探索的信号可有效提升强主模型，适用于利用用户行为日志训练小模型提取偏好、再迁移至大规模生成式推荐模型。
- 校准系数控制迁移强度：借鉴λ的锚点校准机制，在迁移时根据主模型当前状态动态调整信号强度，避免过更新，可在电商/广告的强化学习训练中实现更稳定的策略迭代。
ShortOPD：通过短到长在轨蒸馏恢复剪枝后LLM生成能力
🧭 结构化剪枝后LLM的生成能力恢复训练
ByteDance · Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
基于短到长的在轨蒸馏，消除冗余后缀以加速剪枝LLM的生成恢复训练
📌 工作参考价值（4 点）
- 剪枝压缩后的大模型在线上生成时出现质量崩塌（如重复后缀），可直接借鉴 ShortOPD 的在轨蒸馏恢复方案，用未剪枝模型做教师，快速回血生成能力。
- 短到长训练调度能大幅度减少低信息量重复令牌的训练开销，适合需要严格控制训练预算的场景（如电商智能客服、推荐理由生成），可加速迭代。
- 重复前缀检测与截断策略可作为通用技巧，集成到长文本生成的在线学习或 RLHF 流程中，避免模型在无效 token 上浪费算力。
- 对于 Agent 系统中的核心大模型，若经历量化或剪枝后指令跟随能力下降，可用此方法微调恢复，保障多轮交互的任务完成率。
WSqD：面向大规模模型训练的无视界学习率调度
🧭 训练优化 · 学习率调度 ★ 深度解读
University of Pennsylvania
提出结合逆平方根基底与线性退火的 WSqD 调度，理论证明其最优 O(1/√T) 收敛，并在 LLM 续训中无需重调优就能超越调优的 WSD
📌 工作参考价值（4 点）
- 长时间递进式训练/增量训练可直接复用：在电商搜索、推荐模型的持续训练场景中（如每天新增日志继续训练），WSqD 的根基底与训练时长相独立，同一峰值学习率可跨越不同续训长度，避免每次续训重调学习率。
- 设置建议：将 shift 参数 T0 设为初始短跑时长（如 5000 或 10000 步），基学习率由短跑网格搜索确定一次后即可用于后续所有更长工期，工程成本极低。
- 退火阶段的长度：线性退火占比 α 固定为 20%，实践可照搬；续训时从退火前检查点恢复，仅丢弃退火部分的计算，性价比高。
- 适配优化器：论文给出 Adam-style 和 Muon-style 的镜像下降视角诊断，在实际推荐模型训练中可监控梯度 L1 范数或块核范数作为双范数缩放因子的稳定性，以便将实用优化器方向近似视为镜像下降步骤，增强调度理论指导。
预测散度掩码：LLM 强化学习的信任域方向优化
🧭 LLM 强化学习 · 信任域方向准则
Tencent Hunyuan · UIUC · NUS
提出预测散度掩码替代 PPO 比率方向测试，用散度变化预测决定是否屏蔽 token
📌 工作参考价值（4 点）
- 在推荐/Agent 的 RL 策略训练中，PPO 原有的 ratio 方向屏蔽可能导致错误保留会使散度增大的更新，改用散度方向预测可提升离线更新的稳定性与效率。
- 当策略输出为 top-K 候选时（如推荐列表生成、对话动作筛选），论文的两种轻量级 top-K 估计器可直接嵌入，无需完整分布即可计算散度变化方向。
- 预测散度掩码的闭式解计算开销低，适合大规模线上 RL 训练时的 token 级动态屏蔽，降低训练-推理分布漂移风险。
- 该方法对模型规模与精度设置鲁棒，可以无缝集成到现有 PPO/DPPO 训练框架中，改善 reward hacking 并提升最终策略质量。
超级调优：激活感知剪枝引导的稀疏微调
🧭 稀疏参数高效微调 · 激活感知
KAUST
复用剪枝中的激活感知重要性分数来固定稀疏可训练参数，提出Super和Supra实现高效微调
📌 工作参考价值（4 点）
- 在电商搜索/推荐中微调LLM（如查询理解、文案生成）时，可用Super根据少量校准数据确定关键权重子集，降低80%以上可训练参数仍保持性能。
- Supra混合LoRA与稀疏更新，通过预算分割规则灵活平衡低秩与稀疏分量，适合在资源受限的线上服务中部署。
- 使用Wanda-style激活加权重要性（权重与输入激活乘积）作为稀疏选择标准，比纯幅值更关注任务相关特征，可用于快速适配新品类或活动。
- 该方法的支持集固定性使得不同任务可共享相同的稀疏mask，只需切换可训练值，实现多任务间存储高效切换。
超越欧几里得裁剪：用黎曼等距策略优化克服 LLM RL 探索崩塌
🧭 RL 训练方法 · 几何优化 ★ 深度解读
Tsinghua University (AIR) · ByteDance Seed
发现 PPO-Clip 的欧氏度量与策略黎曼流形不匹配是探索崩塌的根本原因，提出 RIPO 实现等距更新以平衡探索与利用，大幅提升推理 RL 性能
📌 工作参考价值（4 点）
- 在推荐/搜索的 policy gradient 训练（如 PPO 排序策略、对话策略）中，直接用 epsilon = sqrt(delta / pi_old) 动态裁剪重要性比，让低概率动作（冷门 item / 新动作）获得更大更新空间，避免过早收敛到高频动作，保持策略多样性。
- 工程实现时，将信任域半径 δ 设为 0.02~0.05 即可稳定工作，无需复杂调参；可对用户行为序列中不同位置的 token 或动作单独计算裁剪边界，兼容现有 GRPO/PPO 框架。
- 对于多臂赌博机 / 上下文 bandit 在线学习，几何等距裁剪能缓解热门臂的过度利用问题，思路可迁移至 EE 场景的策略更新规则。
- 在 LLM Agent 的 RL 训练中（工具调用、查询改写），RIPO 可防止 Agent 重复使用少数高频工具而忽略潜在有效的探索路径，提升长程任务成功率。
多模态强化学习中的奖励破解现象研究
🧭 多模态RL对齐奖励设计
Institute of Computing Technology, Chinese Academy of Sciences · University of California, Merced · Southeast University
揭示多模态RL中奖励信号不完美导致的系统性破解，提出NRFR指标并比较算法与奖励设计的影响
📌 工作参考价值（4 点）
- 奖励设计防破解：在电商/广告的生成式推荐或对话Agent的RL训练中，避免纯结局（outcome-only）奖励，应融入答案感知或过程奖励，防止模型钻空子（如生成表面合规但实际偏离用户意图的内容）。
- 引入可靠验证器：对于依赖多模态数据的任务（如商品图文描述生成），若用自动指标（如关键词命中）作为奖励，极易诱发破解；改用VLM-as-judge的语义验证能显著降低破解率，业务中可构建专用多模态评判模型。
- 算法选型与规模结合：GRPO在多数规模下抗破解能力最强，而DAPO从2B到8B提升明显，选择RL算法时需结合模型规模测试其稳健性，避免盲目追求奖励提升而忽视实际效果。
- 监控新失败率（NRFR）：业务上线RL策略时，可借鉴NRFR指标，专门追踪奖励提升但实际效果变差的样本比例，及时暴露对齐失败，防止线上指标虚高。
超越反向传播：蒙特卡洛方法可训练深度神经网络
🧭 蒙特卡洛无梯度训练方法
Department of Physics, Xiamen University · Lanzhou Center for Theoretical Physics, Lanzhou University
用最简单的随机突变-保留蒙特卡洛算法在单GPU上训练深层网络，无需梯度、归一化或残差连接
📌 工作参考价值（4 点）
- 离散权重训练：可直接训练低比特量化模型，适合需要极端压缩的端侧推荐模型，避免量化后微调。
- 纯剪枝训练：在训练过程中维持稀疏连接，省去传统“训练-剪枝-重训”流程，可集成到推荐模型压缩 pipeline 中。
- 不可微目标优化：当损失函数不可微或硬件不支持高效 BP 时，提供备选方案，例如基于规则或模拟环境的推荐策略学习。
- 主要学术贡献：收敛速度极慢，目前不适合工业级大规模推荐在线训练，但可关注后续加速变体在小样本离线调优中的应用。
仅有合成语音时，GRPO优于SFT
🧭 RL微调在合成数据域适应中优于SFT
Idiap Research Institute · EPFL · Uniphore · Brno University of Technology
在合成语音ASR域适应中，GRPO强化学习比监督微调大幅降低WER 40-45%
📌 工作参考价值（4 点）
- 当真实用户反馈昂贵或受限时（如冷启动、隐私保护），可使用合成数据 + GRPO 做策略优化，GRPO 无需 critic 网络，工程实现简单，适合在线 RL 或模拟环境下的 Agent 策略训练。
- GRPO 的组内相对奖励机制可类比推荐场景中的 listwise 优化：从一组多样化输出中选出低错误（高奖励）假设，抑制劣质输出，可借鉴用于生成式推荐/query 推荐的偏好对齐。
- 分析表明 GRPO 的增益来自行为校准（停止判据、注意力对齐）而非表示层变化，提示在 RL 微调推荐对话 Agent 时，可重点监控和优化行为指标（如终止时机、幻觉率），而非只关注隐层表示。
- 论文结论“当合成数据是主要资源时，RL 应优先于 SFT”可迁移到使用 LLM 生成训练数据的场景：用 SFT 预热后接 GRPO 可进一步榨取合成数据的上限。
可扩展的视觉预训练用于语言智能
🧭 视觉文档预训练提升语言智能
Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China · Zhejiang University · Shanghai Jiao Tong University
直接在视觉文档上预训练可超越纯文本预训练，为语言智能提供高效可扩展路径
📌 工作参考价值（4 点）
- 商品详情页理解：电商场景中大量信息以布局、表格、图片形式存在，传统 OCR→文本 流程丢失空间关系。可借鉴视觉预训练，直接对详情页截图编码，提升对结构化信息（如规格参数、对比图表）的理解，改善搜索与推荐相关性。
- Agent UI 理解：在购物助手、广告投放等 Agent 任务中，直接对操作界面截图进行视觉预训练，能让模型学会从像素推断可点击元素与交互逻辑，减少对 DOM 或渲染文本的依赖，提升自动化决策鲁棒性。
- 落地页质量评估：广告落地页通常包含大量视觉元素，视觉预训练后的模型可从整体布局、美学设计角度评估页面转化潜力，用于素材优选或创意生成前的质量过滤。
- 跨模态语义对齐：视觉预训练获得的表征可与商品标题、用户行为序列联合微调，形成更强的跨模态语义空间，有助于冷启动商品或图文不匹配问题的解决。
理解LLM微调中记忆知识为何难以泛化的机制
🧭 LLM微调 · 知识泛化与电路错位
HKUST(GZ) · HKUST
揭示“知用鸿沟”：记忆的表示存在但未路由到有效计算层，提出自修补干预可恢复58-75%的泛化失败
📌 工作参考价值（4 点）
- 微调注入新知识后推理失败的诊断：在电商/Agent场景中，若微调后模型能记忆商品属性但无法正确回答组合推理（如“哪个去年发布的手机拍照最好”），可通过自修补（self-patching）分析内部激活定位，找出哪些层的表示未参与推理，指导后续模型优化。
- 无需重新训练即可部分修复推理：采用简单的启发式规则（如将某些层的记忆表示转移到关键计算层），可快速恢复泛化能力，适合在线知识更新后紧急修复推理表现，成本低。
- 微调策略的启示：设计训练损失时，应考虑让与推理相关的深层也参与记忆表示的学习，或加入辅助任务迫使知识表示向有效计算层对齐，避免“知用鸿沟”。
- 模型调试工具：自修补方法可作为内部调试工具，用于持续集成测试中自动检测新知识注入后的推理衰退，降低线上事故风险。
LLM 量化等效性幻觉：统计刻画与行为分歧度量
🧭 量化效应分析 · 行为分歧度量
University of Manitoba · Red River College Polytechnic · University of Central Florida
提出 correctness agreement 指标揭示量化导致的行为分歧，发现 query/key 投影对量化更敏感
📌 工作参考价值（5 点）
- *可以在推荐/搜索系统中这样借鉴：
- 部署量化推荐模型（如 LLM-based ranker）时，不能只监控离线 AUC/GAUC，应引入 correctness agreement 这类行为指标，防止量化后模型对同一批样本给出迥异的精排序结果，却因整体指标持平而被忽略。
- 研究发现 query 和 key 投影层比 value/output 投影对量化更敏感；在混合精度量化策略里，可优先保留这几层为高精度（如 INT8 甚至 FP16），降低推荐模型推理成本的同时，守住 query–item 匹配的稳定性。
- 低比特（≤4-bit）存在非线性断点，业务落地时建议以 8-bit 作为安全起始点，逐步尝试 6/4-bit，并逐层分析 attention 分布的 KL 散度，避免直接跳进极低精度带来的冷启动召回崩溃。
- correctness agreement 不依赖绝对准确率，可作为生成式推荐（如 Semantic ID 生成）的评估指标：量化后生成 item 序列与全精度模型的一致性，比困惑度更能反映线上效果。
LLM 中 Super Weight 的发现与选择性训练之败
🧭 参数高效微调 · Super Weight 分析 ★ 深度解读
Amazon Web Services
证明重要性不等于可孤立训练性：微调 Super Weight 完全失效，而全层低秩更新（LoRA）成功且对位置限制鲁棒
📌 工作参考价值（4 点）
- 微调策略选择：不要试图仅训练少量重要参数（基于幅度或剪枝后的子集），即使它们对模型质量至关重要；实验显示训练100–8192个 Super Weight 准确率跌至随机，同样大小的随机稀疏训练（避开 Super Weight）却能超过基线。在电商/推荐场景微调 LLM 做 query 理解、商品描述生成时，直接使用 LoRA 等全层低秩更新，无需特意挑选重要参数。
- LoRA 位置冻结的冗余性：在 attention 层中冻结与 down_proj Super Weight 坐标对应的位置（占 LoRA 参数的 0.5–6.8%）对性能统计无影响（10 seeds p>0.05），且 LoRA 自身更新中最高幅值位置也不是瓶颈。这意味着部署 LoRA 时，不需要针对下游关键权重的位置做 mask 或缩放，低秩结构本身已提供协调性。
- 结构化分解的指导意义：理论证明稀疏更新只捕获微调子空间的 k/N，而低秩分解的覆盖维度是稀疏的 256×。在设计参数高效微调方案时，应优先选择具有层级别协调的结构（如低秩、SVD 基冻结），避免坐标对齐的稀疏选择，无论那些坐标看起来多重要。
- 异常权重的处理：若模型通过激活尖峰识别出 Super Weight 存在，标准 LoRA 微调足以成功，且 Super Weight 在微调期间几乎不变（幅度变化仅 0.03%），LoRA 通过重新路由表征来利用固定的高增益放大器。在需要持续适配推荐模型时，可信任 LoRA 的隐式正则，无需额外冻结或特殊约束 Super Weight 参数。
SLORR：简单高效的低秩正则化框架，实现训练中压缩友好
🧭 训练时低秩正则化压缩
Max Planck Institute for Intelligent Systems · University of Tübingen · ELLIS Institute Tübingen · Tübingen AI Center
在训练中施加低秩正则化，使模型压缩后更易保持性能，训练开销极低
📌 工作参考价值（4 点）
- 推荐模型训练时加入低秩正则化，可提升后续低秩分解压缩的质量，减小推理开销，且不改变模型结构，易于在现有Pipeline中插入。
- 使用Hoyer近似或核范数近似，避免直接计算SVD，计算开销低（LLM训练中<1%），适合大规模推荐模型或Agent模型的训练。
- 对于基于LLM的生成式推荐（GenRec），在预训练阶段施加SLORR，后续压缩时能更好保留语义ID生成质量。
- 无状态、架构不变的设计，可将其作为插件添加到现有训练流程，用于任何权重矩阵的低秩偏好学习。
UltraX: 大规模自适应程序化编辑精炼预训练数据
🧭 预训练数据精炼 · 程序化编辑
Peking University · ModelBest Inc. · Tsinghua University · Shanghai Jiao Tong University
提出函数调用式程序编辑框架，以插入/删除/修改实现细粒度数据精炼，提升预训练数据效率与质量
📌 工作参考价值（4 点）
- 可将数据清洗定义为插入、删除、修改的程序操作，用小型模型（0.6B）学习执行，在推荐系统的大规模预训练语料上实现快速、高质量的精炼，比纯规则或LLM方法更平衡效率与效果。
- 构造监督数据的方法（专家LLM生成精炼文本 → 行对齐 → 编辑操作序列）可直接迁移到商品描述优化、搜索词纠错等业务场景，低成本获取结构化编辑信号。
- 滑动窗口预测与全局操作聚合的推理策略增强了长序列编辑的稳定性，可用于推荐系统中超长行为序列的规范化处理。
- 低置信度过滤与基于操作组合的比例采样，可借鉴用于提升推荐模型微调的数据质量与训练分布稳定性。
异构架构下学习率调度策略的系统评估
🧭 训练超参数：学习率调度策略评估
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany
大规模实验表明 CosineAnnealingWarmRestarts 与 CyclicLR 普遍优于基础衰减，调度选择高度依赖架构
📌 工作参考价值（4 点）
- 训练深度推荐模型（如 CTR 预估、双塔召回）时，可直接用 CosineAnnealingWarmRestarts 或 CyclicLR 作为默认调度，替代阶梯衰减，以提升收敛速度与泛化能力
- 调度器选择应与模型架构绑定：不同结构（DNN、Transformer、DeepFM）对调度敏感度差异大，建议针对具体架构做小规模网格搜索
- 在大规模超参优化中，将学习率调度视为一级超参数，联合基础学习率与调度配置进行自动搜索，可能带来显著收益
- 对于强化学习 Agent 训练，周期性重启学习率（如 CosineAnnealingWarmRestarts）有助于跳出局部最优，可尝试引入到策略梯度或 Q-learning 训练中
单次 rollout 异步优化：让 Agent 强化学习训练更稳更强
🧭 异步强化学习训练稳定化 ★ 深度解读
Tsinghua University · Z.AI
提出单次 rollout 异步 RL 策略 SAO，以 token 级双面裁剪和更快价值更新稳定训练，在智能体推理与编码任务上显著超越 GRPO
📌 工作参考价值（4 点）
- 单次 rollout 替代组采样适用于在线推荐/Agent 场景：线上只能获得单条反馈时，可以用训练好的价值模型做基线，而非依赖组内相对奖励。这直接解决了 GRPO 在实时环境中的部署困难。
- 直接使用 rollout log-probabilities 做重要性采样，简化异步训练架构：不需要维护策略的历史快照链，大幅降低工程复杂度，对推荐模型异步在线学习特别友好。
- 价值模型的冻结注意力训练策略：只在 MoE 层更新，注意力层冻结，能显著稳定 critic 训练并降低梯度范数。这对需要快速收敛的在线价值估计（如 bandit 或 contextual bandit）有参考意义。
- Skip-Observation GAE 处理 agent 轨迹：计算优势时跳过环境反馈 token，将价值估计限定在模型动作上，消除环境噪声。对于涉及工具调用或多轮对话的推荐 agent（如对话式推荐），可借鉴该方式只对模型可控部分进行信用分配。
搜索，失败，恢复：面向纠错意识推理的训练框架
🧭 验证器引导的搜索与显式回溯训练 ★ 深度解读
Innopolis University · Lomonosov Moscow State University · AXXX
提出Pyligent，利用验证器标记失败分支并显式训练回溯，让小型LLM学会从延迟错误中恢复推理
📌 工作参考价值（4 点）
- 显式引入回溯动作与失败监督：在多步推理Agent（如对话式商品搜索、多轮筛选）中，可定义<backtrack>动作，利用业务规则作为验证器，将失败路径转化为监督信号，训练模型何时撤回错误分支。
- 逆课程学习策略：从接近完成的前缀开始探索，逐步向任务起点扩展，可降低早期训练难度，适用于需要多步试错的推荐对话或规划场景。
- 失败分支的简短摘要（trace）：回溯后注入失败原因摘要，帮助模型复用失败信息，避免重复错误，可在提示工程中用于记忆管理。
- 区分回溯质量指标：定义invalid/valid/correct/perfect回溯等级，评估模型是否回到正确的恢复点，这一评估方式可迁移到Agent策略评估中，衡量纠错精度而非仅看成功率。
自然图像对比学习理论：最优表征的正弦基与白化
🧭 对比学习理论 · 正弦基与白化
CSAIL, MIT · School of Computer Science and Engineering, Hebrew University of Jerusalem
证明对比学习最优表征为傅里叶正弦基加部分白化，可用注水算法解析计算
📌 工作参考价值（4 点）
- 推荐系统中常用对比学习训练用户/物品表征，该理论揭示增强变换与最优表征结构的关系，可指导如何设计更适合协同过滤的增强（例如，图像增强等价于频率域的选择性加权，可类比到序列推荐中的 mask 或裁剪策略）
- 部分白化作为对比学习隐含的最终投影层，可显式引入到推荐模型的输出层，提升特征的解耦性与判别性，替换简单的 L2 归一化
- 注水算法直接根据数据功率谱计算最优滤波器权重，该思想可迁移到特征交互建模中，自适应地分配不同频率或阶次交互的权重
- 虽然对象是视觉，但结论“第一层学习正弦波”暗示对比学习倾向于发现频域结构，这一点可用于解释推荐模型中 Embedding 在对比训练下的收敛特性，辅助排查训练不稳定问题
最大化GRPO信号：面向困难推理的自适应前缀控制
🧭 RL训练方法 · 自适应难度调节
Independent Researcher · thinkdense.ai
自适应前缀控制动态维持困难问题的50%成功率，最大化GRPO梯度信号，大幅提升推理准确率
📌 工作参考价值（4 点）
- 在电商搜索/推荐中使用GRPO训练LLM策略时，常遇到困难样本组内全失败导致梯度为零，可借鉴AdaPrefix：为困难样本预先拼接部分正确输出（如人工标注的关键步骤）作为前缀，提高组内成功概率，避免梯度消失。
- 借鉴“成功率50%噪声最大”的思想，在在线学习过程中动态调整任务难度（前缀长度），使模型始终处于最利于学习的“挑战区”，可应用于动态负采样或课程学习排序中。
- 工程实现极为轻量：仅需在数据预处理中拼接前缀token，并在计算loss时mask掉前缀部分，训练器无需改动，适合快速实验和部署。
- 对于多步推理的Agent训练，可在初始阶段给予部分正确推理链作为引导，随着训练逐步撤除，使Agent最终独立完成复杂任务，缓解稀疏奖励问题。
CurateEvo：面向Agent后训练的失败驱动数据策展进化框架
🧭 Agent后训练 · 失败驱动的数据策展进化
Harbin Institute of Technology
用失败轨迹动态重写可执行策展代码，统一生成SFT/RL/记忆数据并裁剪冗余
📌 工作参考价值（4 点）
- 构建 Agent 训练数据闭环：将线上 Agent 的失败轨迹作为反馈，自动诊断反复出现的失败模式，驱动数据策展策略迭代，持续补充或过滤训练数据，适合电商搜索/推荐 Agent 的长期优化。
- 将数据策展表示为可执行代码，交由 LLM 自动重写进化，降低人工维护成本。可用类似思路实现“Agent 训练数据自动管线”，在每次迭代中根据新失败 case 调整数据加工逻辑。
- 统一输出 SFT、RL 与推理时记忆库数据，保证训练一致性；在电商多轮 Agent 场景下，可同时产出监督微调数据和用于强化学习的环境交互样本，减少重复开发。
- 成本感知的冗余剪枝：在策展代码中加入效率目标，自动剔除低效用训练轮次，降低训练计算开销，适合工业级海量数据的 Agent 训练场景。
利用外推梯度增强锐度感知最小化训练
🧭 训练优化 · 锐度感知最小化改进
将外推梯度引入SAM形成EISAM，两步更新提升泛化且降低超参敏感度
📌 工作参考价值（4 点）
- EISAM 可替换现有 SGD/Adam 训练推荐模型，尤其在数据稀疏或长尾场景下，平坦极小值带来的泛化提升可能直接改善冷启动物品的 AUC 和线上指标。
- 对扰动半径鲁棒的特性意味着超参调优成本更低，适合大规模工业模型快速迭代；可在召回、粗排等不同阶段复用同一组超参。
- 两步更新（预测步探索 loss 地形 + 扰动步微调）提供了一种可工程化的模式：在现有框架中可按 batch 交替执行，额外计算开销主要通过梯度累积补偿，易于分布式实现。
- 当业务模型出现明显过拟合（训练、线上指标背离）时，优先尝试 EISAM，因其不依赖特定架构，可直接融入 CTR 预估、多任务学习等现有训练流程。
LongCrafter：通过证据图引导的指令合成实现多样化长上下文理解
🧭 长上下文指令合成 · 训练数据增强
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences
提出证据图引导的长上下文指令合成框架，覆盖32种任务，训练数据显著提升长文本理解并缓解迷失中间问题
📌 工作参考价值（4 点）
- 分层任务分类（局部/浅层 vs. 全局/深层）可指导电商场景中长文本训练数据的构造，例如用户长评论总结或长商品描述理解任务。
- 证据图建模跨段落依赖并严格基于证据生成问答对，能保证指令的忠实度，可借鉴到可信长上下文数据合成，如从多段商品介绍中生成属性问答。
- 合成数据覆盖不同难度且证据位置多样化，能有效缓解模型在长序列中的“迷失中间”问题，适合训练需要从长用户行为序列中精确定位的推荐模型。
- 证据跨度定位提升了模型的可解释性和鲁棒性，可用于构建需要从长文档中提取关键信息的Agent系统。
UP：无界正优势非对称优化破解LLM强化学习的探索—稳定性困境
🧭 强化学习训练优化·无界探索 ★ 深度解读
ByteDance Seed · Michigan State University
通过stop-gradient自锚定比率取代重要性采样，对正向优势释放无界梯度以最大化探索，同时保留负向裁剪加固训练稳定性
📌 工作参考价值（4 点）
- 非对称正负处理：在业务RL训练（如对话策略、推荐排序）中，可对正确/正向动作去除裁剪，使用自锚定梯度释放探索；对错误动作保留裁剪约束，防止模型退化。
- stop-gradient 即插即用：将 π_θ / sg(π_θ) 作为无界更新核心，实现简单，可直接嵌入现有 PPO/GRPO 代码，无需改动 critic 或奖励函数。
- 探索容量监控：通过追踪策略熵和 KL 散度，诊断是否出现探索崩塌，借鉴 UP 的熵上升趋势判断训练是否健康。
- 通用性证明：该方法已验证对 Dense/MoE/多模态模型均有效，推荐系统或 Agent 中更换 backbone 时可放心复用，无需重新设计。
稀疏增量记忆：以稀疏性缩放线性RNN状态
🧭 线性RNN稀疏状态扩展 ★ 深度解读
Meta FAIR · Inria Paris & ENS-PSL University · University of Tübingen
通过稀疏寻址将门控线性RNN的状态容量提升千倍，在等FLOPs下大幅改善长上下文检索和训练损失
📌 工作参考价值（4 点）
- 长序列Agent的记忆压缩：SDM用常量计算量维护大规模上下文状态，适合仍需多轮对话、长推理链的电商客服/购物助手Agent，避免KV cache爆炸，降低推理延迟。
- 推荐系统长序列建模：可替代Transformer的KV缓存来处理超长用户行为序列（如数万次点击），在固定显存下支持更长的交互历史，提升序列模型对长期兴趣的捕捉。
- 可学习初始状态用于存储领域知识：SDM将记忆的初始状态设为可学习参数，预训练后可携带通用常识（如商品品类关系），类似隐式的知识库，可迁移到生成式推荐模型的“记忆增强”模块。
- 稀疏更新工程实现：论文的chunk-wise并行训练与两指针合并求稀疏内积可在业务模型（如LLaMA类）中实现高效的大容量记忆层，适合需低成本接入长上下文的场景。
线性注意力架构对比与跨层路由
🧭 线性注意力架构对比与跨层路由
ETH Zurich, D-INFK · ETH AI Center, ETH Zurich
比较四种递归线性注意力并提跨层值路由，Kimi Delta Attention+Muon损失最低
📌 工作参考价值（4 点）
- 推荐模型处理长用户行为序列时，可用 Gated DeltaNet 等线性注意力替换标准注意力，降低计算复杂度，支持更长序列建模，提升训练吞吐。
- 跨层值路由（CLVR）提供廉价的信息跨层传递方式，可借鉴至深度推荐模型（如多塔、DeepFM）中，将底层值张量路由到高层，增强信息流动。
- 优化器选择：Muon 在相同架构下比 AdamW 验证损失更低，若任务侧重点效果可尝试 Muon（注意稳定性）。
- 混合堆栈（部分标准注意力+部分线性注意力）平衡效果与效率，适合推荐序列编码器，上游用标准注意力捕获近期行为，下游用线性注意力处理长历史。
通过在线策略蒸馏实现弱到强泛化
🧭 弱到强知识蒸馏 · 策略偏移迁移
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University · Peking University
提出 Direct-OPD，将弱模型 RL 前后策略偏移作为隐式奖励，直接提升强模型推理能力
📌 工作参考价值（4 点）
- 在搜索/推荐排序中，若需对大模型做 RL 微调但资源有限，可使用小模型进行 RL（如优化 CTR），然后通过 Direct-OPD 将策略偏移量化为 log-ratio 奖励，蒸馏到线上大模型，避免大模型直接生成海量 rollout。
- 对生成式推荐场景，用 cheap 的小模型 RL 探索（如生成更吸引点击的标题或物品 ID），再以隐式奖励形式强化大模型，无需额外奖励模型即可提升生成质量。
- 在 Agent 系统中，让轻量级 Agent 先探索环境并计算动作概率变化，作为密集奖励训练大型决策模型，降低试错成本并加速策略迭代。
- 工程上可复用弱模型已有的 RL 训练信号，不必重跑昂贵 sparse-reward RL，支持增量组合多个策略改进，适合持续在线学习。
TREK：蒸馏拓探索，强化精炼——面向困难提示的路由训练框架
🧭 RL训练中的困难探索支持扩展 ★ 深度解读
LinkedIn Corporation · Harvard University · Georgia Institute of Technology
用教师或自反提案识别并巩固困难提示，以正向KL先行扩展学生支持，再交还GRPO精炼
📌 工作参考价值（4 点）
- 困难样本识别与路由：在电商搜索/推荐中，同样存在模型反复生成相似低分结果而不探索新模式的“支持塌陷”；可借鉴TREK的硬提示阈值路由（按学生pass rate），仅在困难查询上触发热模型或自反推理来生成候选解决路径。
- 自反思提案生成：无需外部强模型，仅对当前模型增加推理时上下文（如失败记忆、环境反馈）即可产生优质探索轨迹；推荐系统中可让模型基于前序无效推荐生成反思推词或替代匹配路径，作为蒸馏素材。
- 正向KL巩固而非模仿：选择教师/自反轨迹中与学生当前分布距离最近（trimmed NLL）的样本进行短时正向KL微调，避免全盘模仿，保证探索到的模式能快速进入学生采样空间；在推荐Agent的规划或查询改写任务中，可用此方法将RL探索不到的成功交互路径固化。
- 阶段性训练流水线：硬提示挖掘→提案筛选→短正向KL热身→常规GRPO，该解耦设计可插入现有在线RL训练流程，特别适用于搜索多轮交互、对话式推荐的稀疏奖励场景，用少量教师查询换取早期训练效率大幅提升。
信任区域策略蒸馏
🧭 信任区域蒸馏训练范式
Hong Kong University of Science and Technology (Guangzhou) · Microsoft · Xingyun Zhili
动态构建近端教师将在线策略蒸馏转化为稳定训练，理论保证梯度方差控制且零额外开销
📌 工作参考价值（4 点）
- 推荐系统的强化学习训练（如对话推荐）可借鉴：用当前学生策略与目标教师策略的移动平均构造近端教师，替代固定教师监督，缓解梯度方差，提升训练稳定性，无需额外推理开销。
- 蒸馏时引入信任区域约束，避免学生一次性追随强教师导致的剧烈更新，相当于在策略空间上做平滑，可防止训练崩溃。
- 理论部分提供单调改进界，在电商/广告场景中对风险敏感的策略优化（如出价策略、排序策略）有直接指导意义，确保迭代更新不会损害累积收益。
- 零额外计算量的特点适合工业级大规模在线蒸馏，可参考其动态混合系数的简单实现，快速落地到现有 teacher-student 框架。
dOPSD：基于去噪轨迹自蒸馏的扩散语言模型训练方法
🧭 扩散语言模型 · 在线策略自蒸馏 ★ 深度解读
National University of Singapore
将去噪轨迹的后续步骤作为特权信息进行在线自蒸馏，提升扩散语言模型的推理与泛化能力
📌 工作参考价值（4 点）
- 为生成式推荐中的扩散模型提供训练思路：若采用扩散模型生成Semantic ID或物品序列，可将解码轨迹的后续更“确信”状态作为教师信号，在掩码位置进行蒸馏，无须外部标注，实现纯在线自蒸馏，缓解曝光偏差。
- 通用在线蒸馏技巧：学生状态取随机真实解码步（非随机掩码完成序列），保证训练分布与推理一致。前向KL做主散度比反向KL更有效，因为可覆盖教师分布全貌，针对序列生成任务可优先选用。
- 无标注场景也可用：即使没有答案验证器，只从所有rollout中蒸馏仍能带来提升；验证器仅用于进一步筛选正确轨迹，可显著增加收益，但非强制，适用于推荐中缺乏强监督信号的情形。
- 可迁移至Agent动作序列训练：若将Agent行为建模为掩码序列去噪过程，可利用轨迹内后续步骤呈现的“全局视野”对早期动作提供弱监督指导，无需外部环境奖励或标注。
LLM 当导师：面向非可验证强化学习的策略感知提示自适应
🧭 LLM 训练 · 奖励信号自适应
KAIST · Upstage · University of Toronto · Carnegie Mellon University · NVIDIA
让 LLM 同时充当考官和生成器，通过追加原子约束实现提示难度自适应，恢复奖励区分度。
📌 工作参考价值（4 点）
- 在搜索推荐中使用 LLM 评委评估生成质量时，可借鉴 append-only 约束生成方法，随策略能力提升动态增加评估提示的难度，避免奖励信号失效。
- Agent 训练中，固定任务指令易导致简单样本无区分度，可引入自适应难度机制：比较 agent 产出质量，对简单任务自动追加新约束，维持训练信号有效性。
- 工程实现上，复用单一 LLM 完成比较判别与约束生成，原子化约束的追加方式保证难度单调递增，无需外部调度模块，降低系统复杂度。
- 在广告文案或推荐理由生成中，可动态调整评估维度（如“增加情感诉求”、“限制字数”）来持续激发模型能力提升。
OmniOpt: 现代优化器分类、几何与基准评测
🧭 现代优化器统一分类与基准评测
Shanghai Artificial Intelligence Laboratory · Shanghai University · Westlake University · Shanghai Jiao Tong University · UCAS
提出统一元流水线与LMO框架，构建双维度分类并系统性基准评测100+优化器
📌 工作参考价值（4 点）
- 训练推荐模型（如CTR、CVR预估、多任务学习）时，可根据双维度分类快速筛选优化器：若追求收敛速度与泛化，可优先考虑AdamW；若显存受限，可尝试Lion或分布式优化器。
- LMO统一框架帮助理解不同优化器的几何含义，方便在自研推荐模型时针对稀疏特征（如embedding）或稠密参数设计混合优化策略。
- 基准结果显示多数优化器只在少数目标上占优，建议在实际业务中根据优化目标（稳定性、超参鲁棒性、计算开销）组织小规模预实验，避免盲目跟风新方法。
- 论文提供了108个优化器的代码库和Hugging Face集成，可直接用于推荐模型的训练加速和对比实验。
贝叶斯稀疏低秩适应实现大语言模型不确定性估计
🧭 LoRA 变分贝叶斯稀疏训练 · 不确定性校准
Jilin University · Michigan State University
在LoRA的秩维度上施加随机掩码实现变分贝叶斯稀疏化，高效校准LLM推理置信度
📌 工作参考价值（4 点）
- 电商/推荐系统中用 LoRA 微调 LLM 做预测时，可直接引入秩维度的随机掩码（如训练时 Dropout 某个 rank component）来抑制过自信，无需修改模型主体。
- 将 DALorRA 的变分贝叶斯训练视为一种轻量集成：推理时多次随机采样子 rank 结构取平均，低成本获得校准后的预测分布，适合线上需要可信度打分的场景。
- 该工作验证了在仅操作 LoRA 参数的情况下即可实现有效校准，对线上部署友好，可避免昂贵地维护多个模型副本。
- 方法简单、即插即用，可直接嵌入现有的 LoRA 微调流程（如广告预估、搜索相关性判断等分类/回归微调任务）获得置信度更可靠的输出。
DemoPSD：基于分歧调制的策略自蒸馏
🧭 LLM自蒸馏与探索保持 ★ 深度解读
City University of Hong Kong · Tsinghua University · Shenzhen University of Advanced Technology · Chinese University of Hong Kong, Shenzhen
通过自适应混合教师与学生分布的反向KL重心目标，缓解特权信息泄露并保持探索能力
📌 工作参考价值（4 点）
- 自适应蒸馏强度：当教师模型（带特权信息）与学生模型（无特权信息）的 token 级分布出现较大分歧时，自动降低教师信号的权重（通过 α_t 控制），避免学生学到不可迁移的捷径。这一 trick 可直接迁移到搜索/推荐中的蒸馏场景，例如知识蒸馏精排模型时，若教师模型访问了后验特征（如点击后行为），可对分歧大的样本或位置减弱蒸馏力度。
- 保持策略熵防止坍缩：DemoPSD 训练过程中保持了比 SDPO 高 33-98% 的策略熵，从而保留了探索能力，提升 best@16 效果。在强化学习推荐或对话策略训练中，可以借鉴这种通过调整蒸馏目标来维持策略多样性、避免过早收敛到次优解的方法。
- 反向KL重心作为蒸馏目标：使用 π_target ∝ (π_teacher)^{1-α}·(π_student)^α 的几何混合替代直接匹配教师分布，比算术平均能产生更锐利且规避模式坍塌的训练信号。对于多任务推荐模型蒸馏，可以类似地对不同任务专家模型的 logits 做几何加权，兼顾多目标。
- EMA 参考模型稳定训练：计算分歧时使用学生模型的指数移动平均副本作为参考，避免训练不稳定。在在线学习或持续自蒸馏的推荐系统中，引入 EMA 教师可以平滑目标，减少噪声干扰。
HERMES：面向预训练数据混合的多粒度分层标注基板
🧭 预训练数据混合 · 多粒度标签
Wizard Quant · Peking University · University of Science and Technology of China
提出一种基于残差矢量量化的多粒度数据标注框架，使预训练数据混合从固定标签转变为可重用粒度层次导航。
📌 工作参考价值（4 点）
- 在电商推荐模型训练中，可借鉴 HERMES 的语义嵌入 + 残差矢量量化构建商品或用户行为的多粒度类别体系，替代固定的 taxonomy，实现 training data mixture 的动态粒度调节。
- 实验中发现的“粗粒度下等比例覆盖 + 质量前 30% 混合规则有效，细粒度下因候选池收缩而失效”现象，提示在推荐数据采样时需根据当前粒度调整采样策略，避免直接在极细粒度下套用同一种比例规则。
- 该层次标签基板可复用于推荐模型的预训练、微调或持续训练阶段，作为 data loader 的输入，按不同前缀长度控制样本分布，探索多任务能力 Lift。
- 工程实现上，3 阶段 RVQ 编码开销可控，可离线一次性为全量数据集标注，后续只需通过前缀截断切换粒度，适合工业级海量数据场景。
基于神经元感知的无标注自蒸馏数据选择方法
🧭 无标注LLM自蒸馏与数据选择
University of Pittsburgh
通过神经元激活筛选无标注数据和构造上下文，实现无监督LLM自蒸馏，提升领域性能且保持泛化
📌 工作参考价值（4 点）
- 可利用神经元激活计数筛选模型易答对的未标注样本进行自训练，降低电商/推荐领域高质量标注依赖。
- 通过神经元激活重叠度检索少样本上下文构造教师提示，提升伪标签质量，可借鉴到LLM生成式推荐的教师模型构建。
- 采用逆向KL蒸馏 + EMA教师稳定训练，避免校准崩塌，适合需校准概率的推荐场景（如CTR预估）。
- 纯离线、无奖励信号的迭代框架，适合无在线交互的广告/搜索系统日志后训练。
面向对象的 LeJEPA：利用 SAM 掩码实现数据高效的自监督学习
🧭 自监督对象中心表示学习
Biomedical Image Computing Group, ETH Zurich
用现成 SAM 对象掩码代替场景级对齐，搭配实例分离损失，大幅提升小数据下的视觉表示质量
📌 工作参考价值（4 点）
- 商品图像预训练：当你用自监督预训练商品图时，直接用 COCO 等通用数据可能效率不高；借鉴对象级 LeJEPA，用 SAM 自动提取商品主体 mask，只在对象区域进行对比，能更快学到细致特征，对小样本商品分类或相似款识别有效。
- 多商品场景分离：如果你做搭配推荐或店铺风格理解，一张图里有多件商品，实例分离损失（同图其他对象当负例）能强制每个商品特征相互远离，避免特征混淆，可复用到多兴趣用户向量或穿搭组合建模中。
- 伪掩码辅助训练：迁移其“廉价先验”思路——不追求端到端联合发现对象，直接用现成分割模型（如商品分割 API）生成伪标签，降低训练不稳定性和工程复杂度，在商品表示学习时快速落地。
- 数据效率验证：论文在 10% COCO 上仍显著优于全量图像级模型，提示你在标注稀缺的垂直行业（如小众品类、UGC 商品图）先用自监督预训练再微调，就可能得到较好基座。
频谱重连：探索、净化与模型合并
🧭 LLM 后训练参数频谱提炼与合并
Tsinghua AIR · ByteDance Seed
仅保留0.58%参数的频谱核心，维持RL微调推理能力并增强探索与多域融合
📌 工作参考价值（4 点）
- 在 RL 微调后，提取参数更新中的低维频谱核心，去除正交噪声，可作为轻量级后处理提升推理探索与测试时扩展（如高 k 采样），适用于推荐 Agent 策略微调。
- 方法仅需极少参数（<1%）保存推理核心，有助于多领域推荐模型的知识合并与解耦，避免跨域灾难性遗忘。
- 无训练合并技巧可集成到多专家推荐系统，融合不同业务场景微调的模型，提升跨域泛化。
- 参数几何的频谱分析方法可迁移至推荐模型参数更新分析，诊断微调对模型泛化能力的影响。
表征分布匹配实现一步视觉生成
🧭 生成模型训练与一步蒸馏
EPFL · Valeo.ai · Sorbonne Université
用修正的MMD、超大批次和平衡编码器组抗投机，将多步扩散模型蒸馏为一步生成器
📌 工作参考价值（4 点）
- 推荐生成式模型蒸馏：可借鉴 RDM 范式，用预训练的用户/物品编码器计算表征分布距离（如 MMD），替代传统扩散损失，将多步扩散推荐模型蒸馏为一步生成器，降低推理延迟。
- 抗投机评估：单一编码器的分布距离可能被“游戏”，推荐系统在做离线评估时，应采用多个独立预训练编码器的组合指标（如类似 SW_r14 的切片瓦瑟斯坦距离），确保生成质量真实提升。
- 超大批次训练：MMD 估计需要大 batch size（>2048）来稳定梯度，推荐场景中在使用分布匹配损失时，应设计足够大的负采样或跨 batch 缓存机制，否则训练效果会显著下降。
- 训练效率：iRDM 仅 90 H200 GPU 小时就能将四步 FLUX.2 蒸馏为一步模型，且指标超越原版，该高效蒸馏方案可推广至推荐系统的文本/图像生成模块，快速实现低成本部署。
从近似到涌现：深度学习理论统一框架
🧭 深度学习理论统一框架
Sun Yat-sen University
系统梳理深度学习理论，从经典近似、优化、泛化到现代涌现现象，构建统一研究叙事
📌 工作参考价值（4 点）
- 本书为纯理论综述，业务可借鉴点有限。
- 关于 scaling laws 和 emergence 的理论分析可辅助理解大模型在推荐系统中的行为：随着模型规模和数据量增长，性能可能出现跃升，指导资源投入策略。
- 泛化与鲁棒性理论可应用于推荐模型的离线评估与线上风险控制，尤其面对分布偏移时。
- 机制可解释性理论为推荐模型的特征重要性归因、内部行为诊断提供思想框架，有助于提升模型可信度。
从SRA到Self-Flow：数据增强还是自监督？
🧭 扩散模型训练中数据增强机制解析
The Hong Kong University of Science and Technology · Zhejiang University of Technology · Baidu Inc.
证明Self-Flow的改进主要来自双重时间步的数据增强，而非跨噪声token的自监督交互
📌 工作参考价值（4 点）
- 扩散模型训练加速：在推荐系统（如生成式推荐、用户行为序列生成）中训练扩散Transformer时，可直接采用Attention Separation作为一种简单有效的训练技巧，通过阻断不同噪声步token间的注意力，将一个样本拆成多个有效训练部分，扩大数据规模，加快收敛。
- 省去外部编码器依赖：该方法基于自表示对齐，无需额外的预训练编码器（如DINOv2），适合电商场景下多模态数据快速迭代，降低推理成本。
- 训练鲁棒性提升：实验表明，去除噪声间交互甚至优于允许交互，说明在搜索/推荐场景中，对不同噪声水平的序列片段独立建模可能更利于学习干净表示，可尝试在用户长期行为建模中引入类似分片增强。
- 可与现有框架嫁接：Attention Separation不改变模型结构，仅修改注意力掩码，可即插即用于各种DiT基推荐模型（如DreamRec），低风险提升训练效率。
如何分配你的 Tokens？带训练步数与批量大小的缩放律
🧭 训练缩放律 · 显式分离步数与批量大小
Inria, École Normale Supérieure, PSL Research University, Paris
提出三项式缩放律，显式分离训练步数和批量大小，用更少实验恢复最优批量并推导次优批量缩放律
📌 工作参考价值（4 点）
- 在推荐/搜索大模型训练中，可利用三项式缩放律预测最优批量大小，减少超参搜索成本，直接根据总 token 预算分配模型大小、步数和批量。
- 当训练数据（如用户行为序列）总量固定时，通过权衡训练步数和批量大小，可在有限资源下达到更优损失，例如在生成式推荐模型微调时，若数据稀缺，可减小批量以增加步数来提升效果。
- 该缩放律允许利用次优批量下的实验点进行拟合，工程上只需少量试跑即可估算资源最优配置，适合多业务线（广告、搜索、推荐）快速探索。
- 推导的次优批量缩放关系可用于设计动态批量策略，例如在训练前期用小批量快速收敛，后期加大批量稳定训练，提升整体效率。
通过分布级奖励优化视觉生成模型
🧭 分布级奖励与RL微调
University of Science and Technology of China · Shanghai Innovation Institute · Hunyuan Frontier Lab, Tencent · National University of Singapore
用分布级奖励替代逐样本奖励以缓解奖励黑客和模式崩塌，并提子集替换策略与RL优化模型合并系数
📌 工作参考价值（4 点）
- 生成式推荐常因逐样本奖励导致多样性坍塌（如仅生成头部商品），可借鉴分布级奖励：在 batch 级别设计奖励，衡量生成结果与真实用户行为分布的匹配（如类目覆盖率、长尾占比），抑制奖励黑客。
- 子集替换策略：在大规模候选集评估时，可动态更新一小部分样本（如 5%）来近似真实分布奖励，降低在线计算开销，适用于推荐模型中的常驻评估集或在线 RL 的 reward normalization。
- RL 优化模型合并系数：对于多目标融合（如点击率、转化率、多样性）的推荐模型，可学习后验合并系数以平衡各奖励项，缓解训练-推理不一致，尤其适合 LoRA 合并或多专家集成。
- 分布对齐视角可迁移到推荐策略的多样性控制：将用户交互分布视为真实分布，通过分布奖励直接优化生成策略的宏观统计属性，避免微观过拟合。
一层就够了？训练单个Transformer层可匹配全参数RL训练
🧭 RL训练效率 · 层贡献分布
University of Minnesota · Peking University · Amazon
LLM的RL后训练增益高度集中于中间少数层，单层训练即可恢复甚至超越全参数训练效果
📌 工作参考价值（4 点）
- 在大模型推荐/Agent微调中，若使用RL（如GRPO），可优先仅更新中间层，训练参数量降至1/12~1/8，显存与时间成本大幅降低，效果不降甚至反升。
- 层贡献排名在跨任务、跨模型上高度稳定，可预先对模型做一次层贡献分析，固定高贡献层，后续微调任务均只更新这些层，实现轻量级多任务适配。
- 结合LoRA等参数高效方法时，不必在全层应用，可只在贡献值高的中间层插入适配器，减少可训练参数且保持性能。
- 对于需要部署多个RL微调变体（如个性化推荐策略）的场景，可训练不同层组合再集成，利用层特化提升综合决策质量。
越密集不等于越好：持续后训练中同策略自蒸馏的局限性
🧭 持续学习 · 自蒸馏 vs RL 优化
Centre for Artificial Intelligence and Robotics, HKISI, CAS · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Nanjing University of Science and Technology
同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等保守RL方法更稳健
📌 工作参考价值（4 点）
- 持续更新模型时避免密集自蒸馏：在电商搜索推荐场景，如果用LLM持续学习新品类或新意图，采用SDPO等密集自蒸馏会显著遗忘旧知识，应改用GRPO等更保守的on-policy RL方法。
- 监控参数与响应漂移：自蒸馏会导致更大的参数空间和输出分布漂移，可设置漂移阈值，一旦检测到骤变即回滚或降低学习率。
- 警惕格式退化：自蒸馏的token级监督会通过自我强化循环放大高频格式伪影（如固定模板、重复短语），在生成推荐理由或广告文案时易导致风格单一化，可引入多样性约束或温度调节。
- 同策略数据非万能：不要以为只用当前策略生成的数据就能稳定持续学习，需要结合重放缓冲或正则化手段保持旧任务能力。
CausalMix：通过因果推断优化语言模型训练数据混合
🧭 数据混合优化 · 因果推断
Tsinghua University · Ant Group · Renmin University of China
将数据混合优化转化为因果推断问题，利用CATE从小规模实验外推到大规模模型与数据
📌 工作参考价值（4 点）
- 推荐模型多域数据配比：电商推荐中常需融合搜索、推荐、广告等多域数据，可借鉴CausalMix用小规模代理实验+因果模型推断最优配比，避免大规模重训。
- 混杂因子控制：将数据域特征（如长度、难度）作为协变量，显式建模以剔除伪相关，提升配比泛化性，适用于动态数据池下的训练策略调整。
- 外推能力：方法支持从0.5B模型外推到7B模型，从512次运行外推至800K数据池，可降低推荐模型在不同规模、不同时段数据上的配比试错成本。
- 可解释性工具：CATE Interpreter提供可视化的混合策略分析，可帮助理解不同数据域对下游任务的影响，指导人工调参。
GRPO、Dr. GRPO 与 DAPO 统一为组标准差操作
🧭 GRPO/Dr.GRPO/DAPO 统一于组标准差操作 ★ 深度解读
University of Illinois at Urbana-Champaign
三种 RLVR 训练技巧本质上是对同一量（组奖励标准差）的乘、除、过滤操作，且更新量正好等于该标准差
📌 工作参考价值（4 点）
- 在推荐系统的 RLVR 训练中，若奖励为二元（如点击/未点击），优势归一化（除以组标准差）会改变隐式优化目标：除以标准差趋向 arcsine 变换，抬高极端难度样本的权重；去掉则回到原始成功率目标。可根据业务目标选择是否保留该操作。
- 无声组（组内奖励全 0 或全 1）产生零梯度，可借鉴 DAPO 的动态采样：在组 batch 中丢弃 σ=0 的组，避免浪费计算。在广告/搜索的曝光日志中，可预先识别全正或全负的 batch 并跳过更新。
- 组大小法则 G ≳ 1/(8ε p(1-p)) 给出给定难度 p 下达到目标梯度保真度所需的样本数。在物品或广告推荐中，不同物品（如冷门物品）的点击率 p 差异大，可据此动态分配每个 prompt 的采样预算，代替固定 G。
- 可以直接用组标准差作为每步训练的诊断指标：实时监测 σ 的分布和无声组比例，识别模型在哪些难度区间无有效对比信号，从而调整采样策略或奖励设计。
RLVR 场景下几何保持正交初始化 LoRA
🧭 LoRA 正交初始化提升 RLVR 训练稳定性
Johns Hopkins University · Meta · University of Texas at Austin
提出正交初始化 LoRA 稳定 RLVR 训练并超越标准 LoRA，解释 SVD 初始化在该场景失败原因
📌 工作参考价值（4 点）
- 在 RLVR 微调 LLM（如推荐理由生成、Agent 策略优化）时，用正交初始化（torch.nn.init.orthogonal_）替代默认 Kaiming 或 SVD-based，可稳定训练并提升性能。
- 已尝试 PiSSA/MiLoRA 而效果不佳的 RL 微调场景，可直接切换为 RLPO/RLMO，避免训练不稳定与性能倒退。
- 正交初始化简单易集成，工程代价低，可作为 RL 微调 LoRA 的默认初始化方案，尤其在需要长期稳定收敛的推荐或对话策略学习中。
- 理论结论“正交初始化使 LoRA 与全参数微调输出差距最小”具有通用性，适用于其他 RL 训练任务（如 RLHF 微调推荐模型）。
状态-预测分离假说
🧭 Transformer 架构改进 · 预训练效率
Cornell University · Harvard University
分离 Transformer 中的状态存储和下一 token 预测功能，显著提升语言模型预训练效率和下游表现。
📌 工作参考价值（3 点）
- 用户行为序列建模（如点击序列）可借鉴双流设计：显式分离长期兴趣状态的存储和短期行为预测，可能提升数据效率和下游任务表现。
- 对于生成式推荐模型（用 LLM 生成 Semantic ID），分离持久状态与瞬时预测流可改善生成质量并加速收敛。
- 在预训练大型序列模型时，可尝试引入状态-预测分离，以更少的计算和 token 预算获得更强的表征，再微调至搜索/推荐任务。
C2R：跨样本一致性正则化缓解稀疏自编码器特征分裂与吸收
🧭 LLM可解释性 · 稀疏自编码器正则化
University of Science and Technology of China · State Key Laboratory of Cognitive Intelligence · Renmin University of China
通过惩罚方向相似潜变量的共激活强制一致表示，缓解特征分裂与吸收，同时保持重构保真度
📌 工作参考价值（4 点）
- 在电商推荐中的特征分解（如用户兴趣编码）时，可借鉴跨样本一致性惩罚，防止同一语义概念被多个潜变量碎片化表示，提升特征可解释性与迁移鲁棒性。
- 对于使用稀疏编码或 VQ-VAE 生成 Semantic ID 的生成式推荐，C2R 的思想可约束码本方向，避免 absorption（一个码承载过多无关概念），提升 ID 语义纯度。
- 在 Agent 状态表示（如任务规划）中，若使用稀疏自编码器提取可解释状态，加入 C2R 正则化可确保关键决策因子的一致激活，减少噪声干扰。
- 将 C2R 实现为损失函数中的简单余弦相似度惩罚项，可直接嵌入现有推荐模型训练流程，无需复杂架构改动，并兼容 TopK 等稀疏约束。
GEAR：端到端引导式自回归图像生成
🧭 端到端联合训练与表示对齐
北京大学 · 腾讯混元
通过双路读出实现 VQ tokenizer 与 AR 生成器端到端联合训练，加速收敛并提升表示对齐
📌 工作参考价值（4 点）
- 生成式推荐的 tokenizer 与生成器联合优化：若用 VQ 将物品 ID 映射为离散 token 再自回归生成推荐列表，可借鉴双路读出（硬分支训生成器、软分支用表示对齐损失更新 tokenizer），解决离散索引不可导问题，使 tokenizer 主动适配生成器。
- 表示对齐损失的设计：将 DINOv2 等预训练特征作为对齐目标，只用于 tokenizer 的软分支梯度回传，生成器本身并不直接接收对齐损失，这种非对称设计可迁移到推荐场景中，让物品 tokenizer 学到更易被生成器预测的分布。
- 收敛加速：该方法在 ImageNet 上将 gFID 收敛速度提升最高 10 倍，对于推荐模型同样追求快速迭代，联合训练可能显著减少达到目标性能所需的训练步数，尤其适合需要频繁更新的工业级推荐系统。
- 灵活适配不同量化器：方法兼容 VQVAE、LFQ、IBQ 等多种量化方式，推荐系统中物品 ID 的离散化策略多样，此技术可降低替换量化模块的适配成本。
HSAP：面向混合上下文生成模型的分层序列感知并行方法
🧭 大规模模型训练并行优化
Southern University of Science and Technology · International Digital Economy Academy
提出分层序列感知并行框架HSAP，解决混合上下文打包序列的因果注意力跨污染问题，性能优于现有方法
📌 工作参考价值（4 点）
- 混合上下文打包（如将多个用户行为序列拼接训练）时，需确保因果注意力掩码正确，借鉴HSAP的序列感知并行策略可避免跨序列注意力污染，提高推荐模型训练效率。
- 在分布式训练中，对于长序列模型（如用户长期行为Transformer），采用分层并行框架，结合张量并行和序列并行的混合策略，可优化通信和内存，加速训练。
- 利用JIT编译优化NCCL通信，可应用于自定义分布式推荐模型训练，减少跨机通信开销。
- 论文提出的内存和通信管理策略（如分片激活重计算）可迁移到大模型微调场景，降低显存占用。
跨空间蒸馏：用现代扩散教师训练单步学生模型
🧭 扩散模型蒸馏 · 跨空间对齐
Qualcomm AI Research · University of Wisconsin–Madison · Johns Hopkins University · Rutgers University
提出 Bridge 模块实现跨潜空间蒸馏，让高分辨率大教师模型蒸馏到不兼容的低分辨率学生模型
📌 工作参考价值（4 点）
- 若业务中需要将不同隐空间的大模型（如高维语义 ID 生成教师）蒸馏到低维学生，可借鉴 Bridge 的设计：冻结学生解码器作为空间先验 + 小型可学习投影器，避免改动学生主干。
- 训练稳定技巧：使用潜在重建损失与注意力保真度目标对齐教师空间，可复用到多模态 embedding 对齐场景（如视觉-文本语义空间映射）。
- 工程上，Bridge 模块参数少、推理时即插即用，适合在移动端或边缘部署场景中，用大模型离线蒸馏、小模型在线推理的架构。
- 这篇工作集中在图像生成，对电商搜索推荐系统的直接迁移价值有限；但其“跨空间知识迁移”的思路可启发异构推荐模型（如双塔 vs 多塔）之间的知识蒸馏设计。
一步梯度延迟并非大规模异步流水线并行LLM预训练障碍
🧭 异步流水线并行训练与优化器鲁棒性
Institute of Science and Technology Austria (ISTA) · Yandex · Basic Research of Artificial Intelligence Laboratory (BRAIn Lab) · Innopolis University · Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)
证明异步流水线并行中的一步延迟下优化器选择决定稳定性，Muon比AdamW鲁棒，结合误差反馈校正可匹敌同步训练
📌 工作参考价值（4 点）
- 训练LLM时可采用 PipeDream-2BW 异步流水线并行消除GPU空闲，大幅提升吞吐；配合 Muon 优化器可避免一步延迟导致的严峻性能下降，无需担心稳定性。
- 若必须使用 AdamW 等对延迟敏感的优化器，可引入论文提出的 Error Feedback 校正模块，作为一种轻量级的、优化器无关的延迟补偿机制，抑制梯度陈旧影响。
- 在搜索推荐领域自研大规模模型（如生成式推荐模型）时，可借鉴该结论：分布式流水线并行不必局限于同步方案，异步+Muon 组合可能成为资源利用率和模型质量的更好解。
- 对于需要快速迭代实验的团队，异步并行带来的高吞吐可直接加速模型训练，结合 Muon 的鲁棒性，有望在保持模型效果的同时缩短研发周期。
DOPD：双重在线策略蒸馏
🧭 在线策略蒸馏·动态路由监督
NUS · MMLab, CUHK · PKU · Explore Academy, JD
提出优势感知双蒸馏，缓解特权信息导致的“特权幻觉”，动态路由教师与学生的token级监督
📌 工作参考价值（4 点）
- 蒸馏中引入额外上下文（如用户特征、长期行为）时，需警惕特权幻觉：学生无法获取的输入会导致模仿不可达信号。可借鉴优势感知路由：根据教师与学生的优势差距动态选择监督来源，学生自身生成的部分用自我监督，避免能力与信息不对称混淆。
- token级监督非均匀，优势高的token（如推荐理由中的关键词）承载关键能力。可仿照DOPD，对高优势token加强教师监督，低优token用学生自我蒸馏，提升训练效率与生成质量。
- 框架适用于on-policy样本生成场景（如LLM生成推荐文案、解释），采样学生轨迹后，可同时运行特权教师和特权学生，按token概率比与优势差实时分配监督，工程上易集成至现有RLHF或蒸馏管线。
- 实验中持续学习与分布外泛化提升明显，对推荐模型频繁更新的场景（如新品冷启、热点事件）有参考价值，能稳定性能并缓解灾难性遗忘。
LLM 强化学习的真实目标：面向推理策略的单调改进
🧭 LLM RL 训练-推理对齐 ★ 深度解读
Tianjin University · Alibaba
提出 MIPI 原则与两步框架 MIPU，在训练-推理不匹配下直接优化推理策略，实现稳定高效 RL 训练
📌 工作参考价值（4 点）
- 在电商/搜索推荐系统的 LLM 后训练中，训练引擎与推理引擎不一致（如量化部署）会导致训练策略改善 ≠ 推理策略改善，MIPU 的两步机制（采样器参考更新 + 推理间隙验收）可直接嵌入 GRPO 流程，提升稳定性
- Step 1 的 TIS 式截断重要性权重可替代标准 GRPO 裁剪，分离历史不匹配与当前更新，降低梯度方差，适用于任何基于采样优势的 RL 微调场景
- Step 2 使用验证集上的后更新间隙代理 bTpost 作为接受/回滚信号，可在线上 AB 测试前筛选有害的同步模型，避免部署退化模型，尤其适合 Agent 系统中的多步决策或量化推理
- 动态接受阈值策略（起步宽、逐渐收紧）平衡早期探索与后期保护，在推荐模型持续学习时值得借鉴，防止过早收敛或训练宕机
秩感知双曲对齐的视觉语言数据集蒸馏
🧭 多模态数据集蒸馏 · 双曲对齐与低秩控制
Korea Advanced Institute of Science and Technology (KAIST) · Electronics and Telecommunications Research Institute (ETRI)
在双曲空间中对齐低秩共享语义并正则化残差子空间，提升多模态蒸馏的检索与迁移鲁棒性
📌 工作参考价值（4 点）
- 电商图文推荐的数据压缩：商品图与描述常呈低秩关联，RAHA 的双曲共享范围对齐与残差正则化可分离核心语义与噪声，用于构建紧凑的蒸馏训练集，降低训练成本。
- 多模态对齐中的鲁棒性提升：非对称测地线目标可避免强制全维对齐造成的过约束，适合图文匹配任务（如搜索广告素材优选）中对模态私有特征的保留。
- 联邦学习或隐私受限场景：借鉴蒸馏思想，用少量合成的代表点替代原始数据参与分布式训练，RAHA 的秩感知控制可保证下游模型泛化。
- 主要适用学术研究，业务迁移需额外适配双曲网络层与矩阵分解的工程实现，短期收益待验证。
串联强化学习：可验证奖励下提升模型协作与可读性
🧭 RLVR 串联训练提升可读性
University of Toronto · EPFL
TRL 让强模型在 RLVR 中与冻结弱模型交替推理，在保持自身能力同时显著提升可读性和交接鲁棒性
📌 工作参考价值（4 点）
- 多模型协作代理：在电商搜索/推荐的多 Agent 系统（如 Planner-Executor）中，可借鉴串联训练思路，让强模型与弱模型交替生成，迫使强模型输出弱模型能理解的推理，从而降低通信错误，提升整体鲁棒性。
- 减少模型升级后的分布漂移：当线上推理模型（如 LLM Ranker）升级到更强版本时，旧模型作为弱模型参与串联微调，能缓解新模型生成的推理与下游模块（如旧版特征解析器）的不兼容，避免线上表现骤降。
- 提升 Chain-of-Thought 在推荐中的可解释性：直接对推理链进行 RLVR 训练容易产生人类难以阅读的符号或语言混合，TRL 框架可约束推理链对弱模型（或人类）更友好，从而让推荐解释更自然。
- 训练数据与线上推理的闭环：可利用弱模型模拟真实用户或下游模块，在离线训练中通过滚动生成的方式收集奖励，无需频繁的在线实验即可评估新模型与现有系统的兼容性。
机制驱动的LLM训练不稳定性预先检测监控器
🧭 LLM训练稳定性异常检测
HKUST · Huawei
从注意力谱熵和MoE路由器内部信号提前数千步预警训练崩溃
📌 工作参考价值（3 点）
- 若你的推荐系统使用低精度训练（如FP8），可监控注意力层的谱熵一阶项，在损失发散前数千步预警，避免资源浪费。
- 对于采用MoE架构的生成式推荐模型，可借鉴论文中的路由器负载和专家选择分布指标，提前发现路由崩塌。
- 训练大型模型时，不要只依赖loss和梯度范数，引入模块内部的结构化信号进行健康监测，提高训练效率。
通过平滑 MMD 对齐增强大语言模型的数值预测
🧭 LLM 数值预测 · 分布对齐训练损失
College of Computer Science, Sichuan University, Chengdu, China · Dongfang Electric (Chengdu) Academy of Science and Technology Co., Ltd., Chengdu, China · Institute of Medical Information & Library, CAMS & PUMC, Beijing, China
提出 SMMD 损失，用数值距离核与图平滑将对齐预测分布，一致提升 LLM 数值精度
📌 工作参考价值（4 点）
- 数值敏感推荐场景损失替代：在需精确数值的任务（如价格预估、销量预测、广告出价、用户评分）中，可将标准交叉熵替换为 SMMD，将输出视为连续分布对齐而非离散 token 分类，减少“数字错位”错误。
- 数值子词表与距离核设计：显式划分数值 token 子词表，构造基于值距离的 RBF 核，将 token 概率分布映射到数值空间进行 MMD 匹配。电商搜索排序中的分数校准、点击率预估等场景可直接复用此核构建策略。
- 局部平滑正则引入：利用核图在相邻数值间施加输出残差平滑约束，抑制跳变预测。推荐系统中用户偏好分数、物品特征值等的生成，可借鉴该平滑项提升预测一致性与鲁棒性。
- 即插即用训练组件：SMMD 仅修改损失项，不改变模型结构，可轻量集成到现有 LLM fine-tune 流程中，尤其适合需要数值输出的 Agent 决策（如动态定价、预算分配）。
通用推理的可迁移性：多领域RLVR自动课程学习
🧭 跨领域迁移感知课程 · RLVR
University of Toronto · Carnegie Mellon University · Princeton University · University of Illinois Urbana-Champaign · Max Planck Institute for Intelligent Systems
提出Transfer-Aware Curriculum (TAC)，利用梯度投影对齐自动选择能促进跨领域迁移的训练领域
📌 工作参考价值（4 点）
- 在多任务推荐或跨场景排序中，借鉴梯度投影对齐度量任务间迁移性，动态调整训练数据采样权重，避免领域不均衡导致头部任务垄断。
- 在LLM微调业务中，用在线bandit策略融合局部学习进度与跨域迁移信号，无需人工设计课程，且计算开销极小（<1%），适合工程落地。
- 可利用RL训练已产生的优势函数和投影梯度，不必额外构造监督信号，降低实现复杂度。
- 实际场景中，若领域间存在正向迁移（如通用语义理解可为多个下游任务带来增益），TAC思路可扩展至多领域对话、多意图排序等场景，提升整体性能。
超越硬预算：稀疏正则化使Top-k稀疏自编码器更具可解释性
🧭 自编码器 · 稀疏正则化
Université Paris-Saclay, CentraleSupélec, France · Concordia University, Montreal, Canada · Mila–Quebec AI Institute, Montreal, Canada · Gustave Roussy, INSERM, Cancer Data Science Unit, France
为Top-k稀疏自编码器引入L1和L1/L2正则化，在不损失重建质量下提升特征单语义性
📌 工作参考价值（4 点）
- 若在推荐模型中使用稀疏自编码器学习可解释的用户/物品表示，可借鉴其 L1/L2 软正则化，使特征更聚焦、单语义性更强，提升表示的可解释性。
- 硬稀疏（Top-k）与软正则化结合的思想可迁移至其他需稀疏约束的场景，如注意力头的稀疏化或特征选择，避免固定预算带来的过拟合。
- “仅对批内活跃单元施加正则”的技巧，在工程上可降低计算开销，适用于大规模推荐模型训练中稀疏约束的设计。
- L1/L2 正则化使信息集中到更少隐变量，增强模型对推理时稀疏度变化的鲁棒性，有助于在生产环境中动态调整稀疏预算而不严重退化。
DnA：面向视觉任务的去噪注意力机制
🧭 去噪注意力机制提升模型判别力
University of Central Florida · University of North Carolina at Charlotte
通过正负查询分离与子空间排斥设计，消除softmax注意力中的噪声模式，提升ViT/B等视觉模型判别力。
📌 工作参考价值（4 点）
- 用户行为序列（点击/购买）常含误触、偶然兴趣等噪声，可借鉴DnA的正/负query思想：设计正query提取目标意图，负query抑制干扰行为，提升序列建模质量。
- 电商多模态场景（商品图片+文本）中，视觉注意力易被背景、无关细节干扰，可将DnA嵌入ViT backbone，增强物品表征的判别力。
- 子空间分离增大主角的想法可迁移到embedding层：对不同属性的特征（如类目、品牌）学习相互正交的子空间，避免信息混杂，提升特征区分度。
- 该方法轻量且即插即用，替换标准softmax无需大幅改动模型结构，适合快速验证能否抑制推荐模型中的注意力噪声问题。
分层Muon：高效训练的分块Newton-Schulz更新
🧭 高效训练优化器 · 分块Newton-Schulz
通过将动量梯度矩阵分块独立应用Newton-Schulz，大幅降低Muon优化器计算量并实现高效GPU并行
📌 工作参考价值（4 点）
- 在训练含有大型密集矩阵参数的推荐或广告模型时，可将 Muon 优化器的 Newton-Schulz 步改为分块方案，直接降低从 O(r²s) 到 O(HWT) 的单步计算量，同时保持接近全矩阵更新的训练效果。
- 利用独立小方块计算的特性，可以设计 tile-size 相关的 GPU kernel，配合跨层批处理（cross-layer batching），将不同层的同尺寸块合并批量矩阵乘法，显著提升 GPU 吞吐。
- 采用内存受限分块（memory-bounded chunking）和运行时动态调整块尺寸的策略，能灵活适配不同硬件显存限制，避免 OOM 且不牺牲收敛。
- 该方法将矩阵谱交互限定在块内，可作为工程上折衷效果与效率的通用抽象，类似思路可迁移至其他需要 per‑parameter 矩阵变换的优化场景（如 Shampoo 类优化器的分块近似）。
极简 Unigram 分词器 MinGram：高压缩且形态对齐
🧭 分词器训练优化 · 极简 Unigram
Writer, Inc.
用 BPE 种子与硬 EM 简化 Unigram 训练，实现更高压缩与形态对齐，下游 LM 训练优于 BPE
📌 工作参考价值（4 点）
- 在特定领域语料上训练高效 tokenizer：电商/广告/搜索文本（商品名、查询词）往往有特殊频率分布，MinGram 可利用 BPE 种子快速训练出高压缩且形态更合理的 tokenizer，降低序列长度，从而加速 Transformer 推理与训练。
- 优化生成式推荐中的 token 化策略：若将物品表示为 Semantic ID 或序列生成，tokenizer 直接影响序列长度和解码效率。MinGram 的高压缩与对齐特性可减少 token 数，提升生成速度且可能改善 ID 表示质量。
- 多语言场景下的轻量 tokenizer 训练：对于跨国电商或搜索，MinGram 简化训练流程，去除后缀数组等重操作，易于对不同语言快速定制 tokenizer，同时保持优于 BPE 的压缩和下游 bits-per-byte。
- 直接复用压缩优先模式：若需要极致压缩以降低存储/带宽成本（如客户端模型、实时搜索），可使用其压缩导向变体，在保持合理对齐的前提下匹配最强分词压缩器。
基于模型辅助采样的随机梯度优化
🧭 训练优化 · 梯度估计方差削减
University of Turku, Department of Computing
将调查抽样中的模型辅助估计引入小批量梯度计算，构造更低方差的梯度估计器，可无缝嵌入现有优化器
📌 工作参考价值（4 点）
- 训练推荐模型（如 CTR/CVR 预估）时，可用该方法替代默认的均匀小批量采样，降低梯度方差，加速收敛，尤其适于中等维度特征空间场景。
- 与 AdamW 等带动量的优化器组合时，能在约一半训练轮次达到同等或更好泛化，适合大规模工业模型缩短训练周期。
- 实现简单：只需在数据加载器中替换采样逻辑，并维护一个轻量辅助模型（如一个小型预测网络），不改变优化器内部更新规则，工程侵入性低。
- 可借鉴其“辅助信息”思路：在搜索/推荐系统中，利用曝光偏差、用户活跃度等先验知识构建采样权重，进一步降低在线学习中的梯度估计误差。
内容感知值高效递归模型：面向块并行线性注意力
🧭 高效递归架构 · 线性注意力
通过key轴门控、输出重用与标量值门，一次性消除GDN-2内存盲、参数浪费与块并行不兼容三大缺陷。
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴key轴门控设计，避免值轴参数膨胀和内存盲，提升长序列训练吞吐。
- 利用已计算的输出张量作为内容信号（输出重用），无需额外读取状态矩阵，降低显存带宽压力，适合大规模序列模型。
- 标量值写门将每头写门投影压缩为单个标量，显著减少参数量（19%），可迁移至推荐模型的序列编码器以提升参数效率。
- WY-form块并行求解器的恢复使递归模型训练效率可比拟Transformer，可尝试引入在线/离线排序模型的序列特征提取中，加速训练。
NormGuard：保留奖励的流匹配RL训练范数约束
🧭 流匹配RL训练的范数正则化
The Hong Kong University of Science and Technology · Kuaishou Technology · University of Chinese Academy of Sciences
RL微调会导致流模型速度范数膨胀损害质量，提出训练时hinge惩罚有效抑制并保持奖励
📌 工作参考价值（4 点）
- 在电商/推荐场景使用生成式模型（如流匹配生成item embedding或序列）进行RL微调时，可借鉴 NormGuard 监控并约束输出速度范数，防止过度偏离参考模型导致质量崩塌。
- 推理时归一化无效的结论提示：对于推荐系统的RL策略优化，单纯在推理阶段调整输出分布（如温度缩放）不足，需在训练时嵌入正则项。
- hinge 惩罚设计简洁，可与任何 velocity-local base loss 加性组合，易于迁移到现有 RL 训练管线中（例如 DPO、NFT 的推荐版本）。
- 范数膨胀作为质量退化的早期信号，可用于训练过程中实时监测，辅助自动早停或触发约束。
微调回归的引力解释：几何视角下的行为恢复与干预
🧭 微调行为退化的几何机制与方向干预
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE
用历史训练流形的“引力”解释微调后行为回归，通过阻断回归方向有效抑制有害性恢复
📌 工作参考价值（4 点）
- 持续微调或在线学习场景中，可监控表征漂移与历史回归方向(v_rev)的对齐程度，预警行为退化风险。
- 计算v_rev只需保存初始化检查点与当前模型的激活差异，工程开销低，适合嵌入增量训练流水线。
- 若需保留特定能力（如去偏见推荐），可在更新时投影梯度以阻断v_rev方向上的位移，实验证明能以极小任务代价大幅降低有害性。
- 方法不依赖特定安全向量，利用训练历史本身定义回归方向，对搜索推荐模型的偏好保持与灾难性遗忘缓解具有启发意义。
无需标准答案的强化学习提升LLM性能
🧭 无真值答案的RL训练 · 校准奖励
University of California, San Diego · Snowflake AI Research
通过排名诱导的可验证奖励框架，在无真值答案的得分任务上训练LLM并泛化至精确解基准
📌 工作参考价值（4 点）
- 在推荐系统 RL 训练中，若奖励来自用户行为等连续值，不同用户或场景的奖励幅度差异会导致 scale dominance，可借鉴 实例级归一化 或 排名奖励，而非使用原始绝对分数。
- 于在线学习或探索场景，频繁出现的次优解可能淹没偶然的高质量样本（frequency dominance），可对每个 queries 组内解进行排名，仅对 top-k 赋予显著正奖励，其余给予有界负反馈，稳定策略更新。
- 利用 得分型优化任务（如离线的时长/收益预估）作为辅助训练环境，无需人工标注真值，通过校准的连续奖励提升模型通用能力，可能迁移至生成式推荐中的物品排序或文案生成。
- 奖励塑造中保留对 有效但非最优解 的信息（如温和负奖励或 entropy 奖励），预防模型过度集中，保持探索性，类似推荐中的 diversity 考量。
用真实意图铺路：意图感知训练提升LLM安全分类
🧭 意图感知训练增强安全分类
University of Groningen · University Politehnica of Bucharest · NVIDIA
将用户意图作为显式中间信号，跨SFT/DPO/蒸馏/RL范式提升安全分类器鲁棒性，GRPO奖励意图保真度达最优
📌 工作参考价值（4 点）
- 在电商/Agent安全审核中，可将用户意图作为中间特征引入分类器，用少量人工标注（如AIMS仅1724条）提升对困难样本的判别力
- 借鉴意图条件蒸馏思路：在蒸馏安全判别模型时，让学生模型同时学习推理过程与最终意图，优于仅蒸馏推理
- 将意图保真度设为奖励函数，通过GRPO等RL方法直接优化安全分类的忠实性，可离线或在线微调
- 构建“提示→意图→标签”三阶段pipeline，在线上推理时引入意图生成步骤，以可控延迟换取更高准确率，形成帕累托前沿
BitNet文本嵌入：极端低比特LLM语义表示
🧭 极端低比特嵌入模型的量化训练与多精度存储 ★ 深度解读
Peking University · Microsoft Research
将LLM转换为1.58位BitNet嵌入器，配合对比预训练与蒸馏，实现接近全精度性能并支持多精度存储
📌 工作参考价值（4 点）
- 线上推理加速：将LLM嵌入骨干量化为1.58位三值权重与8位激活，CPU吞吐量提升约2倍，适合电商搜索/推荐场景的实时查询编码。
- 多精度向量索引：单个模型可输出1/2/4/8/16位嵌入，按存储预算灵活选择精度而不需重新训练，大幅降低向量数据库成本。
- 蒸馏策略可复用：相似度分布蒸馏（KL散度对齐批内候选分布）与注意力关系蒸馏（单层多头自注意力关系对齐）能有效补偿量化损失，可迁移至其他模型压缩任务。
- 工程稳定技巧：在每层Transformer内插入子层归一化 (SubLN)，缓解量化带来的激活尺度漂移，使极端低比特训练更稳定。
带采样示例的在线策略自蒸馏降低输出多样性
🧭 LLM 训练 · 自蒸馏与多样性偏差
揭示在线自蒸馏因条件于采样示例而放大模型偏差，导致输出多样性锐减和 pass@k 性能饱和
📌 工作参考价值（4 点）
- 监控 pass@k 与多样性指标：在电商文案生成、搜索查询扩展等实际 LLM 应用中，若使用在线自蒸馏（如 SDPO、SDFT），必须同时监控 distinct-n、pass@k 等指标，避免模型陷入单一高置信模式，失去从多样生成中获益的可能。
- 引入多样性正则化或温度调节：可在自蒸馏损失中加入基于熵的正则项，或适当调高采样温度，以保持策略的概率质量不过度集中，有助于在推荐理由生成、对话式推荐等场景保留多样性。
- Agent 规划中慎用纯自蒸馏微调：在需要多种推理路径或工具调用策略的 Agent 系统中，单纯依赖在线自蒸馏可能导致策略趋同，降低对分布外场景的适应力；可结合 RL 或增加策略蒸馏的多样性约束。
- 用互信息视角诊断模式坍塌：论文给出的理论工具——条件互信息倾斜——可用于分析其他蒸馏范式下的多样性损失，为设计新的训练算法提供方向。
Autodata：代理式数据科学家自动生成高质量合成数据
🧭 代理式数据合成 · 迭代自我改进
FAIR at Meta
提出代理式数据科学家框架，通过迭代生成、评估与元优化，将推理算力转化为高质量模型训练数据
📌 工作参考价值（4 点）
- 搭建推荐数据飞轮：借鉴Autodata的循环流程（生成→定性检验→定量评估→优化配方），构建自动化合成数据管线，尤其在长尾商品/查询等欠缺真实样本的场景，持续产出难例。
- 用下游指标反馈优化生成策略：把离线模型性能（如AUC）或线上AB指标作为reward，元优化数据生成agent的prompt或采样策略，让生成的数据更贴合业务模型需求，类似自动超参调优。
- 在搜索推荐中迁移Agentic Self-Instruct：将任务定义为“生成搜索词-商品对”或“对话推荐场景”，通过self-instruct + 反思迭代，自动扩写训练集，尤其适合冷启动和少样本领域。
- 工程落地上注意成本控制：论文通过增加推理计算换取数据质量，实际部署时可对复杂任务才启用agent迭代，简单任务用固定模板，避免线上生成延迟过高；合理设置评估检查点与早停机制。
规模能拯救大语言模型的塑性损失吗？
🧭 LLM持续学习的塑性损失标度律
Zyphra
发现LLM塑性损失遵循可预测的亚线性标度律，增大模型仅能延缓而无法根除。
📌 工作参考价值（4 点）
- 搜索推荐系统若需持续增量训练（在线学习），应监控模型在新任务/分布上的快速适应能力，警惕塑性损失导致更新失效。
- 单纯增大模型规模（如从1B升到10B）只能把塑性损失出现时间向后推，无法彻底避免；对于长期运行的业务模型，需考虑周期性重置部分参数、采用弹性权重巩固或正则化策略。
- 即使数据分布平稳（如电商流量自然漂移），长时间训练也会累积塑性损失；定期用固定预算在新数据上微调并评估性能下降，可作为预警指标。
- 借鉴标度律思路，可在模型升级时预估塑性损失风险的延迟收益，辅助资源投入决策。
优化迭代平均语言模型：面向返回模型的训练改进
🧭 迭代平均感知的自适应优化器设计
Columbia University
提出PACE优化器，通过将在线权重拉向指数移动平均，提升最终返回的EMA模型性能
📌 工作参考价值（4 点）
- 直接替换AdamW：PACE是一个即插即用的AdamW封装，仅增加两个额外超参数（控制强度和削波系数），在SFT和预训练场景下对学习率、衰减策略等设定鲁棒，可以快速验证于自己的LLM微调流水线。
- 配合EMA评估提升生成式推荐模型效果：在生成式推荐（如Semantic ID生成）或对话Agent的LLM微调时，常返回EMA模型作为最终发布模型。PACE主动让优化过程适应EMA，有望获得更好的泛化表现。
- 稳定训练，放宽学习率调参约束：论文显示PACE允许使用更高学习率或更有限的学习率衰减，从而可能减少调参开销并加速收敛，适合需要快速迭代的业务场景（如大促期间的模型更新）。
- 关注优化器与模型平均的协同：无论使用EMA还是Polyak平均，此工作提醒我们可以针对返回的平均形式反向设计优化器，这是一种可迁移到其他平均策略（如SWA）的设计思路。
基于多目标强化学习的LLM预训练全局数据调度器
🧭 LLM预训练在线数据混合
China Electronics Technology Group Corporation 15th Research Institute · Renmin University of China · BRAIN · Alibaba Group
用多目标强化学习动态混合训练数据，兼顾数据质量、域间影响和模型自身信号
📌 工作参考价值（4 点）
- 训练电商/搜索/推荐场景的多域统一模型（如用户行为序列模型）时，可借鉴其多目标奖励设计：同时考虑各域数据质量指标、域间损失信号交互（如搜索域的 loss 变化对推荐域的预测影响），以及模型参数范数等内在反馈，用 RL 动态调整各域采样比例，替代固定混合策略。
- 工程实现上，采用 Soft Actor-Critic (SAC) 算法在连续空间中输出各域采样权重，比离散调度更平滑，且通过离线回放池减少在线交互成本；该框架可直接复用到多数据源的 Embedding 训练或生成式推荐模型的 token 混合训练。
- 实验显示 HDS 可节省 44% 训练步数达到同等困惑度，且下游任务（MMLU）提升 7.2%，表明更高效的数据利用——在业务资源有限时，用该方法加速大模型训练收敛，避免昂贵的全量等比例训练。
- 注意该方法需要实时监控多域验证损失，业务落地时须搭建配套的评估流与 RL 控制回路，初期可先在离线训练中模拟不同混合策略的效果，再切换到在线调度。
密集检索嵌入的自回归建模训练方法DREAM
🧭 自回归监督的密集检索无对比训练
The Hong Kong University of Science and Technology
利用冻结LLM的自回归损失作为监督信号，通过注意力注入相似度分数训练密集检索器，无需对比标注。
📌 工作参考价值（4 点）
- 无标注训练检索器：可利用海量用户行为数据（如点击、加购），通过 LLM 的生成任务（例如预测商品标题下一个 token）提供训练信号，免去构建正负样本对的人工成本。
- 注意力注入梯度回传：将检索相似度分数注入冻结 LLM 的注意力头，仅更新检索器即可从生成损失中学习，适合在推荐系统中快速迭代召回模型，无需微调大模型。
- 端到端梯度通路设计：可借鉴该架构，用用户行为序列预测任务替代语言建模，构建检索器与 LLM 之间的可微连接，实现联合优化而不破坏 LLM 已有知识。
- Agent 检索优化：在 Agent 系统中，检索上下文直接影响后续动作；DREAM 可利用任务完成信号或环境反馈作为自回归目标，持续在线优化检索器，无需人工标注查询-文档相关度。
随机化 YaRN：通过随机位置采样与长度课程提升长上下文推理
🧭 位置编码与长度课程训练 ★ 深度解读
New York University
结合 YaRN 位置编码、随机位置采样与长度课程，仅用短上下文数据微调即大幅提升 OOD 长上下文推理能力
📌 工作参考价值（4 点）
- 不依赖长文本数据的长度扩展：在电商搜索推荐或 Agent 场景中，若需要模型处理超长对话历史或商品描述，但缺乏长文本微调数据，可借鉴随机化 YaRN 在标准短上下文数据上训练，就能获得长上下文泛化能力。
- 长度课程策略：消融实验表明，逐步增大位置采样范围（例如 8K→16K→32K）对泛化至关重要，业务中微调长上下文模型时可显式设计长度课程，避免直接跳到最大长度导致性能退化。
- 位置编码的随机化技巧：训练时对每个 batch 内的 token 随机分配来自更长区间的 YaRN 编码（排序后保持顺序），让模型提前接触 OOD 位置表征，此 trick 可与现有 RoPE 类模型结合，成本低且无需改变模型结构。
- 推理时 YaRN 因子可大于训练因子：论文发现 s' > s 时可进一步外推至未见的长度，实际部署时可尝试用更大的推理尺度因子来覆盖极端长输入，无需重新训练。
重加权负轨迹重要性用于LLM同策略蒸馏
🧭 LLM同策略蒸馏负轨迹重加权
East China Normal University · Shanghai Innovation Institute
发现错误轨迹在蒸馏中优于正确轨迹，提出用学生-教师概率比加权负轨迹，无需最终答案即可提升推理蒸馏效果
📌 工作参考价值（4 点）
- 在电商搜索推荐或Agent的LLM推理训练中，可借鉴“错误样本更有信息量”的发现，主动提升错误轨迹权重，避免模型退化到保守短答案
- 利用学生-教师概率比作为错误倾向的隐式信号，无需人工标注或最终答案标签，适合在线策略环境下的自动样本加权
- 方法仅依赖前缀概率，支持prefix训练模式，适合资源受限或需要快速迭代的线上蒸馏场景，无需等待完整轨迹
- 对于需要自我反思的推荐解释或广告文案生成，可借助ReNIO保留探索性边界行为，防止过拟合安全但平庸的输出
离散化奖励模型：抑制过度敏感性与奖励黑客
🧭 奖励模型离散化与RL训练优化
Carnegie Mellon University · Meta Superintelligence Labs
用蒙特卡洛dropout将连续奖励离散化，减少奖励模型的过度敏感性，改善RL策略质量
📌 工作参考价值（4 点）
- 训练推荐对话Agent的RLHF流程中，连续奖励模型易对相似回答给出不同分，导致策略过度优化，可借鉴离散化方法，用少量聚类标签代替原始分数，抑制奖励黑客。
- 工程实现极简：无需重训奖励模型，仅对现有模型注入Monte Carlo dropout，通过多次采样聚类得到离散奖励标签（如高/中/低），可直接插入现有RL训练管线。
- 评估奖励模型时，除准确率外建议关注“判别能力”与“特异性”（特异性高=过度敏感低），这两项指标更贴近下游策略效果，对挑选或调试奖励模型有直接指导意义。
- 在生成式推荐（如直接生成物品ID或描述）中，若用奖励模型作为生成质量信号，离散化可稳定训练、减少模式坍塌，尤其适用于用GRPO等RL算法优化推荐生成的场景。
多任务贝叶斯上下文学习
🧭 摊销贝叶斯推理 · 先验自适应上下文学习
New York University · NYU Langone Health
将先验信息表示为上下文数据集前缀，训练Transformer快速适应不同先验的贝叶斯预测推理
📌 工作参考价值（4 点）
- 在推荐系统中，利用类似上下文学习机制快速适应新的用户群体或变化偏好：将少量历史交互作为上下文示例，模型动态调整预测分布，无需微调。
- 为推荐模型提供轻量级的不确定性量化：预测分布可直接用于探索-利用决策，提升数据效率。
- 将用户/物品元特征或领域知识构造为先验前缀，使模型在推理时即插即用适应新场景，缓解冷启动与分布偏移问题。
- 工程上可作为元学习组件嵌入现有多任务推荐管道，只需增加少量上下文 token 开销，实现快速任务适应。
分布偏移下校准混合专家模型
🧭 分布偏移下 MoE 校准
Johns Hopkins University
证明硬路由 MoE 的专家级校准在分布偏移下仍能保证全局校准，而软路由不成立，并提出对抗重加权提升校准-准确率权衡
📌 工作参考价值（4 点）
- 推荐/广告系统常面临分布偏移（促销、季节、新用户群），使用 MoE 结构时可直接借鉴本文结论：硬路由下只需校准各专家即可保证整体概率可靠性，工程实现更轻量。
- 若业务需软路由以获取更平滑的专家组合，可用提出的对抗重加权损失（惩罚偏移下的路由聚合校准误差）微调模型，尤其适合高价值子集（高消费用户、长尾物品）上的概率估计优化。
- 广告出价、CTR 预估对概率校准极其敏感，该方法在不牺牲精度的前提下提升 ECE，可直接集成到训练 pipeline 中，作为辅助损失项。
- 在 Agent 多智体或任务路由场景，不同专家处理不同意图/域，分布偏移常见，本文的理论分析和训练技巧可指导路由策略选择与校准保障。
Fisher几何锐度与SGD隐式偏向平坦极小值
🧭 优化理论 · 信息几何平坦性
Gauhati University
定义重参数化不变的Riemannian sharpness，证明SGD噪声偏向Fisher几何平坦解，并给出泛化界
📌 工作参考价值（4 点）
- 训练推荐模型时，可定期计算参数的 Fisher 锐度（对角 Fisher 近似即可）作为泛化监控指标，替代 Hessian 谱等欧氏平坦性指标，避免重参数化（如 embedding 缩放、特征归一化）导致的不可比问题。
- 优化器设计可借鉴梯度噪声协方差与 FIM 成正比的结构：在推荐模型分布式训练中，若按 FIM 方向调整噪声注入，可能自动偏向平坦解，改善尾部物品 / 冷启动场景的泛化。
- 若团队用 K‑FAC 等二阶优化，其 FIM 估计本身已接近重参数化不变，可作为 flatness‑aware 正则的天然基架，比欧氏 Hessian 更稳定。
- 注意：论文实验仅覆盖 CNN 与小数据集，直接迁移到大模型或搜索推荐需谨慎；但将 sharpness 纳入早停或 checkpoint 选择的思路可直接复用。
解密数据受限下语言模型预训练的训练时数据增强
🧭 训练时增强 · 多轮训练正则化
UC San Diego · RMIT University · Bloomberg AI
系统研究三类训练时增强（token噪声、序列置换、目标偏移）缓解自回归模型在多轮数据训练时的严重过拟合
📌 工作参考价值（4 点）
- 当训练数据有限需反复遍历（如用户行为序列）时，可在自回归下一行为预测中引入随机 token 替换或 masking 作为增强，延迟过拟合，降低验证损失。
- 组合多种增强类别（如随机替换 + 序列逆序 + 偏移预测）能进一步降低最小验证 loss，可作为通用训练 trick 加入推荐模型的预训练或微调流程。
- 目标偏移预测（预测未来第 k 个 token）可迁移到用户长序列建模中，强制模型学习更长期的依赖，减轻短视过拟合。
- 该方法实现简单，不改变模型结构，适合在现有自回归推荐（如 SASRec 类）或 LLM-based 生成式推荐中快速实验。
你的鼠标和眼睛悄悄泄露偏好：基于隐式反馈的LLM对齐
🧭 隐式反馈LLM对齐 · 多模态行为信号
University of Massachusetts, Amherst · York University
利用鼠标轨迹与眼动追踪等隐式用户信号，显著提升LLM对齐的奖励模型准确率与DPO优化效果
📌 工作参考价值（4 点）
- 对话式推荐/Agent交互中植入隐式信号收集：在电商导购Agent或搜索推荐对话界面中，可低成本采集鼠标悬停、停留时长、滚动行为、甚至眼动数据（如用户授权），作为比显式点击/购买更稠密的偏好信号，用于细粒度reward建模。
- 奖励模型融合trick：使用随机森林等非线性模型融合隐式行为特征与文本特征，比纯文本reward模型提升9个百分点，可直接迁移到推荐系统中的用户意向打分或排序融合。
- DPO训练中注入隐式反馈权重：将基于鼠标/眼动的偏好得分作为DPO优化中的似然权重或对比对的选择依据，类似rDPO with NLL，可让生成结果更贴合真实用户关注模式。
- 数据收集与隐私平衡：论文所用Mechanical Turk的webcam眼动方案成本较低，电商搜索/Agent产品可考虑在用户知情同意下进行小规模采集，用于对齐模型的持续优化。
多任务学习的本质子空间合并
🧭 模型合并 · 本质子空间分解
利用任务更新的低维本质子空间，通过正交化融合和低秩专家路由实现训练无关的多任务模型合并
📌 工作参考价值（3 点）
- 主要是学术贡献，多任务模型合并目前尚未在电商推荐系统中广泛应用，但可借鉴其思想：若需融合多个微调的单任务模型来服务多任务推荐，可尝试只保留任务更新在本质子空间中的成分以降低冲突。
- ESM++ 的低秩专家分解和原型路由思想可参考用于推荐模型的多任务动态参数选择，减少参数冗余。
- 训练无关的静态合并方法可作为快速集成多任务能力的基础工具，例如在试验阶段快速组合多个广告预估模型。
分组查询专家：GQA上的混合专家自注意力
🧭 稀疏注意力·动态查询头路由
FrontiersMind
在GQA中为每个token动态路由仅部分查询头，匹配密集基线且长上下文prefill加速1.7-1.8倍。
📌 工作参考价值（4 点）
- 在推荐模型的Transformer序列编码中，若已使用GQA减少KV缓存，可直接引入GQE：保持KV头全激活，仅对查询头做token级稀疏路由，降低长序列用户行为建模的注意力计算量。
- 路由选择可根据token难度（如特征重要性分数）设计轻量线性路由器，在训练时加入负载均衡损失防止头利用率崩塌，这一点与普通MoE一致，可直接复用现有MoE工程组件。
- 长上下文推理加速明显，适合搜索推荐系统中需要处理用户长期行为序列（如数月点击历史）的场景，prefill阶段获得约1.8倍加速，同时保持下游任务精度无损。
- 在资源受限的Agent多轮对话或生成式推荐中，KV缓存占用常为瓶颈，GQE保留了GQA的KV共享优势，又额外节省查询头计算，可以作为移动端或边缘推理的候选方案。
GraphPO：基于图的策略优化用于推理模型
🧭 图结构策略优化 · 推理效率提升
Gaoling School of Artificial Intelligence, Renmin University of China · Ant Group
将推理路径建模为有向无环图，合并语义等价状态共享后缀，减少冗余探索并提升 RLVR 效率
📌 工作参考价值（4 点）
- 多步推理任务中的冗余剪枝：在对话式搜索、商品推荐 query 改写等链式推理场景，可将推理步骤表示为有向无环图，当不同中间状态语义等价时（如“想买运动鞋”和“需要跑步装备”），合并为同一节点共享后续路径，减少重复计算和 token 消耗。
- Agent 搜索/交互的策略优化：在基于 RL 的 Agent 决策（如多轮商品搜索、广告竞价策略）中，用图结构代替树结构，对相似交互路径进行等价类合并，使探索预算聚焦到多样性分支，加速策略收敛。
- 过程奖励信号的精细化：借鉴 GraphPO 对节点入边赋效率优势、出边赋正确性优势的设计，可以为中间步骤提供更稳定的局部奖励，替代传统稀疏结果奖励，适用于需要过程监督的生成式推荐模型训练。
- 降低优势估计方差：理论及实验表明跨分支合并能降低优势估计方差，在推荐强化学习中同样可对相似用户状态聚类，提升训练稳定性。
STARE：惊喜引导的令牌级优势重加权实现策略熵稳定
🧭 GRPO熵稳定性 · 惊喜引导重加权 ★ 深度解读
Tsinghua University · Tencent Hunyuan
基于惊喜分位数识别熵临界令牌并重加权其优势，配合目标熵闭环门控，稳定GRPO训练中的策略熵
📌 工作参考价值（4 点）
- 在LLM的RLVR训练（如生成式推荐、对话Agent的策略优化）中，使用令牌级惊喜（surprisal）分位数选取熵临界令牌进行优势重加权，可有效防止策略熵过早坍塌，维持输出多样性，避免模型陷入局部最优。
- 闭环目标熵门控策略可直接迁移：设定一个业务期望的熵目标（如不使生成结果过于单一），在批平均熵低于阈值时自动激活重加权，恢复后回退，实现无过度干预的稳定训练，适用于线上持续学习场景。
- 惊喜分位数代理（top-P%选择代替精确阈值计算）极其廉价，适合大规模分布式RL训练，可在不增加显著计算开销的情况下实施。
- 令牌级信用重新分配（放大正优势高惊喜令牌、衰减负优势高惊喜令牌）能鼓励模型探索“不常见但可能关键”的推理路径，对需要长程反思和自我纠错的Agent应用有直接增益。
重新思考奖励监督：基于评分标准的自蒸馏
🧭 训练方法 · 评分标准自蒸馏
Yale University
用评分标准作为细粒度反馈，将准则级条件转化为 token 级指导，提升推理模型训练效果。
📌 工作参考价值（4 点）
- 用评分标准替代标量奖励：在 Agent 推理训练中，可以定义类似评分标准（如正确性、连贯性、步骤完整性）作为细粒度反馈，让模型明确改进方向，避免传统 RL 的稀疏信号问题。
- 两阶段训练可复用：先训练一个评分标准生成模型，再用于指导主任务推理，这种分离设计在推荐解释、多步决策等需要可解释反馈的场景中可直接借鉴。
- 自蒸馏减少标注依赖：利用模型自身采样轨迹进行 token 级指导，无需高质量 chain-of-thought 人工标注，适合电商/推荐系统中快速迭代模型。
- 细粒度信用分配提升效果：在多个基准上平均领先 GRPO 1.0 点，表明 token 级奖励比结果级奖励更有效，可尝试将类似机制引入推荐 Agent 的策略优化中。
重新思考LLM FP4预训练中的收缩偏置：几何根源与UFP4方案
🧭 低精度训练 · FP4均匀网格 ★ 深度解读
Ant Group
指出非均匀E2M1格式固有的收缩偏置被RHT放大导致训练不稳定，提出基于均匀E1M2网格与全RHT相结合的UFP4训练配方
📌 工作参考价值（4 点）
- 当对推荐模型做低比特量化或采用类似RHT的旋转预处理时，优先选用均匀网格（INT4/E1M2），因为非均匀格式（E2M1）的舍入偏置会在深层网络积累，而均匀网格不存在该问题。
- 若使用FP4训练LLM-based推荐模型，可借鉴UFP4的配方：将RHT扩展到前向、数据梯度、权重梯度三个GEMM，仅对dY使用随机舍入；该设计在1.5B~124B的实验中稳定降低了与BF16的loss差距。
- 收缩偏置是一个容易被忽视的几何缺陷：当量化区块不对称时，即使是零均值的分布也会产生系统性负误差，造成信号衰减；在自研或选用量化方案时，应检查舍入bin的对称性，而非只关注动态范围。
- 在只有E2M1硬件的场景下，试图通过限制最大可表示值来模拟均匀网格效果不佳，未来若能为推荐训练引入FP4加速，应争取支持均匀4-bit格式作为第一等训练原语。
超越奖励工程：长上下文强化学习的数据配方
🧭 长上下文强化学习数据配方
OpenBMB · Tsinghua University
以简单的数据配方替代复杂奖励工程，仅用结果奖励GRPO即可大幅提升长上下文推理及Agent任务表现
📌 工作参考价值（4 点）
- 构建面向长文档的推荐/搜索Agent时，可借鉴检索、多证据合成、推理三类混合数据配方，提升模型在冗长轨迹中定位、整合关键信息的能力。
- 仅使用outcome-based GRPO，无需复杂奖励工程，工程实现轻量、易迁移，适合业务线快速试错。
- 14K的小规模高质量数据即可带来显著收益，在业务数据稀缺时尤其有参考价值。
- 可将该数据范式迁移到多轮对话推荐、长序列用户行为分析等Agent任务中，微调模型的长上下文推理能力。
从自身错误中学习：构建可学习的微反思轨迹用于自我蒸馏
🧭 LLM 自我蒸馏 · 轨迹增强
Qwen Business Unit of Alibaba · Tsinghua University · Peking University
通过修正模型自身的错误轨迹并插入自然语言诊断，将自我蒸馏从分布对齐升级为显式轨迹构造。
📌 工作参考价值（4 点）
- 电商/广告场景中若用 LLM 生成推荐理由或解释，可借鉴 TAPO 对比式轨迹构建：收集模型自身的正确与错误回复，在失败点插入反思诊断，形成新的微调样本，提升解释准确性与错误恢复能力。
- 对于搜索意图理解等推理链路长且容易出错的任务，可利用难度感知筛选，只在高能力边界的样本上构造反思轨迹，避免简单样本浪费训练资源，并保持 on-policy 分布。
- 解耦优势估计的技巧可迁移至多策略混合训练中，防止不同难度或不同来源轨迹间的梯度互相干扰，改善训练的稳定性。
- 工程实现上，TAPO 无需外部更强模型参与，完全依赖模型自身的采样群组，适合在闭环推荐系统中持续自我优化，降低人工标注与模型蒸馏成本。
从自我未来学习：面向扩散LLM的在线策略自蒸馏
🧭 扩散LLM后训练 · 在线自蒸馏
Tsinghua University · Technical University of Munich · Nanyang Technological University · University of British Columbia · University of Texas at Austin
首个面向扩散大语言模型的在线自蒸馏框架，通过后缀条件化与步骤级监督实现高效后训练
📌 工作参考价值（4 点）
- 若业务中采用扩散模型做生成式推荐（如商品语义ID序列生成），可借鉴d-OPSD的后缀条件化设计：将已生成的未来token作为条件，为当前token提供稠密监督，无需额外的前缀特权信息。
- 步骤级监督（step-level KLD）比token级监督更适配迭代去噪训练过程，可在扩散推荐模型的微调中替换逐token loss，提升生成质量与训练效率。
- 该方法样本效率极高（仅需RLVR 10%的优化步数），在大规模推荐模型训练中可大幅降低算力成本，适合资源受限场景的模型后训练。
- 自未来经验蒸馏的思路可推广至其他序列生成任务，例如用llm生成搜索query时，利用模型自身后续生成的内容作为监督信号，强化长程一致性。
动态轨迹编辑：缓解 RL 训练推理模型的过度思考
🧭 GRPO 训练中的动态轨迹编辑
Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences
针对 GRPO 训练中序列级信用分配导致过度思考膨胀，提出训练时动态编辑成功轨迹的冗余部分
📌 工作参考价值（4 点）
- Agent 多步推理的截断训练：在电商 Agent 用 RL 训练时，若成功轨迹存在冗余推理，可借鉴 DRE 思路，在答案出现后截断并保留前缀，避免对无用 token 的正向强化。
- GRPO 信用分配的工程修正：在广告文案生成或推荐解释的 RL 训练中，即使整体生成质量不错，序列级奖励会错误地鼓励拖沓；可引入轨迹编辑，显式偏好简洁版本。
- 减少线上推理浪费：训练时压制 overthinking，能降低部署后 Agent 在搜索、问答场景的 token 浪费，直接节省成本。
- 监控与干预点：初始化 GRPO 时检查成功轨迹的过度程度，早期干预可避免反馈循环，适合在推荐模型 RL 微调时作为监控指标。
面向强化学习Rollout的系统感知自推测解码
🧭 LLM训练加速 · 自推测解码
FuriosaAI · University of California, Berkeley
系统感知自推测解码框架，自适应切换推测解码与草稿长度，将RL rollout延迟降低19.6%且不损失模型质量。
📌 工作参考价值（4 点）
- 在RL微调LLM（如GRPO/PPO）时，rollout生成是瓶颈，可直接采用自推测解码（self-speculative decoding）：从目标模型量化出轻量draft模型，无需额外训练，保持与进化策略分布对齐，降低工程维护成本。
- 系统感知的SD切换策略（toggle policy）根据批次大小和计算状态动态开启/关闭推测解码：只在内存密集、并行验证能利用闲置算力时启用，避免计算密集阶段引入额外开销。此动态调度思想可迁移到生产环境的在线推理加速中。
- 接受率感知的草稿长度自适应（acceptance-aware draft-length adaptation）：根据近期接受率动态调节每次推测的token数量，匹配draft质量变化，避免无效生成。类似机制可用于自适应调整推理时的speculative长度，降低延迟抖动。
- 整体框架强调系统级的协同设计，而不只是算法优化。做推荐/Agent类LLM应用时，若涉及线上更新或频繁微调，可考虑将系统负载感知纳入推测解码的调度策略，提升资源利用率。
用判别器引导RL修正流匹配：奖励已在数据中
🧭 生成式模型 · 判别器引导RL
FAIR at Meta · Columbia University · Mila – Québec AI Institute · McGill University · Université de Montréal
在预训练表示空间训练判别器，以其logit为奖励进行KL正则化RL，无需人类偏好即可大幅提升生成质量
📌 工作参考价值（4 点）
- 生成式推荐的质量后处理：可将类似思路用于提升生成式推荐模型（如生成item语义ID）的样本质量：利用预训练的用户/物品表示空间训练判别器，以判别器logit为奖励，通过KL正则化RL微调模型，无需人工偏好标注。
- 离线奖励构建：在推荐Agent或策略优化中，可以用判别器估计生成样本与真实数据的对数似然比，作为保真度奖励，避免昂贵的人类偏好收集，尤其适用于冷启动场景。
- 与偏好优化的协同：DRL后训练得到的模型能作为更好的初始点，再结合少量偏好反馈进行多目标RL，可获得更优的保真度-偏好帕累托前沿，可直接套用到推荐系统的多目标对齐（如新颖性、相关性）中。
- 表示空间选择：效仿其使用预训练表示空间（并非原始像素）作为判别器输入，推荐系统中可选用预训练的通用协同过滤嵌入或CLIP多模态空间，使奖励更聚焦语义相关性而非表面统计。
ExpRL：探索性强化学习用于大语言模型中期训练
🧭 强化学习中期训练增强推理覆盖率
Stanford University · Carnegie Mellon University · OpenAI
ExpRL 利用人类解答作为奖励脚手架，通过稠密过程奖励在中期 RL 中提升推理覆盖率，优于 SFT 与稀疏奖励，为后续 RL 提供更好初始化
📌 工作参考价值（4 点）
- 用参考解答构建奖励脚手架，不暴露答案，让 LLM judge 对比过程给出稠密奖励，可自动化利用人工标注数据引导策略探索；在 Agent 多步决策（如多轮对话、搜索推荐解释）中，用少量理想路径作为参考，通过过程奖励强化有效推理链。
- 过程级奖励（ExpRL-Process）能对中间步骤反馈，适合长链路任务（如商品推荐中的多步推理），可设计类似 judge 机制对每一步给出信号，提升模型分解与自纠正能力。
- 中期训练作为 RL 预热：先用 ExpRL 在标注数据上提升覆盖率，再进行稀疏奖励 RL，可提高训练效率和最终性能；适用于推荐系统用用户反馈做 RL 微调前，先获得更好初始策略。
- 大量人工问答数据可不用于直接模仿，而作为奖励生成源，更充分利用数据；在电商客服、导购场景中，可收集人类对话构建奖励模型，训练更强的交互式 Agent。
MoE 语言模型中的专家层循环绑定
🧭 MoE 参数共享与内存优化
EPFL
跨层共享专家参数，保持独立路由，几乎无损失地将 MoE 内存占用减半
📌 工作参考价值（4 点）
- 大型推荐模型的内存压缩：若采用 MoE 做多任务或用户分群建模，跨层共享专家 FFN 可近乎砍半参数内存，同时保持独立路由，适合搜索/推荐等需低延迟服务的场景。
- Agent 模型的低成本扩展：构建多专家 Agent 系统时，可通过层间专家复用减少冗余，维持不同层路由独立以保留推理多样性，平衡能力与资源。
- 工程实现注意：复用需保证每层 router 和 attention 独立；可直接应用于 OLMoE/Qwen3/DeepSeek 等主流 MoE 结构，现有模型微调或蒸馏时可尝试专家合并。
- 与 LoRA/量化结合：专家共享后为稀疏模块再留出容量加 LoRA 或小块微调，可在内存受限设备上部署更大型的生成式推荐模型。
上下文感知RL：用辅助选择损失增强长序列与多模态证据接地
🧭 上下文感知强化学习 · 多模态与Agent ★ 深度解读
Princeton University · UC Davis
在 GRPO 中增加对比上下文选择辅助损失，显著提升 Agent 与多模态 LLM 的证据接地能力
📌 工作参考价值（4 点）
- 辅助上下文选择损失：在现有 RL（如 GRPO）训练中，同时训练一条「给定 query-answer，从一对相似但结论相反的上下文中选出支持该答案的正确上下文」的辅助任务，可作为轻量插件提升模型对关键证据的敏感度。
- 构造对比上下文对的工程方法：Agent 场景用轨迹过滤（同仓库、同文件、同函数、不同 issue + 答案掩码）构造 1k 高质量对，多模态用生成编辑+相似检索构造 7k 对，避免人工标注。业务中可类似挖掘正负用户行为序列、对比商品图文等。
- 避免将对比数据简单用于 SFT 或混入 RL 奖励：实验表明，用对比数据做 SFT 会严重破坏长序列策略（编码 Agent 任务 resolve rate 从 28% 跌至 1.3%），单纯作为二元奖励加入 RL 几乎无效；只有设计为辅助 logit 级损失并配合 GRPO 的 clip/KL 约束，才能稳定获益。
- 长序列推荐/Agent 的场景直接复用：在用户长行为序列、商品描述、多模态推荐中，可通过构造「仅关键一步不同」的正负上下文对，用相同辅助损失强化模型抓取关键信息，提升长程一致性和抗噪声能力。
ZPPO：将教师融入提示而非梯度的近端策略优化
🧭 基于提示的教师引导强化学习训练
NVIDIA
在困难样本上，教师通过构造对比提示替代策略梯度注入，使学生模型摆脱蒸馏与GRPO的局限。
📌 工作参考价值（4 点）
- 难例训练范式：当RL训练的智能体（如对话推荐Agent）在稀疏奖励场景下持续失败时，可将更强模型或模拟器的正确答案作为对比提示注入，而非直接蒸馏logits或修改梯度，避免策略漂移。
- 对比式提示构造：借鉴BCQ和NCQ，将正确与错误响应匿名配对，让学生模型自行判别，可迁移至推荐系统候选列表的对比学习，提升模型对优劣结果的辨识力。
- 动态困难样本重放：采用基于准确率的提示重放缓冲区，让模型反复练习尚未掌握的困难例，直到毕业，有助于解决推荐场景中长尾物品或冷启动样本的训练不足问题。
- 小模型增效：最小学生规模（0.8B）时提升最显著，适合在边缘设备部署的轻量级推荐或意图识别模型，用ZPPO替代传统蒸馏以保持更强泛化能力。
后训练如何塑造生物推理模型
🧭 多阶段后训练与泛化权衡分析
Harvard University · Google DeepMind · Google Research
系统分析CPT、SFT、RL对生物推理模型泛化的不同影响，表明ID/OOD权衡取决于阶段组合而非单调提升
📌 工作参考价值（4 点）
- SFT 过拟合警告：SFT 持续提升分布内 (ID) 效果，但分布外 (OOD) 性能会在早期达到峰值后下降。推荐系统微调时需监控 OOD 指标，避免过度适配训练用户/物品分布。
- RL 恢复泛化：在强 SFT 检查点上加 RL（奖励信号与任务对齐）可提升 OOD 并部分恢复泛化。对电商搜索/推荐中的个性化与冷启矛盾，可设计 RL 阶段来对冲过拟合。
- 训练预算分配：固定总训练成本下，短 SFT + 大 RL 预算的 ID-OOD 权衡最佳。实际落地时，可优先保证 SFT 收敛早期即切换 RL，而非一味延长 SFT。
- 阶段非对称适配：不同阶段对模型容量要求不同，CPT 受益于大模型，而 SFT/RL 增益更依赖质量。在大模型推荐系统中，可先 CPT 对齐领域语言，然后用少量高质量 SFT 和充足 RL 调优。
可检索梯度：无累积权重漂移的持续后训练
🧭 持续后训练 · 梯度检索与临时权重适应
Department of Computer Science and Technology, Tsinghua University
将梯度视为可检索的知识单元，通过即插即用的临时权重调整实现持续学习，避免参数漂移与灾难性遗忘。
📌 工作参考价值（4 点）
- 即插即用的知识更新：将新领域文档（例如新品详情、政策变化）预先计算梯度并存入梯度库，推理时根据query检索相关梯度临时调整模型，实现零遗忘的在线知识注入，避免全量重训。
- 可逆性与版本管理：梯度库天然支持知识卸载，移除对应梯度即可擦除引入的知识，适合广告/推荐场景中需要频繁上下线的商品或活动，无需回滚模型参数。
- 组合式适应：多个文档的梯度可以按需组合（如多商品叠加推荐），提供类似LoRA的模块化适配能力，但更灵活且无需事前训练适配器，降低工程复杂度。
- 元学习重塑梯度：通过任务驱动的元目标，将文档梯度优化为更通用的适应信号，可借鉴此思路将商品描述、用户评论等转化为对推荐任务有判别力的梯度，提升下游CTR预估等性能。
RLVR稳定性梯度分析与赢家优势策略优化
🧭 RL训练稳定性分析与策略优化
Layer 6 AI
通过梯度分析揭示GRPO崩溃机制，提出仅对正优势序列更新的WAPO，提升训练稳定性与性能。
📌 工作参考价值（4 点）
- 在RL微调推荐/Agent模型时，只对奖励高于平均的生成结果（正优势）进行策略更新，可避免负优势样本导致熵增和输出崩溃，是一种简单的实现 trick。
- 裁剪策略梯度更新幅度（类似 PPO 的 clipping），防止梯度爆炸，保持训练稳定，可直接集成到现有 RL 训练流程。
- 论文提出的 token 级梯度分解与稳定性分类法可用于分析推荐模型的 RL 微调行为，诊断训练不稳定是由哪些 token 分布引起，指导超参调整。
- 使用在线采样（on-policy）而非重用旧策略样本（off-policy），可减少策略漂移带来的问题，在推荐系统的多步 Agent 训练中值得尝试。
AC-ODM：基于Actor-Critic的LLM预训练在线数据混合
🧭 RL指导预训练数据混合 · Actor-Critic
BRAIN, Renmin University of China · Shanghai Jiaotong University · Shanghai Artificial Intelligence Laboratory · China Electronics Technology Group Corporation 15th Research Institute · LiblibAI
提出轻量Actor-Critic在线调控领域采样权重，最大化梯度建设性干涉，大幅加速预训练并提升下游表现
📌 工作参考价值（4 点）
- 动态数据采样策略可迁移至推荐模型训练：在多任务/多领域推荐场景中，常需平衡样本配比，AC-ODM的在线Actor-Critic框架可以低开销地学习每步采样权重，替换静态或启发式配比，提升训练效率。
- Proxy模式节省大规模训练成本：先在小规模模型上训练数据混合策略，再外推到大模型，适用于电商搜索推荐中从蒸馏模型到全量模型的迭代过程，避免直接在大模型上试错。
- 极低工程开销：每步仅增加0.4%计算和2%显存，几乎不影响吞吐，可直接嵌入现有分布式训练管线，适合对训练延迟敏感的业务。
- 最大化梯度建设性干涉的思想可泛化：该文理论证明策略等价于线性代理优化梯度干扰，这一思想可借鉴到多任务推荐中的损失加权或正负样本均衡，减少有害梯度冲突。
视频对象中心学习的选择性协同方法
🧭 视频对象中心学习·选择性对齐
KAIST · Sungkyunkwan University
提出SSync，通过选择性对齐编码器边界与解码器内部信息，避免错误传播并实现线性复杂度视频对象发现
📌 工作参考价值（4 点）
- 当推荐系统中需要融合互补模块的输出（例如多模态产品表征对齐）时，可借鉴「选择性蒸馏」思想：只从边界清晰的模块传递结构信息、从内部稳定的模块传递语义，避免互相污染。
- 「传递式伪标签合并」通过时空激活一致性合并重叠槽位，可用于推荐模型中的Embedding冗余压缩，例如将过度相似的物品向量合并，减少线上存储与计算。
- 线性复杂度的伪标签策略避免了大规模匹配时的平方复杂度，对召回层中相似度计算或聚类算法有直接的效率优化启发。
- 整体即插即用思路可用于快速实验新的训练激励信号，无需改动原有模型架构即可注入先验知识。
Muon优化器的重尾噪声理论：为何非欧几里得方法在训练Transformer时更优
🧭 优化算法理论 · 非欧几里得优化
ETH Zurich · Technical University of Munich · Munich Center for Machine Learning
证明Muon在重尾噪声下能以最优样本复杂度达到核范数平稳点，且无需额外维度依赖
📌 工作参考价值（4 点）
- 训练深度推荐模型（如Transformer-based CTR预估）时，可尝试用Muon替换AdamW，尤其适用于大矩阵参数（如Embedding层、注意力投影层）；其更新基于谱范数，可避免维度依赖的样本复杂度膨胀。
- 在重尾噪声环境下（如点击、转化数据的长尾分布梯度），Muon理论上能稳定收敛，工程上可优先考虑非欧几里得优化器。
- 文章指出除谱范数外的其他Schatten范数也具竞争力，可启发尝试新正则化或约束（如核范数、Frobenius范数组合）来提升模型训练稳健性。
- 理论结果提示：优化器的选择需与平稳性度量相匹配；若业务中更关注核范数意义上的收敛，Muon类方法有理论保障，可指导自定义优化器的设计。
FastMix：梯度下降实现快速数据混合优化
🧭 训练数据配比优化 · 梯度下降 ★ 深度解读
University of Hong Kong · Tencent Hunyuan LLM · Chinese University of Hong Kong
将数据混合比例重新参数化为可微损失权重，实现单代理模型高效联合优化
📌 工作参考价值（4 点）
- 推荐模型训练中常需对不同行为（点击、加购、购买）或不同频道的数据做采样配比，FastMix 提供了一种单模型、梯度驱动的自动搜索方案，替代手动调参或耗时的网格搜索。
- 关键 trick：将采样概率重参数化为损失权重，使混合系数完全可微，可用 SGD/Adam 直接优化，仅需一个代理模型即可完成搜索，计算成本降低数百倍。
- 为避免过拟合到验证集，可借鉴其熵正则 + 训练损失辅助目标的策略，提升上线后的泛化能力；工业场景可进一步用上采样率上限替代纯正则。
- 代理模型不宜太小（如 <0.5B），建议采用与原模型同架构但参数减半的版本；若预训练与微调序列长度不匹配，可通过拼接 SFT 序列对齐长度，避免梯度失真。
密集监督，稀疏更新：策略蒸馏的稀疏性与几何性质
🧭 后训练on-policy蒸馏的参数分析
School of Artificial Intelligence, Nanjing University · National Key Laboratory for Novel Software Technology, Nanjing University · Amap, Alibaba Group
发现on-policy蒸馏的更新是坐标稀疏且FFN为主的，训练子网络可恢复性能，并揭示了更新的几何特性。
📌 工作参考价值（4 点）
- OPD更新具有坐标稀疏性，可固定大部分参数仅更新重要子网络，显著降低微调计算开销，适合大规模推荐模型的高效部署与迭代。
- 发现AdamW优于SGD，因自适应学习率能处理密集监督带来的异构梯度尺度，推荐在蒸馏或微调任务中优先选用AdamW。
- 几何分析表明更新远离主奇异子空间且集中于小权重坐标，提示可基于权重大小设计结构化稀疏微调策略，减少对主特征方向的干扰。
- 在学生生成轨迹上使用密集监督但生成稀疏更新，为推荐模型中online知识迁移提供了新范式：保持监督密度但约束参数变化量，有助于稳定多任务对齐。
通过检索增强强化微调学习类比推理
🧭 检索增强的强化微调与推理效用学习 ★ 深度解读
Meta Superintelligence Labs · Rice University
提出 RA-RFT，用推理效用蒸馏检索器，并在强化微调中注入类比演示，大幅提升数学推理性能
📌 工作参考价值（4 点）
- 检索应面向任务效用而非表面相似：在电商推荐中，传统的语义相似召回可能带不来转化或点击，可用 judge 模型离线蒸馏“转化效用”标签，训练检索器优先召回能提升下游任务（如购买）的 item，而不只是语义相关。
- 强化学习训练时可注入类比案例：在对话 Agent、多智体协作等 RL 训练中，可将历史成功轨迹作为演示（类比），以少量上下文形式注入，提高奖励信号密度，加速策略学习，方法可套用 RA-RFT 的"检索-蒸馏-注入"流程。
- 多向量检索更适合结构级匹配：使用 ColBERT 等 late-interaction 模型捕捉推理结构或交互模式，适用于需要挖掘行为序列相似性的场景，如推荐中的 session 匹配、用户轨迹类比。
- 训练目标决定检索增益：仅做 SFT 时检索增益微弱，须配合让模型主动探索并选择性利用外部信息的训练范式（如 RLVR），这提示在将 RAG 融入推荐 agent 训练时，要用生成式奖励而非固定目标的监督学习。
稳定恢复流形：持续学习中灾难性遗忘的几何原理
🧭 持续学习灾难性遗忘的几何分析
发现遗忘的知识保存在约 8 维低秩子空间，遗忘是几何可及性问题而非信息损毁。
📌 工作参考价值（4 点）
- 对电商推荐模型持续更新：旧知识未真正消失，可以通过低秩子空间访问，不必全量重训，可设计轻量适配器恢复旧任务性能，降低频繁全量更新的成本。
- 对 Agent 多任务学习：遗忘后通过主角度对齐就能大幅恢复性能，提示我们在微调 Agent 策略时保留旧策略的低维流形方向，可构建更稳健的持续学习系统。
- 对生成式推荐（如 Semantic ID 生成）：模型更新后旧 item ID 生成能力仍存于低维子空间，可恢复旧码本映射，避免冷启动和遗忘。
- 主要学术贡献，业务可借鉴点在于遗忘可逆性的认知转变，具体工程落地仍需进一步验证。
用强化学习实现神经网络模型编辑
🧭 将模型编辑建模为RL问题，学习权重修改策略
将模型编辑转化为强化学习问题，通过奖励反馈学习权重修改策略，实现遗忘与去偏
📌 工作参考价值（4 点）
- 模型快速遗忘 / 合规调整：当需要从推荐模型中清除特定商品或用户群体的不良影响时，可借鉴 RL 策略自动搜索最优权重更新，替代手工设计遗忘算法，提升响应速度。
- 多目标平衡：奖励函数兼顾效用保持和编辑目标，该框架可迁移至推荐系统，在引入多样性、公平性等新约束时，自动调整模型参数以平衡点击率等核心指标。
- 持续模型维护：线上部署后，基于新业务数据或规则，利用 RL 代理执行增量式模型编辑，避免全量重训，节省计算资源。
- 自动化算法设计：将模型编辑算法设计过程自动化，减少人工介入，尤其适用于需频繁更新的大规模模型场景。
DeMix：基于影响向量的混合数据错误类型调试框架
🧭 基于影响向量的训练数据调试 ★ 深度解读
Shanghai Jiao Tong University · ByteDance Inc. · Tiktok
利用完整的影响向量代替标量分数，通过多标签分类同步检测训练数据中的标签错误、特征错误和虚假相关三类问题。
📌 工作参考价值（4 点）
- 影响向量替代标量影响分数：在推荐或电商数据中直接对标量影响力（如留一法影响值）聚合会掩盖错误类型特异性。保留完整验证样本上的影响分布，再用 Set Transformer 编码，能更好捕获标签噪声、特征异常和虚假相关等细粒度错误模式。
- 无需完全干净的验证集：DeMix 通过干预不同的验证子集和模型架构，强制学到对验证集噪声、模型选择鲁棒的错误表征，适合推荐系统等验证集本身可能受系统性偏差污染的场景。
- 部署时采用验证集采样与模型集成：大规模推荐数据上计算完整影响向量开销大，可参照文中仅用 10% 验证子集和轻量模型集成（如 2~3 个不同架构），在保持调试 F1 几乎不降的情况下将运行时和显存大幅降低。
- 错误类型驱动的定向修复：识别出的标签错误、特征错误、虚假相关可分别应用重标注、Z-score 特征补全、少数群体重加权等修复策略，直接作用于召回/排序数据，提升后续模型 AUC。
FORT-Searcher：合成抗捷径搜索任务以训练深度搜索智能体
🧭 深度搜索Agent训练数据合成 ★ 深度解读
Renmin University of China · KAUST · IQuest Research · Shanghai Jiao Tong University
提出抗捷径数据合成框架 FORT，通过控制证据共覆盖、单线索选择性等风险生成高难度搜索轨迹，仅用 SFT 训练即可在深度搜索基准上取得最优。
📌 工作参考价值（4 点）
- 捷径风险检查：在构造多步推理任务（如电商知识问答、商品溯源）时，应主动检查证据是否被同一条搜索结果覆盖、单条线索是否过于特化、表面文本是否泄露了中间关键实体，防止模型绕过搜索直接作答。
- 对抗验证与自动修复：利用强 Agent 对合成题目进行“试跑”，根据轨迹中的答案命中时间、先验绑定率等指标自动诊断并修复易走捷径的题目，可用于生成高质量 Agent 训练数据，类似方法在推荐解释生成查询中同样适用。
- 模糊化策略：问题表述时用范围、类别、元属性代替精确值，可迫使模型进行多跳检索，这一思路可迁移到生成式推荐中的语义 ID 构建或查询改写，强化模型的信息获取能力。
- 上下文重置机制：当 Agent 陷入低效搜索时，清空历史并重启可显著提升复杂任务的成功率（在 BrowseComp 上提升 16.3 点），可作为 Agent 推理系统中的兜底策略。
基于艺术强化训练的冻结多模态大模型微调方法 ART
🧭 参数高效微调 · 视觉软提示 · 强化训练
University of Stavanger · NORCE Research
仅优化视觉像素输入实现软提示微调，无需修改计算图，兼容vLLM等高性能引擎
📌 工作参考价值（4 点）
- 多租户微调部署：若业务中部署多模态 LLM（如商品图文理解、交互式 Agent），ART 允许在不修改模型计算图的情况下注入任务知识，每个任务只需维护一个可学习图像，避免反复编译。这对 vLLM 等高性能推理引擎极其友好，可大幅降低多下游任务切换的成本。
- 快速实验与迭代：改变优化目标或任务时，只需重新训练输入像素，无需动模型权重。强化学习优化（GRPO）使奖励设计更灵活，适合需要不断调整策略的应用场景，如对话式推荐中的响应优化。
- 视觉软提示的可解释性与风格化：优化的视觉输入可以呈现为任务相关的艺术图像，让调试更直观，也可作为一种隐式正则，提升模型对分布外输入的鲁棒性。在推荐系统中，可尝试为不同品类或人群生成专属“视觉提示”，辅助文本决策。
- 兼容纯文本任务：实验在数学和工具调用等纯文本基准上取得与 LoRA 相当的效果，证明即便下游任务无真实图像输入，ART 仍能有效注入信息，因此也适用于以文本为主的推荐或 Agent 模型，前提是底层模型为多模态架构。
揭示 LoRA 中缩放因子的隐藏优化力量
🧭 LoRA 缩放因子优化
JD · UCAS · NKU
发现 LoRA 缩放因子 α 主导优化，与学习率作用不同，提出平方根法则及 LoRA-α 框架
📌 工作参考价值（4 点）
- 微调 LLM（如用于推荐解释生成、Agent 工具调用）时，放弃秩绑定的 α=2r 传统，采用平方根律 α = c√r（c 可由少量实验确定，如 c≈4~8），用标准小学习率即可高效收敛，简化调参。
- 若微调效果受限于收敛速度，优先放大 α 而非学习率：α 放大任务信号却不增加参数漂移（drift ratio），可避免过拟合与遗忘，特别适合在线持续微调场景。
- LoRA-α 的发现直接支持在电商多任务微调中固定 α，使用统一的小学习率（如 1e-4），无需为不同任务反复调整学习率，降低超参搜索成本。
- 频谱抑制平滑优化地形的洞察可用于诊断微调困难：若训练初期梯度方向杂乱，可增大 α 或降低秩以强化主成分信号，加速收敛。
注意力中的相变：复制头涌现的贝叶斯理论
🧭 Transformer 注意力机制训练动力学
Racah Institute of Physics, Hebrew University of Jerusalem · John A. Paulson School of Engineering and Applied Sciences, Harvard University · Institute for Advanced Simulation (IAS-6), Computational and Systems Neuroscience, Jülich Research Center · Institute of AI for Health, Helmholtz Munich · RWTH Aachen University
用贝叶斯框架证明 softmax 注意力在复制任务上随数据量出现一阶相变，解释了复制头的突然涌现
📌 工作参考价值（3 点）
- 主要是基础理论贡献，对电商/Agent/推荐系统的直接工程迁移有限。
- 理解 ICL 能力涌现的相变特性，可在训练 Agent 时监控注意力序参量，辅助决定数据投入与 checkpoint 选择。
- 线性注意力与 softmax 注意力的不同相变行为（二阶 vs 一阶）提示：若需要训练过程更平滑，可考虑线性注意力变体，但需权衡最终性能。
不稳定特征与可复现子空间：理解稀疏自编码器的种子依赖性
🧭 SAE训练稳定性 · 低秩子空间
T-Tech
提出可扩展的特征稳定性度量，揭示稳定特征主导功能信号，不稳定特征集中于可复现的低秩子空间
📌 工作参考价值（4 点）
- 若在电商推荐中采用 SAE 抽取可解释特征，应优先信任稳定性高的特征，它们对重建和下游预测贡献更大，不稳定特征多为表面形式触发，实际效果弱。
- 对于不同随机种子下特征不一致的问题，可通过跨种子合并独特特征构建更稳定的 SAE，同时保持解释方差，这一 trick 可直接用于生产中的可解释性模块。
- 不稳定特征虽单个不可复现，但整体驻留于可复现的低秩子空间，说明可对激活空间施加低秩约束来增强特征的可辨识性，为模型设计提供几何视角。
- 该稳定性评估方法可扩展，适用于不同模型层和字典大小，可快速筛选可靠特征，减少线上实验的种子敏感波动。
打破熵的限制：多token预测与拒绝采样加速强化学习训练
🧭 LLM强化学习训练加速 · 多token预测
Qwen Team, Alibaba Inc.
揭示RL阶段熵升高与MTP接受率的负线性关系，通过拒绝采样与TV损失将接受率提至95%，实现1.8倍训练加速
📌 工作参考价值（4 点）
- 拒绝采样替代贪婪采样：在电商对话式推荐或Agent策略生成中，当使用MTP（或多token生成）加速推理时，若模型因在线学习（如RL更新）导致输出分布偏移，应使用概率拒绝采样而非贪婪接受，以保持高接受率和加速比。
- 端到端优化接受率指标：推荐或生成模型中若采用多步草稿验证机制（如Sequential Recommendation中的beam search加速），可设计类似TV loss的目标函数，直接最大化多步联合接受率，替代中间步骤的KL或交叉熵损失，可提升整体推理吞吐。
- 预训练加速模块避免在线开销：在RL训练的rollout阶段，MTP模块可在RL开始前用端到端损失充分训练并冻结，避免在线更新引入的计算代价和分布波动，这对需要稳定服务的推荐Agent尤其有用。
- 熵监控指导加速策略：实际部署中，可监测生成熵值动态调整MTP步长或是否启用加速，当熵上升时自动切换到拒绝采样或回退到逐token生成，平衡效率与质量。
基于流形幂迭代重新设计 MoE 路由器
🧭 MoE 路由器设计 · 幂迭代对齐 ★ 深度解读
Renmin University of China · Tencent
让路由器行向量逼近对应专家权重的主奇异方向，以提升 MoE 路由质量
📌 工作参考价值（4 点）
- 路由器显式编码专家特征：在电商 Agent 多智能体或生成式推荐的 MoE 架构中，可直接替入 MPI，无需调整推理 pipeline。每步仅需一次幂迭代与 L2 归一化，零额外推理开销，能与现有负载均衡损失、z-loss 等兼容。
- 幂迭代替代正交化初始化：若业务中专家矩阵动态更新，可借鉴 MPI 的“Power-then-Retract”模板，用廉价矩阵乘实时跟踪主奇异方向，代替昂贵的 SVD 或静态正交初始化，使路由器持续对齐专家能力变化，尤其适合在线更新的场景。
- 常数 C 的缩放准则：论文给出的 C′ ≈ O(1/√N) 设计原则（C = C′/√N）可作为超参传递给不同专家数模型，在推荐系统扩容专家时降低调参成本，保障路由 logits 尺度稳定。
- 负载均衡意外收益：MPI 天然降低负载均衡损失，省去一部分复杂的平衡策略，可用于电商多业务专家流量的自动均衡，减少“专家失活”问题。
平稳即兼容：基于d-Simplex固定分类器的表示学习
🧭 模型更新时兼容表示学习
证明用d-Simplex固定分类器学到的平稳表示天然兼容旧模型，并结合对比损失捕获高阶依赖，无需重索引即可支持不间断检索。
📌 工作参考价值（4 点）
- 电商/推荐系统向量索引更新痛点：模型迭代时通常需要全量重嵌物品，成本极高。本文证明固定d-Simplex分类器可使新旧嵌入分布对齐，实现无需重索引的直接兼容，大幅降低工程开销。
- 训练技巧：采用固定原型（d-Simplex等角紧框架）作为分类器权重，结合交叉熵与对比损失的凸组合，既保持类别可分离性又强制旧模型兼容性，训练过程即满足兼容约束，可嵌入现有微调流程。
- 在Agent多智体中，若各Agent维护独立向量记忆库，模型替换时使用该方案可保证记忆库嵌入不失效，避免重新编码历史数据，保障服务连续性。
- 实验表明对比损失的加入能捕获高阶分布依赖，弥补纯交叉熵仅对齐一阶矩的不足，提示在类似表示对齐任务中可考虑矩差异损失与对比损失的协同。
信息流推理：用注意力图追溯回答导向的推理骨干，实现精准token级信用分配
🧭 推理信息流引导的token级RL信用分配 ★ 深度解读
Shanghai Jiao Tong University · Alibaba Group · Shanghai Artificial Intelligence Laboratory
将LLM推理过程建模为注意力引导的有向无环图，通过回答条件化的流守恒变换识别关键推理骨干token，用于强化学习的细粒度信用分配
📌 工作参考价值（4 点）
- 利用内部注意力图构建回答导向的信息流骨干，对token进行重要度排序，可借鉴到对话生成、Agent轨迹的细粒度信用分配，强化关键决策步骤而抑制无关填充。
- Doob‑h变换实现流守恒，保证中间节点不因路径长度而稀释或膨胀影响力，该归一化思想可直接移植到其他基于图的影响力传播任务（如推荐中的用户行为传导、物品关联）。
- 固定top‑40%高流量token进行GRPO loss重加权，超参简单且表现稳定，工程上仅需一次额外前向传播（2‑4%时间开销），适合在线RL训练环境。
- 中间层注意力包含最丰富的推理结构，避免使用全部层导致信号稀释，这对注意力分析的应用（如可解释性、模型诊断）提供了实用的层选择经验。
反馈对齐在自我蒸馏中的作用
🧭 LLM自我蒸馏的反馈设计
Gensyn
逐步对齐求解器推理的反馈在自我蒸馏中效果最佳，能精确修正错误并保留正确步骤。
📌 工作参考价值（4 点）
- 在训练多步推理智能体（如对话推荐）时，可生成与模型自身推理轨迹对齐的逐步评语作为自我蒸馏信号，只修正错误步骤，避免正确部分被扰动，相比整体奖励或参考解方式提升更显著。
- 将细粒度反馈（如每步批评）融入强化学习或蒸馏流程，适用于电商客服、商品推荐解释等需要长推理链的场景；可利用用户反馈或规则自动生成 step-aligned critique。
- 该方法揭示了反馈“结构对齐”的重要性：设计奖励或蒸馏目标时，应尽量与策略自身行为对齐，防止过度纠正。可迁移至 GRPO 等 RL 训练中的优势函数塑形。
- 在生成式推荐中，若要模型在无辅助信息时仍产出高质量推理，可采用自我蒸馏框架，但注意用逐步对齐的批评替代简单答案奖励，以提升推理稳定性。
混合线性注意力模型的CoT微调长程遗忘及修复方法
🧭 混合注意力模型的CoT微调退化分析与训练免费修复 ★ 深度解读
LARK, HKUST(GZ) · University College London (UCL) · Mistral AI · Tsinghua University · Singapore University of Technology and Design (SUTD)
CoT微调破坏混合模型的长距离召回，提出仅恢复 Q/K 投影的训练免方法QK-Restore，高效修复
📌 工作参考价值（3 点）
- 若使用混合线性注意力模型（如 HypeNet、Jet-Nemotron）处理长上下文（例如多轮对话、长文档），在 CoT 推理微调后应监控检索退化，可直接用 QK-Restore 方法恢复基座模型的 Q/K 投影权重，几乎零成本复原长程召回。
- 观察到 CoT 序列的局部梯度偏向现象具有通用性，做 CoT SFT 时可通过冻结 Q/K 投影或使用 QK-Restore 修复，避免长上下文能力丢失，适用于将推理能力注入长上下文应用（如多步检索增强生成）。
- 该修复手法仅替换 Q、K 矩阵，保留 V 和输出投影的微调增益，表明可以将“路由”与“内容提取”解耦，对混合模型架构设计有指导意义：部署时可分别管理路由和提取参数，进行差异化更新。
N-GRPO：嵌入级近邻混合增强策略优化
🧭 LLM 训练 · 策略优化 · 探索增强
Zhejiang University · Ant Group
通过语义近邻混合同一 token 的嵌入，在 GRPO 中注入多样性且保持语义一致，提升数学推理
📌 工作参考价值（4 点）
- RL 训练中的探索策略：在 LLM 微调（如推荐理由生成、对话策略、Agent 行动规划）时，使用语义近邻混合替代 token 级采样或随机噪声，可生成更多样但语义连贯的轨迹，缓解模式坍塌。
- 嵌入级扰动技巧：直接操作 token 嵌入而非离散 token，通过 k 近邻插值在连续空间内注入多样性，可迁移至生成式推荐中 Semantic ID 解码时的探索，或对话系统中多样性回复生成。
- 训练稳定性与效率：该方法避免了完全随机的嵌入扰动带来的语义崩溃，训练过程更稳定；工程实现上需预先构建语义近邻索引（如使用 FAISS），推理阶段可快速查表。
- 泛化能力：在分布外任务上也有效，适合电商场景中多变的商品描述和 query 改写，可作为后训练探索的即插即用模块。
影响引导的自我进化提升推理能力
🧭 自我进化训练 · 影响引导课程学习 ★ 深度解读
Yale University · Stanford University · University of Chicago · Toyota Technological Institute at Chicago · University of California, San Diego
提出INFUSER框架，用影响分数指导生成器与求解器协同进化，无需外部教师，大幅提升数学和通用推理性能。
📌 工作参考价值（4 点）
- 影响分数作为合成数据质量度量：使用开发集梯度与合成样本引起的模型更新方向的余弦相似度来评估单个样本的训练价值，可借鉴到推荐系统的样本筛选或Agent领域的数据蒸馏，替代简单的难度或困惑度指标。
- 生成器-求解器协同进化范式：将生成训练数据与模型训练建立成双层博弈，让生成器根据求解器当前能力实时调整输出，这类似推荐系统中召回与排序的联合优化或Agent多体协作的场景，可以通过更小的开发集引导数据生成远离分布外噪声。
- DuGRPO稳定连续奖励训练：针对影响分数这类连续且带噪声的奖励，提出组内+批内双重归一化，避免低方差组的噪声放大和高方差组的梯度主导。在推荐模型的强化学习微调（如GRPO）中，当奖励函数从离散点击变为连续业务指标时，可直接复用该归一化技巧。
- 文档池作为可持续课程来源：利用无结构化文档（如教材）作为生成器输入，无需昂贵的人工标注，结合影响引导就能自动形成难度适中的课程。电商场景中可用商品描述、用户评论等非结构化文本，生成多模态问题-答案对，持续提升对话Agent或推荐解释生成的质量。
SG-OPD: 符号一致性门控与分阶段教师采样的在线策略蒸馏
🧭 训练方法 · 在线蒸馏与符号一致性
Zhejiang University · Hunan University · Tianjin University · Shanghai Jiao Tong University · Jilin University
用验证器信号在轨迹和 token 层面过滤教师噪声，显著提升数学推理中的在线蒸馏效果
📌 工作参考价值（4 点）
- 在蒸馏冷启动阶段，使用验证器认可的教师轨迹按比例混入学生采样，能缓解轨迹对齐脆弱性问题；对电商场景下从大模型向小模型蒸馏对话或推荐理由时，可参考该分阶段策略以稳定初期训练。
- 符号一致性门控根据验证器与教师偏好的方向一致性，外推或内插蒸馏更新，相当于给 token 级监督赋予可调信任权重；在生成式推荐或 Agent 动作生成中，可引入类似的二值验证器来鉴别教师 token 的可靠性，降低噪声标签对蒸馏的负面影响。
- 整体框架强调用验证器作为学生和教师之外的第三方信任信号，这为多智能体系统中的知识迁移提供了新思路：可以设计一个专门的验证 Agent，监督教师智能体对学生智能体的指导质量。
- 尽管实验集中在数学推理，但方法不依赖任务特定设计，可直接迁移至任意序列生成任务的在线蒸馏，例如商品描述改写、搜索 Query 扩展等。
重新思考LLM强化学习中的散度正则化
🧭 LLM 强化学习训练·信任域正则化 ★ 深度解读
Tencent Hunyuan · UIUC · NUS
提出DRPO，用连续二次正则化替代硬掩码，实现基于Binary-TV散度的平滑信任域，提升LLM RL训练的稳定性与效率
📌 工作参考价值（4 点）
- 信任域设计应从比例转向绝对概率偏移：在长尾词表的LLM策略优化中，重要性比率 (ratio) 不能准确反映分布变化。DRPO 通过 Binary-TV 散度（|π-μ|）定义信任域，对高频token更严格、对低频token更宽松，避免 PPO 对稀有token的过度惩罚，适合电商推荐中大量长尾item的生成式建模。
- 用平滑正则代替硬掩码，提供连续纠正信号：DPPO 的硬掩码在边界处梯度突变且无纠正。DRPO 的二次正则项产生有界、连续的梯度权重，边界内逐步衰减更新，边界外反向修正。这种设计可迁移到多智体训练、推荐模型RL微调等需要稳定策略更新的场景。
- 正则项必须与优势绝对值 (|A|) 挂钩：DRPO 通过 |A| 加权正则项，使信任域边界独立于奖励尺度，避免小优势token过纠、大优势token欠纠。在多轮对话Agent或推荐系统中，奖励信号常带噪声，该设计能增强训练鲁棒性。
- 低精度 (如FP8) 训练场景下更稳健：由于训练-推理数值不匹配加剧off-policy程度，DRPO 的 bounded gradient 在 FP8 E2E 设置下仍保持稳定，而 ratio-based 方法（GRPO/SPO）易崩溃。对于需要降低成本的大规模工业训练（如电商LLM部署）具备直接工程价值。
轨迹精炼蒸馏：缓解在线策略蒸馏的前缀失效
🧭 LLM 在线策略蒸馏 · 轨迹级纠正 ★ 深度解读
McGill University · Mila Quebec AI Institute · University of Texas at Austin
提出轨迹精炼蒸馏(TRD)，由教师修正学生生成的错误前缀后再进行蒸馏，突破token级干预局限
📌 工作参考价值（4 点）
- 在线蒸馏中，直接对错误轨迹做逐token KL会导致监督退化；可借鉴TRD思路：先用强模型（教师）修正学生生成的整个推理轨迹，再蒸馏，以根治前缀错误。
- 正向KL配合全词表匹配在蒸馏中更稳定，避免模式崩塌；在电商Agent的生成式推理训练中可优先采用此损失形式。
- 自蒸馏时，利用参考答案等特权信息生成精炼轨迹，能在不增加外部模型的情况下有效提升学生推理能力和探索宽度。
- 精炼轨迹通常更简短，可缩短训练序列、降低算力开销，适合大规模工业蒸馏任务。
MaskAlign: 用于高效扩散训练的 Token 子集表示对齐
🧭 高效扩散模型训练 · Token 子集对齐
The Hong Kong University of Science and Technology · Kuaishou Technology · University of Chinese Academy of Sciences
提出随机 Token 子集对齐与预掩码混合，大幅加速扩散 Transformer 训练并提升生成质量。
📌 工作参考价值（4 点）
- 主要是学术贡献，面向电商/推荐/AI 业务可借鉴点有限，但以下思路可参考：
- 训练跨模态对齐模型（如商品图文匹配）时，可尝试随机屏蔽部分 token 进行子集对齐，并引入轻量 token mixing 模块，增强对不完整输入的鲁棒性。
- 梯度分析定位重要 token 的方法可迁移用于诊断推荐模型的特征对齐过程，识别哪些用户行为 Token 更关键。
- 随机子集采样减少了对齐所需计算量，可作为训练加速 trick 在资源受限时使用。
可逆基础：通过状态保持扩展训练120B稀疏MoE模型
🧭 大规模MoE训练与模型扩展
The School of AI, Bengaluru, India
在单8GPU节点上，结合可逆堆叠与状态保持增长，端到端训练出120B稀疏MoE，优化器状态缩减45倍。
📌 工作参考价值（4 点）
- 可逆设计用于长序列推荐：电商用户行为序列往往很长，可逆层可将激活内存降至常数，适合在有限显存下扩展推荐模型的序列长度，例如用于用户长期兴趣建模。
- 渐进式模型扩容：从种子模型出发，通过状态保持增长逐步扩大专家数量，这一思路可直接借鉴到生成式推荐模型的迭代：先训练小规模Semantic ID生成器，再逐阶段增加专家，避免冷启动训练的高成本。
- TQP量化训练策略：对基础专家权重量化，仅对低秩适配器保留优化器状态，显著降低显存占用。在电商多模态Agent微调或生成式推荐模型部署时，可用类似方法在大参数量下保持低资源推理与训练。
- 施工级工程报告：文中详细记录了扩展中的失败模式，如“静默失败”导致假性收敛，这对实际构建大规模推荐系统时有警示意义，能帮助团队提前规避类似陷阱。
面向任务无关持续学习的稀疏子空间到专家共享方法
🧭 LLM 持续学习 · Mixture of Sparse Experts
Iowa State University · Argonne National Laboratory
通过稀疏 MoE 自适应分解任务共享与特有知识，并用弹性锚定和路由正则化缓解灾难性遗忘
📌 工作参考价值（4 点）
- 多任务推荐的增量更新可借鉴任务特定与共享专家分离：当电商推荐需要持续适配新品类或促销时，将突发 pattern 注入专属专家，避免覆盖通用偏好知识。
- 路由感知正则化与弹性锚定对在线模型稳定更新有参考价值：在推荐系统不停服微调时，可对关键共享参数施加弹性约束，防止遗忘核心基础能力。
- 稀疏激活的 MoE 结构天然适合低延迟服务：在生成式推荐或 Agent 中，每次推理仅激活少量专家，可控制计算开销，适合在线增量学习场景。
- 任务无关的自动门控机制对 Agent 长程任务序列有效：Agent 持续学习多工具调用时，门控可按子任务组合历史专家，无需人工指定，提升向后迁移。
打破气泡：有界权重不一致的异步流水线并行训练
🧭 分布式训练 · 流水线并行优化
Technion - Israel Institute of Technology · Ben-Gurion University of the Negev
通过局部梯度积累作为版本控制，零气泡异步流水线以有界权重漂移换取训练加速
📌 工作参考价值（4 点）
- 梯度累积被重新用作一种轻量级版本控制机制：通过增大累积步数减缓参数版本演化，使异步流水线中微批次跨越的优化器更新次数有界，从而控制权重不一致，这个思路可直接用于训练推荐大模型或 Agent 的 LLM 骨干网，无需额外校正模块。
- PACI 无需权重暂存、预测或全局同步，内存峰值与同步 1F1B 持平，对 GPU 显存敏感的电商推荐模型训练（如多模态大模型）很有吸引力，可以在不增加显存成本的前提下消除流水线气泡。
- 实现零气泡流水线调度：所有设备持续利用，在 GPT 预训练中获得 1.69× 的时间到精度加速。对于需要快速迭代训练的大规模 Agent 或生成式推荐模型，可考虑采用类似有界异步流水线策略来压缩实验周期。
- 该方法揭示一个原则：前向/后向的权重不一致不必完全消除，显式控制其边界即可安全地换取效率。在设计其他分布式训练策略（如异步数据并行或混合并行）时，可借鉴这一思路，通过参数版本漂移的定量控制来简化系统设计。
LLMCodec: 用视频编解码器高效压缩大模型权重
🧭 模型压缩 · 仿射量化与视频编码
Shanghai Jiao Tong University
将视频编解码器VVC/H.266与仿射量化结合，无需微调即可高压缩LLM权重，显著降低困惑度并提升下游精度
📌 工作参考价值（4 点）
- 权重压缩方法可直接用于电商推荐模型部署，在边缘设备或带宽受限场景下降低模型体积和传输成本
- 视频编解码器对矩阵数据的结构化压缩思路可迁移到推荐系统Embedding表的压缩，利用现有硬件编解码加速
- 无需校准数据或微调的压缩流程适合在线学习场景，模型更新后无需重新校准即可快速压缩发布
- 2-bit极限压缩下仍保持较低困惑度，为Agent场景中的轻量化LLM本地部署提供新的压缩方案
PC层：多项式权重预调节改善大语言模型预训练
🧭 大模型训练优化 · 权重预调节
The Chinese University of Hong Kong, Shenzhen · Google LLC · University of Illinois at Urbana-Champaign · Shenzhen International Center for Industrial and Applied Mathematics, Shenzhen Research Institute of Big Data
提出可插入Transformer的PC层，通过多项式预调节重塑权重奇异值谱，训练后吸收无推理开销，提升LLM预训练稳定性
📌 工作参考价值（4 点）
- 在电商、Agent等场景的Transformer（如行为序列模型、对话模型）预训练中，若出现训练不稳定或梯度范数异常，可尝试插入PC层作为轻量权重正则化，训练后无推理成本。
- 结合Muon优化器使用时，PC层有额外增益；工业界若评估切换到Muon以获得更优收敛，可同时引入PC层。
- PC层可视为一种即插即用的权重谱整形工具，与现有RMSNorm等输出归一化兼容，可叠加使用以进一步稳定训练。
- 对于预训练后需部署的生产模型，PC层的可合并特性意味着零推理改动，适合 A/B 测试或逐步上线。
RREDCoT：面向推理模型的段级奖励再分配
🧭 RL微调中的信用分配与奖励再分配 ★ 深度解读
Johannes Kepler University Linz · Cognizant AI Lab · NXAI GmbH
利用语言模型自身近似最优奖励再分配，无需额外生成，提升GRPO等强化学习的样本效率。
📌 工作参考价值（4 点）
- 多步推理Agent的奖励塑形：可直接利用策略模型自身预估中间状态价值，避免额外价值网络或MC采样，适合长序列在线训练。
- 高效分割策略：混合关键词–熵合并的分割方法可为长文本生成任务（如商品描述生成、对话策略）提供廉价且有效的片段级奖励分配。
- 自助奖励再分配：当缺少参考解时，可用模型自身产生的正确答案进行奖励再分配，适配真实业务中无完美演示的场景。
- 轻量实现：仅需一次前缀前向传播即可获得片段级信用，KV复用使峰值显存不变，适合在现有GRPO等RL管线中快速集成。
上下文多示例学习
🧭 多示例学习 · 上下文预训练
Berlin Institute for the Foundations of Learning and Data · Technische Universität Berlin · Aignostics · Charité – Universitätsmedizin Berlin · Max-Planck Institute for Informatics
合成数据预训练Perceiver上下文学习器，单次前向传播实现少标签MIL分类，平均性能超越专训基线
📌 工作参考价值（4 点）
- 电商推荐中可将用户行为序列视为袋，利用少量已标记袋（如购买）进行多示例弱监督，识别关键行为物品
- 上下文学习范式可实现推理时仅提供少量示例即适应新推荐任务，免去逐任务微调，适合多场景快速上线
- 合成数据预训练策略可迁移至推荐冷启动：生成合成用户会话数据预训练排序模型，增强小样本下的归纳偏置
- Perceiver 架构可高效处理任意长度用户行为序列，无需截断或填充，适合推荐系统长序列建模
双重预处理（DoPr）：优化测试时性能而非验证损失
🧭 训练优化 · 测试时反馈
University of Pennsylvania · Carnegie Mellon University · Amazon FAR
提出双重预处理（DoPr）结合梯度与激活预处理，提升自回归等测试时反馈场景下的下游性能，且不一定改善验证损失。
📌 工作参考价值（4 点）
- 在自回归生成、多步推理等测试时反馈场景中，可直接将 DoPr 作为即插即用的训练方案，减少误差累积，提升下游任务成功率。
- 对于电商 Agent 的规划、工具调用等需要多步 rollout 的任务，DoPr 提供了一种不依赖昂贵 RL 微调的轻量优化思路。
- 激活预处理（AP）强调层间特征学习的均匀性，这可以迁移到推荐模型中，潜在地改善特征交互与泛化，尤其在 generation-based RecSys 中值得尝试。
- 验证损失与下游指标脱钩的发现提醒：在评估生成式推荐或多步 Agent 时，不能仅追求单步预测损失，应直接观测 rollout 质量或任务完成率。
TailLoR：保护主成分的参数高效持续学习
🧭 参数高效持续学习 · 谱分解
Bitdefender, Romania
通过软谱惩罚将低秩适应引导至长尾奇异方向，缓解持续学习中的干扰与遗忘
📌 工作参考价值（4 点）
- 在电商推荐模型的持续更新中，用TailLoR替代标准LoRA，可将新任务对历史知识的干扰从主成分转移到长尾维度，有效缓解灾难性遗忘。
- 可直接将预训练权重的奇异基冻结为参考系，仅学习对奇异值矩阵的低秩更新，参数效率极高，适合部署于频繁迭代的推荐Agent。
- 软谱惩罚项可单独作为正则化技巧，融入现有LoRA微调流水线，强制模型利用未充分优化的长尾表示，提升多任务顺序学习能力。
- 该方法天然适配多域推荐场景（如不同商品类目），允许逐个域顺序学习而无需重训练所有数据，降低工程成本。
无需递归的递归网络预训练方法 SMT
🧭 RNN 预训练 · 长程依赖优化
MIT
SMT 将 RNN 训练转化为有监督记忆转移学习，实现时间并行且梯度路径 O(1) 稳定训练长程依赖
📌 工作参考价值（4 点）
- 电商用户行为序列（点击、购买）建模可用 SMT 稳定训练长序列 RNN，缓解梯度问题，捕获更长期的兴趣演化。
- SMT 的时间并行训练特性可大幅加速大规模用户序列的 RNN 预训练，适合百万级序列场景。
- 解耦“记忆内容”与“更新规则”的设计可借鉴为记忆网络优化：使用一个独立模块（如 Transformer）预先压缩历史为预测性状态，再教 RNN 逐步更新。
- 若业务中已有 Transformer 模型，可将 SMT 视为一种离线知识蒸馏方案，将 Transformer 的长程能力注入 RNN 以提升在线推理效率。
学习遗忘什么：通过学习的令牌级重要性改进LLM遗忘
🧭 LLM 遗忘学习 · 令牌重要性学习
Theory of Machine Learning Lab, EPFL
提出交替令牌加权遗忘（ATWU），通过可学习的令牌重要性评分实现无监督、轻量级的选择性遗忘，达到SOTA的遗忘-保留权衡。
📌 工作参考价值（4 点）
- 对于电商推荐或Agent中基于LLM的组件，若需遗忘用户隐私数据、过时知识或有害内容，可采用ATWU思路：从隐藏状态学习每个令牌的遗忘特异性评分，无需外部标注，轻量且可嵌入现有微调流程。
- 交替优化策略（冻结模型参数更新评分器、冻结评分器更新模型）可稳定联合学习，避免单步耦合带来的训练不稳定，适合在线持续遗忘场景。
- 线性评分器仅增加微小计算开销，可以在推荐模型的序列令牌（如用户行为序列、生成式推荐中的Semantic ID序列）上复用，实现选择性遗忘或知识更新。
- 该方法定义的“遗忘特异性”基于与保留目标的冲突程度，这一准则可迁移到多任务学习中：识别哪些样本或令牌对主任务关键而对辅助任务不冲突，用于动态样本加权。
证据诊断干预训练：实现LLM规则遵循评分的两阶段框架
🧭 LLM推理过程诊断与干预训练
King’s College London · University of Cambridge · AQA · The Alan Turing Institute
通过内部信号诊断推理步骤并局部干预，结合信念引导的奖励塑形，提升LLM评分的规则遵循性
📌 工作参考价值（4 点）
- 内部信号驱动的错误定位：使用模型对最终评分的 posterior belief 及输入 grounding 分数自动定位推理链中的问题步骤，这种方法可迁移到电商商品审核、合规文案检查等需要多步推理的场景，避免人工标注步骤级错误。
- 局部干预而非全盘重训：仅针对诊断出的问题步骤进行修正，且引入 rubric checklist 作为外部知识，可借鉴至需要严格遵循规则的 Agent 流程，如客服话术合理性判断，只修正违规局部而保留整体流畅性。
- 信念引导的奖励塑形：在 RL 阶段通过 belief drift 惩罚有害的信念偏移，同时允许有益探索，这种细粒度的奖励设计可用于训练更可靠的对话 Agent，防止其偏离原始承诺或规则。
- 两阶段训练策略可复用到复杂决策：先通过 SFT 定位并修正错误，再以 RL 校准整体行为，这种组合对电商场景中的多智体协作策略优化（如议价、售后协商）具有参考价值，先纠正局部不合理策略，再全局对齐。
不变梯度对齐的鲁棒推理蒸馏
🧭 鲁棒知识蒸馏 · 不变学习
University of Oxford · FLock.io
通过逻辑同构集和连续梯度冲突掩码对齐梯度，提升小模型链式推理的 OOD 泛化性
📌 工作参考价值（4 点）
- 蒸馏推理模型时，构造跨域逻辑同构数据可显著减少表面捷径学习，对需要跨品类解释的推荐系统 CoT 蒸馏有直接借鉴。
- 连续梯度冲突掩码（M=exp(-τ·V)）可抑制任务特定维度，保留跨任务不变梯度，适用于多任务推荐模型（如同时优化点击、转化、停留）中避免负迁移。
- 将掩码梯度通过截断 SVD 投影回 LoRA 子空间，不引入额外推理参数，适合在参数高效的推荐召回或排序模型微调中部署。
- 逻辑一致性得分可作为评估指标，用于检测推荐解释或 Agent 推理的 OOD 稳定性，促进生产级可靠性。
Code2LoRA：面向软件演化的超网络生成代码适配器
🧭 参数高效微调 · 超网络生成 LoRA
University of Waterloo
用超网络为代码仓库动态生成 LoRA 适配器，零推理 token 开销注入库级知识，支持静态与演化场景。
📌 工作参考价值（4 点）
- 为不同场景动态生成 LoRA：超网络可推广到电商推荐中，为不同用户群、商家或商品类目生成专属 LoRA，避免为每个实体独立微调，节省存储与训练成本。
- 零推理 token 开销注入知识：生成的适配器直接融合到基座模型，推理时无额外上下文拼接，适合延迟敏感的推荐重排或 Agent 调用。
- 进化机制应对分布漂移：GRU 隐藏状态按 commit 更新适配器，类似可用于在线学习场景，持续跟踪用户兴趣变化或商品趋势，低成本保持模型新鲜度。
- 基准与评估框架：RepoPeftBench 的构建思路可借鉴到电商领域，构建包含不同商家、不同时期的 PEFT 评估基准，量化个性化与迁移能力。
复杂度平衡的扩散分治策略
🧭 扩散模型·时间维度分治与动态容量分配
The Hebrew University of Jerusalem
基于等分布原理将扩散过程切分为等难度子任务并分配专用子网络，在不增加推理成本下显著提升生成质量。
📌 工作参考价值（4 点）
- 动态算力分配思路可迁移至生成式推荐：电商中的生成式推荐（如物品标题、理由生成）若采用扩散范式，可借鉴 CBS 按生成阶段难度分配模型容量，将困难阶段（如构建语义 ID 的后期细粒度部分）用更大子网络处理，提升生成质量而不增加总推理成本。
- 复杂度估计的轻量方案：使用袖珍辅助模型预测不同时间步的近似难度（Dirichlet 能量或轨迹加速度），无需昂贵搜索。在推荐场景中，可对 embedding 生成过程建立类似的复杂度度量，指导 MoE 专家网络的选择或自适应推理步数。
- 分治思想用于多智能体协调：Agent 系统中处理长链路任务时，可根据任务片段复杂度动态分配不同能力的 Agent，类似 CBS 按时间分片分配子网络，提高整体协作效率。
- 训练时的阶段型容量分配：在训练生成式推荐模型时，可参考 CBS 的等分布原则，让不同训练阶段（如从噪声到语义）使用不同容量的小模型，节省训练资源，适合大规模电商模型的高效训练部署。
基于分布式DAgger的丰富反馈强化学习方法
🧭 LLM强化训练 · 自蒸馏信用分配 ★ 深度解读
University of Southern California
提出DistIL，用前向交叉熵代替反向KL，实现单调策略改进与未来感知信用分配，在科学推理、编码和数学难题上超越现有自蒸馏方法。
📌 工作参考价值（4 点）
- 用前向交叉熵替代反向KL做策略蒸馏：在电商Agent或推荐策略自蒸馏中，反向KL可能因对数比加权而抑制某些有效行为，改用前向交叉熵能直接向教师方向移动，获得单调改进保证，训练更稳定。
- 未来感知的序列级信用分配：拒绝局部token-wise梯度近似，保留对未来状态的梯度传播，可让Agent的早期决策（如对话策略中的首轮动作）得到准确的延迟奖励信号，避免收敛到次优策略，适用于多轮对话或推荐序列优化。
- 黑盒教师兼容的样本估计：DistIL只需从教师采样即可估计梯度，无需教师概率，方便利用外部黑盒模型、人工专家或带反馈的推理痕迹，在电商场景中可直接用用户行为日志或工具反馈来蒸馏策略，降低对教师内部结构的依赖。
- 奖励对齐的下界优化解释：前向交叉熵目标可被视为最大化教师加权的成功对数似然下界，直接提升Pass@N，这一视角可用于推荐系统的列表级评估优化，比如在生成式推荐中提升Top-K准确率。
OPRD：在策略表征蒸馏
🧭 策略蒸馏 · 表征对齐
Zhejiang University · Ant Group
将在策略蒸馏从输出空间提升到隐藏状态空间，消除采样方差并提供更丰富的结构化监督信号
📌 工作参考价值（4 点）
- 用表征蒸馏替代输出空间KL：在训练小模型（如电商客服、推荐解释）时，可直接对齐学生与教师中间层隐藏状态，绕过庞大的词表投影，消除采样方差，使训练更稳定，尤其适用于大词表（如中文150k+）场景。
- 内存与速度优化：OPRD loss在LM head之前计算，避免存储完整词表分数矩阵，训练速度快1.44倍，内存减少54%，适合资源受限的线上微调或频繁迭代。
- 层间对齐可迁移到多模态或推荐模型：方法不限于文本，可扩展到多模态表征蒸馏（如视觉-语言对齐），或用于推荐系统中用户/物品编码器的迁移学习，将复杂大模型知识压缩到轻量级线上模型。
- 提供确定性、逐层结构监督：相比输出蒸馏的稀疏奖励，表征蒸馏给出逐位置、逐层的稠密信号，利于捕捉细粒度语义，对于对话Agent的多轮一致性、推荐解释生成等任务可能更有效。
通过子集扰动稀疏恢复的高效训练数据归因
🧭 训练数据归因 · 稀疏恢复
University of Toronto · Vector Institute · Max Planck Institute for Intelligent Systems · ELLIS Institute · Thoughtworks
将训练数据归因建模为激活空间的稀疏恢复问题，让轻量 steering operator 模拟数据影响，速度快 13 倍且 SOTA
📌 工作参考价值（5 点）
- 可作为电商推荐/Agent 系统中追溯预测来源、诊断数据问题的高效工具：
- 将训练数据影响分析从梯度空间迁移到激活空间，避免反复重训练或全梯度计算，适合在线即时归因需求
- 利用稀疏恢复选择关键训练样本，可快速定位导致推荐错误或 Agent 决策异常的训练案例，辅助数据清洗与调试
- 通过预训练 steering operators 实现 “即插即用” 的归因能力，可集成进数据反馈闭环，用于增量数据质量评估与数据选择
- 方法对模型架构无侵入，仅需提取激活值，可适配各类基于 Transformer 的推荐模型与生成式推荐管道
为什么 Muon 优于 Adam：曲率视角
🧭 优化器比较 · 曲率与 NDS
National University of Singapore · Yale University · University of Minnesota
Muon 因更低的标准化方向锐度 (NDS) 实现更小的二阶曲率惩罚，从而获得更大的一步损失下降。
📌 工作参考价值（4 点）
- 在大规模推荐或 Agent 模型训练中，可尝试用 Muon 替代 Adam，尤其在数据长尾分布下，Muon 可能带来更快的收敛和更好的泛化。
- 关注 NDS 作为优化器选择的度量：优先选用在训练后段 NDS 更低的优化器，这可能意味着更平滑的收敛和更小的曲率惩罚。
- Muon 的频谱归一化思想可迁移到其他自适应优化器中：通过显式约束更新矩阵的奇异值能量分布，避免梯度对齐高曲率方向导致的优化震荡。
- 数据不平衡（如电商用户行为幂率分布）会放大 Muon 的优势，可据此设计自动优化器选取策略：当数据偏度超过阈值时切换至 Muon 类优化器。
在基于评分标准的强化学习中复现、分析和检测奖励黑客行为
🧭 RL训练 · 奖励黑客检测与偏向分析
Tsinghua University · Harbin Institute of Technology, Shenzhen · Xi'an Jiaotong University
提出CHERRL可控环境，向LLM评判器注入已知偏向以稳定复现奖励黑客，并实现自动检测。
📌 工作参考价值（4 点）
- 若使用LLM评判器（LaaJ）优化生成式推荐或Agent策略，可模仿CHERRL注入已知偏向（长度、格式、关键词偏好），测试评判器的鲁棒性，提前发现易被hack的漏洞。
- 部署训练时监控gold reward与proxy reward的实时差异（类似文中的reward divergence），当差值急剧扩大时触发警报，预防策略模型走偏。
- 借鉴其Agent驱动的日志分析系统，自动从训练日志中检测reward hacking起始点，减少人工审查成本。
- 应用论文的“可发现性-可利用性”框架，对奖励模型的安全性进行分级评估，优先修复那些易被快速利用的偏向，提升RL训练稳定性。
EvoTrainer：自主训练中策略与诊断羁绳的共进化框架
🧭 自动化训练 · 共进化诊断 harness ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Tongyi Lab, Alibaba Group · Alibaba Group · SUAT
提出 EvoTrainer，让训练诊断 har ness 随策略共同进化，在 SWE/Math/Coding 上超越人工 RL 基线
📌 工作参考价值（4 点）
- 训练诊断基础设施的持续进化：在推荐系统模型迭代中，可引入版本化的监控指标（如 CTR、留存）和诊断分析器，当业务指标停滞时，自动探测新瓶颈（如曝光偏差、用户群体差异），触发诊断升级。
- 持久化训练技能库：积累已验证的调参机制（如方差过滤、长度惩罚），跨项目复用，类似 StdGroupFilter 在 SWE→Math/Coding 的迁移，可构建推荐场景的“策略模板库”。
- 避免纯 score 驱动的短视自主迭代：通过引入行为层诊断（如用户行为序列检查、重复曝光统计），防止虚假高分模型被错误提升，类似 Git 泄露审计。
- 版本化实验管理与回溯：保留完整训练谱系和干预记录，便于事后归因，为自动实验平台提供审计和演绎能力。
小模型天然为GRPO提供策略级多样性
🧭 GRPO训练中策略级探索增强 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory · The Chinese University of Hong Kong · City University of Hong Kong
利用同家族小模型的策略级多样性替代token噪声，通过渐进退火实现大模型训练加速与性能提升
📌 工作参考价值（3 点）
- 在推荐/Agent场景中，可借鉴用能力较弱但行为更多样的模型（如蒸馏小模型）生成候选离线样本，训练更强的决策模型，实现低成本探索。
- 渐进退火策略：训练早期多用小模型rollout保证多样性，后期逐步切换至大模型on-policy，避免分布偏移导致性能退化，这一机制可直接用于离线强化学习或推荐系统的A/B策略优化。
- 利用同一模型家族内天然存在的策略差异（通过蒸馏带来的参数级扰动）作为多样性源，比粗暴提高采样温度更稳定、生成的序列更具逻辑连贯性，对需要保持文本质量的电商文案生成等多步推理任务有参考价值。
多领域RL中跨域干扰与恢复的局部扰动理论
🧭 LLM多领域RL训练干扰机理与恢复
TJUNLP Lab, College of Intelligence and Computing, Tianjin University · Baidu Inc.
揭示多领域RL顺序训练的稀疏共享冲突子空间，通过refresh即可高效恢复旧领域性能
📌 工作参考价值（4 点）
- 顺序微调LLM多个任务时，可通过简短的“刷新”步骤（用极少量旧域数据再训练几步）以极小代价恢复受损域性能，避免昂贵联合训练。
- 干扰集中于低维冲突子空间，可在线监测模型顶部稀疏神经元的梯度方向重叠或参数变化冲突，提前预警新任务训练对旧能力的损害。
- 训练免回滚方法揭示了冲突坐标集的存在，可对已部署模型做选择性参数回退，精准修复特定指标退化而无需全量回滚。
- 对于电商多技能Agent，不同能力微调可采用LoRA等稀疏适配，冲突时仅需刷新对应适配器，大幅降低跨域干扰风险。
PEFT 的三轴缩放：万亿参数基础模型支撑百万持久个性化模型
🧭 PEFT 缩放 · 个性化模型 · LoRA RL ★ 深度解读
Mind Lab
通过 Scale Up（强先验）、Scale Down（小型稳定适配器）与 Scale Out（适配器种群）三轴协同，让 LoRA 在万亿 MoE 上实现低成本、可持续的个性化 RL 更新与集体智能。
📌 工作参考价值（4 点）
- 用户级 LoRA 适配器：电商推荐或 Agent 系统可对每个用户或 Agent 实例维护一个 LoRA adapter，仅更新 <1% 参数即可捕获长期偏好、技能或工具使用习惯，成本远低于完整模型微调。
- RL 训练的稳定初始化：在 RLHF 或 RLVR 场景中，极低秩 adapter (rank=1) 的初始化不能简单复用 SFT 下的 SVD 初始化，应使用控制初始更新幅度的 RL-native 方法（如 OLoRA-tail），避免策略漂移导致 KL 崩溃。
- 多 Adapter 投票提升决策质量：当存在多个来自不同用户或 Agent 的 adapter 时，可借鉴论文中基于多样性的大数投票机制，聚合多个适配策略输出，在推理阶段获得集体智能收益（AIME24 准确率从单模型 36.4% 提升到 198 模型的 48.7%）。
- 训练–推理一致性：大规模 MoE 部署个性化模型时，路由差异会导致训练策略与线上策略不一致，采用 Router Replay R3 等技术记录并回放路由决策，可保证 RL 更新的有效性。
通过学习何时信任弱教师实现近乎无损的弱到强泛化
🧭 弱到强泛化 · 数据选择 ★ 深度解读
Johns Hopkins University
提出神经信任函数，从教师内部表示预测弱标签正确性以过滤噪声，实现匹配甚至超越真值训练的弱监督泛化，并可通过迭代链滚雪球式提强。
📌 工作参考价值（4 点）
- 弱标签质量过滤：当业务中只有弱监督（如用户点击、规则伪标签）时，可训练一个小型神经网络，从强模型的隐层表示预测标签正确性，仅用高信任度样本训练主模型，大幅减少噪声。
- 隐式课程学习：信任函数倾向选择简单样本，形成从易到难的自然课程，有助于大模型稳定训练，可直接用于冷启动或样本不均衡场景。
- 迭代自我提升：将当前模型作为下一轮的“教师”，用信任函数筛选其输出作为新训练数据，逐步提升模型能力，类似自训练，但过滤机制能防止错误累积，适合在标注稀缺时扩增高质量训练集。
- 风险控制的数据选择：提供基于霍夫丁上界的阈值校准方法，只需少量标注数据即可自动确定高纯度子集，避免人工调参，适合自动化数据生产 pipeline。
信任区域在线策略蒸馏
🧭 在线策略蒸馏稳定化训练 ★ 深度解读
Samsung Research, Beijing, China · University of Oxford · Peking University
通过信任区域划分、异常值前向KL估计和离线指导，解决在线策略蒸馏中分布不匹配导致的训练不稳定问题，显著提升小推理模型性能。
📌 工作参考价值（5 点）
- 面向电商/推荐/Agent 从业者的可借鉴点：
- 信任区域思想可迁移至多智体策略更新：仅在教师与学生策略一致性高的区域执行在线策略蒸馏，避免极端策略梯度导致的训练崩溃，类似推荐系统中用置信度过滤不可靠的在线信号。
- 离线指导（Off-Policy Guidance）机制可借鉴：用教师前缀引导学生生成，并用前向KL模仿学习，适合在推荐对话或Agent任务中利用高质量模板引导小模型探索有效路径。
- 异常值前向KL估计提供了一种廉价的信息保留方式：当教师-学生分布严重不匹配时，用top-k前向KL替代完全丢弃或裁剪，可在电商搜索query改写等场景中保留多样性信号。
- 混合目标设计与资源权衡：TrOPD同时使用K1估计器（O(n)内存）和top-k前向KL（O(nk)内存），为生成式推荐中的长序列推理蒸馏提供了内存可控的参考，尤其在序列推荐或文案生成等需要长输出的场景下。
平衡 LoRA：消除参数不变性加速收敛
🧭 LoRA 优化 · 平衡投影 ★ 深度解读
École Normale Supérieure PSL · CNRS · Apple
提出 BaLoRA，通过投影到平衡流形改善 LoRA 条件数，实现更快收敛且几乎无额外开销。
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 微调中，用 BaLoRA 替代标准 LoRA：每步优化后加一次极分解+SVD 投影（复杂度 O((a+b)r²)），收敛更快且不增加显存。
- 高秩微调场景（如复杂多模态推荐、大规模 Agent 模型）下，BaLoRA 在高 rank（64、128）优势显著，可避免条件数恶化。
- BaLoRA 对学习率和初始化缩放更鲁棒，降低超参搜索成本，适合业务中快速迭代。
- 投影保持乘积 AB 不变，无伤融入现有 LoRA 流水线，可即插即用。
PithTrain: 面向AI智能体的紧凑型MoE训练系统
🧭 Agent原生MoE训练框架设计
Carnegie Mellon University · Xlue · NVIDIA
提出Agent原生设计原则构建MoE训练框架，在保持吞吐量的同时显著提升AI编程智能体的任务效率
📌 工作参考价值（4 点）
- 框架接口设计可借鉴“Agent-native”原则：显式数据流、最小化间接调用、优先Python实现，降低AI编程工具理解与修改成本。
- 评估训练框架时，除吞吐量外应纳入Agent Task Efficiency（ATE）指标，量化开发迭代效率。
- 在维护或扩展内部训练框架（如推荐模型分布式训练）时，避免过度使用插件系统与编译扩展，能加速新架构的适配。
- ATE-Bench任务设计思路可复用于评估其他ML基础设施对AI辅助开发的友好程度。
通过合并奖励扰动实现LLM后训练
🧭 LLM后训练 · 权重空间搜索与合并 ★ 深度解读
Technical University of Munich · Munich Center for Machine Learning
在权重空间随机采样扰动后，通过兼容性感知加权合并为一个可部署模型，避免推理时多模型投票
📌 工作参考价值（4 点）
- 直接可用在电商文案生成、对话Agent等有明确奖励信号（如转化率、用户评分）的LLM后训练中：只需采样少量随机扰动，用少量支持集奖励打分，即可通过CoRP合并成一个高质量模型，完全省去梯度计算，适合算力受限的业务场景。
- 合并策略中的兼容性感知重权重（alignment与orthogonal dispersion）可迁移到模型融合场景：当合并多个由同一基座微调得到的推荐模型或Agent时，可先构造奖励加权方向，再根据各模型与该方向的对齐度及正交散度赋权，以压制互斥结构。
- 提出的分半验证门控（held-out validation gate）可用于任何基于采样的模型更新过程，能自动放弃不可靠候选、减少退化，对线上模型迭代的稳定性很重要。
- 发现奖励扰动在低秩子空间存在可复现结构，这为用轻量级LoRA适配代替全量微调提供了依据，可尝试仅在奖励群体主方向所在的低秩子空间内更新参数，降低部署成本。
基于鲁棒评分标准的强化学习奖励方法
🧭 多模态准则级强化学习奖励设计
Huawei Technologies Co., Ltd.
将RLVR扩展到准则级验证，通过LLM抽取器+确定性验证器与LLM评判双路径、最小暴露和分层聚合，显著提升多模态模型性能
📌 工作参考价值（4 点）
- 推荐/Agent 的多目标优化可借鉴分层聚合思想，将核心指标（如点击率、转化率）作为 essential criteria 优先保障，辅助指标（如 diversity）按权重融合，避免多目标互相干扰。
- 对于部分可验证的业务指标（如推荐结果是否符合政策规范），可采用“确定性规则提取 + LLM 评判”双路径奖励：先用规则快速检查硬约束，再用 LLM 评估主观质量，兼顾效率与灵活度。
- 最小暴露策略（屏蔽 ground truth 或原始图片）可直接用于奖励函数设计，防止模型学习到利用奖励漏洞的采样行为，提升在线 RL 训练的稳定性。
- rollout 组内分数缓解饱和的技巧可迁移到推荐策略梯度训练中，通过组内 baseline 或标准化避免模型过早收敛到次优策略。
揭秘LLM训练中的数据组织策略
🧭 LLM数据排序与课程学习 ★ 深度解读
Nanyang Technological University · Microsoft Research · The Hong Kong University of Science and Technology
复用预计算样本得分，提出四项数据组织指导原则，实现零额外开销的LLM训练性能提升
📌 工作参考价值（4 点）
- 复用数据选择阶段的样本得分：在推荐模型或Agent训练中，若已有数据质量/难度打分，可直接用于排序训练样本，几乎零额外成本，提升模型效果。
- 数据起始与结尾的边界锐化：训练初期喂低分（简单）样本稳定优化，后期喂高分（高质量）样本冲刺性能，可迁移到生成式推荐或结构化Agent训练的微调阶段。
- 循环调度防遗忘：通过折叠式排列让模型周期性回顾全谱样本，避免灾难性遗忘。对于需要维持多任务能力的Agent（如同时做推荐、对话、工具调用），可在持续学习管线中采用类似交错策略。
- 局部多样性注入：在保持全局课程趋势的前提下，对相邻小批次进行打乱，增强梯度多样性，提高泛化性。在电商搜索或推荐重排序训练中，可避免同质化样本集中导致的过拟合。
RLHF的另一面：在线反馈驱动奖励模型自监督改进
🧭 LLM 对齐中的奖励模型自监督训练
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China · University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · State Key Laboratory of General Artificial Intelligence, BIGAI
提出SAVE框架，利用在线反馈和价值锚定对奖励模型进行自监督改进，缓解策略分布偏移
📌 工作参考价值（4 点）
- 在推荐 RL 策略优化中，利用实时生成的 on-policy 数据与价值函数估计的期望回报计算优势值，作为自监督信号更新奖励模型，无需额外标注，同时缓解静态 RM 与策略不匹配问题。
- 借鉴 prompt-specific value head 设计，为每个用户或上下文动态构建价值头，自适应确定反馈阈值，过滤低质量样本，提升训练信号信噪比。
- 采用对比目标区分正负样本时，可直接利用策略采样结果的排序（如按 RM 打分划分）构造正负对，减少对绝对偏好标注的依赖。
- 方法轻量易集成，计算优势 → 过滤 → 对比更新，可嵌入现有推荐系统 RL 框架，适用于生成式推荐、对话式推荐等策略频繁漂移的场景。
SCOPE：无外部监督的协同进化自博弈框架
🧭 Self-Play协同进化 · 开放式任务训练
University of Edinburgh · Imperial College London · Miniml.AI
通过挑战者与求解器协同进化和自我评分机制，无需外部监督即可提升LLM在开放式任务上的表现
📌 工作参考价值（4 点）
- 自博弈对抗生成训练数据：在电商推荐中，可让一个模型生成“用户需求描述”（挑战者），另一个模型给出推荐结果（求解者），通过自我评判打分，无需人工标注即可持续提升推荐质量。
- 基于源文档的自动评分标准生成：self-judge 从文档自动生成评估准则的机制，可直接用于商品搜索、文案生成等场景的自动化评估，替代人工或大模型评判。
- 协同进化的课程学习：挑战者根据求解者表现动态调整任务难度，这一思想可用于推荐模型的训练数据采样，从简单到困难逐步提升模型能力，避免训练饱和。
- 多轮检索与合成优化：Solver 的多轮检索回答模式类似 Agent 的多次信息获取，其训练方法可迁移到电商 Agent 的检索策略优化，提升信息收集与综合能力。
通过凸重构和梯度缓存实现大模型高效测试时微调
🧭 测试时微调 · 凸近似样本选择 ★ 深度解读
University of Haifa
将查询感知的样本选择建模为稀疏凸近似，通过几何整数化和梯度重用，在测试时微调中取得显著更优的质量-效率帕累托前沿。
📌 工作参考价值（4 点）
- 查询感知的样本选择：电商/Agent 场景中可借鉴 Frank-Wolfe 在 embedding 空间对 query 做稀疏凸组合来选取训练样本，无需显式多样性惩罚项即可自动抑制冗余，比 kNN 或启发式信息增益选择更快且保持多样性，适用于在线低延迟样本挑选。
- 几何整数化与梯度重用：将连续权重转为整数计数的整数化过程，产生天然的重读样本块，从而允许缓存梯度并跨多次相同样本的更新步复用，减少 1.48× 的微调计算开销——适用于推荐系统中用户行为序列出现重复 item 或 prompt 的在线微调场景。
- 两阶段加速获得更大有效 batch：选择阶段比 SIFT 快 12× 以上（0.059s vs 0.524s），结合梯度重用，可在相同墙钟时间内使用更大 N，在强实时性约束下提升模型适应质量，这一思路可直接用于 Agent 每次查询时快速收集相关记忆并高效微调。
- 低维投影加速：当嵌入维度高时，可用 PCA 对候选池降维后再进行 Frank-Wolfe，保持选择质量的同时进一步压缩选择延迟，适用于大底座模型编码的高维表示。
相同证据，不同答案：面向多轮语言模型的规范上下文在线策略蒸馏
🧭 多轮对话一致性 · 在线策略自蒸馏 ★ 深度解读
Zhejiang University · University of Science and Technology of China
提出 CCOPD 自蒸馏方法，通过冻结的完整上下文教师来矫正多轮分片输入下的答案，消除自我锚定漂移，仅用数学训练即可泛化至多种任务。
📌 工作参考价值（4 点）
- 多轮交互下的答案一致性提升：在客服、推荐问卷、Agent 任务等逐渐收集用户需求的场景中，早期不完整回答容易引入错误先验。借鉴 CCOPD，可以用完整上下文的模型输出作为监督信号，对齐最终回复分布，缓解模型被自身历史“带偏”。
- 低成本训练策略：教师和学生使用同一基础模型，无需额外大模型或人工标注，仅需构造任务等价的分片-完整对，并通过 on-policy reverse KL 优化。训练数据仅用了数学题，却能零样本迁移到代码、SQL、摘要等任务，说明学到的是通用的证据锚定能力，适合资源有限的业务快速部署。
- 注意力和诊断工具可复用：文中提出的 SAAR（自锚注意力比）和 neutral-placeholder 替换实验，可用来探测业务多轮对话模型是否过度依赖自身历史回复，从而针对性地优化提示或训练数据。
- 训练范式优于推理时修复：与推理时反思或重置策略相比，CCOPD 将一致性内化到模型权重中，不增加推理延迟，适合对延迟敏感的在线应用。
语言模型中强化学习招募功能福利轴
🧭 强化学习表征工程与模型对齐
New York University
强化学习通过招募预训练模型已有的“功能福利”表征轴广泛影响行为，而非从零创建。
📌 工作参考价值（4 点）
- 在电商推荐对话Agent中，可借鉴提取“福利轴”向量的方法，作为模型内部状态的监控器，用于检测拒绝、不确定或消极倾向，及时干预。
- 通过操纵该轴（正向或负向），可以控制推荐语气：正向偏置生成更乐观积极的推荐话术，负向偏置可用来模拟谨慎或风险提示场景。
- 该轴在RL前后都存在，表明可以用它作为预训练模型的zero-shot行为调节器，无需额外训练即可影响Agent的决策风格。
- 这一发现提示在奖励设计中，即使目标仅限定在特定任务，RL也会放大模型原有的广泛偏好表征，因此设计奖励时需考虑可能泛化的行为后果。
滞后策略优化（HPO）：稀疏奖励下稳定高效的GRPO训练改进
🧭 强化学习 · GRPO 优化 ★ 深度解读
Paris Research Center, Huawei Technologies · Huawei Technologies, China
通过非对称抑制负优势更新并改用均值长度归一化，缓解 GRPO 在稀疏奖励下的负优势主导与长度偏置，自适应权重免去手动调参
📌 工作参考价值（4 点）
- 在稀疏奖励（如早期 Agent 任务、低资源推荐对话）下，GRPO 会因大量失败样本的负优势更新主导训练，HPO 通过给负优势更新乘上小于 1 的权重来抑制负面信号，可简单集成到现有 GRPO/PPO 管线
- 用 batch 内平均长度替代逐响应长度归一化，消除“短正确回答权重过高、长错误回答惩罚不足”的长度偏置，更适合生成长度动态变化的推荐文案、多步 Agent 推理等场景
- A-HPO 根据 batch 内正/负优势样本比例自动计算阻尼系数 α，无需针对不同任务或训练阶段手动调 ❧ 唯一超参数，便于快速在新业务场景落地
- 方法几乎无额外计算开销，只需统计正负优势数量并做一次裁剪，可作为 GRPO 训练的标准增强件，用于电商对话推荐、生成式推荐评估等 RLHF 微调流程
组合合成：通过原子分解与重组扩展代码 RLVR 规模
🧭 代码 RLVR 数据生成 · 原子分解重组
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Lero the Research Ireland Centre for Software, University of Limerick · The Chinese University of Hong Kong, Shenzhen · The Hong Kong University of Science and Technology
提出原子分解与重组框架，通过分解并受控重组生成新颖、高难度代码任务，提升 RLVR 训练的可扩展性
📌 工作参考价值（4 点）
- 数据增强思想可迁移至推荐/Agent 场景：在生成推荐 Query、Agent 指令或测试用例时，可将现有数据分解为原子元素（如商品属性、用户意图、操作序列），再通过受控重组生成多样化的新样本，提升训练数据的覆盖度和难度。
- 组合式合成解决多样性瓶颈：业务中常遇到训练样本同质化问题，借鉴原子分解思路，设计可组合的原子单元与约束规则，可系统性生成大量不同难度梯度的样本，用于模型能力爬坡。
- 自动生成高质量验证测试：ADR 同步生成代码与对应单元测试的思路，可迁移到 Agent 任务中自动构造评估用例，例如在生成式推荐中自动生成商品描述并附带可验证的约束条件，实现自动化评测。
- RLVR 训练范式在非代码领域的延伸：论文证明了可验证奖励与合成数据的结合能稳定提升模型能力，若能在电商 Agent 任务中定义可自动验证的奖励信号（如订单成功率、交互符合业务规则），则可套用类似框架进行大规模 RL 训练。
Draft-OPD：投机草案模型的在线策略蒸馏
🧭 投机解码 · 在线策略蒸馏 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University · The Chinese University of Hong Kong · Peking University
提出 Draft-OPD，通过错误位置重放的在线蒸馏，解决草案模型 SFT 的分布偏移，将接受长度与加速比提升超过 20%。
📌 工作参考价值（4 点）
- 错误驱动的在线训练思路可迁移至生成式推荐：将物品推荐视为逐 token 生成，模仿草案模型接收目标模型验证的过程，对推荐序列中被“拒绝”的错误 token 进行重播与针对性蒸馏，提升生成质量。
- 接受/拒绝的非对称 KL 设计可复用于轻量级打分模型：在排序或召回阶段，用目标模型（如大模型）监督轻量级模型时，对正确预测和错误预测分别使用 forward KL 和 reverse KL，让轻量模型更专注于自身易错模式。
- 利用验证阶段的暴露错误进行针对性训练：在 Agent 多智体协作中，可记录交互过程中被另一智能体“拒绝”的决策点，对这些状态进行重放学习，使策略模型更聚焦于合作失败的关键状态。
- 解耦 rollout 稳定性和策略信号的思想：在强化学习或蒸馏中，当学生无法独立生成高质量轨迹时，可借助教师辅助 rollout 维持稳定性，再通过锚点重放学生自身的错误决策，兼顾训练稳定与策略改进。
ESPO：基于近端策略优化的早停机制
🧭 面向LLM推理的强化学习训练效率优化 ★ 深度解读
Tongyi Lab, Alibaba Group · Peking University
通过logit遗憾值与价值门控在rollout中即时终止失败轨迹，提升数学推理准确率并节省超20%训练token
📌 工作参考价值（4 点）
- Agent多轮交互训练可复用早停逻辑：在电商导购、多智体协作等长轨迹RL训练中，可基于策略logit与价值估计设计类似的门控，提前截断已明显失败的对话或动作序列，减少无效计算，并将截断点作为吸收失败状态注入负TD误差，改善信用分配。
- 无需额外模型或人工标注的失败检测：利用已有policy的logit向量计算代理遗憾值（当前token与贪心选择的概率差），结合EMA归一化与critic价值比较，几乎零额外计算成本即可判断是否继续生成，适合资源敏感的业务场景。
- 可作为现有PPO-based方法的即插即用组件：ESPO不改变PPO优化目标，只修改rollout收集过程，可与GRPO、DAPO等改进方案叠加。实际部署时只需在采样循环中加入轻量判断，且可通过比例控制器动态调整终止率，适配不同任务难度。
- 避免熵崩溃与不当压缩探索：实验表明ESPO不会导致策略熵下降过快，反而较标准PPO维持更高熵，这对推荐/对话场景下保持多样性有意义。同时约2.7%的假阳性截断率可控，整体收益远大于误杀代价。
PEFT-Arena：从稳定性-可塑性视角评估参数高效微调
🧭 参数高效微调的稳定性-可塑性权衡与几何分析 ★ 深度解读
The Chinese University of Hong Kong · Westlake University · MPI for Intelligent Systems
提出 PEFT-Arena 基准，揭示 PEFT 方法的稳定性-可塑性权衡，正交微调 (OFT) 展现最佳前沿。
📌 工作参考价值（4 点）
- 评估 LLM 微调时需同时监控通用能力遗忘：业务中仅看下游指标会高估微调收益，建议加入指令遵循、知识问答等通用 benchmark 作为稳定性指标，避免模型被破坏。
- 优先选择结构化参数化方式：在同等参数量下，正交微调 (OFT) 比 LoRA 变体更有利于保留预训练能力。若需要做领域适配（如电商商品知识、客服话术），可考虑 OFT 或 Cayley 参数化，其谱保持性质能减少对通用能力表示几何的扭曲。
- 用插值路径诊断过冲并后验修正：SFT 末期常出现过冲，最佳权衡点早于最终 checkpoint。可用沿更新路径（加法方法缩放 ΔW，OFT 缩放 Cayley 生成元）插值，找到更优的稳定性-塑性点；也可对 OFT 按层重缩放生成元，校正层间更新不平衡，在不额外训练的情况下恢复部分遗忘的通用能力。
- 用激活空间几何指标监控遗忘：Procrustes 残差、线性 CKA 等可用于检测微调对通用数据表示结构的扭曲程度，可作为离线评估的一部分，指导早停或超参选择。
轻量级语料库引导的过程监督：超越数学与代码的事实问答可验证奖励
🧭 RL 过程奖励 · 事实性增强
University of Illinois Chicago
基于维基百科共现统计的轻量过程奖励，替代昂贵神经验证器，高效提升事实问答 RL 训练。
📌 工作参考价值（4 点）
- 对电商知识问答、商品属性确认等事实敏感场景，可借鉴 Wikipedia 共现思路，用领域知识图谱或商品共现统计构建轻量过程奖励，低成本过滤幻觉。
- 在推荐解释生成或 Agent 多步推理中，将最终奖励细化为句子/步骤级信用分配，结合简单对齐映射到 token 级优势，提升 RL 训练信号密度。
- 当业务涉及长尾实体（冷门商品、小众品牌）时，统计共现信号比神经验证器更稳定可靠，可作为冷启动奖励的备选方案。
- 奖励计算只需单次语料查找 + 0.5B 小模型抽取，比 LLM-as-a-judge 快 5 倍以上，适合在线 RL 或高频迭代场景。
为何大模型学得更多：容量、干扰与稀有任务保留的效应
🧭 模型缩放 · 数据混合中的稀有任务学习 ★ 深度解读
Stanford University · Kempner Institute at Harvard University · MIT · Anthropic
揭示大模型通过减少梯度干扰和增强稀疏观测记忆保留来学习稀有任务，并指导数据混合设计
📌 工作参考价值（4 点）
- 数据混合优于单纯扩模型：若目标任务（如长尾商品推荐、低频 Query 改写）频率极低，直接提升其采样频率可能比扩大模型更高效，文中在真实 OLMo 预训练中验证了这一点。
- 梯度干扰可作为资源分配的监控信号：在多任务学习（如电商搜索的多目标优化、Agent 多技能训练）中，监控频繁任务梯度对稀有任务方向的余弦相似度，可诊断是否发生覆盖式遗忘，进而调整训练策略或动态加权。
- 大模型天然利于长尾任务：工程上若无法大幅提升长尾数据量，可采用更大基座模型（或策略性地增加关键层的神经元数）来保留稀疏但有价值的信号，例如冷启动推荐或低频搜索词的理解。
- “记忆”可辅助泛化：文中指出保留稀有观测的中间特征有助于逐步积累信号、学习可泛化的结构，这启发了在推荐或对话 Agent 中主动缓存并回放长尾样本，以促进从稀疏交互中学习规律。
基于最优系数校准的强化学习联合多Token预测
🧭 训练优化·多Token预测联合RL ★ 深度解读
中国科学院大学 · 中国科学院自动化研究所 · 美团
提出在线自适应系数调整方法OCC，通过log概率代理动态平衡RL与MTP梯度，使联合训练稳定超越detach基线
📌 工作参考价值（4 点）
- 辅助损失动态加权：在推荐模型联合训练主任务（如CTR）与辅助任务（如多样性、长尾覆盖）时，可借鉴OCC的廉价梯度对齐代理，在线校准辅助任务系数，避免固定权重导致的后期性能退化。
- 多步奖励预测的RL优化：在强化学习推荐或Agent策略优化中，若使用多步奖励预测头（类似MTP），可利用OCC思想根据梯度方向一致性自适应调节多步预测损失的权重，防止后期扰动损害主策略。
- 多目标策略梯度平衡：对于多Agent协作或联合策略学习，不同智能体的梯度可能存在冲突，可通过一阶相关与二阶扰动的分解分析有益与有害信号，动态分配更新强度，替代常规的固定比例调度。
- 轻量级实现：OCC仅需计算小批量内的log概率变化向量内积，无需全模型梯度，计算开销可忽略，易于在分布式训练框架中实现。
ResearchMath-14K：基于多智能体的研究级数学推理数据集构建与训练
🧭 多智能体数据合成与推理训练
Seoul National University · OneLineAI · Yonsei University
首个大规模研究级数学问题数据集，结合多智能体过滤的推理轨迹微调，平均提升开源模型9.2个百分点
📌 工作参考价值（4 点）
- 多智能体协同构建高质量训练数据：可借鉴该 pipeline 思路，用多个 Agent 分工采集、清洗、验证电商/推荐领域的复杂任务数据（如生成式推荐中的 Semantic ID 映射规则或 Agent 协作指令），减少人工标注成本。
- 利用不完美推理轨迹提升模型性能：即使模型生成的推理路径存在错误，通过 agentic filtering（如自动检查步骤一致性、引用真实性）仍可提取有用监督信号，适用于低资源场景下的推荐模型微调或 Agent 策略学习。
- 避免生成中的虚构引用：论文揭示新模型产生更多虚假参考文献的现象，迁移到电商场景中，在生成式推荐或 Agent 对话系统里需设计引用验证机制，防止捏造商品属性或虚假用户评论，提升可信度。
- 开源数据集与 Agent 过滤策略可直接复用：ResearchMath-14K 的数据构建方法和过滤代码或可改造，用于生成电商问答、多轮对话的推理轨迹，通过类似 self-consistency 和 citation check 的机制提高数据质量。
软专家：基于α-Rényi集成的LLM不确定性感知后训练
🧭 LLM后训练集成与不确定性量化 ★ 深度解读
Imperial College London · Bessemer AI
用α-Rényi损失在经典变分贝叶斯和预测导向后验之间插值，训练一组互补LoRA专家，通过软路由实现专业化与不确定性量化。
📌 工作参考价值（4 点）
- 冲突目标解耦：在电商推荐等多目标场景（点击、转化、多样性彼此冲突），可训练多个LoRA适配器，用α-Rényi目标软路由不同用户或样本到不同专家，避免单模型折中，提升整体效果。
- 数据污染防御：α-Rényi责任权重会自动将异常样本（如刷单、错误标注）的路由集中在少数粒子，隔离对干净模型的梯度影响，提供一种低成本集成鲁棒性。
- 不确定性辅助决策：在Agent任务或敏感推荐中，利用粒子间预测分歧（如方差）估计认知不确定性，在不确定时触发人工审核或保守策略，实现可靠部署。
- 低成本集成与特化：共享冻结基座模型，仅训练LoRA副本，通过调整α（甚至动态调整）控制特化程度，在治理冲突时兼顾个体质量和集成多样性，适合资源受限的线上系统。
RUBRIC-ARROW：交替式评分准则奖励建模，提升非可验证领域LLM后训练
🧭 奖励建模与LLM后训练·评分准则的成对偏好优化
University at Albany · Rutgers University · Purdue University · Emory University · Georgia Institute of Technology
交替训练评分准则生成器与准则条件评判器，以概率评分与成对偏好数据训练点式奖励模型。
📌 工作参考价值（4 点）
- 在电商Agent或推荐解释生成中，可借鉴 rubrics 分解评估：将整体质量拆解为独立准则（如信息准确性、说服力、风格匹配），训练准则条件评判器获得细粒度奖励信号。
- 概率评分规则能减少平局，提供更光滑的奖励分布，适合作为排序或策略优化的目标，比硬布尔聚合更稳定。
- 交替训练生成器与评判器的架构可复用于自动评估流程：业务中可先有粗粒度准则，通过交替优化不断细化准则和评判能力。
- 仅用 pairwise 偏好数据训练 pointwise 奖励模型，降低人工标注绝对分数的成本；对于成对偏好易得的场景（如用户 A/B 选择），可直接复用此方法。
被忽视的尺度向量：对LLM训练的巨大影响与优化改进
🧭 LLM优化 · 尺度向量重设计与预条件 ★ 深度解读
ByteDance Seed · Peking University
理论证明Pre-Norm中尺度向量虽参数极少但通过自加速预条件效应关键加速训练，并据此提出分支异构、双端放置与幅度方向重参数化三种改进，在密集和MoE模型上一致提升预训练损失。
📌 工作参考价值（4 点）
- 尺度向量设计可视为免费优化加速器：在推荐模型（如生成式推荐、CTR DNN）的RMSNorm/LayerNorm中，可引入分支特定的尺度向量，为Q/K/V或不同特征交叉分支提供独立的自适应预条件，几乎不增加参数。
- 权重衰减策略直接可复用：对紧接线性层的RMSNorm（Input-Norm）施加weight decay以稳定Hessian、加速收敛；而对不接线性层的（Output-Norm，如Q/K-Norm或最终输出前的归一化）应避免weight decay，防止限制表达能力。这一规则在MoE专家网络或Agent多模块网络中也适用。
- 双端放置与幅度方向解耦提升优化效率：在Transformer类推荐模型（如SASRec、BST）中，对注意力投影矩阵同时加输入侧和输出侧尺度向量（DP），或对FFN的gate/up分支采用 \( \gamma_a \odot \text{Norm}(W(\gamma_b \odot x)) \) 的归一化双端放置，可进一步加速收敛。幅度方向重参数化（OR/ER）在低参数增量下带来更各向异性的预条件机制，适合大规模训练。
- 实验表明，这些trick组合可取得约1.2×-1.25× 的scaler效率提升，在工业级token预算下保持优势，且与Muon优化器、warmup-stable-decay调度兼容，可直接集成到已有训推框架中。
策略蒸馏中的令牌可教性：并非所有分歧都可学习
🧭 LLM 训练 · 策略蒸馏令牌选择优化
The Hong Kong Polytechnic University · InfiX.ai
提出令牌可教性区分可学习与不可兼容的分歧，TA-OPD 仅保留 5% 高可教性令牌蒸馏即可超越全令牌训练
📌 工作参考价值（4 点）
- 蒸馏效率与效果提升：当在电商场景中蒸馏LLM用于商品描述、推荐理由或Agent对话时，可借鉴TA-OPD仅对“可教性”高的token位置施加蒸馏，避免低效甚至有害的监督信号，实验仅用5%令牌即超越全令牌蒸馏，显著节省计算。
- 无需额外模型：TA-OPD仅利用教师和学生logits计算局部兼容性，无需奖励模型或验证器，易于集成到现有蒸馏流程（如生成式推荐中的语义ID生成器蒸馏）。
- 信号质量重新审视：揭示了原始KL散度作为学习价值代理的缺陷，提示在设计蒸馏损失时，应优先关注教师分布与学生top-K候选重叠高的token，而非简单加权高分歧位置，这对多智能体策略迁移中避免灾难性遗忘有参考价值。
- 算法轻量化：可教性计算简单，能在训练时动态筛选token，为推荐系统或Agent中频繁更新的小模型提供了一种低成本、高性能的在线蒸馏策略。
GradSentry：基于梯度谱熵的大模型微调后门样本过滤
🧭 大模型微调安全 · 后门防御
School of Computer Science, Shanghai Jiao Tong University
利用梯度谱熵区分后门与干净样本，无需聚类，在1%-90%投毒比例下均有效
📌 工作参考价值（4 点）
- 使用不可信数据微调推荐或对话模型时，可集成 GradSentry 进行数据清洗：对每个样本计算梯度谱熵，用自动阈值过滤高熵后门样本，避免模型植入后门。
- 方法训练无关，适用于 LoRA、Adapter 等参数高效微调，无需修改现有微调流程，可直接在梯度计算后附加过滤步骤。
- 计算开销极低（7B 模型每样本 20-50 ms），适合大规模电商语料或用户行为数据微调前的快速扫描。
- 无需聚类且对投毒比例鲁棒，特别适合电商场景中投毒比例未知、正负样本极不平衡的真实数据。
信任域 Q 伴随匹配：稳定离线 RL 微调流式策略
🧭 离线强化学习 · 信任域约束 · 流匹配策略微调
KAIST · Seoul National University
通过自适应控制路径空间 KL 散度，实现预训练流策略的稳定离线 RL 微调
📌 工作参考价值（4 点）
- 生成式推荐模型微调：若用 flow matching 生成用户行为或物品序列，TRQAM 提供了一种稳定的离线/在线 RL 微调方法，通过路径空间 KL 约束防止微调后策略偏离预训练知识过远，避免遗忘。
- 信任域参数自适应调度：利用对偶梯度下降自动调整 λ 的方式，可迁移到任何需要控制 KL 散度的 RL 微调场景，无需手动调节信任域大小，增强鲁棒性。
- 离线 RL 工程经验：在离线数据上直接进行策略改进时，本方法不依赖在线交互，适合电商日志数据的高效利用；同时，通过将路径级 KL 表示为 λ 的解析形式，简化了信任域的实现开销。
- 模型崩溃的预防：本文揭示 critic 病态会放大梯度误差，这一发现提醒从业者在多步生成模型（如扩散模型）微调中，应监控 critic 条件数或选用信任域方法以稳定训练。
DV AO：面向多奖励强化学习的动态方差自适应优势优化
🧭 多奖励强化学习 · 优势组合优化 ★ 深度解读
Alibaba Cloud Computing
动态按组内奖励方差自适应调整多目标优势权重，解决 GRPO 多奖励标量化的幅度爆炸与目标孤立问题
📌 工作参考价值（4 点）
- 多目标奖励的可学习聚合：在电商推荐/Agent 多目标优化（如准确率+多样性+延迟）中，现有做法往往直接固定权重标量化奖励或优势，导致某一目标梯度主导。DV AO 提供了完全数据驱动的自适应加权方案，无需人工调参，直接基于每个目标的组级方差动态平衡信号强度，可应用于生成式推荐的 multi-reward 对齐。
- 稳定训练的技巧：DV AO 从理论上保证了优势幅度低于直接奖励组合，避免策略梯度爆炸。在 RL 微调推荐模型或 Agent 策略时，可直接用于处理准确度、格式合规、长度等冲突目标，防止训练崩溃。
- 交叉目标正则化机制：通过优势计算对单一目标梯度的重新缩放，隐式地促进目标间协同优化，避免某个简单目标淹没困难目标。这对 Agent 多轮任务中同时优化任务成功率与工具调用格式很有价值。
- 轻量实现：DV AO 不引入额外可学习参数，完全基于组内方差的后计算，易于集成到现有的 GRPO 或 PPO 训练流程中，适合快速实验。
统一神经缩放定律
🧭 神经网络多维度联合缩放行为建模
Mila · University of Montreal · Google DeepMind
提出统一函数形式UNSL，同时建模多维度（参数、数据、计算、推理步骤等）下的缩放行为，预测更准确
📌 工作参考价值（4 点）
- 在多变量（数据量、模型大小、训练步数等）同时调整时，可用UNSL拟合scaling law，比单维度拟合更准确，帮助在有限预算下选择最优配置。
- 在生成式推荐或LLM训练中，可基于小规模实验结果预测大模型性能，提前决定是否扩大规模，避免不必要投入。
- 函数形式纳入了推理步骤数，可用于分析推理成本与性能的权衡，指导Agent或查询推荐系统在延迟约束下的部署决策。
- 实际使用时需自行收集多维度实验数据拟合参数，并非预训练即用；主要贡献在于提供了一种更好的联合预测工具。
语言模型也需要睡眠：离线递归巩固长时记忆以支持深层推理
🧭 序列模型记忆巩固 · 离线递归计算 ★ 深度解读
Carnegie Mellon University · University of Maryland
在SSM-Attention混合模型中引入离线递归更新快权重，将计算移出推理时，提升对已逐出上下文的深层推理能力
📌 工作参考价值（4 点）
- 离线递归巩固用户长序列行为：电商推荐中用户行为序列很长，可将sleep机制用于在上下文窗满时将历史行为压缩进SSM或fast weight记忆，并迭代更新几次后再清空KV缓存，后续预测只需单次前向，保证在线低延迟。
- Fast weight显式存储推理中间态：在生成式推荐（如Semantic ID序列）中，可将用户兴趣演化视为一种需要“深度计算”的推理过程，利用递归快权重更新逐步聚合信息，而非仅依赖固定深度的Encoder，这与当前多智体（Agent）记忆压缩的场景可类比。
- 递归深度可自适应难度：根据当前交互的复杂程度（如查询涉及的hop数）自动调节sleep的递归步数N，类似动态网络深度，简单场景用N=1快速响应，复杂推理场景用更大N保证精度。
- 训练时通过递归快权重反向传播：在离线训练时采用类似递推跨窗的梯度回传，避免全序列并行的高内存，可处理超长用户序列，与当前推荐系统流式训练架构兼容。
方向对齐缓解语言模型强化学习中的奖励黑客
🧭 RL训练优化 · 奖励黑客防御 ★ 深度解读
University of British Columbia · Vector Institute · Amazon
提出信任方向梯度对齐(TDGA)，将RL梯度投影到干净子空间，显著延迟奖励黑客并保持真实性能。
📌 工作参考价值（4 点）
- 在推荐/Agent的RL微调（如RLHF）中，可利用少量干净标注数据提取参数更新的SVD主导方向，构造投影矩阵，将每一步梯度限制在该信任子空间内，避免模型学到利用代理奖励的捷径（如电商中仅优化点击而非成交）。
- 投影秩K越小，对奖励黑客的抑制越强，但会限制模型适应能力，实践中可设为可调超参，根据验证集真实指标（如转化率）在线选择。
- 该方法与梯度正则化、SAM等互补，可在现有训练流程中即插即用，只需几行代码对梯度做矩阵乘法，计算开销低。
- 对于多轮Agent场景，可将信任方向扩展为轨迹级投影，防止在长链交互中累积的奖励黑客，尤其适用于基于推理步数的奖励设计。
NITP：用下一隐式Token预测增强LLM预训练表示
🧭 LLM预训练 · 表示级监督 ★ 深度解读
School of AI, Shanghai Jiao Tong University · Xiaohongshu Inc. · University of Science and Technology of China · The Chinese University of Hong Kong
用模型浅层表示作为连续自监督目标，显式约束隐藏状态几何，有效缓解NTP的表示退化
📌 工作参考价值（4 点）
- 低成本的表示质量提升手段：仅增加约2%的训练FLOPs，无需额外推理开销，可移植到任何基于Transformer的推荐模型预训练中，改善物品/用户表示的各向异性与退化。
- 浅层作为语义锚点：利用模型自身浅层输出作为连续监督目标，无需外部编码器，这一自蒸馏思路可直接用于序列推荐中的状态表示学习，例如用中间层表示约束最终隐藏状态。
- 余弦相似度作为稳定辅助损失：相比MSE或KL散度，余弦损失在跨层表示对齐中更稳定，可避免梯度尖峰，适合在工业级大模型训练中作为正则项。
- 几何正则化的显式设计：论文揭示了NTP目标在表示空间的零空间问题，并通过理论证明NITP在该零空间引入正曲率，这对于理解并缓解推荐模型中常见的嵌入维度坍缩有直接启发，可尝试为召回/排序模型添加类似隐式预测目标。
ARES：面向可扩展LLM强化学习的自动化评分标准合成
🧭 LLM 强化学习 · 自动评分标准生成
University of Science and Technology of China · Alibaba Group · National University of Singapore
从预训练文档自动生成问题及实例级加权评分标准，实现开放性任务的大规模强化学习
📌 工作参考价值（4 点）
- 电商客服评价可借鉴：自动生成多维度加权评分标准（如态度、准确性、完整性），取代单一点赞/点踩信号，实现细粒度 RL 训练。
- 生成式推荐中的解释文本评估可用类似 pipeline：从商品知识库生成问答对，合成评估标准，训练模型生成更符合多维质量要求的推荐理由。
- 数据增强策略可复用：利用领域标签和角色信息控制生成多样性，结合 self-containment、faithfulness 等过滤器保证合成数据质量，适合构建领域 RL 训练集。
- 对于 Agent 工具调用等开放性任务，可将任务要求转化为评分标准，自动构造 RL 数据，减少人工设计 reward 的成本。
逼近近似注意力计算的 I/O 最优性
🧭 I/O 高效近似注意力计算
Huawei Technologies
将近似注意力与 I/O 高效算法结合，使数据传输量几乎线性于序列长度，逼近理论下界
📌 工作参考价值（4 点）
- 在长序列场景（如电商用户行为序列或 Agent 长时间交互记忆）中，可参考其近似框架，用多项式展开或低秩分解替代精确 softmax，大幅减少显存访问与传输量。
- 工程实现上，可将近似注意力与 tile 策略结合，在 GPU 共享内存有限的推理环境下获得比 FlashAttention 更低的 I/O 开销，适合边缘部署。
- 论文提供 I/O 下界分析，可用来评估自研注意力近似方案的数据搬运效率是否接近最优，指导算法选型（例如多项式次数、分块大小）。
- 对于生成式推荐中的语义 ID 序列建模，长上下文注意力是瓶颈，借鉴此近似方法有望在损失微小精度下换取显著的训练/推理速度提升。
Complete-muE：面向MoE模型的最优超参数迁移与缩放
🧭 MoE 超参数迁移 · dense-to-MoE 迁移
Adobe Research
提出 Complete-muE 双桥框架，实现从密集 FFN 到任意 MoE 配置的超参数零成本迁移，实现“调参密集一次，迁移所有 MoE”。
📌 工作参考价值（4 点）
- MoE 推荐模型快速冷启动：在电商推荐系统中采用 MoE 结构时，可先用小规模密集模型调优超参数，再通过 Complete-muE 规则直接迁移到各类 MoE 配置（多专家、稀疏度、共享专家等），省去高昂的超参搜索成本。
- Agent 多智体路由的超参数复用：多智能体系统中的路由网络若设计为 MoE，可从单智能体密集策略网络迁移学习率和初始化，加速 MoE 路由策略的收敛。
- 生成式推荐的 MoE 架构探索：在生成式推荐（例如使用 transformer 生成行为序列）中，可先将模型设计为密集 FFN 调参，随后灵活扩展为 MoE 并迁移超参数，无需重新搜索。
- AdamW 超参统一缩放规则：文中的完整 μE 规则（宽度和专家数缩放下的 LR、WD、初始化方差调整）可直接嵌入训练框架，在模型放大或改变专家数时自动调整超参，提升工程效率。
理解和改进指令微调中的噪声嵌入技术
🧭 指令微调 · 嵌入噪声注入 ★ 深度解读
Johns Hopkins University
理论揭示均匀与高斯噪声等价性，提出对称伯努利噪声 SymNoise，显著超越 NEFTune
📌 工作参考价值（4 点）
- 在指令微调中改用对称伯努利噪声（±1 对）替代均匀噪声，实现简单、即插即用，成本极低，可直接提升对话/推荐解释的生成质量。
- 噪声缩放定律：不同噪声分布通过规范二阶矩可校准，例如高斯噪声需除以 √3 才能达到与均匀噪声相似的扰动幅度，避免噪声过量导致性能退化。
- 双端点扰动（正负同时训练）的曲率正则化设计可迁移至多模态对齐、语义ID 生成等任务，增强局部光滑性，抑制过拟合。
- 在电商场景的少量标注指令数据（如商品描述生成、客服多轮对话）上，SymNoise 有助于稳定微调，提升回答多样性和长度质量，且不牺牲标准任务能力。
TPMM-DPO：轨迹感知偏好引导的模型融合用于迭代直接偏好优化
🧭 迭代 DPO 训练稳定性优化
Guangxi University
提出轨迹感知模型融合方法，用学习到的融合权重整合迭代 DPO 过程中的历史模型，构建更稳定的参考模型，有效抑制噪声累积和性能退化。
📌 工作参考价值（4 点）
- 迭代偏好对齐的稳定训练：在电商对话、推荐理由生成等用到迭代 DPO 的场景，直接用上一轮模型作为参考可能引入噪声累积。可借鉴 TPMM-DPO，保留历史模型轨迹，通过可学习融合权重动态构建参考模型，提升训练稳健性。
- 模型融合权重学习：相比简单平均，学习到的融合权重能更好地抑制噪声，可应用于其他需要集成多代策略模型的场景（如 Agent 多轮自我改进）。
- 偏好数据抗噪：当偏好标注存在噪声（如人工标注不一致、自动收集的反馈），该方法能减轻过拟合和性能波动，适合电商 UGC 环境下的大规模偏好数据训练。
- 工程实现简单：融合模块即插即用，一般是在线合并模型参数，无需额外训练奖励模型，可直接插入现有 DPO pipeline。
裁剪瓶颈：通过随机救援近边界信号稳定RLVR
🧭 RLVR 训练稳定性优化 · 裁剪决策 ★ 深度解读
Alibaba Group · Peking University · Dartmouth College · University of Toronto
诊断硬裁剪决策是GRPO-style RLVR不稳定的关键瓶颈，提出随机救援边界信号的方法NSR，显著提升训练稳定性与性能。
📌 工作参考价值（4 点）
- 诊断方法可迁移：通过解耦裁剪决策与梯度大小，精确定位训练瓶颈，适用于电商/Agent场景中基于PPO/GRPO的微调稳定性分析。
- NSR实现简单：仅需在裁剪计算时对出界token按距离做一次随机保留判断，可直接嵌入现有DAPO/GSPO代码，无额外超参负担，适合快速实验验证。
- 随机救援优于确定性衰减：业务中若需软化信任区域，优先使用概率化保留而非固定权重衰减，能获得更稳定训练与更低方差。
- 支持token级与序列级裁剪：NSR在两种粒度上均有效，可复用于推荐对话生成或策略优化中的不同动作空间。
超越温度缩放：超拟合作为后期几何扩展
🧭 LLM 微调 · 生成多样性 · 机制分析 ★ 深度解读
Department of Statistics, LMU Munich · School of Computer and Information Engineering, Henan University · Munich Center for Machine Learning (MCML)
揭示超拟合通过动态排序重排而非分布锐化提升生成多样性，并仅微调最后 5 层即可复现该效果
📌 工作参考价值（4 点）
- 终端层高效微调：Late-Stage LoRA 仅更新最后 5 层就能复现完整超拟合带来的多样性提升，在 1.5B-2B 模型上减少约 78-83% 训练参数，大幅节省 GPU 小时，可快速迁移到电商对话或商品文案生成。
- 过拟合亦可有益：在极小数据集（2000 条）上训练到近零损失，反而增强了贪婪解码的词汇多样性与连贯性，这提示我们在数据稀缺场景（如特定品类描述）可主动推进过度拟合以打破重复模式，而非提前停止。
- 确定性解码的多样性诊断：通过跟踪 token 的来源排名分布（Top-1 一致率、深层尾 token 提升比例）和最终层有效维度变化（∆Dim ≈ +80），可量化模型是否学到真正的“排序重排”，避免仅依赖困惑度等指标误导，可用于监控推荐文案生成质量。
- 上下文感知的多样性提升：静态偏置注入实验表明，超拟合不是全局词汇偏置，而是动态、语境相关的排序改变。这暗示在电商推荐中，若想生成多样化的商品描述，应避免简单规则（如禁止重复 n-gram），而应通过微调让模型在不同上下文中自主决定何时使用高频词或长尾词。
后训练关键在状态分布而非Token：SFT、RL与在线蒸馏的状态视角
🧭 LLM后训练状态分布视角 ★ 深度解读
提出状态分布视角统一SFT、RL和在线蒸馏，实验显示学生可超越退化教师且on-policy方法更稳定
📌 工作参考价值（4 点）
- 用状态源/信号源拆解训练策略：将推荐Agent的训练明确分为“状态采自哪里”和“监督信号从哪里来”。离线数据（如用户历史日志）提供固定状态，但Agent部署后可能遇到未覆盖的状态分布，借鉴on-policy采样（RL或在线蒸馏）能减轻分布不匹配造成的性能退化。
- 在线蒸馏时让学生控制状态分布：在电商场景中，Teacher模型可能在某些上下文（如长对话或冷门商品）表现差，但局部Token预测仍可用。让学生Agent在自身状态上请求教师指导（如生成短续写），类似DAgger，可以保留教师局部能力的同时避免复制教师的全局错误轨迹，实现学生超越教师。
- 避免单纯用标量漂移判断遗忘：业务监控时，不要仅靠rollout状态的MMD等单一距离指标下结论。论文显示，两个模型可能有相近的全局状态漂移但遗忘程度迥异。应结合状态来源分析——是在模型自身可达状态上做更新（如RL/OPD），还是在与模型当前策略偏离的固定状态上做密集离线更新（如stress SFT）。
- 轻量在线RL可作为能力保留手段：在追求目标指标提升时，可以先跑一轮温和SFT注入基础能力，再用在线RL（如带分组相对奖励的GRPO）在模型自身轨迹上小步优化，既能提升主任务，又可抑制遗忘。对电商搜索排序或对话Agent，可设定简单的验证性奖励（如用户点击、转化），用on-policy采样来微调，保持通用知识不退化。
基于分割树的子词分词方法ToaST
🧭 分词优化 · 子词压缩
Kensho Technologies · Ben-Gurion University · MIT
通过递归分割树与整数规划直接优化压缩率，大幅减少token数量并提升下游性能
📌 工作参考价值（4 点）
- 分词压缩率提升11%+，可降低推理成本、延长有效上下文，适合大规模文本处理或LLM驱动的电商描述生成、对话系统
- 词表选择建模为整数规划，用LP松弛获得近最优解，这一思路可借鉴到推荐场景的特征离散化或Semantic ID编码优化
- 递归分割树结构天然支持自回归推理中的动态分词决策，可探索与生成式推荐的树形索引结合，提升编码效率
- Rényi效率大幅提升，意味着稀有token使用更均衡，可能减少OOV问题，适用于多语言电商场景或罕见商品名称编码
基于凸松弛的分词优化
🧭 分词优化·凸松弛
ETH Zurich · Kensho Technologies
将分词器构建转化为线性规划，用凸优化求解全局最优词表，压缩率和语言模型性能超越贪心算法
📌 工作参考价值（4 点）
- 可将分词目标显式建模为最小化编码成本，利用凸优化求解全局词表，获得更优压缩率，减少电商商品描述等文本的 token 序列长度，降低 LLM 推理成本。
- 提供严格的最优性下界，用于定量评估现有分词器（如 BPE）的优化差距，指导词汇量设置。
- 方法可作为 BPE 的离线替代，训练时直接使用 ConvexTok 词表，无需改动下游模型架构。
- 注意：目标函数设计依赖具体语料，在生成式推荐中可考虑引入业务指标（如文本编码后的推荐效果）作为优化目标，但需定制化实现。
扩散理论教程：从微分方程到扩散模型
🧭 扩散模型理论统一框架
INSAIT · Sofia University "St. Kliment Ohridski"
用微分方程统一推导扩散模型的前向/反向过程，阐明训练目标与采样方法的关系
📌 工作参考价值（4 点）
- 理解DDPM与DDIM的采样本质（反向SDE vs 反向ODE），在生成式推荐中可根据速度与质量需求选择合适的采样器。
- 分类器指导和无分类器指导的推导可用于条件生成（如基于用户属性的商品图片生成），直接提升生成内容的相关性。
- DPM-Solver等快速采样方法可加速扩散模型的推理，降低线上延迟。
- 训练目标的等价性（噪声预测=分数匹配）允许灵活选择损失函数，简化实现。
LLM 作为噪声信道：香农视角下的模型容量与缩放定律
🧭 LLM 训练缩放定律 · 香农信道理论
ByteDance Seed · University of Virginia · University of California, Berkeley
将 LLM 训练建模为噪声信道传输，提出香农缩放定律，解释非单调性能下降
📌 工作参考价值（4 点）
- 在推荐模型或生成式推荐训练中，当数据量增加但信息增益不高时，应监控性能非单调下降，可借鉴信噪比思考合理的数据配比与早停策略。
- 模型量化或压缩时，使用信噪比框架评估退化风险，避免 U 型性能崩塌，尤其适用于电商知识图谱 embedding 等场景。
- 多任务训练中，不同任务的噪声可能相互干扰，可依据信噪比动态调整任务权重，类似于信号功率的分配。
- 主要是理论贡献，可直接复用的工程 trick 较少，但为理解缩放瓶颈提供了新视角，有助于在模型升级决策时避免盲目扩展参数或数据。
匹配原理：面向标签不变扰动的表示学习损失函数几何理论
🧭 表示学习鲁棒性 · 匹配原理 ★ 深度解读
KU Leuven
统一多种鲁棒性方法为对编码器雅可比矩阵沿部署噪声协方差的正则化，并给出可证伪的闭式最优条件。
📌 工作参考价值（4 点）
- 在电商推荐中，当面临像素级扰动的广告图风格迁移或文本标题的域偏移时，可估计部署协方差矩阵（如跨域 Gram 或增强 delta 协方差），并对编码器雅可比沿该矩阵施加 trace 惩罚，从而抑制表示漂移，提升泛化性能。
- 提出的轨迹偏差指数（TDI）可作为无标签几何诊断工具，在模型部署前检测嵌入层对随机噪声的敏感性，适合推荐模型的工程上线评估。
- 消融实验必须包含错误方向（random subspace）和信号方向惩罚两个控制组，前者应退化为各向同性正则化，后者应损害主任务，否则提升不可信——业务实验可复用该框架快速排除假收益。
- 当域偏移具有低秩结构时，仅仅使用各向同性的 weight decay 或 dropout 不足，匹配协方差的正则化（即使通过简单的跨 batch 协方差估计）即可带来明显增益，成本低且易于接入现有训练流程。
探究数据时序性对大语言模型预训练的影响
🧭 时序数据预训练优化
Kyutai, Paris
通过预训练6B模型发现，按时序排列数据训练能显著提升模型的时间知识准确性，且不影响通用能力。
📌 工作参考价值（4 点）
- 时序数据组织：在电商搜索或推荐模型的持续预训练中，可将商品语料按发布时间排序，使模型隐式学习时间对齐的知识，提升对新品、季节性趋势的捕获能力，避免依赖频繁的增量微调。
- 评价协议设计：可借鉴提出时间敏感问答基准的思路，构建电商领域的时间相关评测集（例如“2023年夏季流行款式”对应正确季节），用于检测推荐系统或Agent的时间感知准确性。
- 训练效率权衡：实验表明按时序训练与普通打乱训练相比，在通用理解任务上表现相当，但知识保鲜度更高。对于需要低成本保持知识新鲜的业务，可直接采用时序预训练，无需额外的中期继续训练阶段。
- 负面发现启示：打乱顺序训练会让模型更擅长记忆旧数据，可能因为重复事实更多；在构建电商语料时，若希望模型更关注近期数据，应避免过度打乱，或结合时间加权采样。
通过能力选择性子空间投影的自策略蒸馏
🧭 LLM 自蒸馏 · 能力选择性子空间
University of Cambridge · HKUST · University of Chicago
无需外部信号的自我蒸馏方法，利用低秩能力子空间投影筛选自生成数据，显著提升LLM特定能力
📌 工作参考价值（4 点）
- 在无外部信号（如标注数据、奖励模型）的场景下，可通过能力子空间投影从模型自身梯度中提取任务相关特征，实现自我蒸馏，适用于电商对话、推荐理由生成等任务的低成本优化。
- 利用 KV 缓存投影到低秩能力子空间，相当于在自生成过程中隐式施加“能力滤波器”，可稳定提升特定能力（如商品推荐的合理性、数学推理），避免无关特征干扰。
- 方法具备良好的域外泛化性（15% 提升），可跨任务迁移，适合在电商多任务场景下统一提升模型的多方面能力。
- 工程实现上，只需在自生成前向过程中插入一次投影操作，与标准下一 token 预测损失结合，无需修改训练目标，易于集成到现有 LLM 微调流程中。
向量策略优化：为提升测试时搜索而训练多样性
🧭 RL 后训练多样性优化 · 测试时搜索 ★ 深度解读
MIT · Improbable AI Lab · MIT-IBM Computing Research Lab · Sakana AI
用向量奖励和随机标量化替代固定标量奖励，训练语言模型输出覆盖帕累托前沿的多样候选集，使测试时搜索收益随预算持续扩大。
📌 工作参考价值（4 点）
- 多目标推荐/排序：在电商推荐中，CTR、GMV、多样性常需平衡。借鉴 VPO 的向量奖励设计：将各指标作为独立维度，训练时随机采样权重标量化，鼓励模型生成覆盖不同 trade-off 的候选集，供下游重排或搜索选择。
- Agent 工具调用与多步推理：Agent 任务天然可拆解为子奖励（格式正确、工具名准确、参数填充质量等）。使用 VPO 可避免策略过早收敛到单一模式，保留探索能力，提升 test-time 搜索（如 beam search、进化算法）的解空间质量。
- 生成式推荐中的多样候选生成：需生成多个推荐理由或商品序列时，直接在一条 autoregressive chain 中输出多个答案（multi‑answer chain），配合 VPO 的 set‑level 奖励，能获得内在差异化的候选，减少后续 rerank 的冗余。
- 训练效率与多样性平衡：若担心 VPO 牺牲单次生成精度，可在上线时结合 pass@1 和 pass@k 评估；也可仅在搜索型场景（如多轮交互式 Agent）使用 VPO 微调，而单次推理保留 GRPO 版本，实现按场景切换。
ACC：面向长上下文训练的Agent轨迹编译
🧭 长上下文训练 · Agent轨迹编译 ★ 深度解读
University of Science and Technology of China · Shanghai Innovation Institute · Shanghai AI Laboratory
将多轮agent轨迹编译为长上下文QA对，无需额外标注，在长程依赖建模上媲美8倍参数模型
📌 工作参考价值（4 点）
- 直接复用业务中已有的agent交互日志（如电商智能客服多轮对话、数据库查询、代码调试等），将其组装为长上下文训练数据，无需额外标注，低成本提升模型多跳推理和信息整合能力。
- 在生成式推荐或搜索中，可将用户与推荐系统的多轮交互（查询、候选列表、点击/购买行为等）编译为长上下文，让模型直接基于长历史序列生成最终推荐，替代逐步候选筛选流程。
- 训练时加入不相关的干扰项（如未点击的商品、未使用的搜索结果）并随机打乱顺序，能增强模型在长上下文中定位关键信息的能力，可迁移至电商场景下处理杂乱的浏览历史。
- 完全基于标准SFT，无需复杂强化学习，工程实现简单，适合快速实验和部署。
ChunkFT：面向内存高效全参数微调的字节流优化框架
🧭 大模型全参数微调 · 字节流内存优化 ★ 深度解读
Northeastern University, China · Shanghai Jiao Tong University, China · CIS, LMU Munich, Germany · MCML, Germany · Shandong University, China
通过按字节预算划分模型参数为轮转块，仅激活当前块计算梯度，实现内存近似LoRA的全参数微调。
📌 工作参考价值（4 点）
- 在电商/推荐场景微调大模型受限于GPU内存时，可借鉴ChunkFT的轮转块训练策略：将模型按实际字节成本分块（不止按层），每次只针对当前块计算梯度与优化器状态，显著降低内存峰值且支持梯度累积与动量，避免因内存不足而被迫使用低效的PEFT方法。
- 块划分不依赖网络结构，适配Transformer各类算子（Embedding, Linear, LayerNorm），可直接嵌入现有HuggingFace/Torch训练流程，对业务代码侵入小。
- 字节均衡分块避免了层间参数量差异导致的内存抖动，使训练过程更稳定，便于在单卡上规模化调优（例如用一张24GB卡微调7B模型）。
- 轮转间隔T的选择对最终效果不敏感，可优先设置较大值加速收敛，减少工程调参负担；该设计也可迁移至推荐系统的稀疏参数更新（如Embedding表的轮转更新）。
DecQ：细节压缩查询增强表示自编码器的重建与生成
🧭 视觉表示自编码器 · 细节压缩查询
Zhejiang University · Shanghai Innovation Institute · Fudan University · Westlake University · JD.COM
引入轻量细节压缩查询，从冻结视觉基础模型中间层提取细粒度信息，显著提升重建PSNR与生成FID，收敛加速3.3倍
📌 工作参考价值（4 点）
- 推荐系统使用冻结预训练模型作为编码器时，可插入类似detail-condensing queries的可学习模块，从中间层提取细节，既保持语义空间稳定又缓解细节丢失，仅增加极低计算开销。
- 生成式推荐中的tokenizer（如Semantic ID的VAE）常面临重建质量与生成保真度的权衡，参考DecQ在解码侧加入轻量细节查询，可同时提升重建精度和下游生成质量。
- 方法收敛速度3.3倍提升，适合工业界快速迭代实验，尤其在大规模商品图像或内容表征学习场景。
- 对待不同层级特征的聚合方式（浅层细节+深层语义）可迁移至多模态推荐模型的特征融合，增强商品细节理解能力。
纠正预条件语言模型优化器中的随机更新偏差
🧭 预条件优化器偏差校正 ★ 深度解读
Fastino Labs
通过微批次交叉拟合与Delta方法逆修正，消除梯度-预条件子耦合和逆预条件有限样本偏差，提升AdamW、Sophia、Shampoo预训练效果
📌 工作参考价值（5 点）
- 可用于生成式推荐/大模型训练中的优化器改进：当使用AdamW、Sophia、Shampoo等自适应优化器时，将批次拆分为独立子批，分别估计梯度和预条件子，可移除耦合偏差；同时利用子批方差对逆预条件子做泰勒/Jackknife校正，降低逆运算的非线性偏差。代码级实现只需对现有优化器做包装（Algorithm 1），无需改动模型。
- 在噪声较大、预条件子估计不稳定的场景（如小批量、低EMA系数）效果更明显：电商推荐模型中若使用对角二阶矩（AdamW）或曲率估计（Sophia），可借鉴本文的Delta方法逆校正，公式为 \(\tilde{T}(\bar{p}_k) = 1/(\bar{p}_k + \lambda) - \widehat{\text{Var}}(\bar{p}_k)/(\bar{p}_k + \lambda)^3\)，仅需维护子批方差，计算开销极小。
- 矩阵预条件子（如Shampoo）的校正可在特征基下进行：对于推荐系统中可能的矩阵预条件（如K-FAC），可利用平均预条件子的特征分解，将每个子批投影到该基下，对特征值逐元素校正。避免反复特征分解，工程上可行。
- 在Agent多智体训练中，若每个Agent的本地更新可视为微批次，可利用方差校正来提升全局聚合的稳定性：将各Agent本地计算的预条件子统计量视为独立子批，使用Jackknife或方差校正再聚合，降低系统估计偏差，可能提升收敛速度和最终策略质量。
- 注意拆分方式要保留原优化器的分母规模：实验显示两折拆分（各用一半数据）会因分母样本减半而增大方差，推荐使用留一法（LOO）构造分母，保持分母接近全批量规模，从而在移除耦合的同时不显著增加噪声。
扩散教师模型期望的方差减少
🧭 扩散模型下游任务梯度方差优化
NVIDIA · University of Toronto · Princeton University
CARV通过分层蒙特卡洛估计摊销昂贵前向计算，以2-3倍有效计算倍乘降低下游梯度方差
📌 工作参考价值（4 点）
- 在推荐系统使用扩散模型做内容生成或特征提取时，可采用廉价噪声重采样摊销昂贵前向计算的模式：将多次去噪步的共享计算提前完成，仅在最终步或采样时重新采样噪声，大幅降低推理/训练成本。
- 当目标函数涉及对时间步的期望时，可借鉴重要性采样+分层逆CDF，根据梯度方差分布动态调整时间步采样概率，在电商多模态模型（如视频生成）中减少约25%的噪声估计方差。
- 构建计算感知的方差核算框架，显式衡量不同随机源的方差贡献与计算开销，辅助决策哪些组件值得投入更多采样预算——这不限于扩散模型，Agent多步推理中的蒙特卡洛估计同样可应用。
- 在单步蒸馏等场景，若梯度方差已非瓶颈，大幅降低方差未必提升下游指标（如FID），提示业务中应优先诊断瓶颈后再投入方差优化资源。
LamPO：一种 Lambda 风格的推理语言模型策略优化
🧭 推理语言模型 · RLHF/RLVR 优化 ★ 深度解读
Pinterest · Facebook · University of Michigan - Ann Arbor · Mississippi State University · Carnegie Mellon University
用成对分解优势替代标量组优势，保留组内排序关系，提升RLVR样本效率与稳定性
📌 工作参考价值（4 点）
- 如果在训练对话/生成式推荐策略时使用 GRPO 等组相对训练，可借鉴成对优势分解：将组内每个样本与所有其他样本的奖励差用策略 log 概率差加权求和，保留细粒度排序信息，改善信用分配。
- 置信度权重 σ(Δs/τ) 简单实用：直接使用策略自身对样本对的偏好程度调节学习强度，可扩展到其他需要组内比较的场景。
- 对于有参考答案/轨迹的 RL 训练，可加入基于 ROUGE-L 的稠密辅助奖励，缓解稀疏正确性奖励下的学习困难，微小代价换取样本效率提升。
- 训练稳定性提升在小型模型的实验中表现明显，对资源受限下的快速迭代有帮助。
量化超参数迁移与嵌入层学习率的重要性
🧭 训练超参数迁移与μP
揭示μP优于标准参数化的关键在于嵌入层学习率，提出三指标量化超参数迁移质量
📌 工作参考价值（4 点）
- 在 AdamW 训练中，若不想完整迁移到 μP，可直接将嵌入层学习率相对于隐藏层放大（例如按宽度比例），即可获得类似 μP 的训练稳定性和超参数迁移效果，对推荐模型中的大嵌入表尤其适用。
- 评估超参数迁移时，可使用文中提出的三个指标：缩放律拟合优度、外推误差鲁棒性、参数化带来的渐近损失惩罚，为自己的 scaling 策略建立量化基准。
- 固定 tokens/参数比时，慎用权重衰减：虽能改善缩放律拟合，但会降低外推鲁棒性，可能需在 loss landscape 平滑性与迁移可靠性间权衡。
- 发现嵌入层学习率瓶颈后，可针对性地在混合精度训练或分层学习率设置中，为嵌入参数分配更高学习率，避免训练初期的不稳定。
偏好感知影响函数引导的高效微调数据选择
🧭 数据选择 · 影响函数 · 偏好感知 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
利用当前模型对目标示例的偏好加权构造目标方向，通过影响函数评分选择最有价值样本，提升微调数据效率
📌 工作参考价值（4 点）
- 在生成式推荐微调中，可用当前推荐模型对目标行为的响应概率作为权重，聚焦模型“附近”的高价值样本，避免均匀聚合造成的方向偏差。
- 影响函数评分公式 $s(z) = g_z^\top H_{\lambda}^{-1} g_{\text{KL}}$ 可直接嵌入现有微调流水线，配合 LoRA 等高效更新计算梯度，用于预算有限下的训练样本选择。
- 安全修复场景下，该方法能有效识别并移除导致有害行为的微调数据，可迁移到电商内容审核或多智体行为对齐中的训练数据清洗。
- 理论保证了一阶最优性：选择偏好加权方向下的 Top-$m$ 样本能最大化目标行为偏好的局部提升，为策略提供可靠依据。
DelTA：通过判别性Token信用分配提升可验证奖励的强化学习
🧭 强化学习训练优化 · Token级信用分配 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Ant International
将RLVR更新视为隐式线性判别器，通过重加权token梯度向量增强正负侧质心的区分度，提升数学推理等任务表现。
📌 工作参考价值（4 点）
- 将策略梯度更新解构为隐式判别器的方法可用于诊断线上RL模型训练中的token偏向问题，尤其适合电商推荐中奖励信号稀疏的长序列生成（如自动文案、对话）场景。
- 通过对比正负优势响应的token梯度质心并重加权token贡献，可以兼容大部分序列级RL目标（如GRPO、DAPO），工程实现可插入现有RLHF训练流程。
- 系数计算采用最后一层隐藏状态或输出行梯度代理，无需全参梯度，开销可控，适合大规模LLM训练的在线重加权。
- 在电商Agent的推理规划中，可借鉴基于判别性信号重新分配token信用，提升模型在长推理链上的一致性和正确率。
仅需极少量 RLVR 训练：通过秩-1 轨迹外推 LLM
🧭 RLVR 训练效率优化 · 参数轨迹外推
University of Virginia · Washington University in St. Louis
发现 RLVR 参数轨迹是低秩且线性的，提出 RELEX 只需 15% 训练步数即可外推高质量 checkpoint
📌 工作参考价值（4 点）
- 在线学习/RL 调优的早期停止：在电商推荐、Agent 策略的 RL 微调中，监控参数更新矩阵的秩，若观察到类似秩-1 结构，可大幅压缩训练步数，直接外推后续 checkpoint，节省算力。
- 低资源快速实验：仅需短窗口（如 15% 步数）和简单 SVD+线性回归，无需额外训练即可获得完整训练的近似模型，适合快速迭代验证想法。
- 模型合并与聚合中的去噪：秩-1 投影可滤除随机优化噪声，这一思想可迁移到联邦学习的参数聚合或多臂老虎机策略合并，提高鲁棒性。
- 长期性能预测：在无法完整训练的场景（如在线 A/B 测试需快速决策），用少量步数的参数变化线性外推长期趋势，提前终止劣化方向。
PlanningBench：面向LLM的可扩展、可验证规划数据生成框架
🧭 生成式规划数据 · 可控难度与自动验证 ★ 深度解读
Renmin University of China · Tencent Hunyuan Team · Beijing Academy of Artificial Intelligence · The Chinese University of Hong Kong
从真实场景抽象出任务-约束分类，通过闭环合成生成可验证规划数据，兼顾评估与强化学习训练
📌 工作参考价值（4 点）
- 可控数据生成范式：约束驱动合成 pipeline 从真实场景抽象任务-约束分类，可迁移至电商复杂任务（如物流调度、大促排期、库存分配）的规划数据生成，突破固定基准的限制。
- 可验证奖励设计：每个实例绑定自动验证清单，同时检查约束满足与目标优化，可作为强化学习 reward，保证 Agent 在长序列决策中保持全局一致性。
- 奖励确定性至关重要：偏好确定最优解，避免多个可行解导致奖励信号分散；在训练多目标协调的 Agent 时，应优先构造明确的最优指标以稳定训练。
- 难度自适应分级：按约束层级（基础/中等/困难）和状态化约束分档，通过动态调整采样概率实现难度递增，适合生成难度可控的训练集。
通过损失自适应学习率实现不遗忘的微调
🧭 损失自适应学习率缓解微调遗忘 ★ 深度解读
University of California San Diego
提出与训练损失平方根成反比的学习率调度，在保持新任务性能的同时，平均减少93%的灾难性遗忘。
📌 工作参考价值（4 点）
- 在电商客服或推荐解释的LLM微调中，可直接用FINCH代替常规余弦调度，无需修改目标函数或准备回放数据，即可保持模型在通用对话、推理等能力上的性能。
- 做新知识注入（如新品信息、新政策）时，FINCH能大幅减轻幻觉率上升和校准退化，比单纯的小学习率或LoRA更优。
- 方法实现简单：只需在训练循环中维护损失指数滑动平均，并据此计算每步学习率，与AdamW兼容，引入超参数少（仅ηbase和ηmax），适合快速工程落地。
- 对于需要持续微调但预训练数据不可访问的场景（如多轮对齐优化），FINCH提供了一种廉价的数据遗忘控制手段，可避免模型在反复更新中能力坍塌。
尾部退火：面向重尾流匹配的软对数变换
🧭 Flow Matching · 重尾训练技巧
CMAP, École Polytechnique, Institut Polytechnique de Paris
用坐标级软对数变换与Hill诊断，让标准流匹配零架构修改即可生成重尾数据且零发散
📌 工作参考价值（4 点）
- 电商用户行为数据（点击量、购买金额等）常呈现重尾，Log-FM 无需修改现有流匹配架构即可生成高质量重尾样本，用于数据增强或仿真
- 自适应 Hill 诊断自动识别每个特征的重尾性并决定是否变换，省去人工判断，可集成到自动化数据 pipeline
- 方法即插即用：训练前对重尾特征施加 soft-log 变换，生成后指数化还原，计算开销极低，适合大规模线上数据
- 在极端分位数（如 CVaR₉₉）上表现优异且零严重发散，对风险敏感的电商场景（库存压力测试、欺诈检测模拟）有直接应用价值
CEPO：基于对比证据策略优化的强化学习自蒸馏方法
🧭 强化学习验证奖励 · 对比证据信用分配 ★ 深度解读
MBZUAI · Linköping University · Australian National University
用正确与错误答案的对比信号锐化token级信用分配，保留安全保证并显著提升多模态数学推理
📌 工作参考价值（4 点）
- 在Agent多步决策或生成式推荐推理链中，可借鉴CEPO对比正确与错误示例，自动识别并放大关键决策token的梯度，抑制填充词干扰，提升训练效率和推理质量。
- 负参考直接从已采样的错误rollouts中提取答案，无需额外采样成本，适合在线RL训练，可直接迁移到电商对话Agent或推荐解释生成中的reward shaping。
- CEPO的stop-gradient和方向锚定设计避免了因引入特权信息（如最终答案）而导致的信息泄漏和训练崩溃，为在线自蒸馏提供安全的模板，适用于任何依赖最终正确标签的序列级强化学习场景。
- 超参数（λ线性衰减与ε_w裁剪）表现出强鲁棒性，且对比信号集中出现在关键推理步，可解释性强，有利于在业务中监控和调试信用分配质量。
从有机数据生成预训练 tokens 以突破数据墙
🧭 数据受限下合成数据生成 ★ 深度解读
Language Technologies Institute, Carnegie Mellon University · Xlue
SYNPRO 通过忠实且模型感知的合成数据生成，让 LLM 从有限有机数据中榨取更多有效 token，实现最高 5.2 倍重复训练的效率提升。
📌 工作参考价值（4 点）
- 用 faithfulness 奖励约束合成数据的分布一致性：在电商推荐场景中，对用户行为序列（如点击流）做 rephrase 或 reformat 生成训练样本时，必须强制生成内容忠于原始序列，避免引入幻觉或知识蒸馏，否则会导致分布坍缩，损害长期效果。
- 模型感知的数据生成：借鉴 SYNPRO 的数据影响奖励，在 Agent 多智体训练或生成式推荐中，可以动态评估当前模型在哪些样本上损失下降较大，引导数据生成器朝着模型当前不擅长的内容倾斜，类似在线课程学习，持续突破性能瓶颈。
- 数据操作组合：rephrase + reformat：Reformat 将源数据转化为 QA、对比分析、推理链条等任务形式，可迁移至电商搜索、推荐解释生成等场景；将用户序列或商品描述重新格式化为结构化常识推理段落，能帮助模型学到更深层的语义关联。
- 多轮迭代合成与累积合并：工作证实将历次生成的数据一起混合训练比只用最新一批更有效，工程实现上可以建立合成数据池，配合模型 checkpoint 迭代扩增，最大化有限原始数据的价值。
DataPrep-Bench：统一评估 LLM 训练数据构建与质量
🧭 LLM 训练数据准备基准
Peking University · Institute for Advanced Algorithms Research, Shanghai · OriginHub Technology · Zhongguancun Academy
首个端到端基准评估 LLM 数据构建与质量预测，提出 DAS 评分和技能引导代理
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景的微调数据准备中，可借鉴 DAS (Distributional Alignment Score) 评估候选数据集与目标域（如商品查询、点击日志）的分布对齐程度，通过 MMD 衡量分布差异，过滤低质量样本，提升下游模型性能。
- Data-Construction-Skill 代理将复杂数据构建任务分解为技能引导的子任务，电商从业者可类似地将“查询-商品对生成”拆解为属性抽取、语义改写等技能，提升合成数据的多样性和相关性。
- 采用 下游驱动评估协议：不依赖表面文本指标，而是通过实际微调验证数据价值，推荐团队在迭代数据管道时可直接用在线 A/B 指标作为数据质量的最终评判标准。
- 基准中数据质量评估与数据构建的 统一框架 可迁移至推荐系统的训练数据准备流水线，将数据采集、清洗、标注和筛选环节标准化，并通过 DAS 等指标闭环优化。
GoLongRL：基于能力导向的长上下文强化学习与多任务对齐
🧭 长上下文RLVR多任务对齐训练
Kuaishou Technology · University of Chinese Academy of Sciences
提出能力导向的长上下文RLVR数据集和TMN-Reweight多任务优化，使30B模型长上下文性能比肩大模型
📌 工作参考价值（4 点）
- 能力导向的数据构建：按细粒度长文本能力（如推理、检索、多跳聚合）设计多类型任务和自然评估指标，可直接用于电商搜索或Agent长上下文数据构造，提升生成式推荐对长会话、产品文档的理解。
- TMN-Reweight多任务训练技巧：通过任务级均值归一化消除异构奖励尺度差异，再按难度自适应加权，可复用到多目标RL场景（如同时优化CTR、转化率、停留时长），避免某一目标主导优化。
- 开源数据与代码：23K长上下文RLVR样本及完整训练流程已开源，可直接作为基础数据集或框架，加速业务中基于GRPO的RLVR训练，节省数据设计成本。
- GRPO训练配置：验证了在长上下文RLVR中，更大的任务多样性和奖励差异性能显著提升效果；业务中若需RL训练，应避免单一任务结构，追求覆盖多种真实场景的能力类型。
POW3R：基于策略感知的动态评分标准奖励框架
🧭 RLVR · 动态奖励聚合 ★ 深度解读
Scale AI · Persona
提出POW3R框架，通过rollout对比自适应调整评分标准权重，将人类重要性与当前可学性解耦，提升GRPO训练效果与效率
📌 工作参考价值（4 点）
- 多目标奖励的动态权重分配：在电商推荐或Agent的多维度评估中（如准确性、多样性、响应速度），可借鉴POW3R，根据策略当前表现动态调整各维度在奖励中的压力，避免固定权重导致学习停滞在已饱和或无法达标的目标上。
- 信息量驱动的训练信号筛选：利用rollout级别的方差（或评分者间分歧）识别哪些评估项对当前策略最具区分力，将训练压力集中于此，其他项保留基线权重，这能提升早期训练效率和最终性能，类似推荐系统中对困难用户或长尾商品的强化学习倾斜。
- 保持类别质量平衡的归一化设计：POW3R在类别内重新分配权重但保持类别总质量不变，这种设计可复用至Agent的多能力维度（规划、工具使用、解答准确性）训练，避免某一能力因梯度占优而掩盖其他能力的发展。
- 评估与训练奖励解耦：静态的人类重要性权重保留作为最终评估目标，训练时则使用动态权重提供更丰富的梯度信号。这种拆解对生成式推荐中多语义ID的优化同样适用：静态的语义重要度不直接等同于RL训练时的有效信号，可分别设计评价和训练两套权重。
通用偏好强化学习
🧭 多维偏好在线RL · 抗reward hacking ★ 深度解读
Stanford University · The University of Oklahoma · Independent Researcher
用多维度偏好嵌入与漂移控制实现在线RL的开放任务对齐，无需标量奖励
📌 工作参考价值（4 点）
- 在推荐系统的多目标优化（如点击率、转化率、多样性）中，可借鉴GPM的k个子空间独立建模不同指标，采用per-dimension组相对优势归一化，防止单一指标主导梯度，避免信息茧房或过度商业化。
- 漂移监控器可复用到多任务RL：跟踪各目标方差份额，当某维度过度集中时自动降低其权重并收紧策略约束（如KL惩罚），实现动态平衡，无需外部验证信号。
- 向量化的奖励结构能天然抑制单轴投机：只有在所有维度共同改善时优势才增加，这一性质可直接应用于拒止推荐策略的“作弊”行为。
- 工程上，GPRL直接替换现有GRPO管线，仅需冻结一个偏好模型提供多维分数，计算开销与标量RM相当，适合大规模在线学习场景。
重新思考Muon：在VLA与RLVR中引入高通滤波解决频谱失效
🧭 训练优化器设计：高通频谱滤波
Michigan State University · Cisco · University of Minnesota · IBM Research
提出Pion优化器，用高通频谱滤波替代Muon的均匀白化，解决VLA低秩噪声放大和RLVR不稳定问题
📌 工作参考价值（4 点）
- 在电商推荐模型的RLHF/RLVR微调中，若使用类似Muon的优化器，需警惕低信噪比梯度导致崩溃，可改用Pion或保守选择AdamW。
- 多任务或多头推荐模型中，per-head独立更新（通过reshape实现）能保留不同商品类目或用户群体的头部特异性，避免均匀白化破坏已学的差异性。
- 在梯度噪声大、存在低秩组件的场景（如冷启动、稀疏特征），高通滤波思路可直接用于动量或梯度修正，抑制尾部方向噪声。
- 预训练有效的优化器（如Muon）在微调/RL阶段可能失效，需根据梯度频谱特性做适配，Pion为这种迁移提供了低成本替换方案。
对称性兼容原则指导优化器设计：嵌入、LM头、SwiGLU MLP和MoE路由
🧭 优化器设计 · 等变更新 · 预训练
提出基于参数块对称群的等变优化器设计原则，为不同层定制更新规则，在LLM预训中超越AdamW
📌 工作参考价值（4 点）
- 嵌入层与投影层优化：推荐模型的实体/用户嵌入矩阵和最终的投影层可尝试行归一化（row-norm）或单边谱更新，利用左置换等变性，可能提升大规模嵌入训练稳定性。
- SwiGLU MLP 的定制更新：若模型采用 SwiGLU 激活，其权重块的中间神经元置换对称性可指导设计 row-aware 或 column-aware 更新，提升梯度信号对齐，加速收敛。
- MoE 路由器优化：在多领域或多专家推荐中，MoE 路由矩阵可利用专家置换和偏移不变性，采用中心化行归一化或左谱更新，可能改善负载均衡和路由精度。
- 系统化分块优化器设计：整体思想可迁移——先分析模型各参数块的对称群，再选配等变更新规则，而非统一使用 Adam，尤其适用于推荐系统中多种异质参数（Embedding、Attention、MoE 等）的混合架构。
后训练MoE可通过自蒸馏跳过半数专家
🧭 动态MoE推理加速 · 自蒸馏适配 ★ 深度解读
Tsinghua University · Shanghai AI Lab · WeChat AI · Kuaishou Technology · Frontis.AI
注入零输出专家并两阶段自蒸馏，将静态MoE转为动态，消减超50%专家计算且精度损失极小
📌 工作参考价值（4 点）
- 部署加速：已在线服务的 MoE 模型可直接注入零专家并通过自蒸馏转为动态路由，无需重新预训练，降低推理 FLOPs 和耗时，适合电商对话、Agent 等对延迟敏感的场景。
- 稳定迁移：组级辅助损失（L_GA）仅在普通专家与零专家组之间施加平衡，保留原模型内部路由分布，避免能力坍塌，这一 trick 可复用于其他需要引入“跳过”选项的 MoE 微调。
- 蒸馏策略：SFT + OPD 的两阶段设计先驯化路由再对齐分布，比单阶段更稳定；OPD 使用学生自身 rollout 并由教师提供 token 级目标，缩小训练-推理分布差异。
- 计算分配信号：零专家激活率与师生 logp 差、模型熵高度相关，而与任务难度解耦，可据此设计基于置信度的动态推理策略。
结构化牛顿层并行：用廉价代理雅可比实现Transformer层间并行推理
🧭 层并行推理 · 结构化牛顿校正 ★ 深度解读
Red Hat AI Innovation · MIT-IBM Watson AI Lab · Core AI, IBM
将层间隐藏状态视为非线性残差方程，用结构化代理雅可比替换精确雅可比，结合训练正则化，实现层并行加速。
📌 工作参考价值（4 点）
- IDN 正则化让残差块的雅可比逼近 I，可移植到生成式推荐的 Transformer 编码器/解码器训练中，降低层间依赖，为后续并行化创造空间。
- 推理时使用 IDN（即 hl+1 = f_l(hl-1) + (h_l - h_l-1)）做轻量校正，可实现层间并行评估，结合算子融合与 chunk 划分，在0.5B模型上获得2.3×加速，此模式可试用于电商搜索/推荐模型的实时推理加速，特别是当模型深度较大时。
- HCN 利用架构内残差混合矩阵（如mHC）作为代理雅可比，避免任何雅可比估计开销；若系统已有流式记忆或路由结构，可直接复用其权重作为并行校正算子。
- SNLP 训练正则（让有限步牛顿迭代解逼近序列解）同时改善序列PPL（降低4.7%~23.4%），可作为通用的训练正则项提升模型质量，即使不启用并行推理也值得尝试。
多模态模型中模态竞争的二阶多层级方差校正
🧭 多模态训练优化 · 二阶方差校正
University of Oxford
提出ML-FOP-SOAP，通过Fisher正交投影和层级方差校正抑制模态冲突，稳定大batch训练并提速
📌 工作参考价值（4 点）
- 电商多模态模型（商品图文联合训练）可替换AdamW为ML-FOP-SOAP，缓解视觉生成与文本理解间的梯度冲突，提升训练稳定性与样本效率（1.4×）。
- 层级折叠策略降低梯度累积时二阶统计量的微步开销，适合大规模分布式训练中通信受限的场景，可直接复用于类似EMA方差跟踪的工程实现。
- 该方法在batch size 8192下仍能稳定训练，对需要大batch加速预训练的业务有直接价值，可尝试引入到现有大模型训练框架中。
- Fisher正交投影的模态解耦思想可推广至多任务或推荐系统中的多目标优化，通过正交化投影抑制不同目标间的梯度干扰。
DynMuon：动态频谱塑形优化器
🧭 动态频谱塑形优化 · Muon改进 ★ 深度解读
University of Wisconsin–Madison · MIT · Elorian AI
动态调度Muon类矩阵更新的频谱指数p从正到负，早期聚焦高曲率方向，后期转向平坦方向，实现更优收敛
📌 工作参考价值（4 点）
- 动态频谱调度可迁移：在训练推荐模型（如CTR预估、Embedding矩阵）的矩阵参数时，可引入类似DynMuon的阶段式频谱调整，前期用高曲率方向加速信号衰减，后期转向平坦方向捕捉剩余信号，避免固定谱变换的次优性。
- 高效近似实现：利用Newton–Schulz迭代+二阶泰勒展开近似任意p的UΣ^pV^T更新，额外计算成本仅比Muon增加0.3%~2.5%，可即插即用地嵌入现有AdamW/Muon框架，适合大规模电商模型训练。
- 噪声感知的调度设计思路：通过曲率方向上的信号-噪声分解（如本文的mode-wise分析），可诊断训练中各子空间的优化状态，指导自适应调度，例如在Agent多智体协作训练中动态分配参数更新强度。
- 简单的logistic调度策略：p从1平滑降至-0.25，仅需两个超参数（τ, w），鲁棒性强，无需在线估计曲率，可直接作为默认配置，为其他动态优化器设计提供参考。
概率式分块掩码：让 VLA 强化学习在轨迹发散处高效更新
🧭 高效强化学习训练优化
Indian Institute of Technology Madras
用成功-失败动作方差定位学习信号，概率掩码轨迹块，实现 GRPO 梯度计算 4.8 倍加速且成功率无损
📌 工作参考价值（4 点）
- 在序列决策模型（如对话 Agent、推荐序列）的 RL 训练中，可借鉴 PCM 的思路：仅对成功与失败轨迹出现行为分歧的时间步计算梯度，避免在已经学好的区域浪费算力。
- 利用分组 rollouts（如 GRPO 的对比样本组）的“成功-失败动作方差”作为信息量指标，无需额外价值网络，可低成本筛选出关键决策片段，适合 critic-free 的 LLM 微调场景。
- 在线更新阶段级保留概率的机制，可动态适应策略变化，在推荐模型持续训练或在线学习时有借鉴意义，能更高效地利用回放数据。
- 工程实现上轻量（drop-in 替换 GRPO），无需奖励模型，能同时大幅降低显存（60% 峰值激活）和训练时间，适合资源受限的 VLA 策略或大模型 RL 微调。
利用几何感知锐度最小化规避损失坑洼
🧭 优化训练 · 二阶预条件与 SAM 协同
Mila, Université de Montréal · Samsung – SAIL Montreal
LLQR+SAM 用慢更新的二阶预条件器增强 SAM 扰动，放大局部锐利方向的逃逸信号
📌 工作参考价值（4 点）
- 推荐模型泛化提升：用慢更新预条件器捕获损失景观的低频几何，结合快速 SAM 扰动可有效跳出局部尖锐极值点，适合 CTR/CVR 模型在大规模稀疏数据上避免过拟合。
- 大模型微调中的曲率修正：LLQR 的逐层线性二次型调节器预条件器可在 LoRA 等适配器微调中，以稀疏 EMA 方式注入，在不显著增加开销下改善平坦性，提升 OOD 泛化。
- 多任务学习与 Agent 策略优化：在 RL 或 Multi-Agent 训练中，不同任务梯度方向冲突常形成损失坑洼，采用二时标结构（慢几何学习 + 快曲率探测）可稳定训练，避免单个任务主导的尖锐解。
- 工程实现 trick：预条件器每数千步更新一次并维持 EMA，计算开销极小，适用于需长期训练的电商搜索、序列推荐模型，可与现有 SAM 变体（如 FSAM）直接插拔。
MIND：通过潜在流形解耦分离模型诱导的标签噪声
🧭 标签噪声鲁棒学习 · 潜在流形解耦
State Key Laboratory of Novel Software Technology, Nanjing University
将模型诱导的系统性标签噪声解耦为子空间依赖成分，用动态聚类估计噪声以校正伪标注。
📌 工作参考价值（4 点）
- 在电商商品自动分类/属性标注中，使用伪标签训练时，可借鉴LDE模块动态聚类识别系统性错误模式，提升伪标签质量。
- 作为基础模型蒸馏的鲁棒框架，在生成式推荐（如用VLM生成商品描述）中校正幻觉噪声，避免错误级联。
- 为Agent反馈信号去噪提供思路：通过将噪声与数据流形解耦，识别智能体交互中重复出现的偏差模式，提高强化训练稳定性。
- 采用分层噪声鲁棒性评估协议，设计更贴近真实分布外噪声的结构压力测试，评估实际部署中的模型韧性。
MixSD：混合上下文自蒸馏用于知识注入
🧭 知识注入 · 混合自蒸馏 · 分布对齐 ★ 深度解读
Carnegie Mellon University · University of Toronto · University of Illinois Urbana-Champaign · Princeton University · Cornell University
提出MIXSD，通过混合基础模型自身专家与朴素条件采样构建分布对齐监督，大幅减轻知识注入时的灾难性遗忘。
📌 工作参考价值（4 点）
- 用模型自身的语境采样作为监督信号：在注入新知识时，不直接使用人工书写的目标文本，而是用基础模型在“看到事实”与“未看到事实”两种条件分布下采样的token混合生成训练目标，使监督更贴近模型原有分布，减少分布偏移带来的遗忘。
- 通过混合率 λ 灵活控制注入与保留的平衡：λ=0.3–0.5 通常可保持注入准确率的同时大幅提升通用能力保留；在电商/Agent 场景下，可将该超参数作为调节“领域知识吸收 vs 通用能力保持”的杠杆，无需复杂正则化。
- 替代昂贵的 on‑policy 自蒸馏：MIXSD 仅需一次离线生成混合 rollouts，训练成本与 SFT 相近，却显著优于 OPSD 等 on‑policy 方法，适合工业级知识注入流程。
- 用 Fisher 对齐比率诊断遗忘风险：发现参数更新方向（而非幅度）与遗忘强相关，可在微调过程中监控该指标，提前预警能力退化；对于 Agent 多步推理能力保持尤其重要。
全注意力反击：百步训练内将全注意力转化为稀疏注意力
🧭 长上下文推理 · 注意力稀疏化
Nanjing University · Alibaba Group
发现全注意力LLM存在内在稀疏性，通过轻量索引和动态选择仅需数百步训练即可达到近乎无损的稀疏推理
📌 工作参考价值（4 点）
- 动态 top-p 筛选: 对电商搜索/推荐中的长序列用户行为编码，借鉴 query-dependent 的动态 token 预算，代替固定 top-k，可保留关键信息同时降低计算开销。
- 检索头识别与保留: 在 Agent 长对话记忆或商品详细页理解中，仅保留少数注意力头进行全长度上下文检索，其余头使用稀疏模式，可大幅压缩 KV 缓存。
- 低维索引器设计: 用 16 维索引矩阵替代完整注意力分数计算，适合实时性要求高的生成式检索或召回阶段，可在预填充阶段大幅提速。
- 少步迁移训练: 利用已有的全注意力模型，仅需数百步微调即可迁移到稀疏推理，无需从头预训练稀疏模型，节省训练资源且保持精度，适合业务快速迭代。
异构特征空间下的联邦缺失值填补
🧭 联邦缺失值填补 · 特征图消息传递
University of Luxembourg
利用全局特征图的消息传递，在联邦学习中实现异构特征空间的间接跨客户端知识迁移与缺失值填补
📌 工作参考价值（4 点）
- 电商多源数据填补：当不同业务线（如搜索、推荐、广告）或不同客户端（如不同地区的用户画像）特征空间不重叠时，可借鉴该方法的特征关联图建模，通过消息传递间接填补缺失特征，提升用户/商品特征完整性。
- 联邦推荐特征对齐：在跨部门联合建模场景下，无需共享原始数据，利用全局特征图即可发现特征间的统计关系，指导本地模型的填补与更新，解决特征异构问题。
- 特征图构建启发：采用互信息或相关性构建全局特征图，作为联邦通信中的共享知识，可迁移到其他需要特征补全的分布式任务（如 Agent 环境感知或冷启动特征推断）。
- 工程实现参考：联邦架构仅交换特征图结构和少量消息，通信开销低，适合生产环境中隐私受限的多方数据协作。
运行时编排的二阶优化实现可扩展大模型训练
🧭 二阶训练运行时优化
University of Oxford
Asteria通过异步状态分布和有界陈旧同步，将二阶优化器高效应用于大模型训练
📌 工作参考价值（4 点）
- 优化器状态卸载到主机：将二阶优化器的大矩阵状态移至CPU内存或NVMe，GPU仅保留模型参数与梯度，大幅降低显存占用，使推荐/Agent模型中亦可尝试SOAP等二阶优化器以提升样本效率。
- 异步逆平方根计算：利用训练hook预准备影子状态，在主机端后台计算昂贵的矩阵逆平方根，GPU不用等待，适合大embedding矩阵等场景下将耗时的矩阵运算剥离出关键路径。
- 有界陈旧同步协议：分布式训练中设定同步频率上限，结合拓扑感知协调，在多个worker间减少通信开销的同时保障优化有效性，可直接在电商推荐模型的分布式训练中推广。
- 存储分层与动态调度：根据运行时内存压力，动态在GPU显存、CPU内存、NVMe间迁移优化器状态，应对内存受限环境，为部署大规模agent或生成式推荐模型的训练提供弹性资源管理思路。
AstraFlow：面向智能体大模型的数据流导向强化学习系统
🧭 Agent RL 训练系统 · 数据流架构
Carnegie Mellon University · University of Michigan · UC Berkeley · Meta
以数据流架构解耦训练、数据供给与 rollout，原生支持多策略协作训练并提速 2.7 倍
📌 工作参考价值（4 点）
- 训练与 rollout 解耦的架构：将 rollout 服务化为独立、可替换的组件（Rollout-as-a-Service），可借鉴到推荐模型的在线 RL 训练中，实现策略模型与交互环境分离，便于弹性扩展和资源优化。
- 数据流驱动的异步数据管线：通过数据流层实现完全异步的样本供给，避免训练器等待 rollout，可应用于大规模分布式训练场景，提升 GPU 利用率。
- 多策略协作训练机制：支持多个策略模型（如不同推荐策略或不同 Agent 策略）在同一框架下协同训练，适合多目标推荐或多 Agent 协作优化，可直接复用其稀疏权重更新、选择性 rollout 等设计。
- 异构、跨区域资源的弹性利用：支持不同 GPU 类型、跨地域的 rollout 资源池，对需要动态调度算力（如大促弹性扩容）的业务有参考价值，能降低成本。
策略引导探索：用轻量级提示提升RLVR探索效率
🧭 强化学习探索 · 策略级上下文 ★ 深度解读
KAIST · DeepAuto.ai
提出 NudgeRL，通过策略级上下文进行结构化探索，在仅 8 次采样下超 8 倍采样 GRPO
📌 工作参考价值（4 点）
- 低成本探索增强：使用轻量级 LLM（如 gpt-4o-mini）离线生成策略级关键词（如数学定理名），在训练时随机采样并拼入 prompt，即可大幅提升采样多样性。电商推荐场景可类比生成“商品类别/用户意图”等标签作为上下文，引导 Agent 探索不同推荐路径，无需昂贵 oracle 标注。
- 上下文控制优势估计：Inter-Intra Group Advantage 将奖励分解为组内与组间信号，λ 参数可调节探索-利用倾向（λ>1 倾向可靠上下文，λ<1 鼓励探索新上下文）。在 Agent 多策略协作中，可对不同的策略组分配不同 λ，动态平衡已知高转化策略与新策略尝试。
- 知识蒸馏回基础策略：通过优势加权蒸馏，将上下文条件下发现的有效轨迹迁移回原始无上下文的策略，使推理时无需外部提示。在多智能体系统中，可将智能体在辅助信号下学到的技能蒸馏至主策略，避免上线时的输入依赖。
- 采样效率提升的工程启示：论文证明结构化探索可以显著减少所需采样数（8 次 vs 32 次 GRPO），且 pdrop=0.5 随机丢弃上下文能保持稳定训练。在生成式推荐中，若用类似方式对候选生成过程注入多样性（如不同 decoding 技巧或 prompt 模板），可降低大规模采样的计算开销。
从顺序特征恢复中涌现缩放定律：一个可解的分层模型
🧭 特征学习顺序与缩放定律的理论解释
Ecole Normale Supérieure (PSL & CNRS) · École Polytechnique Fédérale de Lausanne (EPFL)
揭示多层网络如何通过顺序恢复不同强度的潜在组合特征来产生幂律缩放定律
📌 工作参考价值（4 点）
- 推荐系统的特征重要度设计：可借鉴分层组合特征的幂律权重先验，在特征工程中明确区分强/弱特征，指导特征选择和样本分配。
- 分阶段训练策略：在电商多模态模型中，可按特征强度顺序逐步引入训练目标，先用强特征快速收敛，再逐步学习弱特征，可能提升样本效率。
- Agent多智体中的层次规划：分层恢复的理念可迁移至任务分解，先将简单子任务习得，再顺序攻克复杂子任务，形成由易到难的学习序列。
- 理论启发：为推荐模型（如生成式推荐）中的深层次Semantic ID结构提供了新的分析视角，表明层级表示可能自然导致缩放行为。
带有学习可靠性的过程奖励模型
🧭 过程奖励可靠性建模与自适应推理
Washington University in St. Louis · Singapore University of Technology and Design
BetaPRM 预测步骤正确概率和该预测的可靠性，并利用可靠性信号实现自适应计算分配，减少推理 token 消耗
📌 工作参考价值（4 点）
- 在 Agent 多步决策中，使用 Beta 分布建模每步奖励的可靠性，避免单点奖励误导决策，增强动作选择的可信度。
- 对于生成式推荐候选集选择的 Best-of-N 推理，可借鉴自适应计算分配（ACA）：根据可靠性提前终止高置信候选，将计算资源集中到不确定的候选上，显著减少 LLM 调用成本。
- 训练 PRM 时，不再回归有限样本成功率，而是采用 Beta-Binomial 似然直接学习 Beta 信念，输出不确定性，这对排名、过滤等下游任务更友好。
- 在需要对中间结果（如 query 重写、解释生成）打分的系统中，可引入可靠性阈值控制，避免过早丢弃潜在正确但暂时评分偏低的步骤。
GPart：通过全局参数分区的端到端等距微调
🧭 Training ★ 深度解读
Samsung AI Center, Warsaw · University of Warsaw
提出 GPart，用单一随机分区矩阵将可训练向量直接映射至全权重空间，消除 LoRA 的低秩瓶颈并实现端到端等距
InfoSFT：信息感知的令牌加权，学得更多，忘得更少
🧭 Training ★ 深度解读
University of Pennsylvania · University of Southern California
提出基于模型置信度的令牌加权规则，为中等置信度令牌分配最高权重，提升泛化并减轻灾难性遗忘
基于性能驱动的自适应窗口策略优化用于投机解码
🧭 Training ★ 深度解读
提出PPOW框架，将草稿模型训练转为窗口级强化学习，结合性能奖励与自适应窗口采样提升投机解码效率
ϕ-均衡：面向混合专家训练的凸对偶负载均衡框架
🧭 MoE 训练 · 负载均衡 ★ 深度解读
University of Texas at Austin · Northwestern University
利用严格凸势函数与镜面下降，将 MoE 负载均衡从启发式 batch 统计提升为人口级凸优化，仅需 EMA 跟踪路由概率即实现更稳定均衡与专家专业化
📌 工作参考价值（4 点）
- 用 EMA 替代 batch 统计，消除负载均衡偏差：在电商推荐或 Agent 系统的 MoE 层中，可直接将 ST-MoE 损失中的 batch 频率 f_e 替换为 EMA 路由概率经镜面映射 ∇ϕ(m) 的加权，实现全局均衡，避免因小批次造成的不均匀分配，对长尾流量和冷启动专家更友好。
- 负熵势函数是简单有效的默认选择：实验证明负熵作为 ϕ 在各种规模与粒度下均最优，实现简单（L_aux = Σ p_e * (log m_e + 1)），且对 EMA 衰减率鲁棒（推荐 0.6–0.7），可直接替换现有负载均衡损失而无需额外调参。
- 促进专家专业化，适配多域推荐：ϕ-均衡允许路由根据全局分布动态分配专家，使不同专家自然专注于不同商品类目或行为模式，适合电商多场景联合建模（如搜索、推荐、广告），可尝试冻结部分专家实现领域隔离。
- 工程开销极小，易于集成：仅需在每个 MoE 层维护一份 EMA 向量并增加一步 stop_gradient 的 ∇ϕ 计算，额外算力可忽略，适合大规模分布式训练，能够无缝融入现有 DeepSpeed-MoE 等框架。
TFGN：无需任务标签与回放的LLM级持续预训练架构
🧭 Training ★ 深度解读
Independent Researcher
提出一种内部架构叠加层TFGN，在无回放、无任务ID的条件下，实现LLaMA 3.1 8B等多尺度的近零灾难性遗忘与>99.59%的梯度正交性
TILT：协变量漂移下的目标诱导损失倾斜
🧭 无监督域适应 · 重要性加权 · 协变量漂移
Massachusetts Institute of Technology
通过分解源预测器为 f+b 并在目标无标签数据上惩罚 b，实现无需密度比估计的隐式重要性加权域适应
📌 工作参考价值（4 点）
- 在电商推荐中，训练集与线上分布不符时，可将推荐模型分解为共享主体（f）和域偏置（b），用目标域无标签曝光数据惩罚 b 来矫正分布差异，部署时仅使用 f，避免密度比估计的不稳定。
- 该方法对正则化超参数不敏感，实验中在一个宽范围内表现稳定，适合工业场景调参困难的问题。
- 理论保证了即使源目标域支持不相交，b 的范数仍一致有界，避免极端偏移下的失效，可应用于用户群体差异巨大的跨市场推荐。
- 实现简单：只需在原损失中增加目标侧对 b 的惩罚项，支持任何梯度下降框架，可快速集成到现有模型中。
VGGT-Ω：可扩展的前馈三维重建模型
🧭 可扩展多视角重建与空间理解
Meta
通过架构精简、寄存器注意力与大规模自监督训练，前馈重建模型在精度与效率上大幅超越先前工作
📌 工作参考价值（4 点）
- 寄存器注意力可用于多模态特征压缩：将场景信息压缩到少量寄存器 token，仅在这些寄存器间做全局交互，类似操作可迁移到电商多模态商品表示中，用少量可学习 token 对图文特征进行汇聚与交叉注意力，降低计算量。
- 自监督从视频中学习通用表示：利用海量无标注视频，通过重建代理任务预训练模型，该思路可直接用于用户行为序列建模——将行为序列视为时间帧，通过预测下一行为或重建序列结构获得更强序列表示。
- 单头多任务密集预测：用一个密集预测头同时监督深度、相机参数等多个任务，这种多目标共享表示的设计可借鉴到推荐模型的多目标学习中，减少参数冗余并提升泛化。
- 重建是空间理解的强代理任务：学习到的寄存器可直接改善视觉-语言-动作模型，表明三维重建能训练出对视觉-语言对齐有益的空间特征，电商视觉搜索或布局生成任务中可尝试引入重建预训练来增强空间敏感度。
从失败中学习：基于可验证奖励的修正导向策略优化
🧭 利用失败轨迹的修正训练增强 RLVR ★ 深度解读
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Xiaohongshu Inc.
将 RLVR 中的失败轨迹转化为修正监督，无需额外信号，显著提升推理与自我纠错能力
📌 工作参考价值（4 点）
- 在构建对话推荐 Agent 时，可利用用户交互中的失败轨迹（如不满意回复）构造修正对，通过 RL 训练提升 Agent 自我纠错能力，而非简单抑制。
- 生成式推荐或代码生成 Agent 可借鉴难度感知偏好采样（Section 3.3），优先重放中等通过率的样本，避免在过难或过易问题上浪费计算。
- 自适应重放比率与风险厌恶奖励塑形（Section 3.2）可迁移到推荐策略 RL 训练中，动态平衡正确与错误轨迹，防止遗忘已学知识并抑制能力退化。
- 在线修正机制无需外部标注或奖励模型，适合电商 Agent 在无人工反馈的条件下持续优化多步规划与纠错能力。
对齐潜空间几何以实现球面流匹配图像生成
🧭 球面潜在流匹配优化生成质量
将扩散模型潜空间的线性插值改为球面线性插值，仅微调解码器即可提升生成质量
📌 工作参考价值（3 点）
- 对于电商中的商品图生成等视觉任务，直接将扩散模型潜空间的线性插值替换为球面插值（slerp），并配合固定半径投影与解码器微调，可在不改动主干网络的前提下提升FID，工程改动小，效果稳健。
- 方向分量主导语义的洞察可迁移到推荐系统的表示学习：将用户/物品embedding归一化到固定球面，分离语义（方向）与强度（半径），有助于提升表示对齐和相似度计算的稳定性。
- 冻结编码器、只微调解码器的策略，是一种低成本的分布适配技巧，适用于其他需要将高斯先验对齐到特定几何结构的生成式模型场景。
FrontierSmith：规模化合成开放式编程问题
🧭 Training ★ 深度解读
UC Berkeley · UC San Diego · University of Washington · Stanford University · Princeton University
通过变异封闭式编程问题并使用思路分歧度量自动筛选，实现开放式编程问题的规模化合成与强化学习训练
混合专家模型缩放：从μP到最大尺度稳定性参数化
🧭 Training ★ 深度解读
University College London · Amazon · University of Tübingen
提出最大化尺度稳定性参数化 (MSSP) 解决 MoE 联合缩放时的动态退化问题，恢复学习率迁移和单调性能增益
基于均值漂移交互粒子系统的贝叶斯推断离散化方法
🧭 粒子系统贝叶斯采样 · MMD 最小化
Center for Computational Science and Engineering, Massachusetts Institute of Technology · Laboratory for Information and Decision Systems, Massachusetts Institute of Technology
提出均值漂移交互粒子系统，通过 MMD 最小化逼近目标分布，实现免归一化常数的贝叶斯积分近似。
📌 工作参考价值（4 点）
- 推荐系统中贝叶斯模型（如贝叶斯个性化排序）的后验推断常面临多模态挑战，该方法的交互粒子系统能有效捕捉多模态和 anisotropy，避免模式坍缩，从而提升参数估计的准确性。
- 方法不依赖归一化常数，且支持无梯度实现，适用于优化非可微排序指标（如 NDCG）的场景，可直接用于粒子优化。
- 粒子系统实现简单，易于并行化，可用于需要在线更新后验的实时推荐或动态定价场景。
- 对于生成式推荐中的隐变量模型，可将此方法用于近似后验采样，替代传统的 MCMC 或变分推断，提高采样多样性和效率。
基于量子启发的经典算法获得神经网络中奖彩票
🧭 去量子化彩票采样算法
The University of Tokyo · RIKEN AIP · CyberAgent
提出量子启发的多项式时间经典算法，高效采样稀疏子网络，性能媲美精确采样
📌 工作参考价值（4 点）
- 对于推荐系统大模型，可借鉴该采样方法快速选取可训练子网络，降低训练成本；利用脊波变换优化的概率分布，比随机剪枝更可靠。
- 算法复杂度与数据维度多项式相关，可在经典硬件上实现，适合工业界直接部署，无需量子硬件。
- 去量子化思路提示：某些量子加速算法可能存在高效的经典对应，可尝试类似思路简化现有采样或搜索模块。
- 该方法在浅层网络上验证有效，可实验迁移至深层网络或Transformer结构，用于Embedding层或Attention头的稀疏化。
扩散模型多任务训练的在线策略蒸馏视角统一
🧭 多任务扩散模型训练 · 在线策略蒸馏
提出 DiffusionOPD，通过在线策略蒸馏将多个任务教师知识融入统一学生，实现多任务扩散模型高效训练
📌 工作参考价值（4 点）
- 多任务扩散模型训练中，独立训练专家教师再通过在线蒸馏合并到一个学生，可避免联合训练的任务干扰与灾难性遗忘，适合电商多目标生成场景（如多风格 banner 生成或多场景推荐解释生成）。
- 使用学生自身 rollout 轨迹进行蒸馏（而非教师轨迹），能更好地对齐学生当前分布，提升蒸馏效率，这一技巧可直接迁移到生成式推荐的扩散模型微调。
- 导出的闭式 per-step KL 目标提供低方差梯度，能稳定 RL 训练，可应用于基于扩散模型的用户行为序列生成或交互式多臂老虎机推荐。
- 确定性 ODE 与随机 SDE 的统一 mean-matching 公式，为实际部署中采样器选择提供依据，减少推理代价，对需要实时响应的推荐系统有益。
Hölder策略优化：动态调度token聚合的RL训练框架
🧭 LLM强化学习训练 · token聚合优化 ★ 深度解读
University College London · Shanghai Jiao Tong University · The Hong Kong University of Science and Technology (Guangzhou)
通过Hölder均值参数p动态调度，在GRPO中平衡梯度浓度与方差，实现数学推理和智能体任务的SOTA性能
📌 工作参考价值（4 点）
- 动态调度聚合参数p的思路可直接迁移到电商推荐的长序列决策中：早期用较大p放大稀疏但关键的交互信号（如购买、加购），后期降低p控制梯度方差，提升策略收敛稳定性。
- Hölder均值提供统一的token/动作聚合算子，只需调整一个连续参数即可在“放大关键信号”与“抑制噪声”之间平滑切换，适合推荐系统中不同阶段（探索期vs.稳定期）的需求。
- 智能体交互任务（如对话式购物助手）中，可借鉴本文的p-annealing策略：保守的线性衰减（如1→-1）可避免过拟合早期噪声，显著提高长程任务成功率。
- 实现简单，完全在log-space计算，仅需替换GRPO中的聚合步骤为带参数p的Hölder均值，无需额外模型或数据，便于快速实验。
基于逐点互信息的抗自蒸馏推理强化学习
🧭 强化学习训练方法 · 推理优化
Xiaohongshu Inc. · Institute of Automation, Chinese Academy of Sciences
通过逐点互信息分析揭示自蒸馏在推理任务中的失效根源，提出逆向散度与熵门控，使 GRPO 基线训练步数减少 2-10 倍，准确率最高提升 11.5 点
📌 工作参考价值（4 点）
- 信用分配改进：传统 on-policy 自蒸馏在推理任务中会系统性压低探索性 tokens（如“Wait”“Let”）的权重，抬高结构连接词权重，AntiSD 逆向设计可更有效分配 token 级信用，可借鉴到 Agent 多步决策训练，避免模型过早陷入确定性模式。
- 熵门控机制：当教师熵崩塌时自动关闭蒸馏项，防止后期训练坍缩。在电商对话或 Agent 规划中，可类似监控策略熵，动态切换训练信号，避免多样性丧失。
- 训练加速：将 AntiSD 作为 GRPO 的即插即用替换，可在极少量训练步内达到基线性能，适合资源受限的线上模型迭代，可直接复用到有 token 级反馈的 RLVR 场景。
- 超参鲁棒性：方法对额外超参不敏感，工程落地成本低，可将“抗自蒸馏”视作一种通用的训练 trick 加入现有 RLHF/GRPO 流程。
无监督过程奖励模型
🧭 PRM训练 · 无监督学习
Swiss Federal Institute of Technology (EPFL)
提出无需人工标注的无监督PRM，通过LLM next-token概率联合定位第一步错误步骤
📌 工作参考价值（4 点）
- 无监督奖励塑形：借鉴基于LLM自身token概率的评分函数，在Agent多步交互或推荐多轮对话中，无需人工标注即可识别错误步骤，用于重试或矫正策略。
- 批次内对比定位：利用同一批次多个轨迹的相似性联合评估第一步错误位置，可迁移到电商搜索多意图理解或生成式推荐的HIT预估，通过对比候选序列一致性定位偏差。
- 强化学习稳健训练：uPRM作为reward信号比有监督PRM更稳健，适合推荐策略在线优化时，避免过拟合人工偏好，直接利用模型自身不确定性进行探索。
- 测试时验证器：uPRM作为验证器可提升多数投票基线（+6.9%），在推理链较长的生成式推荐（如Semantic ID生成）中可用于beam search重新排序。
用自生成多样化解题轨迹增强大语言模型的强化学习推理
🧭 自生成多样化解题轨迹增强RL推理 ★ 深度解读
Arizona State University · Google Cloud AI Research · Google DeepMind
自生成多样化解题轨迹指导中期训练，提升后续强化学习的推理性能和策略组合能力
📌 工作参考价值（4 点）
- 在RL微调前，用启发式提示生成多种正确推荐理由或对话策略，进行多样化监督训练，可拓宽探索空间并提升RL最终性能。
- 借鉴“固定训练量下，多样化比增加任务数更有效”的结论，在生成数据时，为同一用户或商品生成多个正确但风格不同的响应，而非追求更多样本。
- 使用规则验证器+奖励模型筛选自生成数据，可确保多样性与正确性的平衡，可用于Agent多智体协作策略生成。
- 理论分析指出多模态策略分布有助于梯度更新，可在策略网络中设计多分支输出或温度控制，避免模式崩塌。
灯塔注意力：长上下文预训练的高效对称分层注意力方法
🧭 Training ★ 深度解读
Nous Research
对称池化Q/K/V并解耦选择的层次化注意力，训练长上下文时大幅加速且可无损恢复为密集模型
通过协作逐步多教师解码蒸馏长链推理
🧭 长链推理蒸馏 · 多教师协作解码 ★ 深度解读
KAIST · UNIST
提出CoRD框架，通过逐步多教师协作解码和预测困惑度指导，高效生成高质量长链推理数据，显著提升学生模型性能。
📌 工作参考价值（4 点）
- 逐步多教师协作生成数据：让多个异构模型按步骤共同构建推理链，用预测性指标动态选择最优步骤，避免后验选择完整响应的浪费，可用于生成高质量的训练数据，如商品推荐解释或Agent决策推理。
- 预测困惑度作为步骤质量信号：利用元模型计算当前前缀下正确答案的概率来评估中间步骤，无需额外训练奖励模型，轻量且有效，适用于长序列生成中的中间步骤评估。
- 束搜索保持多样性：用多个并行轨迹保留有潜力的推理分支，防止过早贪婪选择，允许自我纠正和策略转换，在多智体交互中可保留多个方案，提升最终结果质量。
- 步骤分割一致性：通过提示工程（如“### Step”）强制不同模型输出结构统一的步骤，便于跨模型比较和组合，可迁移到生成式推荐中需要多模型协作生成推荐理由的场景。