AI Papers Daily

#LLM-reasoning

2 篇

Weak-to-Strong Generalization via Direct On-Policy Distillation

通过在线策略蒸馏实现弱到强泛化

🧭 弱到强知识蒸馏 · 策略偏移迁移

SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University · Peking University

提出 Direct-OPD，将弱模型 RL 前后策略偏移作为隐式奖励，直接提升强模型推理能力

📌 工作参考价值（4 点）

• 在搜索/推荐排序中，若需对大模型做 RL 微调但资源有限，可使用小模型进行 RL（如优化 CTR），然后通过 Direct-OPD 将策略偏移量化为 log-ratio 奖励，蒸馏到线上大模型，避免大模型直接生成海量 rollout。
• 对生成式推荐场景，用 cheap 的小模型 RL 探索（如生成更吸引点击的标题或物品 ID），再以隐式奖励形式强化大模型，无需额外奖励模型即可提升生成质量。
• 在 Agent 系统中，让轻量级 Agent 先探索环境并计算动作概率变化，作为密集奖励训练大型决策模型，降低试错成本并加速策略迭代。
• 工程上可复用弱模型已有的 RL 训练信号，不必重跑昂贵 sparse-reward RL，支持增量组合多个策略改进，适合持续在线学习。

Training | 2026-07-06 | cs.LG | score 7/10

RLVRknowledge-distillationweak-to-strongon-policyLLM-reasoning

Skip a Layer or Loop It? Learning Program-of-Layers in LLMs

LLM 动态层跳过与循环：学习「层程序」提升推理效率与准确率

🧭 动态层执行优化 · 自适应计算

University of Maryland, College Park, MD, USA · MBZUAI, Abu Dhabi, UAE

提出 PoLar，让 LLM 为每个输入动态决定跳过或循环哪些层，用更少层达到同等或更高准确率。

📌 工作参考价值（4 点）

• 低成本 LLM 推理加速：在电商推荐、对话 Agent 等需要高吞吐的场景，可借鉴 PoLar 的「层跳过」与「层循环」思想，根据输入复杂度动态分配计算量，减少不必要的层计算，降低时延与成本。
• 纠错与能力自修复：PoLar 发现错误预测可通过更少的层组合纠正，这启示我们在推荐生成或多 Agent 交互中，当 LLM 输出不可靠时，可尝试用剪枝或路径重排的方式生成备选输出，而无需完整重跑模型。
• 轻量级路由网络设计：PoLar 提出的轻量预测网络（如基于隐藏状态的 LSTM）能以极小开销学习层执行程序，这种路由机制可直接迁移到 MoE 推荐模型或生成式推荐中，为不同样本选择不同的专家或计算路径。
• 模型能力挖掘：论文表明固定深度推理仅捕获了 LLM 潜能的一个子集，这提示我们在使用生成式推荐模型（如语义 ID 生成）时，可探索冻结主干下的动态解码路径，用更少步骤生成更优推荐。

LLM | 2026-06-03 | HF Daily | score 7/10

dynamic-inferencelayer-skippinglayer-loopingadaptive-computationLLM-reasoning