无搜索锐化：序列级幂分布的在线策略蒸馏
🧭 LLM 训练 · 无奖励推理锐化 ★ 深度解读
University of Southern California · Intel AI
OPPD 通过 on-policy 蒸馏把推理时序列级幂分布采样的成本转移到训练阶段，单个生成即可达到或超过 64 候选采样
📌 工作参考价值（4 点）
- 在电商搜索 query 推荐或文案生成中，可以训练模型学习教师模型对完整序列的幂分布，即对完整候选文本（如 query）的概率进行 α 次幂加权，使推理时只需单次生成即可达到近似多个候选采样再加权的效果，大幅降低线上推理延迟。
- 借鉴 on-policy weighted likelihood 训练方式：让待训练模型自己生成候选，用冻结教师（如 LLM）给出概率并计算权重，重点加权学生自身的高概率答案；这比直接蒸馏教师生成样本更贴合实际分布，适用于 Agent 工具调用轨迹或推荐解释文本的训练。
- 工程实现 trick：生成候选时使用教师温度 1/α 的 proposal 降低重要性权重方差，避免权重退化；将长文本分块（例如 64 tokens）让教师一次前向评分，减少调用次数；训练权重与 SMC 重要性权重分别累加，并在重采样后重新归一化。这些都能复用在大规模在线生成任务的稳定训练中。
- 在没有人工偏好或点击信号可用时，可以使用模型自身的序列概率（经由 teacher 锐化）作为软奖励进行训练，提升推理和生成质量；对电商问答、商品推荐理由、营销文案生成等场景可低成本迁移。
循环模型的不动点重思考：训练与推理高效捷径
🧭 循环 Transformer 固定点训练/推理加速 ★ 深度解读
Institute of Foundation Models · USC · CMU
从不动点视角重构循环 LLM，以学习深度先验和正交注入支撑终端 KV 共享、蒸馏预填充与 RL 状态复用
📌 工作参考价值（4 点）
- 若使用循环/looped 模型做 latent reasoning 或深度重排，解码时采用 terminal KV sharing，只保留终点 KV；前提是训练深度先验必须覆盖深层并让状态接近不动点，固定深度训练会在共享后大幅掉点（论文中 GSM8K 从 50.6 掉到 21.2）。可作为 KV cache 降本 3× 的工程方案。
- 把固定深度/固定 PLN 先验换成可学习 categorical depth prior：以 inverse perplexity 为 reward，用 PopArt 归一化 advantage，并用 entropy 系数平衡深度多样性、用 mean penalty 控制平均计算预算；可直接用于 query 改写/Agent 自修正动态分配迭代步数。
- 输入注入时采用 OrthoInj：将 carryover 状态先投影到输入向量的正交补，再加输入；可避免状态沿输入分量抵消注入，提升训练稳定性和 PPL，代码上只是一行投影。
- RL 后训练（如 GRPO）对循环策略打分时，复用 rollout 保存的终点状态，在单次 forward 记录的计算图上循环 backward 计算 Neumann 梯度，scoring+backward 时间约减半，避免 trajectory 重放。
Agentic RAG 评估预算：问题数、轨迹数与读取次数的分配
🧭 Agentic RAG 评估预算采样优化
Carnegie Mellon University
同 token 预算下，扩展问题覆盖比增加读取或轨迹数更有效降低评估标准误
📌 工作参考价值（4 点）
- 评估 agentic RAG / LLM 排序系统时，预算层级可分解为 query/问题数、轨迹/rollout 数、每次 rollout 的读取/答案重复数；在总 token 预算固定时优先扩 query 覆盖（多问题）而不是多 trajectory 或多 read，尤其在搜索请求费用低（< $1/1k requests）时，可显著降低标准误。
- 用嵌套（nested）或仅问题（Q-only）的 archived forecast 做审计，预测不同预算分配的 SE，误差可在 4% 内；可以在正式大规模评估前用小 audit 校准预算，避免盲目采样。
- 温度设为 0 可将答案不一致从 ~14% 降到 ~3.4%，同时比较精度变化不大；对于策略对比评估、离线评测，应默认 temperature=0 减少重复读数需求。
- 如果系统涉及 search API 费用，要把每千次搜索价格纳入预算分配：搜索费用在 $0–1/1k 时更多问题优先于更多轨迹；但 question vs read 的费用排序在当前数据下不确定，需按自身模型/搜索价格重估。
ASCENT：通过验证经验自蒸馏实现在线测试时训练长程智能体
🧭 Agent 在线测试时训练 · 自我蒸馏验证经验 ★ 深度解读
University of New South Wales (UNSW Sydney)
用冻结初始模型将验证成功的轨迹蒸馏为 LoRA 软目标，使长程 Agent 在单次任务流中稳定在线进化
📌 工作参考价值（4 点）
- 在线学习方案：在对话式导购/客服/智能投放等长程 Agent 场景，可以用冻结 base 模型 + LoRA 快权重持续训练。每次成功会话（成交/点击等强验证）做一次自蒸馏，失败跳过更新，无需 replay buffer，工程成本低。
- 特权信息构造：将成功会话的动作有效部分（排除 parse 失败或环境未执行的动作）与推理文本保留，去掉 observation（按模型规模调整），作为 teacher 的 hindsight 上下文。教师看到完整成功轨迹后产生全词表 soft target，学生只在当前 prefix 学习，可减少冗余 detour 动作、提升 turns 效率。
- 蒸馏目标选择：用 forward KL 匹配全词表分布，而不是最大化生成 token 概率或 REINFORCE 梯度；这能抑制策略对自身输出的过拟合，避免熵崩溃和无效动作增加，尤其适合单条轨迹在线流。
- 与 in-context memory 互补：小模型可能被检索记忆干扰，可单独用权重更新；大模型可以叠加 retrieved memory 与 ASCENT 权重，形成 co-evolution。动作有效性过滤可免费从环境响应中解析得到，可作为轨迹清洗信号。
电商搜索文档扩展中基于 DPO 的查询生成 QGDPO
🧭 生成式查询扩展 · DPO 偏好对齐 ★ 深度解读
Walmart Global Technology
用相关模型构造偏好对做 DPO，再将生成 query 过相关过滤，显著减少 Doc2Query 幻觉并提升线上搜索相关性与加购率
📌 工作参考价值（4 点）
- 可直接复用「相关模型自动构造 DPO 偏好对」：用已有的三分类相关模型 exact/substitute/irrelevant 对 SFT 生成的 query 打分，按 exact 和 irrelevant 自动配对，省去人工偏好标注；DPO 学习率用 1e-6（远低于 SFT 的 1e-4），β 取 0.1，能明显压住幻觉。
- SFT + DPO 之后再接 relevance filter，两个增益相互独立、可叠加；过滤阈值选 95% recall，既能保持较高 precision（0.866），又不过度牺牲生成的新 token 数量，适合商品文档扩展场景。
- Query 生成式检索里，beam search（beam=10，no repeat ngram=2）比 top-k / top-k+top-p 更稳定，exact 率更高、irrelevant 率更低；如果业务追求线上检索结果稳定可复现，优先用 beam search。
- 用 Mistral-7B + LoRA（rank=256, alpha=64）替代 T5-base 做 Doc2Query，在媒体、玩具等依赖世界知识的商品上能生成更多有用新 token，但需离线批量推理并权衡成本；可以只对长尾或特殊品类启用 LLM 版本。
EVISKILL：基于可回放证据的 Agent 持续技能演化
🧭 Agent 持续技能进化与证据回放
School of Artificial Intelligence, Jilin University, Changchun, China
用可回放证据卡与定向重放验证技能编辑，缓解经验驱动技能演化中证据丢失和全局验证粒度过粗问题
📌 工作参考价值（3 点）
- 把 agent 执行轨迹中的 state/action/observation/context 打包成结构化证据卡，技能修改时显式绑定支撑证据；后续可用同一批轨迹做定向重放验证，让技能更新可审计、可回滚。
- 将验证拆成编辑级回放与全局验证两层：先用局部证据筛选出可信候选修订并暂存，再按整体任务集决定是否并入正式技能，避免一次性拒绝丢失有效局部修正；适合电商客服 SOP、选品策略等需要长期迭代 agent 流程的场景。
- 跨 epoch 保留证据和候选修订，允许证据不足的编辑等待更多交互经验再确认，提供一种更稳的 agent 策略在线进化机制；对推荐策略、工具选择规则等可复现程序知识的维护有价值。
LLM 是否理解序列结构？推理与生成的受控研究
🧭 LLM 序列理解与行为模拟评估
University of Illinois Urbana-Champaign · Stony Brook University · National Chengchi University
受控实验表明 LLM 对潜在序列结构的识别与生成存在显著落差，表面行为保真可能掩盖错误机制
📌 工作参考价值（4 点）
- 在用户行为模拟（如生成模拟点击/浏览序列用于离线评估）中，不要只看动作分布或边际频率：应评估条件依赖，例如给定历史动作后下一个动作的准确率、校准度或 n-gram 条件命中率，否则表面分布匹配可能掩盖错误机制。
- 用 LLM 作为推荐系统用户模拟器时，即使生成序列看起来合理，也可能未学到真实状态转移。建议增加干预测试：修改历史上下文并观察下一个动作是否符合预期规则，或设计探测任务来验证隐式策略是否正确。
- 现实业务序列往往含高阶依赖，而论文显示 LLM 在高阶依赖下规则恢复明显退化。因此当用户行为序列较长、依赖复杂时，不宜完全依赖 LLM 的隐式序列建模，可考虑混合架构：LLM 负责语义/意图，专用序列模型（如 RNN、状态机）负责状态转移和条件依赖。
- 若用 LLM 做多轮 query 改写或对话推荐，长上下文不一定提升潜在意图识别；应显式设计条件推理评估，并谨慎依赖 LLM 对长期依赖的内隐建模。
MemAdapter：反事实适配缓解记忆诱导谄媚
🧭 LLM Agent 记忆使用校准 · 后检索适配 ★ 深度解读
Jilin University · Xiamen University
提出后检索反事实适配框架，动态校准记忆使用边界，降低 LLM Agent 长期记忆诱导的谄媚偏差
📌 工作参考价值（4 点）
- 在电商导购/个性化推荐 Agent 中，可引入后检索记忆适配层：不修改画像库或召回逻辑，而是在检索到的用户画像/历史偏好进入 prompt 前，用 LLM 为每条记忆生成使用指令（可支持、影响哪些部分、不能 justify 哪些结论），避免画像记忆污染事实性排序或推荐结论。
- 借鉴反事实画像评估：对用户身份、历史偏好等记忆，构造不同决策任务和证据配置，自动沉淀“同一画像何时应个性化、何时不应影响结论”的条件规则，解决特征一刀切导致的过度个性化。
- 显式解耦事实与个性化：在生成推荐理由或导购文案时，采用内部 support trace 机制，要求每个 response span 标注来源（实时商品/证据 vs. 用户画像）和适用的记忆使用指令，生成后校验，降低记忆诱导的错误推荐。
- 工程上该适配位于 retrieval 之后、generation 之前，可跨 backbone 复用；用轻量 self-reflection 输出结构化使用边界即可，对生成式推荐/Agent 业务可低成本验证。
自评估递归智能体（SERA）
🧭 递归多智能体训练 · 可学习 rubric 评估 ★ 深度解读
Tongji University · Shanghai Artificial Intelligence Laboratory · Shanghai Jiaotong University · Peking University · Nanjing University
训练递归智能体生成与学习对齐的 rubric，以自我评估子任务，降低外部监督并提升执行与分解能力
📌 工作参考价值（4 点）
- 把中间步骤/子任务的 reward 从外部 judge 迁移到策略自产 rubric：训练阶段用少量外部 verified outcome 做 ranking loss 锚定，执行时用模型自己的 rubric 打分。对推荐链路中的多步策划/生成类 Agent，可显著降低线上 LLM judge 调用成本（文中 TextWorld judge calls 和 tokens 下降 4-5 倍）。
- 当评判器和执行器共享同一个模型权重时，不要用最终任务 reward 直接训练 rubric，否则两者会共适应、分数虚高；应使用 verified outcome 的 pairwise ranking loss（带 margin）训练。这点可迁移到“同一模型既做推荐生成又做事后评估”的场景。
- 分解质量需要单独 reward：用 leaf-coverage（成功任务的 delegation 子树覆盖叶子比例）训练分解动作，在依赖链、共享状态、资源冲突等 interdependent 任务上增益明显；对应到电商场景，适合训练复杂活动策划拆解给多个子 agent 时使用。
- 训练得到的 rubric 可以在推理时作为 tree search 的节点选择器，自产候选分支并按 rubric 分数保留最优，无需额外训练即可提升效果；对搜索/推荐中的多路召回或规划路径选择有借鉴意义。
AdaStep：智能体强化学习的自适应步级信用加权
🧭 Agentic RL 步级信用加权 ★ 深度解读
Tsinghua University · Nanjing University · Xiaomi Inc.
为GiGPO的步级优势推导逐状态收缩系数，按返回方差中信噪比自适应加权，无额外模型或rollout
📌 工作参考价值（4 点）
- 在GRPO/GiGPO式多步决策训练（如购物Agent、多轮搜索、导购对话）中，不要用固定系数融合全局与局部优势；按同一anchor state分组，用 1 - E_a[Var(R|s,a)] / Var(R|s) 估计逐状态收缩权重，可抑制下游随机噪声对局部信用的污染。
- 该权重只依赖rollout中的count/sum/sum of squares统计量，无额外前向或critic，几乎零成本；可直接嵌入现有优势计算，适合线上训练管道。
- 对不可靠组（单一动作或每动作样本不足）采用fallback w=1，而不是w=0或均值，实验中更优；说明信息不足时不要过度收缩局部信号。
- 若状态空间连续或部分可观测，直接hash锚点状态不可行，需要额外状态嵌入或聚类才能迁移；可优先在离散文本状态（如WebShop、ALFWorld风格任务）中使用。
CLIMB：多模态检索增强生成中的置信度引导互补证据
🧭 多模态 RAG 互补证据与置信度控制
Rutgers University · Google
训练无关的多模态 RAG 框架，用互补证据池与置信度引导的迭代细化提升知识密集型视觉问答效果
📌 工作参考价值（4 点）
- 在商品图文问答、电商知识库检索中，可用 MMR 式去冗余代替单纯 Top-K，构建紧凑互补证据池，减少重复段落、提高信息覆盖。
- 多维度 critic 评分（相关性、证据特异性、跨模态对齐）比单一相似度更精细，可迁移到多模态商品信息或图文评论的检索排序。
- 置信度条件接受机制（只有置信度上升才更新答案）可作为 Agent 多轮检索-生成中的停止准则，避免无效迭代和 token 浪费。
- 训练无关、不改动底层 MLLM 与检索器，适合在现有 RAG 流程上快速灰度实验，验证推理侧优化收益。
从修复的推理中学习：根因引导的在策略蒸馏
🧭 LLM 推理训练 · 根因修复蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · School of Software and Microelectronics, Peking University · School of Information Technology and Management, University of International Business and Economics
提出 RC-OPD，用学生失败推理的根因修复和锚点引导，缓解自蒸馏的推理错配与蒸馏陷阱
📌 工作参考价值（4 点）
- 在训练电商/Agent 多步推理或工具调用链时，不要只用固定 reference trajectory 做 SFT；可以收集模型自己的失败轨迹，定位最早错误步骤，只做局部修复并保留有效前缀，既降低全量重写成本，也能提升样本针对性。
- 将训练目标拆成两类：对错误段用 root-cause 信号强化纠错，对有效前缀用 anchor-guided 信号维持正确行为。这种分段蒸馏思路可迁移到推荐解释、查询改写、广告文案生成等需要保留中间正确约束的任务。
- 诊断-修复-续写循环可形成自动化 on-policy 数据管线：用诊断模型或规则框定错误片段，设置固定 repair budget，通过 continuation 验证修复效果，适合工程化迭代训练 LLM ranker/agent。
- 对生成式推荐中的 CoT/推理链，可以用 valid prefix anchor 避免不必要的约束冲突，减少“模型只抄结论但错误未消”的情况。
高效推理训练不总损害 CoT 忠实度与可监控性
🧭 推理训练 · CoT 忠实度与监控性
School of Computer Science, University of Sheffield · AstraZeneca
系统评估三种长度压力训练方法，发现压缩 CoT 会降低忠实度但监控性较鲁棒
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，若为降低推理成本对 CoT 做长度压缩（如固定 token 预算或长度奖励），不要只看任务准确率；需补充评估 CoT 忠实度与模型一致性，否则可能引入“解释不可信”风险，影响事后归因和策略审计。
- 若 CoT 主要用于监控（例如检测输入扰动、prompt 注入或特征变化是否改变推荐结果），短 CoT 仍能保留较好的可监控性，可以继续将压缩后的 CoT 作为低成本的线上异常信号，而不必强依赖长推理。
- 方法借鉴：长度压力机制选择上，倾向使用组相对长度奖励而非全局固定预算，并在训练后同时报告忠实度和一致性指标；对于需要向用户展示推理过程或解释推荐理由的场景，应谨慎压缩，或对关键路径保留更长 CoT。
- 可在业务中用干预实验评估可监控性：改变用户历史、商品属性或上下文特征，观察压缩后的 CoT 是否仍能暴露输出变化，用于决定哪些链路可以启用短推理。
规划学习：按剩余训练预算在交叉熵与策略梯度间插值的 horizon loss
🧭 训练损失函数 · 学习预算规划 ★ 深度解读
Google DeepMind
提出 horizon loss，依据剩余学习预算把交叉熵动态过渡到精确策略梯度，提升 top-1 准确率和抗噪能力
📌 工作参考价值（4 点）
- 在 CTR/CVR 预估、多分类、生成式推荐的 Semantic ID 分类等以 top-1/accuracy 为目标的任务中，可尝试把每样本 loss 改为 horizon loss：仅需计算 σ(z+H)-σ(z) 权重乘 ∇z，不改模型结构；需按数据集标定 κ 为剩余学习率之和的换算系数。
- 当训练数据存在点击噪声、错误标注或行为噪声时，cross-entropy 会在后期 memorization 噪声样本；horizon loss 会随着预算减少自动降低这些无法修复样本的权重，从而提升干净测试集 top-1，效果随噪声率增大而增强。
- 若目标是校准或 NLL（如知识蒸馏、温度校准），不要直接套 accuracy 版 horizon loss：应使用 planning cross-entropy（P_H[CE]/(1-e^{-H})），它会降低 NLL 但可能牺牲 accuracy；目标不同要选择对应 planning objective。
- 在 LLM post-training / RLHF 的 policy gradient 场景中，PG 的 myopic 分配缺陷同样存在；可以考虑在 policy gradient loss 中引入剩余 rollout 或训练步数作为 horizon，让早期像 likelihood、晚期像 reward，缓解对 lost causes 的过度投入。
跨语言检索中的查询感知路由与 LoRA 适配
🧭 跨语言检索 · LoRA 路由
ConfidentialMind
用 query-only LoRA 适配器加语言路由，跨语言检索平均 nDCG@10 提升 20.9%，同时保持同语言性能
📌 工作参考价值（4 点）
- 已有文档索引可以不变：只对 query 侧加 LoRA 训练，文档嵌入冻结复用，避免跨语言优化时重建全量向量库，适合电商/RAG 线上迭代。
- 语言路由是一种廉价的安全兜底：根据 query 语言和索引语言做确定性分支，同语言查询走原 encoder，跨语言查询走 adapter，可防止多语言优化回退同语言效果。
- LoRA 微调只用 query 塔，参数量小、训练快，且天然避免破坏原有同语言检索能力，适合在多语言商品库或本地化搜索场景做增量优化。
- 如果业务里已有跨语言点击/相关性日志，可以仿照该思路训练 query-only adapter，再配合简单语言 ID 路由上线，不需要改动召回链路。