工具自适应大语言模型重排序器
🧭 点式重排序 · 自适应工具路由 ★ 深度解读
Carnegie Mellon University · Huazhong University of Science and Technology
将点式重排序建模为 Agent MDP，通过成本感知强化学习动态调用工具，平衡精度与效率
📌 工作参考价值（4 点）
- 动态工具调用机制：对于冷门商品、长尾查询或实时性要求高的推荐（如促销、库存变化），可训练重排序模型自行判断是否需要查询外部知识库（商品属性、实时价格、知识图谱），避免对所有请求都进行昂贵的外部检索，保持低延迟。
- 两阶段训练范式：利用 KL 散度正则化防止 LLM 在微调判别性任务时丧失原生生成能力（灾难性遗忘），随后用 GRPO 优化延迟与准确性的权衡；这一方法可直接迁移到现有基于 LLM 的评分模型训练中。
- 非对称成本感知奖励：设计奖励函数时，对高置信度错误且未调用工具给予严厉惩罚（-1.0），对正确回答且绕过工具给予高奖励，迫使模型只在必要时调用工具；可应用于构建自适应推理链路的 Agent 系统中。
- 提示模板与推理流程：论文提供了最小化工具调用的系统指令和严格输出格式，以及基于 token 拦截的 MDP 推理 Algorithm 1，对实现类似的 Agentic Reranker 具有直接参考价值。
强化学习的数学方法综述
🧭 强化学习理论 · 数学基础
Duisburg-Essen University · HSE University · Innopolis University · MIPT · ISP RAS
用概率、优化和算子理论统一现代RL算法的收敛性与样本复杂度分析
📌 工作参考价值（4 点）
- 主要是学术贡献，梳理了RL的算子、优化、逼近等数学基础，给出了值函数收敛、样本复杂度的理论保证，业务可借鉴点有限。
- 对于推荐系统中引入RL的场景，可参考其约束MDP框架设计多目标（如CTR与预算、多样化约束）的奖励设计与可行性分析。
- 离策略评估与学习的收敛理论可为线下A/B测试前的新策略评估提供置信度支撑，降低在线实验风险。
- 若需在商品列表排序中应用策略梯度，其随机近似与凸对偶分析可帮助理解梯度估计的偏差-方差权衡，指导基线减除或正则化选择。
基于矩阵分解MDP的候选列表规划
🧭 动态感知的MF候选生成规划 ★ 深度解读
AI VK · Lomonosov Moscow State University
在固定MF嵌入上增加闭式秩一更新的前瞻规划，使检索列表感知用户状态变化
📌 工作参考价值（4 点）
- 对现有MF检索管线几乎零改动：仅需缓存后验矩阵 \(A^{-1}\)、复用已有item embedding，用闭式 Sherman‑Morrison 更新完成单步前瞻（Plan‑1），计算成本 \(O(d^2)\)，可快速集成到粗排或召回后重排。
- 必须用余弦相似度替代内积：内积与物品流行度高度纠缠，导致规划偏向热门 item，余弦相似度是让规划生效的前提，业务上务必做相似度形式的消融验证。
- 在全局时间切分（GTS）下规划增益不一定成立，因为物品流行度、用户行为分布会随时间段漂移，乐观的“推荐即接受”假设失效；实际部署前必须用未来时段数据验证，只在验证显示序列结构时启用 Plan‑K。
- MCTS 可采用 ANN 索引限制每个节点的候选动作数（Wolpertinger 风格），配合余弦先验的 UCT 探索项保持对数遗憾界，控制树搜索开销。
奖励非随机缺失MDP的离线策略评估方法
🧭 离线策略评估 · 缺失非随机奖励
Department of Statistics, University of Michigan at Ann Arbor · Department of Statistics and Applied Probability, University of California at Santa Barbara · Department of Mathematical Sciences, University of Texas at Dallas
利用未来状态与桥函数识别MNAR奖励，构建缺失感知的FQE式OPE估计量
📌 工作参考价值（4 点）
- 离线评估奖励缺失场景：当用户反馈（点击/转化）稀疏且非随机缺失时，传统OPE有偏，可采用影子变量（未来状态）和桥函数方法纠正选择偏误，提升评估准确性。
- 利用用户后续行为作为工具变量：在用户路径数据中，后续浏览、停留时长等可作为影子变量，帮助推断缺失的转化奖励，无需依赖不可验证的缺失机制假设。
- FQE式实现：工程上可基于Fitted Q-Evaluation框架，用神经网络学习Q函数，并集成桥函数通过min-max优化估计，避免显式建模缺失模型和双重采样，适合大规模推荐系统。
- 支持缺失感知策略评估：新策略可根据历史缺失模式调整动作（例如对不活跃用户增加激励），本方法允许评估此类策略，更贴合实际业务需求。
从被动生成到主动调查：一种主动式科学同行评审智能体
🧭 主动式评审Agent · 结构化日志引导
Ubiquitous Knowledge Processing Lab (UKP Lab), Technical University of Darmstadt · National Research Center for Applied Cybersecurity ATHENE, Germany · School of Computer Science, University of Birmingham
将论文评审建模为MDP，用结构化日志引导LLM主动调查疑点，8B模型性能超越大模型prompt方法39%
📌 工作参考价值（4 点）
- 主动调查机制可复用至客服/推荐Agent：将多步信息收集建模为MDP，Agent可自主决定何时查询知识库、调用工具或请求用户反馈，结构化日志作为工作区记录证据与假设，提升信息获取的针对性和深度。
- 结构化日志是轻量级记忆增强方案：类似Scratchpad或流式笔记，在Agent内部维护一个不断更新的JSON或键值结构，用于追踪状态、中间发现和待验证项，可有效避免长上下文遗忘，在电商导购中实现多轮推理和偏好追踪。
- RL优化Agent调查策略有直接迁移潜力：利用RL对“调查”动作（如查看详情、对比商品、查看评论）进行奖励驱动优化，使Agent学会在何时做何种调查以最大化下游任务收益，适用于电商比价、商品推荐等需主动探索的场景。
- 小模型+SFT+RL可超越大模型Prompt：对于特定垂直领域的Agent任务（如客服、合规检查），用8B模型经监督微调加RL训练，可在成本敏感的生产环境中替代闭源大模型的Prompt工程，获得更高性价比。
小RL控制器驱动大语言模型：RL引导的自适应采样实现测试时扩展
🧭 测试时扩展 · 强化学习自适应采样 ★ 深度解读
University of North Carolina at Chapel Hill · University of Maryland, College Park · Washington University in St. Louis
将自适应采样建模为MDP，用4层MLP的RL控制器仅依赖答案统计联合优化正确率、延迟与计算量。
📌 工作参考价值（4 点）
- 动态资源分配MDP化：将推理预算分配形式化为MDP的思路可直接迁移到电商推荐系统的召回、排序阶段，用轻量RL控制器动态决定何时停止多路召回或特征计算，平衡延迟与效果。
- 仅依赖轻量统计状态：状态仅需top-K答案计数、总样本数和熵，无需模型内部logits或置信度，部署极简，适合在线服务场景。类似地，在推荐系统中可以仅用候选集统计特征（如多样性、得分分布）做决策。
- 跨模型泛化能力：控制器在不同LLM和数据集间可迁移，暗示训练一个通用预算分配器可行。在Agent或多智体场景中，可先基于低成本模型训练协调器，再无损迁移到昂贵模型上使用。
- Lagrangian视角提供约束优化理论支撑：将延迟/计算约束通过拉格朗日对偶显式引入奖励函数，便于在业务中直接设定成本上限并寻优，可启发多目标推荐系统的在线预算控制。