语言模型作为 AI 研究世界模型
🧭 AI 研究 Agent 的世界模型
Amazon · UC Santa Cruz · Emory University · Pennsylvania State University · UC Santa Barbara
用真实实验历史微调 LLM 作为研究世界模型，显著提升候选实验干预排序与自动研究收益
📌 工作参考价值（4 点）
- 在电商/广告实验中，收集历史 A/B 测试、模型调参、策略变更的实验记录（实验条件 + 结果），用 LLM 微调成环境专属的“策略结果预测器”，对新策略做排序，能减少无效实验成本。
- 跨业务场景迁移：当新业务（如新推荐位、新广告产品）实验数据少时，用其他相似场景的历史实验数据预训练 world model，可大幅降低对新场景候选策略的选择 regret（如论文中跨环境减少 78% regret）。
- 多轮自动实验调优：在固定实验预算下，用 world model 先筛掉低潜候选，再做真实实验验证，能提高最终最优策略的收益（论文中提升 15.8%）；可应用于搜索排序、广告出价、召回策略的自动搜参。
- 选择 LLM 作为 world model 时，注入领域实验知识比仅更换更强模型或增加推理长度更有效，因此应优先积累内部实验数据并微调。
重新思考在线蒸馏中相对策略差异迁移
🧭 LLM 后训练 · 相对策略差异蒸馏 ★ 深度解读
Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · The Australian National University · Renmin University of China
通过隐式奖励视角统一相对策略差异迁移，揭示任务定向差异强于规模差异，且参考过滤与目标兼容性决定迁移成败
📌 工作参考价值（4 点）
- 在跨模型蒸馏或复用强模型能力时，优先取「任务定向优化产生的 update」（如 SFT/RL 后的 expert），不要直接拿更大参数的 base 模型当老师；用 logπ_expert - logπ_ref 的隐式奖励替代绝对 logits，能降低对 teacher 绝对能力的依赖。
- 参考模型不是随便选的：reference 应过滤掉与 expert 共享的通用行为，只保留增量。可以通过 top-k token overlap 选择低重叠 reference；若目标模型与 proxy 不同模型族/代际，优先用与目标同 family 的 reference，可把失败迁移救回来。
- 工程上可以用 top-16 token 分布近似，降低计算；训练时对 token 级 advantage 做 centering（减去当前策略期望）避免 intractable log Z；用 on-policy rollout + stop-gradient actor loss，直接适配 autoregressive 生成。
- 蒸馏过程要同时监控 train 与 validation/held-out，关注目标与 expert 的 token overlap 提升；train acc 上升但 val 不涨说明未泛化，应更换 reference 或 target，而不是继续多训。
自回归检索器：利用物品反馈提升通用多模态检索
🧭 自回归检索 · 强化学习反馈选择 ★ 深度解读
Beijing Institute of Technology · Zhongguancun Academy · Zhongguancun Laboratory · Xiaohongshu · Southeast Academy of Information Technology, Beijing Institute of Technology
自回归检索器 ARR 交替检索物品与更新 query embedding，用 SFT+RL 学习反馈选择，显著提升多模态检索性能
📌 工作参考价值（4 点）
- 在电商搜索/召回中，可以用粗排或初始检索的 top 结果作为反馈，重新编码 query 得到更精确的 embedding，尤其对跨模态或模糊 query 有帮助。线上可先跑一步初始检索，再用反馈强化，2 步之后收益递减，成本可控。
- 训练时采用「多步对比学习 + degradation penalty」，能确保 query 加入反馈后不会变差，同时提升首轮 embedding 质量。即使线上不做多步检索，也能从这种训练中受益。
- RL 优化反馈选择时，冻结主干和 item 索引，仅训练 query 侧 LoRA，将策略优化与线上索引解耦，避免重训全库 embedding，是工程友好的设计。GRPO 以最终 reciprocal rank 为奖励，适合优化点击/成交等业务指标。
- 如果资源有限，可只实现 SFT 阶段，已经能带来较大提升；RL 需要轨迹采样和奖励计算，适合追求更高检索质量且能接受训练成本的场景。
并行草稿上下文校正用于投机解码
🧭 LLM 推理加速 · 投机解码
DCOCO通过并行上下文评分恢复并行草稿块内依赖，在多种解码设置下取得最高吞吐，最高6.6倍加速
📌 工作参考价值（4 点）
- 若在线上用 LLM 做搜索 query 生成、商品文案、Agent 对话等文本生成服务，可引入投机解码降低首 token 延迟，DCOCO 的并行上下文校正比顺序校正更适合高并发请求，实测 4–32 并发下提升 6–23%。
- DCOCO 在保留 drafter 并行性的前提下，通过轻量 scorer 恢复块内 token 依赖；类似思路可用于生成式推荐的 beam search / 候选生成，在保持并行推理的同时加入相邻候选的相容性打分，避免完全独立采样导致的低质量序列。
- 部署时要关注 drafter 与 verifier 的 KV cache 管理，DCOCO 的候选打分机制只增加很小开销，适合与 continuous batching / vLLM 等 serving 框架结合。
- 顺序校正（如逐个用上下文修正）在高并发下可能因为 kernel launch 开销反而退化，选择并行打分方案更稳。
BrickBench：评估智能体乐高设计能力的基准
🧭 Agent 设计评估基准
Stanford University · Max Planck Institute for Intelligent Systems · Inria
提出 BrickBench 基准与环境，评估编码 Agent 在文本条件 LEGO 设计中的物理与语义满足度
📌 工作参考价值（3 点）
- 评估复杂约束生成任务时，可拆分 validity/alignment/design 三指标，对应推荐系统中的可执行性/相关性/体验质量，便于定位 Agent 短板。
- BrickAgent 的“编码-执行-检查-修订”循环是评估推荐 Agent 的可借鉴范式：给 Agent 提供可调用的库存查询、规则校验、模拟器接口，而非仅做文本输出。
- 三种约束设置（不同零件库规模与可用性）提示在推荐场景中应测试 Agent 在不同库存、预算或商品池约束下的泛化能力。
测试时迭代扩展至数万步的循环原生注意力残差
🧭 循环 Transformer 测试时迭代扩展
The Hong Kong Polytechnic University · Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · ELLIS Institute Tübingen
提出 InfiLoop 循环原生残差连接，使 7M 模型在数万次测试时迭代中保持推理提升，Sudoku 97.9%，ARC-AGI-2 13.6% pass@2
📌 工作参考价值（4 点）
- 对 Agent 多轮推理/工具调用场景：借鉴 InfiLoop 的循环原生残差，在 agent 状态更新中引入 content-based weighting + learned temporal decay，保留关键中间推理、抑制噪声 proposal，避免长链路中正确中间状态被覆盖。
- 工程实现上：exact streaming recurrence 使聚合内存恒定，适合在线推理和流式数据处理；在电商推荐中可用于实时会话状态维护或长期用户行为序列建模，避免循环步数增加带来的记忆膨胀和误差累积。
- 测试时扩展以小参数（7M）获得显著推理提升，对资源受限的线上推理服务有参考价值：可以设计轻量循环模块，通过增加循环步数而非模型参数来提升复杂 query 理解或多步策略决策能力。
- 普通 residual connection 在 loop 中可能不够，需要为循环结构单独设计门控残差；具体 trick 是学习每个新更新接受多少、保留多少，而非简单加权平均。
超越结果奖励：搜索智能体的检索信用构造与分配
🧭 搜索Agent强化学习 · 检索信用分配 ★ 深度解读
University of Edinburgh · Huawei Technologies Research & Development (UK) Limited
系统研究检索中间信号在 GRPO 中与动作对齐的信用分配，局部 credit 显著优于 scalar reward shaping
📌 工作参考价值（4 点）
- 在 RLVR 训练搜索/工具调用 Agent 时，不要只给最终答案 F1。把检索证据覆盖等中间信号作为 token-level local credit，加到产生该次检索的 query tokens 上，比直接把检索 bonus 加到 trajectory reward 更有效；工程上可在 GRPO 中保留 outcome advantage，再在 executed query tokens 上叠加 group-relative signed residual。
- 信号设计要和 credit assignment 联合选择：同一 Cov 信号在 local 下最强，而带依赖约束的 Cov-Dep 更适合 scalar、不适合 local。业务里如果做子问题/依赖图，建议先验证「不要过度约束」的检索信号在 local 框架下是否更好。
- 保持 event-action 对齐很重要：把检索增量打乱到同 step 其他 rollout 会掉点，multi-hop 任务掉点更明显（Cov aligned-permuted 差 2.12，AM 差 3.12）。实现时一定要把 credit 附着到实际产生 evidence 的 tool call tokens。
- 中间监督主要提升证据获取，而非证据利用；如果业务目标是最终成交/答案质量，除了覆盖奖励还应设计证据使用或推理质量信号，否则可能出现检索更多但答案未见提升。
从分块到功能证据：面向 EDA 文档问答的功能感知检索
🧭 RAG 检索单元重构 · 功能超边
Zhejiang University · Shanghai Innovation Institute
用功能单元（超边）重组多类型文档碎片，训练编码器对齐 query 与功能单元，联合 chunk 检索与统一 reranker，大幅提升 EDA 文档 QA 的 ROUGE-L
📌 工作参考价值（3 点）
- 复杂技术文档、商品详情页、广告投放规则等多类型碎片场景，可借鉴「功能单元」思想：将相关代码块、参数表、图、约束等聚合成检索单元（如商品功能单元、活动规则单元），用超边链接源 chunk，缓解 query 与孤立 chunk 失配问题。
- 检索阶段采用单元检索与直接 chunk 检索并行，再统一 reranker 选证据，比单一 chunk 或纯图检索更稳；在电商知识库 QA、规则问答里可直接复用该混合召回架构。
- 训练一个 encoder 对齐 query 与功能单元表示，而非只训练 chunk encoder，能更好捕获跨模态/跨类型信息之间的耦合关系；业务上可对商品多属性（标题、参数、卖点、图）学习统一功能表示。
大型语言模型基础：预训练、生成、提示、对齐与推理
🧭 LLM 基础理论与技术体系
Northeastern University · NiuTrans Research
系统梳理LLM预训练、生成建模、提示、对齐、推断与推理六大基础主题的技术参考书
📌 工作参考价值（4 点）
- 对齐章节可指导生成式推荐中的偏好优化：将点击/转化作为偏好信号，用 RLHF/DPO 类方法微调 LLM，避免纯 SFT 导致推荐结果多样性差。
- 推理章节中 CoT/self-consistency 可迁移到电商 Agent 的查询理解与任务规划：对复杂购物意图引入结构化推理轨迹，提升 query 拆解与商品召回准确率。
- 预训练与生成模型基础解释了 Semantic ID 建模本质：把 item 表示成 token 序列并用 LLM 生成 next token，可复用书中的解码策略（温度、top-k/top-p）和训练技巧。
- 工程部署时可参考推理章节的 KV cache、批处理与量化基础，对线上低延迟生成式推荐与导购 Agent 有直接帮助。
电商搜索页面级布局决策的语言模型评估：Prompt 与表征方法对比
🧭 LLM as judge · 页面布局离线评估 ★ 深度解读
Walmart Global Tech · University of Illinois at Urbana-Champaign
首次系统对比 Prompt 与表征方法离线评估电商搜索中次级堆叠布局，表征方法 AUC 0.853 显著更优
📌 工作参考价值（4 点）
- 页面布局评估不要直接用 LLM-as-judge：DP 几乎全预测 1，PDJ 虽有分解但仍等权结合，不可靠；改用轻量预训练编码器（如 ModernBERT）embedding + 浅层分类器，AUC 可从 0.67 提升到 0.85，且推理成本更低。
- 标签构造采用 top-to-bottom scroll model：只保留用户实际滚动到次级堆叠位置以下的会话，避免将未看见模块的会话误标为正/负，可显著降低标签噪声，适合电商搜索行为数据。
- 显式结构化特征（stack type、插入位置、重复商品数等）在 prompt 推理中容易被损失，但 representation 方法能自动编码这些信号；如果要用 prompt 派生特征，务必把关键显式特征重新拼回分类器输入。
- 对 Agent/LLM 驱动的 UI 决策，优先考虑用 embedding 作为状态表示，再用小型分类器做最终判断，而不是让 LLM 直接输出最终决策，可减少方差并提升离线可评估性。
多智能体系统的心理模型
🧭 多智能体心智建模与决策
University of California, San Diego
显式学习对手潜在心理状态作为决策变量，提升多智能体交互质量与心智推理能力
📌 工作参考价值（4 点）
- 在电商谈判、客服对话、推荐 Agent 与用户交互等场景，可显式建模用户隐藏意图、预算或偏好，将推断出的 latent partner state 作为策略输入，而不是只依赖 prompt 或 memory。
- 借鉴 belief-conditioned reward model：先推断用户/对手潜在状态，再对候选回复、推荐项或谈判动作打分，用这个信号训练策略，能提升多轮交互的适应性和个性化。
- 一阶/二阶心智状态结构可用来预测用户对推荐结果的下一步反应，例如接受、拒绝或砍价，从而让 Agent 提前调整推荐策略或话术。
- 训练完成后推理时不依赖在线访问对手模型，可独立部署，对实时在线服务友好；但在业务中用户意图分布广泛，建议先在小范围高价值场景试点。
ExperienceIndex：面向知识密集型任务的工件经验记忆层
🧭 Agent 记忆与经验复用
MIT · McKinsey & Company · Oracle AI & UPenn · AI2
ExperienceIndex为AI Agent提供工件级经验记忆，通过单工件和工件对经验检索提升答案质量并降低成本
📌 工作参考价值（4 点）
- 实体级经验库：在电商/推荐场景中，将商品、类目、品牌、活动等视为 artifact，存储其历史贡献摘要（如该商品在哪些推荐任务中表现好、适合什么场景），新任务先检索经验快速锁定候选集，避免全量 LLM 召回，显著降低在线成本。
- 实体关系经验：记录 artifact 对之间的结构化关系（如商品搭配、品牌冲突、类目层级），在生成推荐理由、组合推荐或广告文案时，引导 agent 利用这些关系扩展思路，提升覆盖度和合理性。
- 轻量中间件集成：ExperienceIndex 作为 middleware 而非整体替代现有 agent 流程，可无缝嵌入已有的 RAG 或搜索推荐管线，只增加一个经验检索步骤，实现成本下降 50% 左右的效果，适合快速落地。
- 跨任务复用与教师蒸馏：text-to-SQL 任务积累的经验可迁移到 factoid QA，启示我们可以把用户行为分析、选品等任务积累的实体经验复用到推荐或广告生成；同时强模型经验可蒸馏给弱模型，在降本的同时维持效果。
更深入地审视 Agentic BBO：面向黑盒优化的 LLM Agent 基准测试
🧭 LLM Agent · 黑盒优化基准测试
State Key Laboratory of Novel Software Technology, Nanjing University · School of Artificial Intelligence, Nanjing University
构建跨领域基准 AgenticBBO-Bench，统一评估 LLM Agent 在黑盒优化中的表现并分析关键设计因素
📌 工作参考价值（4 点）
- 在推荐系统超参数优化（学习率、正则系数、embedding 维度等）或 AutoML 流程中，可让 LLM agent 结合任务语义与历史 trial 结果生成候选配置，再由数值优化器精调，减少早期随机搜索浪费。
- 当黑盒目标包含语义信息（如商品类目、广告文案风格、用户意图）时，将语义先验注入 agent 提示词能稳定提升搜索效率；但避免使用过于具体的先验知识，论文显示具体先验不稳定。
- 线上 A/B 测试或流量有限的调参场景可借鉴 finite-budget 协议：在固定评估次数内对比不同策略，结合 LLM 推理成本选择 Pareto 前沿模型（如 DeepSeek-V4.1-Flash），兼顾性能与成本。
- 设计 agent 系统时不必堆砌额外数值工具，应优先利用任务语义和 agent 生成的优化轨迹；数值优化器可以有效吸收 agent 探索得到的轨迹，二者协同优于单独使用。
骨干模型演进对 LLM 相关性评估的影响
🧭 LLM Judge 骨干版本演进与稳定性
The University of Queensland
固定 prompt 下，模型升级不必然提升 LLM 相关性判断与人类一致性，且聚合性能不变不等于判断稳定
📌 工作参考价值（4 点）
- 把“prompt + backbone version”当作一个固定评测单元，模型升级不等于自动更好；不要仅因模型能力提升或版本更新就更换线上 judge，必须做等效性验证。
- 维护 golden set：对搜索/推荐相关性、广告质量、Agent 输出等人工标注样本，在升级 backbone 时跑旧/新版本 diff，统计“正确标签翻转率”和分 query/类目的稳定性，而不要只看总体 kappa/accuracy。
- LLM judge 产出若用于生成训练数据（如相关性弱监督、蒸馏排序模型），label drift 会传导到下游模型；建议冻结 judge 版本并留存 prompt+model 快照，必要时用旧版本回放或双版本并行过渡。
- 对 rubric 类 prompt（如多维度打分）也需要重新标定阈值/评分映射，不能假设同 prompt 在不同 backbone 上分数可比；可在评分后做单调校准或 ordinal calibration。
基于语料反馈的多步对话查询改写
🧭 对话查询改写 · 检索反馈 ★ 深度解读
INESC-ID · Carnegie Mellon University · Amazon
将对话查询改写重构为多步检索过程，Agent 通过检索反馈依次执行意图消解、词汇改写和伪文档生成，仅用检索奖励训练即超过单步改写基线
📌 工作参考价值（4 点）
- 把 query 改写/扩写从单步改为多步，动作类型化为 intent、rephrase、HyDE、stop，并让后续动作显式看到前一步 top-k 结果。可直接套在电商搜索的 query 改写、广告选词、push 文案生成，尤其适合需要反复试探语料分布的召回场景。
- 不需要人工 rewrite 标注，仅用检索指标（如 rank-based reward、nDCG）做强化学习，就能让策略自动学会“先消歧、再词汇对齐、最后做伪文档匹配”的步骤顺序；可以降低标注成本，并更容易与已有召回器对齐。
- 伪文档动作不是简单复制检索结果，而是吸收已检索 passage 的词表；8-gram 复制检测和 unigram Jaccard 可用于线上安全/去重审计。推理成本要按场景估算，设置 max steps 和早停可控制 token 开销。
- 在 BM25 上训练的改写策略可零样本迁移到 dense retriever（尤其强的 embedding model），意味着可以用廉价稀疏检索离线训练、线上换更强的向量召回，或反向验证鲁棒性。