TRACER：面向 LLM Agent 的轨迹感知工具检索
🧭 Agent 工具检索与轨迹条件化 ★ 深度解读
Microsoft
利用历史工具调用轨迹的 trie 索引和状态自适应双先验混合，在保持准确率的同时大幅降低工具选择上下文成本
📌 工作参考价值（5 点）
- 在电商客服 Agent 中，可将历史成功调用轨迹构建为 trie，按当前执行前缀（如已调用 get_user_details）约束下一步候选工具，把工具选择从独立检索变为序列预测，减少无关工具干扰。
- 对每个转移边存储历史对话嵌入，计算当前上下文与该嵌入的 cosine 相似度，能区分描述相似但用途不同的工具（例如退货标签 vs 退货操作），避免模型误选危险操作。
- 使用轻量线性头学习每个状态的混合权重 w 和温度 T，动态调节经验先验（转移频率）与上下文先验（语义相似度）的重要性，比固定权重（如 α=0.5）更鲁棒，尤其适合工具分布不均匀的注册表。
- 若注册表中存在大量与状态无关的通用工具（如 KB_search、grep），可引入一个小型全局工具集 G（按前缀熵选取 top 工具）作为兜底，能显著提升召回。
- 工程实现上，trie 索引和边记忆查询开销极低，可完全离线构建，在线只需前缀查找和点积计算，适合大规模工具注册表的高并发场景。
图书管理员智能体：训练LLM预构建预见未来查询的长上下文工作区
🧭 Agent 预构建长上下文记忆工作区 ★ 深度解读
Stanford University · Carnegie Mellon University
将文档语料预构造成分层文件系统工作区，并用RL直接优化下游答题准确率，BrowseComp-Plus提升33个百分点
📌 工作参考价值（4 点）
- 在电商/客服/导购 Agent 中，可将商品库、类目树、活动文档、评论语料预先构建成分层合成文件系统（如类目索引、跨品对比表、活动时间线），回答 agent 走短路径文件即可，不必每次实时跨文档检索；用 RL 直接以“下游转化/回答准确率”作为奖励训练 builder 策略，而不是手工定义抽取规则。
- 利用文件系统作为 LLM 友好的外部记忆接口，比知识图谱更灵活：CreateFile/MergeFiles/Delete/Stop 这四类动作足够构建层级，同时显式保留 provenance/原始文档链接作为 fallback，防止合成摘要丢失关键细节；电商场景中 needle-in-haystack（如某单品具体参数）可回退到原文。
- 工程上可借鉴“预构建一次 + 多次查询”的成本摊销：把昂贵跨文档推理前置，回答阶段只读合成文件；文中给出 break-even 分析（约31个查询/语料时 token 成本优于 base builder），类似商品知识库高频问答适合。
- 密集奖励设计可复用：每 8 步探测 answerability 变化作为密集信号 + 终局正确性，等价于稀疏奖励但训练更稳定；multi-turn GRPO 可用于训练其他文档组织策略。
微调前可线性读取的知识在微调后更能泛化
🧭 LLM 线性可读性与微调泛化
Center for Information and Language Processing, LMU Munich · Munich Center for Machine Learning (MCML)
预训练表示中原关系的线性可读性越强，新构造关系微调后的泛化越好，模型内 Pearson r=0.87–0.92
📌 工作参考价值（4 点）
- 微调电商/搜索领域的实体属性映射前（如品牌→类目、商品→属性、query→品类），先用线性探针测量预训练表示中该映射是否线性可读；可读性高时，小样本微调更可能泛化到长尾实体，可节省标注和算力。
- 若要做生成式推荐或 Semantic ID 映射等新任务，可构造“原属性→任意新标签”的代理任务，快速预判模型能否在新实体上泛化，避免在不可泛化的监督信号上做无效微调。
- 线上模型出现错误标签时，可将错误标签映射回原答案，并通过线性探针的 top 预测辅助诊断：错误可能不是模型没记住事实，而是共享结构没有被线性编码；这能指导后续是继续微调还是补充预训练/表示学习。
- 对 Agent 或 LLM4Rec 中需要模型进行规则归纳、实体聚类、属性补全的场景，优先选择预训练表示中已线性可分的特征作为监督目标，能显著提高微调后的 held-out 泛化。
学会引导 LLM 智能体与多智能体系统
🧭 Agent 外部监督与强化学习 ★ 深度解读
National University of Singapore · University of Science and Technology of China · Qwen Business Unit of Alibaba
提出外部 steering agent，用 fast/slow 双路径和 RL 联合训练，在长程执行中实时纠正 goal drift，提升单智能体和多智能体搜索任务表现
📌 工作参考价值（4 点）
- 对商品搜索/导购等多步 Agent，可增加一个外部 steering policy：fast path 只需一次单 token 判断“是否需要干预”，再触发 slow path 生成干预动作；阈值可在部署时调节干预频率，无需重新训练，直接控制成本与效果。
- 训练时冻结执行器，只训 steering agent；用 pairwise ranking 学 fast path 的状态优先级，用 GRPO 学 slow path 的干预生成，并把“不干预基线”加入 group 归一化。这套目标适合作为业务 Agent 在线监督模块的训练模板。
- 多智能体电商链路（query 规划→召回→验证→回答）可在 agent 交接点插入 steering，动作设为 note/retry，重点抑制 verifier 过度拒绝导致的重复修订，减少无效 API 轮次。
- 该 steering 能力可跨执行器迁移：用 Qwen executor 训练后可直接监督 Llama/Mistral/Phi 执行器，适合多模型后端共存的平台。
学习何时思考：效用引导的自适应推理用于高效文本检索
🧭 推理增强检索 · 自适应深度 ★ 深度解读
Carnegie Mellon University · University of Pittsburgh
提出 AURA，用检索特异性监督中间推理状态并训练效用估计器，在推理时自适应停止，以更少步骤取得最优检索
📌 工作参考价值（4 点）
- 电商搜索/推荐中，对 query 改写、LLM 生成式召回、Agent 推理链路不要无限展开。用线上日志构造“正样本 + 曝光未点击/难负样本”，在每个推理/改写中间态计算 specificity margin 作为 utility label 监督，可抑制过度改写和语义漂移；论文证明该信号与 corpus nDCG 相关达 0.97。
- 部署时训练一个轻量 MLP（10M）预测当前上下文 embedding 的检索/推荐效用，线上连续 p 步不提升就停止生成。论文中延迟从 4.6s 降到 0.76s，指标反升；这比 full trajectory 或按 token entropy 停止都更可靠。
- 多任务联合优化生成+对比检索/推荐时，建议对 embedding 损失做 gradient isolation：不回传到前缀 token，避免生成能力被对比损失干扰。论文消融中去除后 nDCG 从 34.7 掉到 29.8。
- 推理时用 greedy expansion 比 best-of-k 更划算：每步生成多个候选，用 utility estimator 选最优继续，而不是采样完整轨迹；对 query 改写、Agent 多步检索、搜索词生成都可复用。
训练推理模型生成多样化科学创意
🧭 LLM 创意生成 · 集合级 RL 多样性
New York University · Stony Brook University · Salesforce AI Research
用集合级强化学习奖励多样性，训练 8B 模型一次生成 K 张高质量且互异的科学创意卡
📌 工作参考价值（4 点）
- 生成多个候选时用距离加权奖励：在推荐理由、广告文案、搜索 query 建议等场景，要求模型一次生成 K 个候选，并在强化学习/偏好优化中把每个候选的质量分数乘以其与已生成候选的语义距离（如 embedding 相似度的倒数），可显著减少重复、提升集内多样性。
- 结构化卡片输出：让模型输出类似 idea card 的结构化 JSON（标题、卖点、理由、证据），便于后续用规则或模型做联合评分、去重与排序；电商可生成“商品卖点卡”或“用户兴趣标签卡”。
- 集合级联合评分替代逐条采样：在 RL/GRPO 中直接对一组 K 个候选做 group-level reward，而不是逐条独立采样打分，能更好平衡质量与覆盖，工程上可用一个 LLM judge 或业务指标作为奖励。
- 执行反馈作为最终验证：借鉴用 coding agent 跑实验验证想法可执行性，在业务中可让生成内容进入仿真或小流量评测，用真实业务指标（CTR、转化）作为 success 信号，避免只靠 LLM 自评。
因果引导的知识图谱检索 Agent 用于问答
🧭 Agent 因果检索 · 知识图谱 QA ★ 深度解读
University of North Carolina at Charlotte
提出 CARA，以证据对回答的因果贡献替代纯文本相似，引导 KG 检索 Agent 并融合多轨迹
📌 工作参考价值（4 点）
- 在电商商品知识图谱或导购 Agent 中，把召回/排序的相似度信号替换或补充为因果相关性评分：对候选商品/证据问“加入它是否实质性改善对用户 query 的回答/推荐，去掉它是否损失关键证据”，可有效过滤“相关但不必要”的商品，减少推荐噪音，尤其适合长尾 query 和复杂约束场景。
- 采用多 Agent 并行探索 + RRF 融合：多个 agent 用不同初始锚点和子查询独立遍历，最后用 reciprocal rank fusion 聚合，比简单的 count-based vote 更鲁棒；可迁移到多策略召回/多路搜索融合，成本可控且提升召回稳定性。
- 聚焦探索与成本控制：因果评估能减少无效 hop 和工具调用，但会引入 LLM 评估延迟；业务落地时可对候选批量评估、只对 top-k 邻居调用因果模块，或用轻量模型/规则做初筛后再评估，在效果与延迟间取平衡。
- 论文在 STaRK 的 AMAZON 电商数据集上验证有效，其 causal prompt 设计（明确“不是文本相似”，给出 0-0.2 无关、0.9-1.0 决定性等评分量表）可直接参考迁移到电商 QA、导购知识库检索等场景。
指代音视频分割中基于预决策表征的推理预算控制
🧭 自适应推理 · 生成前隐状态路由
Tongji University · IEIT SYSTEMS (Beijing) Co., Ltd.
发现过长思维链对简单查询有害，利用生成前隐状态线性探测路由器省60% token且保留96%性能
📌 工作参考价值（4 点）
- 在 LLM-powered 推荐或 Agent 工作流中，不要默认所有 query 都走长 CoT/多步工具调用：简单 query 可能因过度推理产生 phrase 或 localization drift。可设计基于模型生成前隐状态（首 token 前的 state）的轻量路由器，判断是否需要深度推理。
- 用线性探针对内部表征做二分类，比基于文本特征或不确定性 proxy 信号更有效；且只需单次前向，无需额外生成，适合在线低成本决策。
- 报告的 60% token 减少且保留约 96% always-long 性能，可作为成本-质量 trade-off 的实用参考；对推理成本敏感的电商/广告 Agent 场景值得尝试类似的 pre-decisional routing。
- 该工作是 Ref-AVS 任务，未在推荐系统上实验；但思想可迁移到 RAG 是否检索、长上下文是否展开、多步推荐解释生成等自适应推理控制。
重新思考现代 MoE 路由探索：MirrorMoE
🧭 MoE 预训练路由探索优化 ★ 深度解读
ETH Zurich · The University of Hong Kong · Max Planck Institute for Intelligent Systems · WU Vienna
MirrorMoE 通过 token 自适应抑制低概率路由专家缩小探索空间，解决细粒度共享专家 MoE 的探索困境并稳定涨点
📌 工作参考价值（4 点）
- 若服务链路使用 DeepSeek/Qwen3 等 MoE 基座做 embedding、生成式推荐或 Agent 策略，当启用或调大 fine-grained top-k 时，不要假设 shared experts 一定带来收益；可先做单 expert 消融或随机路由诊断，确认 shared experts 是否主导输出并压制路由探索。
- 训练阶段可采用 MirrorMoE 式“选择分布与聚合分布分离”：用镜像 logits 选专家，用原始 logits 权重聚合，再把 rho 从 0.4 cosine 退火到 0；工程实现只需额外一次 softmax 和符号翻转，训练成本几乎不增。
- 负载均衡 loss 应加在实际贡献概率 xi 上，而不是选择概率 p 上；当低权重专家被激活但几乎不贡献时，这种设计能避免均衡目标误导路由，可迁移到多兴趣/多任务 MoE 推荐模型。
- 若模型不含 shared experts，MirrorMoE 提升有限；不要盲目上该 trick，应优先用于 shared-expert + 较大 K 的配置，并在增大 K 时重点观察是否出现“K 涨指标不涨甚至下降”的探索困境。
自适应稀疏监督下的LLM稀疏检索对齐
🧭 LLM稀疏召回 · 自适应稀疏对齐 ★ 深度解读
Soochow University
用动态α-truncation对齐SPLADE词表，1B LLM稀疏检索在L0=182时接近Lion-sp效果且延迟降11倍
📌 工作参考价值（4 点）
- 在搜索/广告召回中若要用LLM做稀疏召回，可复用「投影到SPLADE词表 + max-pooling + log(1+ReLU)」结构，用1B模型+LoRA即可与倒排索引兼容，避免在线生成式开销
- 训练阶段用SPLADE作为anchor，对每个输入按累积激活质量动态选取监督support（α-truncation），比固定Top-K更稳：在消融中MRR@10从α-mean的0.303提升到0.322
- 两阶段训练值得借鉴：先做稀疏对齐预训练，再做对比学习+KL蒸馏+FLOPS正则，可让索引条目减少40.7%，同时MRR@10从0.3619提升到0.3998
- 推理时无需额外truncation，只靠训练获得的稀疏性；对query和document分别设置FLOPS正则系数，可把L0从1170压到182，避免83GB索引和>1s查询延迟
自进化编码代理：基于 Harness-Policy 优化
🧭 Agent 自进化与强化学习
Microsoft Research · University of Virginia · Carnegie Mellon University
提出 Self-HPO 框架，交替优化编码代理的 harness 与 policy，实现递归自改进，显著提升编码任务解决率
📌 工作参考价值（4 点）
- 在电商推荐/搜索的 Agent 系统中，不要只微调策略模型或只调整工具/流程（harness），两者应联合迭代优化：让当前策略基于自身失败模式提出新的工具或交互脚手架候选，再用 RL 更新策略，形成闭环。
- 利用策略自身作为 harness proposer 的思路可以迁移到推荐 Agent：当 agent 在特定任务（如 query 改写、商品筛选）上频繁失败时，让其反思失败原因并生成新的工具描述、API 调用模板或搜索流程，然后用这些新 harness 重新训练策略。
- 从训练中收集困难样本（hard tasks）用于下一轮 harness 搜索，可以保证优化方向始终针对策略的当前薄弱点，避免盲目扩展工具集；对推荐系统来说，可借鉴此机制动态聚焦长尾 query 或复杂会话场景。
- 实验显示联合优化 harness 和 policy 的增益超过各自单独优化之和（joint gain > sum of individual gains），这提示在实际业务中，同时调整“模型能力”与“工具/流程”可能带来乘数效应，而非简单叠加。
ZoomCap：证据路由的视觉缩放实现可恢复视觉信息传递
🧭 视觉caption生成与事实评估
Ant Group · Zhejiang University
用草稿路由、自适应缩放和 FactCycle 事实校验生成高密度图像描述，提升 VLM 训练效果
📌 工作参考价值（4 点）
- 借鉴“草稿—缺口恢复—定向补充”策略：在商品图文描述或广告素材理解中，先快速生成初稿，再针对 OCR 密集区域（成分表、注意事项、小标签）和覆盖缺口进行局部放大与二次采集，提升细节覆盖率与可信度。
- 借鉴 FactCycle 事实锚定评估：将生成文案/卖点拆成原子事实，用源商品图和生成图重建做盲评，分离幻觉（虚假宣称）与模型表达能力问题；可用于广告审核、商品描述合规与真实性检查。
- 自适应缩放只对复杂区域分配高分辨率计算，适合处理商品图多尺度信息（瓶身文字、包装细节、模特配饰），控制推理成本；可结合检测器先定位复杂度，再分档裁剪。
- 数据飞轮效果表明，高质量细粒度描述预训练能显著提升下游文档 OCR、感知和医疗 VQA 分数，建议为电商多模态模型构建类似“证据路由”生成的高密度描述数据集，用于持续预训练。
AdCoEvo：协同进化的多智能体广告投放系统
🧭 多智能体协同进化广告投放 ★ 深度解读
中国科学院信息工程研究所 · 中国科学院大学网络空间安全学院 · 悉尼大学 · 京东
角色分工+轮换更新的多智能体广告投放系统，相比规则基线 ADV 提升 14.02%、CPA 降低 7.07%
📌 工作参考价值（4 点）
- 角色切分可复用：把广告投放拆成账户级预算规划（Planner）、单元级 tCPA 调整（Optimizer）、周期末诊断（Inspector）三个独立 LoRA 策略，按各自反馈结算周期更新。这比单 Agent 一条链路更稳定，且能分别积累运营经验。
- 在线持续学习用异步轮换：每周期只更新一个角色，其他参数冻结，用实际业务反馈（ADV/CPA）作为奖励；每个角色配一个轻量 PrefixValueModel 做 baseline 降方差，适合延迟反馈场景。
- 诊断 guidance 优于统计摘要：让 Inspector 生成结构化诊断并作为下一周期 Planner/Optimizer 的输入，实验中比固定统计摘要 ADV +1.61%、CPA −1.55%。
- 小模型+领域训练更划算：8B 模型+每角色 LoRA 的 API 成本远低于闭源大模型，且性能更好；广告投放任务组织与领域训练比模型规模更关键。
AlphaBet：面向 LLM 事件预测智能体的强化学习框架
🧭 Agent 强化学习 · 事件预测
Georgia Institute of Technology · Amazon
用多日期事件结果联合监督证据搜索与概率报告，显著降低 Brier 分数并提升准确率
📌 工作参考价值（4 点）
- 多信息状态监督：利用同一事件在不同预测日期提供不同信息状态，让单个已解决事件监督多个决策点。可迁移到用户行为序列建模：对同一用户，在不同交互时刻构造不同上下文，用最终转化/成交结果监督每个时刻的决策，提升样本效率。
- GRPO 归一化陷阱：在需要概率校准的任务（如 CTR/CVR 预估、排序打分）中，如果采用 GRPO 做 RL 训练，注意其 std 归一化可能扭曲 proper scoring rule 下的概率报告，导致校准恶化但 top-1 准确率不变。建议在奖励设计时避免对概率型输出做过度的组内标准化，或分离校准与排序目标。
- Regret 分解诊断：将预测误差分解为证据获取 gap 和概率报告 gap，分别评估信息检索质量和概率校准能力。类似地，在推荐/搜索系统中可把整体损失拆成召回（信息获取）和排序（概率报告）两部分，定位瓶颈后再针对性优化。
- Agentic 三段式结构：search → reason → report 的固定流程可复用于需要动态获取外部信息的交互式推荐或对话搜索场景，让 policy 自主决定何时、如何获取证据再输出概率。
按需检索有用信息：选择性检索增强机器翻译的智能体强化学习
🧭 选择性检索增强 · 强化学习 ★ 深度解读
The University of Texas at Austin · Amazon
提出 SRAT，将检索作为可学习翻译动作，用 GRPO 与检索器对齐实现选择性检索增强
📌 工作参考价值（4 点）
- 把“是否调用外部知识”变成策略动作：不要固定 always-retrieve 或 never-retrieve，用 GRPO 以最终业务指标（如转化率、用户满意度）为奖励，让模型学习何时检索、生成什么查询。可以用于商品文案生成、客服回复等场景，避免无关知识干扰。
- 检索器要与下游质量对齐，而不是语义相似度：当知识库检索难度高、语义相似度不够时，用翻译/生成质量对比训练检索器，让正样本由“哪个文档能提升最终输出”决定。这可以迁移到推荐解释生成、广告标题生成等任务，直接用最终打分函数提供监督。
- 黑盒模型也能受益：训练一个独立的轻量检索策略（如 Qwen 小模型），用闭源大模型（Claude/GPT）的输出质量作为奖励，不动主模型参数也能提升其生成效果。适合在已有黑盒生成服务之上加一层自适应检索。
- 课程学习避免策略退化：先用高质量检索轨迹做 SFT 初始化，再 RL 时加临时检索惩罚防止模型退化成 never-retrieve。这个 trick 对任何需要学习“何时调用工具”的 Agent 场景都适用。