信任引导的决策 Transformer
🧭 离线强化学习 · 决策 Transformer 上下文选择
International Institute of Information Technology Bangalore · IBM Research Bangalore
用模型自身状态预测误差加保形校准筛选可信上下文，再让 critic 选动作，缓解长 rollout 分布漂移
📌 工作参考价值（4 点）
- 在长程 Agent / 对话式推荐中，自回归生成的上下文容易偏离训练分布；可以复用「下一步状态/Token 预测误差」作为 OOD 信号，而不只依赖 reward 或 critic 分数。
- 用 split conformal prediction 在离线验证集上标定预测误差阈值，能获得覆盖率保证，避免人工拍阈值；适合对会话状态转移模型或用户序列模型做在线可信度过滤。
- 先做 trust filtering 再做 value/critic 选择：不要从不可靠 context 生成的动作里用 critic 选高价值动作；应当让 critic 只在可信 context suffix 集合内打分，能降低 OOD 动作风险。
- 对长序列推荐或 Agent 轨迹，可维护多个最近 context suffix，逐段做误差检查，只保留可信历史片段，实现类似软 reset 的上下文控制，避免硬 reset 丢失重要信息。
压缩所见而非所说：面向隐式观测软件工程 Agent 的锚定上下文蒸馏
🧭 Agent 上下文压缩 · 软 token 蒸馏
Peking University
LOHA 布局与 ACD 训练法将长工具观测压缩为软 token，在 SWE-bench 上降低 43-57% 上下文且性能损失较小
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 中，工具返回的商品列表、搜索结果、用户行为日志等长文本可压缩为软 token，保留最近 K 条原文供模型精确引用（如商品 ID、价格），可显著降低上下文长度，提升并发吞吐。
- 采用“锚定蒸馏”思路：在压缩上下文训练时，加入普通文本输入的对齐损失，避免模型在压缩后行为漂移，保持排序/推荐效果稳定。
- 上下文窗口有限（如 32K）时，压缩历史比截断更好：论文中同一模型在受限窗口下，压缩版解决率 21.1% vs 全文本 11.1%，说明历史信息压缩比简单丢弃更有效。
- 权衡压缩比与任务性能：K 越大性能越好但压缩率低，需根据业务对延迟和精度要求调节 K；对于需要精确匹配的场景（如商品 ID、用户 ID）保留最近观测很有必要。
已完成配对掩盖被截断失败：选择性上下文投影的 ReVerPi 案例研究
🧭 Agent 评估方法 · 上下文投影
Independent AI Researcher
揭示评估中因仅保留完成配对而掩盖资源受限失败，并给出双臂独立执行的评估方法论
📌 工作参考价值（4 点）
- A/B 评估必须双臂独立执行：在 Agent 或推荐策略对比中，不要因一个 arm 先失败/超时而抑制对照 arm；应保留所有干预边界，否则会系统性丢失高成本失败案例，歪曲结论。
- 报告完成率与资源消耗，而非只看成功样本：离线评测生成式推荐、query 改写或 RAG 时，同时记录 completion rate、交互轮数、logical tokens；仅比较完成样本会掩盖资源耗尽型失败。
- Context projection 是双刃剑：将旧 tool observation 压缩为可寻址摘要可减少 25% 聚合 logical tokens，但可能增加 29% 中位 tokens 与更多检索请求（35→55）；在构建 agent 记忆或对话压缩模块时，需以完整交互序列评估端到端收益。
- 分离 fitting 与 evaluation 以避免 selector 偏差：如果部分数据用于选择/调参，再在同一批数据上统计，会发现虚假 tie；业务中训练/验证/测试须严格隔离，否则资源与成功率结论不可靠。
自训练中的策略多样性采样方法
🧭 LLM 自训练数据构建与采样
School of Informatics, University of Edinburgh
提出策略多样性采样，证明解法多样性比正确性和教师规模对自训练更关键
📌 工作参考价值（4 点）
- 构建 SFT/蒸馏数据时不要只按正确性过滤，可以先用模型生成多个高层策略（例如基于价格、用户画像、场景），再展开成完整轨迹，避免同一策略的表面变体；在电商训练 LLM 生成推荐理由、query 改写或 Agent 规划时，能显著提升困难 case 上的泛化。
- 错误但多样的轨迹也有价值：如果缺乏大规模教师标注，可以用小模型自己采样并保留多样化的错误中间步骤，经过筛选或与正确样本混合训练，可能比直接蒸馏大模型更有效，降低 API 成本。
- 对 RLHF/GRPO 在线采样，策略多样性原则说明仅靠提高温度不够，需要显式鼓励策略分支；可以在 reward 中加入策略多样性项，或在 prompt 中要求给出多种解法，提升 rollout 组的信息量。
- 在生成式推荐中构建 Semantic ID 或多路径推理数据时，可将策略多样性作为数据增强与负样本构造的指导思想。
AgentWorld：面向多智能体 LLM 长程协作的基准评估
🧭 多智能体长程协作评测基准
OpenAgents · Columbia University · University of Pennsylvania · Seoul National University · Penn State University
提出AgentWorld长程多智能体协作基准与CCE因果协作指标，最佳模型任务成功率仅52.0%
📌 工作参考价值（4 点）
- 多智能体业务链路（如营销活动生成、选品+文案+投放协作）不要只靠聊天历史维持长程计划；应引入显式共享计划/看板/JSON 状态，每轮或每阶段强制更新，否则 50+ 轮后计划会漂移。
- 评估智能体流水线时引入 CCE 式因果追踪：记录各 agent 的 action 及其依赖关系，区分对最终结果有因果贡献的步骤和“忙忙碌碌但无效”的动作；可用于优化 planner-retriever-ranker/推荐解释链路中的资源分配。
- 在角色非对称的多 agent 系统中，角色混淆是主要失败源；通过 role-specific system prompt、独立工具权限和结构化输出约束来减少越权/重复劳动。
- 长时任务需要 memory 管理：对共享状态做定期摘要或 checkpoint，并在关键节点触发 re-plan；否则 LLM 在长上下文/多轮中容易丢失早期目标。
Augur：预演产品与政策变更反应的合成决策实验室
🧭 LLM 评估与合成人群模拟
PayPal AI
构建合成决策实验室，发现开放权重模型与前沿模型的差距多源于评估欠规范而非能力差异
📌 工作参考价值（4 点）
- 评估生成式推荐/Agent 决策时，先审计 prompt 是否公平，尤其决策 taxonomy 是否显式给定；固定权重、样本、scorer 做 matched ablation，报告 paired McNemar + Holm 校正，否则会误判自研小模型与闭源大模型差距。
- 可在发版前用 grounded persona 市场模拟用户/商户/平台三方反应，对定价、广告政策、推荐策略变更做离线预演；用变更文档构建 persona，比通用角色扮演更能暴露真实争议点。
- 注意 LLM 合成用户容易系统性“过度悲观/over-doom”，别直接以负面比例做上线否决；要校准、与真实反馈对照，且 teacher agreement 高不代表决策准确率提升。
- 离线部署 LoRA-SFT 开放权重模型服务于决策 memo，在公平评估下可与 frontier 模型无显著差异，适合电商内部高 QPS 决策审计场景。
C3M：面向长程任务的跨会话多模态记忆维护
🧭 Agent 跨会话多模态记忆维护
Huzhou Normal University · Alibaba Group · University of Waterloo
提出有界索引、关系感知更新与预算路由相结合的跨会话多模态记忆维护机制
📌 工作参考价值（4 点）
- 在电商购物助手/客服 Agent 中，不要过度压缩历史会话；可维护一个固定大小的 active index，指针式保留原始商品图、对话截图、订单状态等源证据，后续按需展开，避免丢失 fine-grained visual cues。
- 借鉴 relation-aware updates：区分 redundant / complementary / incompatible 观察，不要仅凭文本或图片 embedding 相似就合并记录；不同商品属性、状态或时间版本必须保留，避免把“同款不同色/不同卖家”的相似商品搞混。
- 采用 budgeted routing：查询时先用小预算检索索引页，再对选中的页按固定 reader budget 展开源证据，可迁移到 RAG 用户记忆或广告创意上下文中，控制 LLM context 开销并提高检索选择性。
- 保留 provenance 和时间区分，方便后续审计、刷新和个性化推荐；在推荐系统里可用类似机制维护跨会话用户画像，索引指向原始行为序列而非抽象摘要。
Canopy：利用分段平滑树先验的多保真度老虎机
🧭 多保真树 bandit 优化 LLM 推理决策
Amazon · Columbia University
提出 CANOPY，在线学习树结构上的分段平滑性失效位置，将昂贵评估集中到不连续区域，提升多保真决策效率
📌 工作参考价值（4 点）
- 在电商/广告的多模型路由或策略选择中，可借鉴 CANOPY 的树结构多保真评估：用廉价内部节点（如小模型打分、压缩特征）快速估计候选池价值，只在检测到局部不平滑（如收益发生跳变）时才触发昂贵全量评估，显著降低 GPU 成本。
- 对生成式推荐 / Agent 的 test-time search，CANOPY 相比 uniform best-of-N 在 SWE-bench 上多解决 1.6 倍问题，说明通过随机路径探针识别搜索树中的高不确定分支，把预算集中在最有希望的子树上，可复用其「在线聚合偏差证书」思想提升 beam search 或候选生成的效率。
- Prompt 修剪与缓存管理中，可将 prompt token 序列建模为树，内部节点快速估计压缩前后的效果差异，仅在检测到质量突变时才进行完整生成评估；对 prefix caching 场景，CANOPY 的树节点价值估计可用于决定哪些前缀值得缓存或继续扩展，提升命中率并降低首 token 延迟。
- 算法层面，CANOPY 的保证「额外成本与不连续点数量可加」提示：在业务多臂老虎机问题中，如果收益函数分段平滑且边界未知，可采用类似随机探针 + 局部偏差检测的机制，避免全局平滑假设导致的搜索低效。
从兴趣到语义ID：检索接地的生成式推荐信用分配
🧭 生成式推荐 · Semantic ID · RL 信用分配 ★ 深度解读
Emory University · Microsoft · Cornell University
用冻结检索器执行生成兴趣查询，按查询命中证据把检索奖励局部化到 interest span，缓解 SID 精确匹配奖励稀疏
📌 工作参考价值（4 点）
- 在电商/生成式推荐中，如果使用 LLM 直接生成 item ID（Semantic ID），可以要求模型同时输出结构化的“用户兴趣 query”，用已有的商品检索服务执行每个 query，把“目标商品是否被召回”作为辅助 reward；这比单纯 exact-match item reward 提供更密的训练信号。
- 信用分配不要 broadcast 到整段 trace：记录每个 query 的命中 indicator，positive rollout 只把 retrieval advantage 路由到命中 query 所在 token span；negative rollout 平分到所有 query，final SID span 不给 retrieval reward。这种 span-level 路由在消融里明显优于整段 broadcast。
- 推理时把生成的兴趣 query 直接当成召回接口：合并 top-K 结果做去重，作为候选池；如果后端是受限 beam search，可用候选 SID 构建 trie 约束解码，而不是只在全目录上 beam search。论文 oracle 显示选对 query 时 Recall@10 可以 11.95→14.93，说明兴趣条件解码有空间。
- reward retriever 用 4B embedding 已接近 8B，训练 cutoff 选 50 是中间甜点，不必盲目增大 encoder/扩大 K；这个结论在预算有限时可以直接复用。
多模态大语言模型中的对齐幻觉
🧭 多模态 LLM 表征几何诊断
University of Science and Technology of China
揭示 MLLM 标量视觉-文本对齐指标无法区分噪声与真实视觉流，提出主角度间隙 PA gap 作为几何诊断
📌 工作参考价值（4 点）
- 在多模态推荐或广告中，使用 CKA/SVCCA 等标量相似度评估视觉-文本融合质量时，务必结合下游任务指标（如点击率、相关性、A/B 结果）校准；单独看相似度曲线容易产生“对齐幻觉”，误导模型选型或层数截断。
- 可借鉴 PA gap 作为轻量几何诊断，监控多模态模型在微调、量化、蒸馏或视觉编码器替换后视觉 token 结构是否退化，及时发现信息丢失。
- 论文揭示共享 MLP 下投影会制造权重诱导对齐，若业务中将图像/文本投影到统一 LLM 空间做检索或生成，需警惕共享通路导致的虚假相似性；可考虑对投影层增加正则或采用多维几何指标评估。
- 在 Agent 或多模态 RAG 中，若用视觉输入辅助决策，应定期用受控任务测试（如噪声图像或无关图像）校准内部表征诊断，避免仅凭几何指标判断模型理解能力。
返回还是修订？学习何时修订能改善检索增强问答
🧭 RAG 答案修订决策
DCS Corp · Air Force Research Laboratory
提出 recoverability 配对效果并训练 scorer，决定 RAG 中是否修订草稿答案，在 9 组设置中优于草稿置信度 scorer
📌 工作参考价值（4 点）
- 在 Agent/RAG 工作流中，不要默认「检索后一定修订」。可离线构造配对数据：用同一 judge 给草稿和修订后的答案打分，训练 recoverability scorer 来决定是否执行修订，避免过度修订带来的时延和成本。
- 评价修订策略时，除了 accuracy，使用 accuracy–revision-rate 曲线和 oracle gap 指标；这能区分「修订有价值」和「修订只是增加调用次数」。
- 如果系统已经有标准 RAG 答案，优先把决策建模成「草稿 vs RAG 答案」的二选一，而不是为复杂的三选一引入候选修订；实验表明增加第三个选项无显著收益，工程实现更简单。
- 对电商客服问答、商品问答等场景，可用业务评判器标注「修订后是否解决、是否引入错误」，训练一个轻量 scorer 控制检索修订的触发，减少不必要的检索和生成开销。
非对称动态路由：平衡超图RAG中的推理深度与计算效率
🧭 查询自适应超图RAG路由
School of Software Engineering, Xi’an Jiaotong University · State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University · EHV Power Transmission Company of China Southern Power Grid Co., Ltd
提出意图条件路由框架ADR，用轻量分类器动态调度三种非对称拓扑遍历算子，减少48.7% token和45.3%延迟
📌 工作参考价值（4 点）
- 在电商知识问答/导购Agent中，对用户query做轻量意图分类：事实型查询（如“某商品材质”）走局部事实锚定，减少全图遍历；对比/推荐理由类查询走自底向上邻接扩散，获取关联实体；策略/选品建议类查询走自顶向下洞察接地，引入高层抽象知识。
- 可复用“非对称遍历算子”设计：不同意图对应不同图计算代价，避免静态RAG对所有查询执行同等深度检索，显著降低prompt token和端到端延迟，适合高并发在线推荐场景。
- 若已有商品知识图谱或用户-商品异构图，可参考ADR的层次路由思路：在召回/排序前置一个轻量分类器，动态决定图扩散深度与方向，平衡效果与算力，尤其利于边缘部署或成本敏感业务。
- 结果表明动态路由能在保持推理质量前提下节省近50% token，对依赖LLM做导购解释、推荐理由生成的业务，可降低API成本并提升响应速度。
工业推荐系统长程自主模型研究：AgentX-Model 双智能体框架
🧭 Agent 多智体协作优化 ★ 深度解读
Kuaishou
双智能体分隔提案规划与实验执行，以四类研究动作持续迭代推荐模型，实现工业场景长程自主研究
📌 工作参考价值（5 点）
- 可采用「提案规划 Agent + 实验执行 Agent」双上下文隔离：Research Agent 只看摘要、diff、测量汇总，不加载全部训练日志；Model Agent 专注代码与训练调试。适合把已有实验平台改造成长程自动迭代。
- 实验归档必须保存每轮最佳实现而非只存最后版本：业务中 48% 的多轮实验最后轮低于中间最佳；保留 round-specific diff、evaluation context 和诊断观察，可让后续实验直接复用最佳起点。
- 评估要同时报告 business baseline、direct parent、strongest ancestor 三个增量，避免把继承上游增益误判为新方案贡献；对推荐模型迭代平台尤其重要。
- 任务调度先用固定轮转（Reproduce/Follow-up/Composition/Diagnose）+ Agent 候选选择即可，复杂 Bandit/Joint 不一定带来稳定效率提升；工程上可先落地简单规则。
- 业务校准问题（如广告 PCOC 偏差）应先做 Diagnose 实验收集证据，再设计修复，不要直接调大损失权重；论文实验显示通过统计校正因子可降低 22% 以上误差且保留排序增益。
GRASP：面向战略规划的生成、修订与评估智能体框架
🧭 LLM Agent 多阶段战略规划优化
University of Maryland, College Park · NEC Laboratories America, Inc.
通过生成宏观指南、隔离探索局部策略、独立评估轨迹，提升LLM在复杂规划任务上的可靠性
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 工作流中，把“全局策略生成”“局部候选探索”“结果评估”拆成独立上下文模块，避免把所有约束塞进同一个 prompt，减少长指令下的约束冲突和注意力衰减。
- 借鉴 GenPlan 将业务规则、推荐 policy、多目标约束预编译为宏指南，后续生成或改写 query/文案/推荐策略时只引用指南，不重复展开全部细节，可提升长链路规划的稳定性。
- RevPlan 的隔离探索思路可用于多策略 A/B 生成：在单独上下文中为不同用户分群或场景生成候选推荐策略，互不干扰，再通过 VerPlan 式多准则判别器（转化、多样性、GMV）过滤排序。
- 若你的团队在做多任务 Agent（如同时优化点击率、转化率、停留时长），可参考 GRASP 的上下文隔离与正则化机制，缓解多任务性能坍塌，尤其适合生成式推荐或自动营销文案生成的复杂规划场景。
关注推理重点：选择性概率质量集中的跨模态注意力对齐
🧭 多模态训练 · 注意力对齐
University of Technology Sydney · East China Normal University · The University of New South Wales · Shanghai Jiaotong University · The Education University of Hong Kong
提出 sPMC 训练框架，仅对少量视觉grounding敏感注意力头做概率质量集中正则，零样本平均提升3%
📌 工作参考价值（4 点）
- 少而精的头选择正则：不全局约束所有注意力头，而是先识别对视觉证据 grounding 敏感的少数头（3%-15%），再做任务相关正则；可迁移到电商多模态商品理解/推荐理由生成，保留语言先验与通用能力，避免过正则导致性能下降。
- 用弱监督区域先验引导注意力：借助 segmentation mask / 商品主体框等空间先验，让文本到图像注意力概率质量向语义相关区域集中；无需大规模推理标注，对图文匹配、多模态搜索相关性建模有直接借鉴价值。
- 训练成本低、推理零开销：sPMC 只在训练阶段施加正则，不改推理架构，适合作为现有 MLLM 流程的插件式训练技巧；在电商 Agent 或多模态搜索中可较快验证。
- 注意力头功能分析可复用：Adaptive Head Selection 的思路可迁移到任何多模态 LLM 或推荐模型中，先探测头功能再定向优化，减少无效训练。