有界智能体：多智能体 AI 系统的委托安全机制
🧭 多智能体委托授权安全
Independent Researcher
提出 Agentic Principal Chain，在模型外强制执行基于会话状态的授权检查，将 AgentDojo 数据外泄从 75-100% 降至 0%
📌 工作参考价值（4 点）
- 在电商/广告 Agent 工具执行前，增加独立于 LLM 的授权门控层：维护 session 状态，检查“当前工具调用 + 之前动作”的组合是否触碰禁止规则，而不只评估单次请求权限；APC 的 composition closure 可直接对应“禁止读取用户手机号后调用外部 webhook”这类组合风险。
- 对子 Agent 委托必须显式传递并收缩权限范围与预算：APC 证明的 Blast Radius Monotonicity 表明最小权限委托能控制爆炸半径，可复用于多 Agent 架构中订单、优惠券、用户数据等工具的下发权限。
- 工程上，0.24ms p99 授权延迟对推荐/广告 Agent 的实时链路可接受；将授权决策与模型推理解耦，使其不被 prompt injection 影响，适合作为在线风控旁路。
- 注意 trade-off：AgentDojo 效用下降 8.6-13.9 个百分点，业务落地上需按场景灰度，在安全与任务完成率之间配置可调的禁止组合规则。
针对性合成多语言数据提升 LLM 多语言推理能力
🧭 多语言 LLM 定向数据生成与训练优化
UIUC · Uniphore
提出 HOTFIXR 数据框架，自动探测多语言弱点并生成合成数据，ID 提升 6.2%、OOD 语言提升 7.1%
📌 工作参考价值（4 点）
- 迁移到多语言搜索/推荐：在不同语言 query 下，LLM 表现不一致会影响搜索结果排序和相关性判断；可借鉴 HOTFIXR 思路，先用 teacher model 自动找出模型在哪些语言/任务上最容易出错，只对薄弱语言做定向合成数据微调，避免全量 language-balanced 数据造成主语言性能下降。
- 困难样本生成与筛选：把“难度优化”用于 query 改写、意图分类、内容理解等模块；让 teacher LLM 生成当前模型易混的合成 query（如相近语言、低资源语言、口语化表达），并保留学生模型答错的样本作为高质量微调数据，减少人工标注。
- 评估指标：引入跨语言一致性 spread 指标，监控线上多语言推荐/搜索在不同语言之间的效果差异，避免只看总体指标掩盖局部退化。
- 工程实现：可搭建自动化的“弱点探测 → 定向生成 → 迭代微调”流水线；每轮用教师模型生成候选数据，根据学生模型 loss/错误率筛选 top-hard 样本，控制数据规模和训练成本。
AgentRewind：面向长程 LLM Agent 的可恢复执行框架
🧭 Agent 执行恢复与 checkpoint ★ 深度解读
University of Chinese Academy of Sciences · IIIS, Tsinghua University · Zhongguancun Academy · Institute of Automation, Chinese Academy of Sciences
通过对齐的上下文与环境 checkpoint 回滚，并注入失败摘要，提升长程 Agent 任务成功率
📌 工作参考价值（4 点）
- 做电商/搜索/广告领域的 Agent 时，把失败恢复做成 runtime 层，不只回滚 message history，必须同时回滚工作区或数据库状态；否则被污染的中间状态会拖垮后续步骤。
- 把 rewind 作为工具暴露给 LLM，而不是外部固定策略：让 agent 根据 checkpoint metadata 选择回退点并写 memory_summary，适合长任务和多步修改场景。
- 借鉴 MettleBench 的「有序 checklist + 只返回第一个未满足项 + prefix progress」作为 Agent 任务验收与诊断指标，比只看最终成功率更能测量部分完成度。
- 工程上要明确恢复边界：只回滚可控文件系统，外部副作用需要隔离或记录；回滚时用执行日志恢复前缀，避免重新执行产生新的副作用。
层级感知多模态RAG：结构忠实的图文交错生成
🧭 层级感知多模态RAG
The Hong Kong University of Science and Technology (Guangzhou) · ASCETEX INTERNATIONAL LIMITED · MOVENSYS Inc. · Schneider Electric · Technical University of Munich
利用文档层级引导检索与生成，实现多模态RAG中的结构忠实与图文对齐，在多个基准上平均提升17.3%
📌 工作参考价值（4 点）
- 在电商详情页、说明书、SOP等多模态文档RAG中，优先保留文档层级（标题/章节/步骤）作为检索单元，而不是切割成扁平chunk；可将章节路径和父子关系编码进索引和prompt，提升证据选择的忠实度。
- 对于需要图文交错生成（如商品使用教程、维修指南）的场景，在prompt中保留局部文本-图像对及其在源文档中的位置，可显著减少图片放错和图文不匹配；考虑将图片与相邻文本绑定作为最小检索单元。
- 构建内部评测基准时，可借鉴HAM-Bench的分类覆盖（攻略/网页/论文/食谱），针对结构化多模态文档设计图文一致性、步骤顺序等指标，而非仅用文本相似度。
- 工程上，层次化RAG可以结合文档解析工具（如PDF结构抽取、DOM树）自动提取层级，再对同一层内的text和image做关联索引，生成时用层级路径作为约束。
CForce：通过一致性强制提升扩散语言模型并行解码
🧭 dLLM 并行解码一致性蒸馏
Shanghai Jiao Tong University · Ant Group
提出 Consistency Forcing 蒸馏方法，用后期掩码预测监督早期预测，改善 dLLMs 高并行解码的质量
📌 工作参考价值（4 点）
- 低延迟生成场景可迁移：电商创意文案、商品标题、push 文案等对延迟敏感且可接受部分生成的场景，可以尝试用 dLLM 并行解码替代 AR 解码，并采用 CForce 蒸馏抑制早期掩码预测错误传播，在高并行预算下获得更好的速度-质量权衡。
- 蒸馏目标设计值得借鉴：Confidence Adaptive KL 动态结合前向 KL（模式覆盖）和反向 KL（模式坍缩），可在推荐模型蒸馏、策略蒸馏或 LLM 蒸馏中用于平衡学生模型输出的多样性与准确性，尤其适合标签软化的场景。
- 自回滚轨迹训练提升训练-推理一致性：业务中若使用迭代式生成（如多轮 Agent 交互、多次改写），可以收集模型自身推理轨迹，用后期步的高置信预测作为早期步的监督信号，缓解训练与推理分布不一致。
- edit-capable 解码的监督思路：后期 token-to-token 修正可反哺早期 masked-state 预测，对带修正/编辑能力的生成流程（如搜索词改写、推荐理由生成）有参考价值。
超越故事中心数据的创意写作扩展：属性引导的体裁扩展
🧭 LLM 数据扩充 · 属性引导体裁生成
Chung-Ang University · LG AI Research
用属性引导解耦主题与体裁形式，构建多体裁创意写作数据提升 LLM 跨体裁能力
📌 工作参考价值（4 点）
- 可借鉴“主题种子 + 人工属性模板”的解耦思路：用电商搜索词、商品标题、用户评论等作为主题种子，人工维护不同文案体裁的结构/风格/格式属性（如 push 文案的紧迫感、广告标题长度、商品描述格式），批量生成多体裁营销文案训练数据，提升 LLM 在电商文案生成上的指令遵循。
- 质量过滤环节可结合业务规则与强模型打分：先按属性约束生成，再做过滤，能兼顾格式合规与文本质量，适合落地到商品文案、广告创意、消息推送等对格式和风格敏感的场景。
- 消融结论提示：对生成式推荐/文案 Agent，体裁多样性比单纯扩大单一类型样本规模更重要；可以先小规模控制体裁类别数做验证，再决定是否扩充，节省数据预算。
- 对 Agent 多轮任务，可把工具调用/输出 schema 视为“体裁属性”，通过人工属性库让强 LLM 生成符合格式的合成轨迹，用于训练或蒸馏领域 Agent。
错误但有用：多智能体消息的轨迹价值超越答案正确性
🧭 多智能体轨迹价值评估与消息筛选
Argonne National Laboratory · University of Houston · Brookhaven National Laboratory · University of Chicago
提出 DHD 重放协议，证明错误答案消息在多智能体推理中仍可能帮助后续集成，且可重复测量轨迹价值
📌 工作参考价值（4 点）
- 在推荐/搜索的 Agent 工作流中，不要仅用最终答案正确性或 auto-scorer 过滤中间候选消息（如商品理由、query 改写、约束提取）。可复用 DHD 的“缓存+重放”方法，离线评估每条消息对最终决策的因果贡献（trajectory value），筛选出“错误但有用”的消息用于训练或在线保留。
- 构建多 Agent 集成器时，可对同一组候选消息重复运行 integrator，统计每个消息出现/隐藏对最终结果的影响，识别可重复的 help/harm 消息；此类标签可用于训练一个轻量级 selector/滤波器，判断哪些中间输出值得传给下游。
- 工程实现上，DHD 缓存多个独立生成消息并重放，成本可控；可在业务中先对少量 query/问题做离线 replay，得到消息级轨迹价值标注，再逐步替换基于 confidence/agreement 的过滤规则。
- 注意完整消息（含推理过程）往往比仅保留答案更有效，因此中间消息的 reasoning trace 不应过早丢弃；在商品解释、推荐理由生成等场景中保留结构化推理片段可能提升最终聚合质量。
DeaMoE：面向小批量快速解码的高效 MoE 结构
🧭 高效 MoE 解码架构 · 小批量推理 ★ 深度解读
University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · Shanxi University
DeaMoE 将专家分组为部门，共享大部分参数并设计两级路由，在小批量解码下降低专家权重加载，实现最高 2 倍加速
📌 工作参考价值（4 点）
- 若业务用 DeepSeek-V3/Qwen3 等大 MoE 做实时 query 改写、广告文案生成或 Agent tool call，小批量延迟不达标时，可考虑 DeaMoE 式重组：把 256/384 个 experts 分成 8/16 个 departments，共享 FFN 主矩阵，每个 expert 只保留 [hffn, hffn] 私有矩阵；在总参数和 FLOPs 不变的前提下，A40 上可获得 1.3–2.0× TPOT 加速。
- 改造时用 group-limited top-k 软约束控制每个 token 激活的 department 数，不要强制覆盖 kdept 个 department；ablation 显示 strict coverage 会扰动路由偏好并提高 loss，软约束下平均激活 3.95/4 个 department 已足够。
- 私有 expert 矩阵用 torch.nn.init.eye 做 identity 初始化，而不是随机初始化；在 factorized 结构下可显著降低预训练 loss（2.504 vs 2.530），避免随机初始化扭曲共享 backbone 表示。
- 工程实现可沿用 vLLM Grouped GEMM primitives，只改 token indexing 支持 hierarchical routing；注意收益与 expert 大小和 GPU 带宽强相关，H100 上小 expert 模型可能回退，优先用于大 expert MoE 和带宽受限硬件。
EchoRec：基于循环一致偏好对齐的多Token预测生成式推荐
🧭 生成式推荐 · Multi-Token Prediction ★ 深度解读
National University of Singapore · Beijing University of Posts and Telecommunications · Tencent · Shandong University
用未来多步行为作顺序依赖的密集监督，并通过循环一致性对齐把整体偏好内化到解码表示，提升生成式推荐且在线零开销
📌 工作参考价值（4 点）
- 未来行为可作为辅助监督：在训练时挂轻量 MTP 分支预测 t+2、t+3 商品，并让每个分支条件在前一个分支表示/上一步商品上，而不是从同一隐状态并行解码；能避免多个 horizon 预测同质化，适合需要一次性生成多个候选、多创意、多坑位结果的广告/推荐场景。
- 训练时新增的辅助分支共享主模型输出头、token embedding 和 decoding graph，推理时全部丢弃，线上延迟与显存几乎不变。这适合电商/广告高 QPS 场景：用可接受的训练成本换在线零开销的指标提升。
- 若业务中需要对齐多个表示（如用户向量与多意图向量、跨模态特征、多任务共享表示），单向 alignment 可能被 projector 吸收差异，造成“虚假对齐”；加反向 projector 和 round-trip/cycle loss 可抑制这类问题，是一个可复用的训练 trick。
- 当用户行为序列较长且噪声较多时，把目标从单点 next-item 改为多 horizon 整体偏好，会提升对噪声交互的鲁棒性；论文在 20% 随机替换噪声下相对提升反而从 17.68% 增至 54.89%，对真实电商点击噪声有参考价值。
分离劳动：将证据解释与决策聚合分开
🧭 LLM 多源证据聚合与决策架构
Atlassian
提出将证据解释与决策聚合分离，用四字段证据元组和校准对数似然比池化解决计数尺度漂移
📌 工作参考价值（4 点）
- 在电商/推荐系统的多源信号融合中，将 LLM 的“证据读取”与“决策聚合”拆开：每个证据输出结构化 tuple（hypothesis, reliability bucket, rationale, provenance），后续用固定算术融合，便于溯源和跨场景复用。
- 避免简单对多路召回得分、多策略 CTR 预估等做未归一化加权求和或投票阈值，因为阈值会随证据数量漂移；改用校准后的对数似然比池化（或等效的后验阈值），使决策一致且可比。
- 对不可靠来源（如弱标注、用户生成内容）先做可靠度分桶，再参与聚合，可降低噪声主导风险；该 bucket 可作为先验指导模型对不同证据的信任程度。
- 在 Agent 决策链中，将最终决策与中间证据解释分离，便于调试、审计和动态调整证据集；架构上无需大改，只需改变聚合的算术方式。
ForgeWM：面向少步动作条件视频世界模型的渐进式因果训练
🧭 少步动作条件视频世界模型
CUHK · Tencent PCG · FDU · Shanghai AI Laboratory · HKUST
提出 ForgeWM 框架，将双向视频生成器蒸馏为 1/2/4 步动作条件世界模型，并支持低延迟生成与事后细化
📌 工作参考价值（4 点）
- 若业务中需要实时交互式生成（如对话式推荐、生成式搜索补全），可借鉴按计算预算训练多个专用学生（1/2/4 步），针对不同延迟 SLA 选择对应模型，避免单一大模型的算力浪费。
- 双路径部署思路值得迁移：线上用极低步数模型快速生成草稿并保存，异步回流时再用更高质量路径对草稿进行重噪细化，与推荐系统中的粗排-精排/异步重排相似，能显著降低在线延迟。
- 蒸馏过程中引入因果一致性约束和在线策略匹配，能缓解自回归生成中的曝光偏差，对于需要根据用户交互实时生成下一步内容的 Agent 或生成式推荐系统有借鉴意义。
- 主要贡献集中在视频世界模型领域，与电商/搜索推荐直接关联度有限，更适合作为实时生成式交互系统的工程参考。
更多正确质量，更差答案：Power Sampling 为何失败及修复
🧭 Power Sampling 推理时采样修正 ★ 深度解读
State Key Laboratory of General Artificial Intelligence, Peking University
揭示 Power Sampling 提升正确轨迹概率却伤害自洽性聚合，提出 Relative-Rank SoftSat 与重要性加权修复
📌 工作参考价值（4 点）
- 在 LLM 多路生成投票、Agent 决策聚合或生成式推荐候选排序中，避免直接用模型全局概率/置信度做幂次加权（类似 p^α 或降低温度）。它可能放大单一高概率错误路径，压制多个中等概率正确路径的集体支持；改用 prompt 内相对排名（percentile）并对 top 项做饱和增益，可保留投票所需的中尾部多样性。
- 对不同 prompt/上下文做候选打分时，不要直接比较绝对 log-likelihood，否则同一阈值在不同问题上效果差异很大（dose mismatch）。先做 per-prompt 分位标准化再做 reweighting，能更稳定地控制分布变形强度。
- 固定推理预算下，可把从 sharpened 目标分布重复采样 N 次替换为从 Base 分布采样 N 条后用重要性权重聚合，文中在 MoreHopQA 上选择一致率达 99.55%，延迟降低 7.42 倍；适合线上 LLM 候选生成/投票，无需额外模型调用。
- 评估多候选推理或生成式推荐结果时，不要只看 pass@k 或 top-1 正确率，要监控 answer-level margin 和正确答案的覆盖结构；全局 sharpening 可能提升正确轨迹总质量但降低 gold-answer margin，导致最终聚合变差。
HERMES：面向地球科学超长文档结构化知识抽取的多智能体框架
🧭 多 Agent 文档知识抽取
Zhejiang Laboratory, Hangzhou, China · Purdue University, Indiana, USA · University of Kansas, USA · University of Illinois Chicago, USA · Geologic TimeScale Foundation, Indiana, USA
多智能体框架从超长地学文献中抽取结构化数据，在古生物专著上抽取3.2万实体、45万属性，F1约0.90
📌 工作参考价值（4 点）
- 多智能体协调 + 领域约束 + 验证规则，可以借鉴来做电商商品属性/类目树的标准化知识抽取，尤其在 SPU/SKU 结构补全时，用 validator agent 强制字段格式和枚举值，降低 LLM 幻觉。
- 文档级统一抽取解析文本、表格、图片 caption，适合处理电商超长商品详情页、行业标准文档或广告素材库，可建立一条从多模态内容到结构化字段的 pipeline。
- 每个字段带 evidence tracing（证据追踪），方便人工审核和纠错，这在电商知识中台里很实用：预测出的属性可以回链到原文位置，快速验证和修复。
- 零训练跨域迁移说明该框架对不同领域知识库建设具有可复制性，冷启动类目或长尾属性补全时可以用低成本方式快速搭建抽取能力，效率提升数倍。
驾驭记忆：记忆智能体中记忆基质的整体评估
🧭 Agent 记忆基质评测与自适应路由
University of Illinois Chicago · University of Washington · McGill University · MBZUAI · University of California, Los Angeles
统一评测多种记忆基质，发现无单一最优，需按任务类型与历史长度做自适应路由
📌 工作参考价值（4 点）
- 记忆基质选型不是检索越强越好：在事实性 QA（如客服问答、商品知识库）中，dense/sparse 广泛检索有增益；但在多步决策（如导购 Agent、谈判流程）中，过度检索会挤占动作关键上下文，建议控制检索数量或设置相关性阈值。
- 长历史下中等长度表现好的基质可能成本激增或变脆：用户长期偏好存储不宜直接套用现有结构，需设计分层、压缩、refinement 机制，或按会话长度、任务类型动态路由到不同存储介质。
- 评测要同时看效率与任务指标：在自己的 Agent 评测 harness 中加入 memory 读写的 token 成本、延迟、检索命中率等，避免只优化下游准确率而忽略工程可行性。
- 把 memory substrate 抽象为可替换组件并统一接口，方便在推荐对话、个性化搜索等场景中快速对比 dense/sparse/structural/parametric 等不同存储方案。
检索冗余与多样性如何影响 RAG 生成正确性
🧭 RAG 检索多样性对生成器的影响 ★ 深度解读
The University of Queensland · CSIRO
在虚构 QA 上证明重复/改写文档几乎无益，跨体裁多样文档可提升 RAG 正确性 17%–47%
📌 工作参考价值（4 点）
- RAG 检索/重排不要只取 similarity top-k，必须引入来源/视角多样性：可复用 MMR、coverage-aware rerank，或在结合商品知识、用户评论、官方说明时显式跨体裁采样，让生成器获得多角度证据。
- 对同义改写、伪文档扩展要谨慎：LLM 改写同一份 anchor 并不能稳定提升事实型 QA 正确性，不必在推理侧做同质数据扩增；省下来的上下文预算换成异质来源。
- 在商品问答、推荐理由生成、广告文案等 RAG 场景中，文档体裁/来源可信度可能比单纯相关性更影响生成；可考虑对百科型或权威结构化内容加权，压制低质社媒文本。
- 评估检索质量时，传统去冗余假设对生成器不一定成立：面向生成器的评估要看最终答案正确性，并控制参数知识和答案字符串匹配，否则容易误判多样性收益。