PAWBench：视频世界模型概率对齐差距基准
🧭 世界模型评估 · 概率对齐
Shanghai Jiao Tong University · Shanghai AI Laboratory · Krea AI · Hugging Face · Shanghai Innovation Institute
构建50场景基准评估11个视频生成系统，发现无一能稳定复现物理行为的参考概率分布
📌 工作参考价值（4 点）
- 在生成式推荐或用户行为模拟中，不能只看单次生成结果的 plausibility；应增加分布级评估：对同一 context 重复采样，比较生成结果的类别/行为分布与真实分布的校准误差，捕捉模式坍塌与多样性缺失。
- PAWEval 的 outcome-level 思路可直接迁移：把高维生成内容映射到可判定的低维结果空间（如点击/转化/浏览路径类别），再做经验分布对比，避免像素级评估高成本且难判校准。
- 论文测试了语言 prompt、初始噪声、模型训练对预测分布的干预，对推荐系统里用 prompt 工程、采样温度/噪声、RLHF/DPO 调整生成分布有参考价值：应衡量这些干预对分布形状的迁移，而不仅是 top-1 指标变化。
- 若电商团队在训练 LLM/视频生成式的用户轨迹或广告创意世界模型，要注意当前模型即使内容真实，也未必覆盖全部有效行为；需要加入分布正则或多样性约束，避免只学到高频、低风险的输出。
PILOT：长程智能体实时自我改进
🧭 Agent 多智体协作与实时自改进
AllSpark Team
提出 supervisor-worker 架构，通过 live steering 与 live self-evolution 实现长程智能体实时自我改进，显著提升成功率与 token 效率
📌 工作参考价值（4 点）
- 将执行与监督分离（supervisor-worker），主 agent 实时 redirect/abort 子 agent，避免单一上下文注意力分散；在电商 Agent 工作流（自动选品、广告投放、客服）中可引入独立监督者角色，及时纠正长流程偏差。
- live self-evolution 将运行中暴露的失败模式蒸馏成可复用 skills/memory，形成经验沉淀；推荐系统中可将 bad case / 成功策略实时固化到知识库或 prompt 中，降低重复错误。
- 论文观察到输出 token 大幅下降（最多 47.4%），成功评估效率提升 110%+，说明 supervisor 及时中止无望执行可显著降低推理成本；线上 LLM Agent 可设置 abort 条件，提升 ROI。
- 方法基于 frozen backbone，无需修改模型权重，适合工程直接复用；可将 PILOT harness 抽象成通用 Agent 编排层，用于搜索推荐场景中的多步 reasoning / 工具调用。
评估 RAG 中证据感知检索的下游效用
🧭 RAG 检索评估有效性
Missouri University of Science and Technology · University of Calcutta
证据感知检索信号会改变排序，但不总能改进训练、系统选择或答案质量预测
📌 工作参考价值（3 点）
- 在 RAG / Agent 检索链路中，不要把 evidence-aware retrieval 分数直接当作系统选择或生成质量的金标准；排序变化不等于下游效果提升，需要按具体生成器指令和评估器验证。
- 若用 evidence support 信号做检索器训练或证据过滤，收益高度依赖生成器如何使用证据；建议在业务侧做线上 A/B，并统一答案评估口径，避免单一 LLM judge 结论误导决策。
- 电商 / 导购 Agent 若引入证据感知过滤，应同时监控答案侧业务指标（如转化、满意度、人工审核），不能只看证据保留率或检索分数。
ProgRouter：质量-成本权衡下多智能体 LLM 工作流的在线进度引导编排
🧭 多 Agent LLM 工作流在线路由编排 ★ 深度解读
Aston University · Queen Mary University of London · University of Exeter
面向多智能体 LLM 工作流，提出在线进度引导路由，逐步选择大小模型以在预算内保持任务质量
📌 工作参考价值（4 点）
- 多智能体工作流不要一次性 query 级路由，而应在每一步根据当前状态重估进度增益，用小模型处理常规步骤、大模型只处理关键卡点；电商客服/商品调研/推荐解释等 agent pipeline 可直接套用这种 step-wise routing。
- 用 multi-view progress scorer 把中间 workflow state 转化为 coarse regime + 子任务完成度/趋势/状态质量，能作为轻量 domain adapter。推荐/搜索场景可定义类似 milestone 信号（如召回完成率、排序置信度、引用覆盖）指导 LLM 调用。
- 虚拟队列 + 指数预算惩罚很实用：通过 Lyapunov virtual queue 跟踪长期平均成本，并用 exp(已消耗预算) 惩罚后续高成本调用，避免前期耗尽大模型配额；可直接迁移到广告竞价 / Agent 调用成本治理。
- 结构化特征与语义 embedding 双路径预测 + meta-gating + 在线 epsilon-greedy 探索更新，冷启动无需离线标注数据，适合业务中缺乏路由标注的 Agent 系统快速上线并逐渐稳定。
前缀滑动：高效测试时扩展
🧭 长程推理 · 前缀滑动窗口 ★ 深度解读
Stanford University · University of California, Santa Barbara · Prime Intellect · University of Washington
保留前缀与最近滑动窗口、丢弃中间推理 token，实现恒定成本的长程推理，无训练 3 倍加速
📌 工作参考价值（4 点）
- 长程 Agent/工具调用（多跳搜索、自动比价、复杂排障）：把 system prompt、工具定义、任务描述固定为 prefix，中间推理只保留最近 2048-4096 的 sliding window；能显著降低 KV cache 与时延，且基本不掉点。
- 用 GRPO/在线 RL 训长 reasoning/Agent 模型时，直接复用 truncated backpropagation：只把最后 4×window tokens 传给 trainer，loss 只算最后 window；可避开 OOM，KL 偏差小，适合异步 RL 长 rollout。
- 工程上避免用 last k / summary 做长上下文压缩：会重复处理 token 或引入额外摘要 step，导致显存锯齿与延迟尖峰；Prefix Sliding 的 custom kernel 用 tile skipping 能保持吞吐稳定，接近 vanilla sliding window。
- 注意适用边界：若 Agent 要读长文档、长 API 返回或长代码补全（类似 LiveCodeBench），窗口建议至少 16K，或把关键证据动态追加到 prefix；短文本任务（query 改写、短推荐理由）加速有限。
ReliableRAG：可靠性引导推理链对抗RAG错误信息
🧭 多跳QA · 细粒度可靠性评估
Jilin University · Dalian University of Technology · National University of Singapore · Zhuhai College of Science and Technology
首个面向多跳QA的可靠性驱动RAG框架，通过细粒度三元组评估与推理链生成对抗欺骗性错误信息
📌 工作参考价值（4 点）
- 借鉴“信息段→结构化三元组→可靠性打分”的管线：在电商商品问答或导购场景中，把商品详情、评论、UGC转为三元组，结合 query 相关性与三元组可信度（来源权威度、事实一致性）过滤不可靠内容，降低错误信息对答案的影响。
- 采用 top-K 非冗余三元组压缩上下文：RAG 检索大量文本易含噪声，先抽取三元组并去冗余，能减少 token 消耗、提高生成准确性，适合实时推荐文案生成或客服Agent场景。
- 自回归构建推理链而非一次性生成：在多跳决策场景（如“为何该商品适合油皮？”需综合成分、评价）中，逐跳纳入可靠三元组，提高推理可解释性与鲁棒性，可参考用于购物决策Agent。
- 显式区分语义相关性与事实可信度：推荐/搜索中只做语义匹配易被“看起来相关但事实错误”的内容误导，建议增加可靠性评估模块（来源权威度、跨源验证等）。
Self-OPD：无教师的流匹配模型在线策略蒸馏
🧭 流匹配模型对齐 · 无教师自蒸馏
Tsinghua University · Zhejiang University · Alibaba Group
提出无需任务专属教师的在线策略蒸馏框架，将学生自探索转为逐步监督，超越现有 RL 与 OPD 方法
📌 工作参考价值（4 点）
- 无教师自蒸馏思想可迁移到生成式推荐或 LLM 对齐：业务中训练任务专属教师模型成本高，可借鉴 Self-OPD 的分支自探索机制，让学生模型通过自身多步采样获得优势信号，减少对复杂教师网络的依赖。
- 多目标奖励融合技巧：在电商搜索/推荐中常需同时优化点击、转化、多样性等指标，Self-OPD 在 reward 层面融合归一化分数而非在梯度层面直接加权，能缓解目标冲突，可在多目标 RL 或 LLM 微调中尝试。
- 分支探索 + 优势加权更新：生成式推荐或文案生成场景中，可使用类似“确定性基线 + 随机分支”的方式产生多样化候选，通过奖励对比计算优势，再用 pull-push 目标引导模型，可能提升生成结果的 reward 对齐效率。
- 工程实现上注意 SDE 候选与方差归一化：该方法引入 SDE 分支和方差归一化来稳定训练，对于训练不稳定或高方差的 RL 任务有借鉴意义，但需注意计算开销翻倍。
事件即一Token：面向工业级LLM推荐的事件Token化
🧭 事件Token化提升LLM推荐快照分辨率 ★ 深度解读
AI at Meta
将每个用户交互事件压缩为单个Event Token并异步缓存，在不增加在线特征物化成本的前提下提升LLM推荐的快照分辨率
📌 工作参考价值（4 点）
- 异步Event Token缓存：将用户历史事件（曝光/点击/转化等）在离线阶段用轻量Encoder压缩成固定维度向量，在线推理时只读取缓存Token，避免实时拉取和解析上百个稀疏/稠密特征，大幅降低特征服务与GPU计算压力。
- 统一Tokenizer + 特征Mask：一个共享Encoder通过二进制mask区分不同角色（用户/物品/上下文/标签），同时服务排序和检索任务，实现跨实体正迁移，减少多套编码器的维护成本。
- 表示漂移缓解：高频重训会导致缓存Token与旧版本不兼容，采用DANN+EMA对齐新旧Encoder输出空间，保持缓存可复用，避免每次更新后全量刷新用户序列。
- 存储压缩技巧：Matryoshka Dropout支持训练一次后灵活截断维度，量化感知训练实现INT4下8倍存储压缩，适合海量用户历史Token的存储需求。
什么是好的智能体数据？用 ACE 视角看 LLM 智能体数据生成
🧭 LLM Agent 训练数据生成
Huawei Technologies Co., Ltd · Shanghai Jiao Tong University · Northwestern University · Harbin Institute of Technology, Shenzhen · Shenzhen Loop Area Institute
提出 ACE 框架（准确性-复杂度-多样性）统一评估和设计 LLM 智能体的交互数据生成
📌 工作参考价值（4 点）
- 构建电商/搜索 Agent 训练数据时，可直接用 ACE 框架做数据质检：Accuracy 确保任务信号与环境反馈一致，Complexity 根据目标模型能力分配难度，Diversity 覆盖不同用户意图、商品类目和交互路径，避免只堆数据量。
- 将交互数据统一表示为 (E,q,τ,v) 四元组（环境、任务、交互轨迹、验证器），便于多源数据融合、版本管理和过滤，适合电商场景中模拟用户对话、搜索行为、工具调用等混合数据。
- 优先采用执行锚定的数据生成：让 Agent 实际调用工具并记录真实结果或环境反馈，而不是只生成最终答案，防止模型学到“看似合理但无法执行”的交互模式。
- 多样性不要只做表面改写（换词、换句式），要扩展行为覆盖：增加异常处理、多轮协商、不同查询路径等，这对电商 Agent 应对长尾场景尤其重要。
通用多模态嵌入的事后稀疏化：PUMA 实现高效检索
🧭 多模态嵌入事后稀疏化与高效检索
Politecnico di Bari, Italy · Sapienza University of Rome, Italy · ISTI–CNR, Pisa, Italy · University of Pisa, Italy
用稀疏自编码器将通用多模态嵌入事后转化为紧凑稀疏码，不重训骨干，存储降 8-16 倍、检索最高加速 25 倍
📌 工作参考价值（4 点）
- 电商多模态检索（如商品图搜、文搜图、组合查询）可直接在现有通用 embedder 之后挂接稀疏自编码器，把 dense FP32 向量压缩为少量非零分量，线上索引存储降低 8-16 倍，大候选池精确打分提速约 25 倍，适合对延迟和内存敏感的召回场景。
- 预训练阶段先让稀疏编码保持 dense 点积几何（重建内积），再针对检索损失微调，这个两阶段 recipe 可以迁移到商品 embedding 压缩：先用自监督对齐 dense 相似度，再用业务正负样本微调稀疏表示，避免直接端到端训练导致语义漂移。
- 注意两个失败模式：pre-TopK 支持不足（稀疏码中没有保留足够多与 query 最相关的维度）和 active support 与检索错位，意味着在业务落地时要监控稀疏化后 TopK 召回与 dense 的覆盖差异，必要时通过增加预 TopK 约束或检索微调时加入 ranking 损失修正。
- 若已有稠密 embedding 模型不想重训，PUMA 提供了一种 post-hoc 压缩路径：冻结 backbone，只训练轻量稀疏编码器，对已有电商图文 embedding 服务可以低成本升级，减少向量数据库存储成本，适合在召回/粗排阶段做候选快速扫描。
TransRetrieval：工业推荐 Transformer 召回规模化
🧭 模型化召回 · Transformer 规模化 ★ 深度解读
Renmin University of China · Taobao & Tmall Group of Alibaba · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE
通过加权平均聚合、目标 token 压缩与位置式域嵌入，让 Transformer 召回实现 log-linear scaling
📌 工作参考价值（4 点）
- 多值/异构特征进 Transformer 前，用 weighted average 替代 weighted sum 或 concat，可低成本消除 token norm 随 feature cardinality 增长的问题，避免 attention 被高范数 token 主导；这是一行无参改动，适合先做验证。
- 模型化召回中，将目标侧特征压缩成单 token 可砍掉约 85% per-candidate FLOPs，再把算力重新投到更深/更宽的用户侧 Transformer，比保留多 target token + 小 backbone 更划算；压缩后向量也天然适配 HNSW 索引。
- 多域统一不必用 domain token 或 gate：位置式 domain embedding 逐元素加所有 token，共享全部 Transformer 参数，稀疏域能吃到跨域梯度，推理时零额外序列成本。
- 工程上可复用：同一请求所有候选共享用户侧 KV cache 并 broadcast；将单 query token 的多候选打包成 batch 并用 mask 隔离，解决 GPU 利用率低问题；检索算子全 GPU 化避免 host-device 往返；target compressor 独立成子图，支持 near-line 增量更新索引。
UrbanGround：从局部感知到真实城市空间行动能力
🧭 MLLM智能体城市空间导航评估
Shanghai Jiao Tong University · National University of Singapore · Meituan · The Chinese University of Hong Kong · Shanghai University
提出香港真实3D城市沙盒UrbanGround，系统性评估MLLM智能体从局部视觉感知到持续导航行动的可靠性
📌 工作参考价值（4 点）
- 渐进式评估设计可迁移：论文通过三个递进问题（局部场景grounding → 远距离导航 → 路线与行人扰动）暴露智能体能力断裂点，电商Agent评估同样应区分单步能力与多步组合能力，避免局部指标掩盖全局失败。
- 长程任务错误累积的警示：MLLM在短距离空间推理尚可，但持续探索中错误无法纠正，这提醒在构建推荐或搜索Agent时，需加入全局状态追踪与纠错机制，而非单纯堆叠单步模型能力。
- 高保真仿真环境的价值：基于真实地理数据构建可闭环交互的沙盒，能为Agent提供物理约束下的测试场。电商场景可借鉴构建虚拟购物环境，测试Agent在商品导航、路径规划中的鲁棒性。
- 论文核心是具身智能与空间导航，与电商推荐业务直接关联较弱，可借鉴点主要集中在Agent评估方法论与仿真环境设计。
WikiSkill：把 Agent 经验编译为持久知识驱动技能进化
🧭 Agent 技能进化 · 持久知识库协同 ★ 深度解读
Google Research · Virginia Tech
提出 WikiSkill 框架，通过持久 wiki 知识层将 Agent 执行经验持续沉淀为可复用模式，显著提升技能进化效果与跨模型迁移性。
📌 工作参考价值（4 点）
- 可借鉴三层知识架构：把线上推理产生的完整轨迹存成 raw 层，把失败/成功模式沉淀到 wiki 层，把可执行 SOP/工具用法写成 skills 层；电商搜索推荐 Agent 在做 prompt/SOP 自动优化时，可以让知识持续累积而不是每次从零重新扫描。
- 优化阶段限制 Inference Agent 访问 wiki，只允许 Skill Proposer 读取持久知识：直接给执行器 wiki 会让其借道 wiki 绕过 skill，降低轨迹对 skill 优化的信息量；对应工程实现是训练/优化时隔离知识库与线上 agent，只在 proposer 侧使用。
- 用 validation gating + skill-impact.md 审计：每次 skill 变更都在验证集打分，接受才保留，拒绝则回滚 skill 但 wiki 不重置；记录 proposal diff、分数、是否接受，避免重复提交失败方案，适合电商推荐 Agent 的 prompt 自动化调优。
- 跨模型迁移经验：小模型发现的通用工作流可以迁移到大模型、甚至超过后者自进化技能；在预算有限时，可让小模型产出/优化电商搜索的 query 改写或推荐解释 SOP，再部署到大模型，降低 token 成本。
用于顺序推荐的哈密顿谱-时间耗散动力学
🧭 序列推荐 · 二阶动力学与频域建模 ★ 深度解读
The Hong Kong University of Science and Technology
将用户偏好演化建模为耗散哈密顿系统，用频域谱传播与动量外推提升序列推荐
📌 工作参考价值（4 点）
- 可借鉴「位置+动量」的二阶状态设计：在电商会话或广告点击流中，用户兴趣常出现惯性回摆（看了一圈商品后回到原品类）和短期热点偏离，传统一阶 RNN/Transformer 只更新当前隐状态，难以表达这类动态。可以在现有序列模型里增加一个动量通道，并用阻尼项衰减短期冲动，物理先验能提升稀疏行为建模。
- 频域传播用 RFFT/IRFFT 将长序列演化降到 O(T log T)，且参数量少。工程上可直接用 GPU 上的批量 FFT 替代标准 self-attention 的长程依赖建模，在用户行为序列很长时能显著降低延迟和显存；但需注意 FFT 分支不适合超短序列，需配合局部卷积。
- 局部脉冲分支（DWConv1D + 门控融合）专门处理突发点击和噪声，与全局平滑轨迹互补。电商推荐里常有大促、直播带货等短期爆点，可以在主模型旁路加一个轻量局部卷积分支，用 sigmoid 门控融合到最终表示，提升对热点的响应速度。
- One-step phase-space extrapolation 用当前动量外推下一步状态，而不是只取最终位置。这种「预测用户去向而非现在在哪」的思想适用于 next-item、next-query 或 push 消息生成，可以在推理时把趋势方向作为额外打分信号。
知何时不复用：自主 LLM 后训练中的条件经验迁移
🧭 自主 LLM 后训练经验迁移控制
Alibaba Cloud Computing
提出 BCIT 方法，在自主 LLM 后训练中只授权可迁移的历史更新，减少有害复用并提升同预算下最终模型质量
📌 工作参考价值（4 点）
- 持续训练或自动更新线上模型时，不要将历史训练更新（数据配比、超参、LoRA 模块）视为无条件成功经验；应记录父模型版本、数据分布、训练阶段，并将每次效果与其来源上下文绑定。
- 在正式改变权重或晋升模型前，先做有界小规模训练试验，验证候选更新在当前父模型状态下是否仍然有效，避免错误更新进入线上后污染后续训练轨迹。
- 对已知硬冲突（如数据源、工具 schema、任务定义变化）建立命名规则，在候选生成阶段直接否决，节省算力并降低风险；所有候选共享统一采纳门槛，只有真实观察事件才进入经验记忆。
- 对 Agent 自动迭代工具调用、prompt 更新或模型微调的场景，可借鉴“条件经验复用”思路：经验不是越多越好，关键是在当前上下文中可行动。