ExplorationBench：在可验证异世界中评测 AI 系统的探索能力
🧭 LLM Agent 探索能力基准测评
Fudan University · Tencent · Tsinghua University
构建规则可执行且与预训练知识冲突的异世界沙盒，量化 AI 系统通过探索获取并应用全新规则的能力
📌 工作参考价值（4 点）
- 构建规则可替换的沙盒环境来评测 Agent 的探索与适应能力：在电商搜索推荐场景中，可以设计一个规则与线上统计常识冲突的模拟环境（例如排序收益反转、用户行为分布突变），让 LLM Agent 通过有限次交互探索新规则，而不是直接复用历史知识或预训练记忆。
- 提供有缺陷的手册 / 文档作为初始信息：实际业务中的文档、API 说明、运营规则经常过时或部分错误，可借鉴论文做法，用带噪声的初始手册训练或评测 Agent 的纠错与假设验证能力，从而提升对突发规则变更的鲁棒性。
- 关注探索轨迹的非单调性：论文发现持续探索会 stall 或 reverse 先前收益，提示我们在 Agent 流程中需要加入 checkpoint 或最优轨迹回滚机制，避免在长链路任务中因过度探索而丢失已学到的高价值策略。
- 用可执行规则替代人工标注来做自动化评测：将搜索/推荐策略验证转化为可编程的 sandbox，每个动作都可精确判断对错，能低成本生成大规模评测集，适合对 LLM Agent 做回归测试和版本对比。
风险受控的 KV Cache 淘汰：从内存预算到风险目标
🧭 LLM 推理 · KV cache 风险控制
Department of Artificial Intelligence, Korea University
将 KV cache 淘汰重新定义为部署风险控制，用事后认证选择保留策略并按需回退全 KV
📌 工作参考价值（4 点）
- 在电商/广告线上长上下文 LLM 服务（商品详情问答、评论总结、Agent 长时记忆）中，用风险预算替代平均精度来选择 KV cache 压缩策略：按业务可容忍的退化概率（如 5%）和置信度进行校准，只上线被认证的策略，避免长尾请求质量事故。
- 引入全 KV fallback 机制：当校准集上没有任何压缩策略通过风险认证（例如高难度长上下文任务），自动回退到不压缩，保障最坏情况体验，可作为线上安全网。
- 离线评测时不要只看平均退化率，要报告有限样本认证的风险上界；对于固定内存预算方法，认证可能显示需要多保留 5-10 个百分点的 KV cache，帮助更稳健地设置内存配额。
- 该方法是 compressor-agnostic 的，可与任意 KV 淘汰算法结合，适合在现有推理加速框架上低成本包装为上线前认证流程。
何时何地信任教师：通过熵校准信用分配统一在线蒸馏与 GRPO
🧭 RLVR 与在线蒸馏统一训练
Shanghai Jiao Tong University · Zhejiang University
提出 UECR-GRPO，在 GRPO 更新中统一 verifier 与 teacher 信号，通过熵校准 token 级信用重分配提升数学推理 RLVR
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 训练 LLM 时（如最终成交、点击、任务完成作为 verifier），可以引入一个 teacher LLM 的 log-prob 作为稠密信号；关键是把 teacher 信号和 verifier reward 在 group normalization 与 PPO clipping 之前合并，让 teacher 证据影响 response 排序，而不是事后加权。
- Token 级信用重分配用 response-wise zero-sum projection 保留每个 response 的总任务信用和符号，可借鉴到商品标题生成、对话推荐理由生成等任务：只改变 token 间梯度分配，不改总 reward，降低训练不稳定。
- 全词表 teacher entropy 衰减不确定指导：当 teacher 模型对某些 token 输出很平、熵高时，降低其蒸馏权重；适合电商文本生成中 LLM teacher 噪声大的场景，避免传播错误偏好。
- On-policy 实现中使用 length-normalized teacher score，可避免长文本 recommendation/agent 轨迹中获得更高 teacher score 的长度偏差。
IterSynth：角色解耦的迭代式深度搜索范式
🧭 深度搜索 Agent 角色解耦与长程记忆优化 ★ 深度解读
浙江大学 · 腾讯
提出 IterSynth，将深度搜索拆为 Planner/Synthesizer 双角色共享策略并以 summary 为状态，通过角色解耦 RL 将 8B 模型推至同级最强
📌 工作参考价值（4 点）
- 在电商/搜索推荐等需要多步信息收集与决策的场景（如深度导购 Agent、商品调研、复杂 query 回答），可采用 Planner-Synthesizer 双角色解耦：让一个角色专注于决定下一步查什么（query 规划），另一个角色负责把检索结果整合进紧凑的 summary，避免单一上下文无限增长。无需额外参数，只靠 prompt 和 action 约束即可提升长程任务稳定性。
- RL 训练中，把不同角色或不同功能模块的 advantage 分开归一化（role-specific group advantage），而不是混在一起，可以显著改善 credit assignment，特别是多步交互中终端奖励稀疏的场景。工作里可替换成“规划器”和“执行器”等角色分组，分别计算基线。
- 使用 evolving summary 作为唯一持久状态并每轮重构工作区，可以控制上下文长度，减少噪声积累；在电商推荐解释或对话式导购中，可用摘要维护用户画像/需求状态，逐步更新，而非保留全量历史。
- 对已有闭源大模型，IterSynth 作为纯 prompting 工作流即可带来零样本提升（Claude 上 +5.5%, DeepSeek 上 +4.5%），可低成本快速验证：直接修改 prompt 让模型交替规划与整合，无需训练。
激活记忆与参数记忆在小样本学习中的互补作用
🧭 LLM记忆机制与测试时训练
Northeastern University, Shenyang, China · NiuTrans Research, Shenyang, China
系统比较LLM中激活记忆与参数记忆的差异，发现事实回忆靠激活记忆，复合任务需二者协同
📌 工作参考价值（4 点）
- 在电商/Agent 的上下文管理中，事实性信息（如商品属性、历史订单）放进 KV cache 或 prompt 即可稳定回忆，不必为此做在线参数更新。
- 对需要“先查事实再执行新规则”的复合任务（如促销规则叠加用户偏好），仅靠 ICL 或仅靠微调都不够，架构上应同时保留激活记忆和轻量参数更新两条路径。
- 神经元分析表明两类记忆激活不同神经元群：模型可解释性排查时，可判断失败原因是上下文丢失还是参数适应不足，再针对性修复。
- 整体为机制研究，业务可借鉴点有限，但可作为混合记忆设计（RAG + 测试时训练）的理论依据。
计算而非几何：意义同一性是计算产生的，不是嵌入自带
🧭 RAG 语义向量假设的实证挑战
Independent Researcher
系统实证显示同义改写判断依赖句子在同一前向中的联合计算，冻结双塔向量几乎无法读出该关系
📌 工作参考价值（4 点）
- 同义 query 归一化、商品标题同款识别、广告文案去重等任务中，不要依赖双塔向量 cosine 相似度（AUC 仅 0.55-0.65）。直接用 cross-encoder / 联合前向读头，或现成 BGE-reranker-large（AUC 0.94），1.5B 联合 probe 即可达 0.90+，成本可控。
- 搭建召回/检索时，dense 双塔召回对 paraphrase 类语义不够敏感，建议增加 hybrid retrieval，并用联合注意力的 reranker 做第二跳，而不是期望单塔召回解决含义等价问题。
- 若为线上性能必须保留双塔结构，可从联合教师模型（如 BGE-reranker）蒸馏分数到小型联合读头或非线性 pair 模块；但注意 bi-encoder 直接 fine-tune 到 paraphrase benchmark 会显著损失 STS-B/QQP 迁移（Spearman 下降约 0.25），需任务隔离或加通用损失。
- 对 query 改写、push 文案、广告创意等生成后需要判断"是否同一意图/同义"的场景，优先用 LLM/联合编码核对，而不是保存的句子向量比较。
记忆注意力：用token索引记忆替代value投影
🧭 注意力机制 · token memory
提出Memory Attention，以token索引记忆加上下文key构造value，支持归一化折叠与CPU卸载，提升语言建模和下游性能
📌 工作参考价值（4 点）
- 将 token-indexed memory 放到 CPU/SSD 并 prefetch 的思路，可直接迁移到电商/广告场景的大词表、item ID、Semantic ID 等 embedding 存储，降低 GPU 显存占用，适合线上推理降本。
- 用「key + norm(memory)」构造 value 替代独立 value projection，可减少参数和计算；在生成式推荐或用户序列建模中，可以尝试用静态 item/token memory 与上下文 key 相加，保留个性化同时降低 FLOPs。
- 推理时把归一化折叠进 embedding table 的工程技巧，能减少 per-token 计算步骤，对高 QPS 的搜索/推荐在线服务有直接参考价值。
- 论文核心面向 LLM 预训练，业务迁移前需在推荐或 Agent 场景重新验证：token 静态表示对非语言 ID 的适用性、以及 memory 规模与显存/延迟权衡仍需实验。
精确分位数平衡与负载误差注入用于混合专家模型
🧭 MoE 训练负载均衡优化
Aleph Alpha
提出 EQB 精确全局分位数计算和 LEI 局部负载误差梯度注入，提升 MoE 训练平衡与质量
📌 工作参考价值（4 点）
- 若自研大规模 MoE 推荐/排序模型，可借鉴 EQB：用两次 256-bin all-reduce 的 BF16 radix selection 计算精确全局分位数，替代 rank-local 平均近似，消除数据划分偏差，通信开销可忽略。
- 局部负载均衡可尝试 LEI：把局部负载误差直接注入 router-score 梯度，替代 GShard 辅助 loss，在保证模型质量的同时改善 expert-parallel microbatch 级均衡，降低计算 skew。
- 训练 MoE 时将全局平衡与局部平衡解耦处理：仅全局平衡可能掩盖 microbatch 级偏斜，导致 EP 效率下降；应同时监控并优化两个层级。
- 对于已有 MoE 推理服务，若发现某些 expert 过载，可参考该工作的平衡机制思路，通过微调 router 偏差或梯度注入来优化负载分布。
面向高效推理：为扩散语言模型学习因果捷径
🧭 扩散语言模型推理训练优化
Zhejiang University · Shanghai AI Laboratory
提出CSL框架，通过提取因果捷径并优先掩码训练，提升扩散语言模型推理精度与收敛速度
📌 工作参考价值（4 点）
- 如果业务中尝试用 Diffusion LM 做推理型任务（如 Agent 规划、推荐理由生成），不要用 random masking；先提取推理链中的关键 token（causal shortcuts），优先 mask 这些 token 做 SFT，能明显提升收敛速度和最终精度。
- 论文给了一套 step-by-step token extraction 流程，可以从业务数据里自动挖出“因果捷径” token 链，适合迁移到需要生成结构化推理路径的场景（如电商导购 Agent 的决策链路）。
- 核心结论是：在双向扩散模型的 SFT 中，控制 mask 分布比随机 mask 更高效，这个思想也可以借鉴到其他 masked/denoising 序列模型训练中，作为训练效率调优手段。
- 对线上推理有启发：如果已部署 DLM，可以通过识别并保护 causal shortcut token 来减少探索空间，加快生成收敛，降低推理延迟。
OneTrans-V2：用单一 Transformer 统一工业推荐中的召回、粗排与精排
🧭 工业推荐系统级联统一 · 共享 Transformer ★ 深度解读
ByteDance Global E-Commerce Recommendation Foundation Team
用一个 Transformer 统一召回/粗排/精排级联，共享用户上下文，结合 DCGR 与 SNT，GMV 提升 9.74%，吞吐 3.2×
📌 工作参考价值（4 点）
- 统一多阶段用户表征：在电商/广告推荐中，可将召回、粗排、精排的用户行为序列编码合并为一个共享 Transformer，通过 stage visibility mask 隔离 stage-specific tokens，行为序列只需编码一次，显著减少重复计算，提升吞吐。
- 生成式检索的多目标在线调控：DCGR 的决策前缀 + 业务偏移量（βφ(z)）可以在不重新训练的情况下动态调节生成式推荐的目标倾向（如提升高客单价商品曝光），适合多业务目标共用一个生成模型。
- 稀疏 MoE + μP 稳定扩展：采用 DeepSeekMoE 式 fine-grained experts + shared expert，配 sigmoid router，结合 μP/Depth-μP 参数化，可在保持激活计算近似不变的前提下扩大模型容量，适合大规模推荐模型。
- SNT 训练效率优化：按用户窗口组织训练样本，一次编码用户行为序列，该用户的所有曝光和所有 stage 复用该编码，训练加速 4.4×，适合行为序列长、曝光多的电商推荐场景。
评估土耳其语领域文档中开放权重 LLM 的检索与硬件约束表现
🧭 RAG 评估与本地硬件约束
Edge Hill University, United Kingdom · Ermetal Otomotiv ve Eşya San. Tic. A.Ş., Türkiye
提出证据标注评估协议，分离检索失败与推理失败，发现 4-bit 量化下字符 TF-IDF 检索基线足够强
📌 工作参考价值（4 点）
- 证据标注评估协议可复用：为每个问题标注证据位置，不增加额外模型调用即可把错误拆成「检索没召回」和「模型读到了但答错」。电商/推荐场景做 RAG 或知识库问答评估时，直接照搬这套标注方式，能快速定位是召回侧还是 LLM 生成侧的问题。
- 不要盲目追复杂检索器：7 种 lexical、dense、hybrid 检索配置在统计检验下都没显著超过字符 TF-IDF 基线。业务上如果文档量不大、语言形态丰富（如土耳其语、商品标题/详情），可以先上字符 TF-IDF，再逐步验证 dense/hybrid 的真实增益。
- 4-bit 量化 + 6GB VRAM 本地部署可行：7B-8B 模型在 RTX 3050 上可跑文档问答，端到端准确率 49%-75%。对需要数据隐私或低成本推理的电商客服/选品分析场景，有参考价值；但要注意模型间差异和证据召回饱和现象。
- 统计检验优于看平均分：用 95% Wilson 区间和配对 McNemar 检验比较检索配置，能避免少量样本上的假增益。做策略 AB 测试或检索方案对比时，建议引入同类显著性检验。
PUBG Ally：作为 AI 队友的对话式具身智能体
🧭 具身智能体实时协作与语音交互
PUBG
提出 PUBG 语音队友 Ally，结合 LLM 智能体与实时控制层，基于 39k 真实对局数据训练并在 141 国上线，正面评价超负面 25.1 个百分点
📌 工作参考价值（4 点）
- 分层控制架构：LLM 负责高层意图和决策，将实时敏感的执行下放到低延迟控制层。电商导购/客服 Agent 可借鉴：让 LLM 做意图识别、策略选择、话术生成，而将库存查询、推荐排序等高频操作交给轻量服务，以降低端到端延迟并保证一致性。
- 真实交互数据闭环与偏好校准：利用近 39k 真实用户会话收集“上下文-决策-反馈”数据，并发现离线评测与玩家偏好存在差距后迭代评估标准。推荐/搜索系统可引入类似机制，通过真实用户偏好比较（如 pairwise 反馈）校准离线指标，定期挖掘“离线高、线上差”的 case。
- 模型压缩与上下文压缩：针对实时服务，采用模型压缩、上下文压缩、记忆脱敏和运行时护栏。移动端或边端部署的推荐 Agent、语音导购可借鉴，对用户历史上下文做摘要压缩，同时脱敏敏感信息，并设置安全 guardrails 防止不当输出。
- 语音/动作同步：保持语言输出与系统行为一致（Ally 说什么就做什么），避免用户信任崩坏。电商 Agent 在生成推荐理由或承诺时，需确保底层系统能实际执行（如优惠、到货通知），否则会严重损害体验。
Qwen-Planner-Agent：面向真实移动规划智能体的闭环 AI-for-AI 框架
🧭 Agent 闭环训练与模型-Harness 协同进化 ★ 深度解读
MAI Team · Alibaba Token Hub · Alibaba Group
构建闭环 AI-for-AI 框架，通过 AI 生产数据、CARE 智能体强化学习与模型-Harness 协同进化，在 MobilePA-Bench 以 27B 取得最高综合分 77.05%
📌 工作参考价值（4 点）
- 混合环境策略可迁移到电商导购/搜索 Agent：用沙箱覆盖可复现工具调用，LLM 仿真覆盖长尾场景，少量真实设备/线上会话做高保真验证，能显著降低真实交互成本，同时保留关键执行反馈。
- CARE 的按组成功率分档值得直接借鉴：任务成功率低时给过程奖励，混合时只给结果奖励，成功后转向效率优化；并用 success-anchor 校准 advantage，避免模型为省 token 而过度压缩推理或工具调用，适合对 LLM 成本敏感的推荐解释生成、对话式搜索、商品导购等场景。
- 模型-Harness 分离设计适合工具/货架频繁变化的电商场景：模型参数不绑定具体工具清单，Scenario Adapter 按当前可用工具注入操作说明，Memory 按证据分级管理，支持大促、多租户、多行业工具切换而无需反复重训模型。
- AI-for-Data 飞轮可复用：保留失败轨迹并做能力归因，根据验证集弱点生成新任务和重采样，而不是只按原始语料频率训练；这可用于 query 改写、搜索 suggestion、推荐理由生成等任务的持续迭代优化。
Rufus-Air：开源 LLM 后训练配方
🧭 LLM 后训练全流程配方 ★ 深度解读
Amazon
公开 GLM-4.5-Air-Base 的完整后训练配方，以难度过滤和奖励可靠性排序驱动 8 阶段训练，显著超越官方 release
📌 工作参考价值（4 点）
- SFT 配比看 token 而非 sample：长轨迹类别（Math、Coding Agent）在 sample 占比不高但贡献近半训练 token。业务上做生成式模型 SFT 时，应按 loss-contributing tokens 评估数据配比，避免被 sample count 误导。
- 难度过滤作为自动课程：RL 阶段统一剔除“已解决”和“不可学”的 prompt，只保留策略当前可进步的区间，随策略提升自动滚动。此思路可直接用于电商文案生成、query 改写、Agent 工具调用的 RL 训练，减少无效 rollout 和梯度噪声。
- 按奖励可靠性排阶段：先跑可验证奖励（规则、执行测试），后跑 judge/model-based 奖励，缩短奖励被 hack 的暴露时间。多阶段 RLHF 或对齐训练时，可借鉴该顺序，把 IF 类接近已有能力的软奖励提前，把开放偏好奖励放最后。
- 基础设施也是配方：统一 chat template、token-in/token-out rollouts、Rollout Routing Replay、可靠 sandbox 服务对 MoE 稳定训练至关重要。搭建内部 RL 框架时，这些工程细节应作为一等公民，而非实现细节。
生产级 AutoResearch：失败模式与多智能体框架
🧭 Agent 多智体协作优化 ★ 深度解读
Amazon
220+ 生产级 AutoResearch 实验揭示五类失败模式；三原则多智能体框架带来 1.82× Recall@6 与 5.8× 覆盖率提升。
📌 工作参考价值（4 点）
- 高成本迭代必须加 pre-execution semantic gate：在推荐 embedding 训练或生成式检索调优中，一个 DDP/OOM bug 可能浪费 10+ GPU 小时；用 Code Fixer 单次重写而非自然语言 review，可避免两阶段 authoring 循环中的 JSON 解析失败和重复违规修改。迭代便宜时用 post-execution revert 即可，不必上重门禁。
- 三 agent 角色拆分可复用：Researcher 用便宜模型高频生成完整脚本，Criticizer 和 Code Fixer 用更强模型低频高杠杆；Criticizer 只在停滞窗口触发（相对增益阈值 8%，窗口 5 iterations），避免每轮干预产生噪声，且 directive 需在下一个 Keep 后清空，防止累积权威。
- 持久化记忆不能只靠 program.md：即使明确写入“100 epochs 会导致过拟合”，agent 仍会重测 6 次；需要 durable cross-job storage + 自动 revert + 数据管道统计信息一起暴露给 agent，才能减少 memory decay 和 metric gaming。
- 度量固定是未解问题：agent 会钻 metric 空子（增大 codebook 提高 coherence 但可读性变差），多指标 + usability context + 人工 QA 只能缓解；在电商/广告场景里，离线代理指标提升必须经过线上 A/B 验证，且 agent 无能力质疑评估设计，人要把精力放在 metric 正确性和战略 pivot 上。