HybridCUA：学习编排 GUI 与 CLI 的计算机使用智能体
🧭 Agent 多模态交互与工具编排 ★ 深度解读
Zhejiang University · Peking University · Tsinghua University
通过统一 bash 动作空间与 CLI-aware 奖励，让 CUA 学会何时用 CLI、如何可靠执行，OSWorld 准确率 53.6% 且步骤减半
📌 工作参考价值（4 点）
- 工具接口统一化：在电商导购 Agent 中，把点击/输入等 GUI 操作与搜索 API、筛选工具统一成同一种 action（如 execute），模型只需学习一个动作语法，降低调度复杂度；本论文统一 bash action 比分开 GUI/CLI tools 高 7.2 个百分点。
- 显式奖励工具选择：对 Agent 的工具使用做两层 reward——任务级根据标签奖励“是否选择了合适的工具”（如该用 API 批量操作时不用 GUI 一步步点），步级惩罚执行失败（如 API 参数错误、SQL 出错），比只给最终成功奖励更能塑造高效且可靠的行为。
- 混合数据构造：从单一 GUI 轨迹转换成等价 CLI 命令并重放验证，可低成本生成混合工具使用数据，不必从头收集。电商场景可以把已有“点击操作”轨迹改写为“调用搜索/下单 API”轨迹，保留成功回放，用于 SFT 温启动。
- SFT+在线 RLVR 两段训练：先 SFT 混合轨迹让模型学会工具切换，再用可验证奖励在线微调，能同时提升任务完成率和降低交互步数（步骤减少 29.3%）。适用于电商 Agent 的购物任务、订单处理等可验证场景。
即时 Agent 记忆：运行时按查询构建上下文的 JAM 框架
🧭 Agent 记忆 · 运行时上下文构建 ★ 深度解读
Beijing Academy of Artificial Intelligence · Peking University · Hong Kong Polytechnic University
JAM 将 Agent 记忆从请求无关预压缩转为运行时按查询构建上下文，结合分层工作区与可训练研究员策略
📌 工作参考价值（4 点）
- 对推荐 Agent 的用户长期行为/会话历史，不要只存预生成摘要；学 JAM 保留原始 session，并用轻量 memo/README 做导航，在线时用小模型按 query 迭代 open/search/browse，保留跨 session 细粒度依赖。
- 工程上采用 hybrid BM25 + dense retrieval 提供候选；离线建库一次性成本可接受，在线 13.81s/query 质量反超 58.08s 的 MemAgent；测试期可增加 action budget 换取 F1，budget 是上限而非固定成本，多数 query 早停。
- 训练研究员时用 verified-trajectory SFT 过滤“浅搜即答”的捷径行为，再用 GRPO 优化，奖励用 source recall（召回 gold supporting sessions）；训练时注入 hint 稳定多步探索，推理时移除，业务可直接复用该奖励设计。
- Memory-Gym 的四阶段合成 pipeline（anchor discovery → task-dependent expansion → instantiation → validation）可改造用于生成电商场景训练样本：单跳定位、多跳证据连接、多 session 聚合，覆盖用户行为轨迹与商品知识。
记忆系统 Mnemon：原始记录、快速判断、慢思考
🧭 Agent 记忆系统 · System 1/2 分工 ★ 深度解读
用 System 1 决策模型在读取时批量判断原始记录，后台只建索引，以 <4k tokens 上下文在 LoCoMo 达 91.7%
📌 工作参考价值（4 点）
- 在电商推荐 Agent 中，保留用户原始行为/对话记录，不在写入时抽取事实或建图谱；后台定期构建 topic timelines（用户关注点变化）、value histories（偏好值变化，如价格阈值、品类偏好）、standing instructions（用户明确要求，如“不要推已购买”），并链接回原始记录。读取时用小型决策模型批量判断哪些记录与当前请求相关、是否过期、满足哪个需求，只把少量相关记录喂给 LLM，大幅降低回答上下文和成本。
- 将记忆读取拆成 System 1/System 2：System 1 用廉价决策模型对候选记录做独立 yes/no 判断（是否相关、是否过期、满足哪个信息需求），System 2 仅写搜索查询、命名需求、生成回答。可以借鉴到推荐 Agent 的检索/过滤架构：用轻量模型粗筛候选池，LLM 只做高价值规划和生成，避免 LLM 逐条判断候选的延迟和成本。
- 引入固定预算和显式规则：view 大小、pool 大小、循环轮数、判断阈值等。规则只依赖判断顺序和二分结果，不依赖校准，因此可以替换决策模型而无需重新调参。工程上可让系统在长历史上保持近似恒定成本（从 100K 到 10M tokens 成本仅增长 1.11 倍）。
- 评估时使用有效成本指数 ECI = (1-accuracy) + context/full_context_cost，统一衡量错误和上下文代价，适合线上 Agent 对比模型/记忆策略，避免只优化准确率而忽略成本。
基于 IRT 的 Rubric 校准偏好：跨查询统一 LLM 评判尺度
🧭 LLM 评判校准 · IRT 跨 query 尺度统一 ★ 深度解读
Cohere
用 IRT 将 LLM 的 listwise 偏好与共享 rubric 校准为跨 query 可比的连续相关性分数
📌 工作参考价值（4 点）
- 离线评估：商品/广告 reranker 的人工 qrels 稀疏、噪声大，可对候选池一次性跑两阶段 LLM judge 产出连续 gain，作为新模型离线指标，避免每轮人工标注。
- IRT 校准可复用：任何 LLM 相对偏好（pairwise/listwise）都能通过共享 rubric 的 τ_j、α_j 映射到统一 logit 尺度，使跨 query/campaign/类目分数可比；在电商多 query 聚合排序、Agent 工具选择评估中可直接套用。
- rubric 设计：5 个递增 yes/no criteria（主题相关→信息有用→属性匹配→直接回答→深度覆盖）比单一有用性更稳；业务可自定义准则，并筛选 discrimination/difficulty 合理的准则。
- 工程实现：BT tournament 窗口 w=10，先随机后按估计质量抽窗；Stage B 多次重复取 pass share；离线 label 池固定后，新模型只需重排候选即可算 RCP-nDCG，成本集中在一次 judge 标注。需注意 LLM judge 可能与 LLM 训练的 reranker 有偏好耦合，上线前用盲评人工子集校验。
教师是方向，而非终点：在策略蒸馏中沿RL诱导表示残差外推
🧭 LLM 蒸馏与RL训练优化 ★ 深度解读
University of Science and Technology of China · Rutgers University · Zhejiang University · Independent Researcher
提出 RIDE，在隐藏状态空间外推教师相对其RL前基座残差，稳定超越教师并优于输出空间外推
📌 工作参考价值（4 点）
- 同初始化蒸馏场景下，把 RL 教师相对基座模型的隐藏状态差作为方向而非仅作为终点，可在策略蒸馏中稳定超越教师；推荐/Agent 模型中若需合并多个领域专家或把 RL 结果蒸馏回 base，可复现类似残差外推目标。
- 输出空间 log-ratio 外推对采样噪声按 (λ−1)² 放大，教师与 base 差距小时尤其不稳定；改用逐层隐藏状态回归可消除条件方差，更适合生成式推荐或对话式 Agent 的稳定训练。
- 语言模型 head 各向异性会削弱隐藏状态残差，弱方向承载大部分能量但输出监督只接收小部分；在蒸馏或轻量适配时，对中间层表示做直接回归能保留更多 RL 带来的行为变化。
- λ 是一个轻量外推系数，λ=1 退化为普通 OPRD；实际业务可从小幅 λ>1 开始，既继续 RL 方向又避免格式/长度崩溃。
纠正即预测：多模态属性值抽取的伪值校正
🧭 多模态商品属性抽取 · 伪值校正 ★ 深度解读
Alibaba International Digital Commerce Group
将多模态属性值抽取重构为伪值纠正任务，训练时混合检索伪值与占位符，推理用固定占位符实现免检索单次预测
📌 工作参考价值（4 点）
- 把分类/抽取任务改造成“伪值纠正”范式：训练时给模型一个可纠正的初始假设（检索候选或占位符），让模型依据多模态证据决定保留还是纠正，而不是直接生成。这比直接生成更能逼出细粒度证据校验，适合属性补全、商品理解、意图分类等电商任务。
- 检索增强避坑：不要将检索候选当 RAG 上下文拼接，而是作为待验证的 pseudo-value 放进 prompt 让模型纠正。这样可以减少输入 token（本文 233 vs 585），提升 QPS（4.77 vs 1.45），并对检索错误更鲁棒；在搜索推荐场景中，对 query 分类、类目预测也可以借鉴。
- 用 Self-Consistency Refinement 做扰动样本挖掘：对同一输入换多个伪值看预测是否变化，不一致样本加入第二阶段微调。这种针对“输入扰动不稳定”的信号比通用困难样本更有效，可以迁移到 prompt/上下文敏感任务的稳健性训练。
- 部署设计采用“训练复杂、推理简单”：训练时用检索伪值学到修正行为，推理只需固定占位符触发，免在线检索和迭代 refine，保持接近直接生成的吞吐，适合大流量生产系统。
MemFold：用在线策略优化学习紧凑软记忆的长上下文个性化
🧭 LLM 长期个性化记忆压缩与强化优化 ★ 深度解读
University of California, Santa Barbara · University of North Carolina at Chapel Hill · Harvard University · University of Wisconsin–Madison
固定预算软记忆+置信门控在线蒸馏，按下游行为而非文本重构优化长程个性化记忆
📌 工作参考价值（4 点）
- 用户长期画像/行为序列记忆：先用 writer 抽取 query 相关的结构化文本记忆，再压缩为固定数量 soft tokens（如 K=256），reader 只消费 K 个向量，推理成本不随历史长度线性增长；适合电商/广告 Agent 在长会话中保持个性化且控制 context 开销。
- 在线策略蒸馏：用冻结的 full-text reader 作为 teacher，只对学生自己采样 token 计算置信门控 σ(β(ℓ_T−ℓ_θ)) 来加权 student 的 token likelihood；无需 teacher 自回归生成，能对推荐文案/回复中局部违背用户偏好的 span 提供密集监督。
- 把标量 reward（点击/转化/偏好命中）与 token 级信号结合：GRPO 负责整体结果，OPD 定位“整体流畅但某个推荐项违背偏好”的错误；工程上同组 reward 方差接近 0 时把 advantages 置 0，避免无效更新。
- 训练期固定 memory snapshot 和 teacher，防止 RL 更新导致记忆漂移；上线前可用 shuffled/null memory 干预验证模型确实依赖实例特定记忆，而不是只背任务先验。
On-Policy 蒸馏中的 Off-Policy 教师模型问题与 SCOUT 框架
🧭 LLM 蒸馏训练 · 教师自适应 ★ 深度解读
Washington University in St. Louis · AWS AI Labs · Carnegie Mellon University · Georgia Institute of Technology
提出 SCOUT：周期性地用学生前缀对教师做结果奖励 RL，缓解教师 off-policy 问题，提升蒸馏效果
📌 工作参考价值（4 点）
- 当用强 LLM 蒸馏小模型做生成式推荐/query 改写/Agent 策略时，教师面对学生生成的中间状态（候选商品序列、推理链）可能给出不可靠的 token 分布。可参考 SCOUT：让学生采样轨迹，取前缀交给教师继续 rollout，用业务可验证奖励（如点击、转化、代码测试结果）做 RL 更新教师，提升教师在这些状态上的监督质量。
- 工程上教师无需每一步同步：每 10 步学生更新后更新一次教师即可保持大部分收益，降低训练成本；前缀长度可以线性递增，从短前缀开始逐渐暴露长序列，避免早期训练过难。
- 若教师是黑盒 API 不可更新，SCOUT 不直接适用，但可以考虑 prompt-based 教师适配或改用可训练的小教师；该方法与已有 loss 级监督信号修改（如信任区域、加权）正交，可以叠加使用。
- 不要把增益简单归因于额外的教师训练：如果没有在学生前缀上条件化教师更新，仅做 same outcome-reward GRPO 提升有限，说明适配学生分布才是关键。
排序依赖曝光下的推荐排序离线策略评估：曝光-相关性分解
🧭 离线评估 · 曝光-相关性分解 ★ 深度解读
Waseda University
将点击分解为曝光与相关性，提出 LE-IIPS 与 ED-DR，修正排序依赖曝光下的 OPE 偏差
📌 工作参考价值（4 点）
- 在电商/广告排序评估新策略时，点击日志无法区分“未曝光”和“曝光未点击”，直接使用 IIPS 会在曝光概率依赖整个排序（如邻近商品吸引注意力）时产生偏差；可显式建模 e_k(x,a) 和 r(x,a(k))，在权重中乘上 \bar{e}_k^π / e_k 修正。
- ED-DR 的双重稳健性适合工程落地：只要曝光概率估计正确，即使相关性模型不准确，评估仍无偏；可在相关性模型不确定时优先保证曝光模型的准确性，降低风险。
- 样本量小时 IIPS 方差更低，大样本时 ED-DR MSE 更低，存在临界 n*；线上评估前可按历史样本量选择估计器，不必一味用 DR。
- 用 regression EM + intervention harvesting 初始化估计曝光概率，relevance 模型只依赖 item 不依赖位置，可跨位置池化数据，缓解稀疏 item-position 对。
PEAR：面向工业搜索系统的渐进式证据驱动自动研究框架
🧭 Agent 驱动的搜索策略自动优化 ★ 深度解读
Global E-Commerce Agentic Search Team
提出 PEAR 框架，以证据驱动研究状态和置信门控多级验证阶梯，在电商搜索中显著提升订单指标
📌 工作参考价值（4 点）
- 多级验证阶梯 + 统一置信区间晋升规则：把候选评估拆成 Offline Replay / Shadow-Traffic / Rapid Online / Decision-Grade 四级，每级都输出效应量和置信区间，只有 CI 下界>0 才 PROMOTE，CI 包含 0 保留，CI 上界<0 停止。这个规则能避免在非平稳电商流量下用单点分数“keep-if-better”导致的瞬时增益误判，可直接复用到排序策略参数、召回权重、重排规则的自动化搜索。
- 独立研究状态 + 上下文证据积累：每个策略任务维护独立的假设、候选空间、证据记录，通过 Plan–Execute–Evaluate–Update 循环持续修订假设。在电商场景中，同一策略在不同时间、不同流量组成下效果可能完全不同，记录实验上下文并让 Agent 基于 CI 和假设得分（Support - Refute）做候选生成，比单纯保留历史最优更可靠。
- 代理指标选择要优先对齐订单等业务目标：论文发现代理模型对订单的聚合相对误差最小（-3.49%），点击（-16.02%）和 GMV（-18.23%）误差较大。在构建 Agent 自动化优化链路时，若要用代理模型做低层筛选，应优先选择预测误差小、与最终业务指标对齐的代理信号，而不是盲目用 CTR。
- 低层广筛 + 高层精评，严格控制在线实验成本：L2 阶段的 promotion rate 只有 1.5%~7.14%，意味着大部分候选在影子流量阶段就被过滤掉，只有少数进入真实在线实验。工程上可以借鉴这种漏斗式评估，把昂贵且有风险的在线 A/B 留给统计上显著的正效应候选，同时保留大规模探索能力。
PRISM：特权兄弟图引导的多智能体拓扑设计
🧭 多智能体拓扑设计 · 特权蒸馏 ★ 深度解读
National University of Singapore
利用同一 query 的其他成功拓扑作为特权输入，通过 on-policy 蒸馏改进多智能体拓扑生成器后训练
📌 工作参考价值（4 点）
- 如果业务中已有 execution-verified 轨迹/方案语料，但只有成功与否、没有显式排序，不要直接继续 SFT 到高频解；可以借鉴 PRISM，用同一请求/用户的其他成功解作为训练期特权输入，让学生模型在自己的采样轨迹上做 on-policy 蒸馏，保持多样性并提升 query-specific 效果。
- 推荐/搜索后训练常受 exposure bias 困扰：离线伪标签与线上自回归生成分布不一致。PRISM 的做法是学生按当前策略采样 M 条轨迹，教师在访问状态上给出决策级软标签，且用 reverse KL 鼓励模式集中，这比 forward KL/JSD 在数学类任务上平均更高；适合有多个成功解、需要模型收敛到某个模式而非平均的场景。
- 特权信息分支采用 zero-initialized FiLM + low-rank（rank=16）控制参数，训练后丢弃，部署结构不变、推理成本几乎不增；电商/广告中可将训练期才有的完整用户行为、后验转化信号、专家标注等作为特权输入，蒸馏进部署模型。
- 做消融时建议同时跑 constant teacher 和 shuffled teacher 对照，分离“蒸馏过程收益”和“特权内容收益”；PRISM 显示 shuffled 甚至会误导，constant 蒸馏只带来部分提升，真实 sibling 内容贡献额外 +1.66% 平均准确率，这种拆解对评估训练技巧很有用。
RLE-Bench：编码智能体作为机器人学习工程师的资格考试基准
🧭 编码智能体 · 机器人工程能力评测
Harvard University · Georgia Institute of Technology
提出覆盖四类机器人开发工作流的编码智能体评测基准，用 RLE Index 聚合多维工件指标并给出排行榜
📌 工作参考价值（4 点）
- 借鉴“工作流拆解 + 工件级评估”范式：将电商推荐 Agent 的能力按 query 理解/候选召回/排序策略/诊断优化等 workflow 拆分，分别评估 Agent 产出的代码、配置或策略，避免只测对话文本。
- 借鉴 RLE Index 的异构指标归一化聚合方法：在 Agent 综合能力排名中，对不同任务的成功率、策略收益、结构指标等做标准化后加权，可用来比较不同 LLM 驱动的推荐 Agent。
- 引入资源约束与多模态反馈的评估条件：电商 Agent 常面临延迟、成本、多样性约束，评测时可加入相应限制，考察 Agent 在受限环境下生成可部署 artifact 的能力。
- 案例研究定位 failure mode：对 Agent 在复杂搜索推荐任务中的行为做细粒度分析，可发现 LLM 在集成异构组件、处理多模态信号时的具体短板，指导后续微调或 prompt 设计。
如何循环 MoE：摊平专家层、解开注意力
🧭 Looped MoE 架构训练与专家路由 ★ 深度解读
Case Western Reserve University · Kyoto University · NII LLMC
Foil 在固定专家参数与每 token 计算下，通过摊平专家层并给每次循环独立注意力，提升 looped MoE 预训练与路由健康度
📌 工作参考价值（4 点）
- 在固定 expert 参数和每 token 计算预算下，优先采用“浅而宽 + 多轮循环”的 recurrent core，而不是深而窄：把现有 MoE 层合并到更少层、增加每层 expert 数并循环更多次，同等成本通常能拿到更低 LM loss 和更健康路由。
- 循环 block 中不要全程共享 attention：给每个 loop pass 单独 attention 参数，experts/router 继续共享；这几乎不增加推理 compute，但能恢复摊平时丢掉的 attention 参数，训练损失和 zero-shot 均更优。
- 监控 MoE 路由不能只看 load balance：可加 MMR（router 第一名 vs 池中位数概率比）和 per-pass MMR peak；MMR 见顶后继续 flatten/循环收益最弱，适合做架构搜索早停或上线前诊断。
- 做小规模架构 ablation 时，可先用 tied attention 探索循环轮数，因为加 passes 不增加参数；但最终生产配置应切换为 per-pass attention。低流量 expert 不等于无用，不要仅按流量直接裁剪。
SAKI：基于最大耦合路由的在线策略蒸馏教师监督
🧭 On-policy 蒸馏 · 最大耦合监督路由 ★ 深度解读
Meituan · KTH Royal Institute of Technology
将教师引导 rollout 中的最大耦合修正事件作为 token 级监督路由信号，在信任域内自适应分配教师 Top-1 监督
📌 工作参考价值（4 点）
- 在推荐/广告 LLM 的 on-policy 蒸馏或 RL 微调中，可直接复用 TRB 式几何桥接（q ∝ p^{1-β} T^β，约束 D_KL(q∥p)≤ε）替代纯 student/teacher rollout，减少弱模型早期状态偏移；ε 同时控制 rollout 偏差和 teacher 监督频率，便于工程轻量调控。
- 把最大耦合的 accept/correction 事件作为自适应课程信号，比按 TV/KL 标量加权更精准：只在需要干预的 token 上触发 teacher argmax 强监督，其余位置保留 RKL；这种「稀疏、冲突自适应」的路由可迁移到生成式出词、query 生成、Agent 多步 rollout 的 token 级监督设计。
- 在线教师推理成本高，可借鉴 speculative block verification：student 草稿 K tokens，teacher 批量验证，first rejection 后丢弃后续 KV 并从修正 token 恢复，既保持 exact-q 分布又获得 4.22× 吞吐提升；对需要在线 teacher 参与的策略学习/蒸馏系统有直接工程价值。
- 若业务中有强生成模型作为 teacher、弱模型作为 student，可在高冲突前缀用 teacher Top-1 做硬标签拉齐，而不是始终用分布 KL；论文表明 teacher-mode 比 teacher-sampled 在数学推理上 +0.62 Mean@8 / +1.56 Pass@8，模式寻求更适合冲突位置。
三阶线性注意力：三维循环状态用于长上下文序列建模
🧭 线性注意力 · 长上下文状态扩容 ★ 深度解读
Massachusetts Institute of Technology · MIT-IBM Computing Research Lab
将线性注意力的矩阵状态扩展为三阶张量，用第二个 key 维度以极少参数成倍扩大状态容量，显著提升长上下文语言建模与 recall
📌 工作参考价值（4 点）
- 电商/推荐用户长期行为序列建模：用户行为序列长且稀疏，Transformer KV cache 显存贵；可把 user encoder 或长期兴趣提取器替换为 Triadic GDN/sGLA，用 E=4~8 扩大状态，参数只增加约 1%，线上保持 O(1) 状态，对历史兴趣 recall 提升明显。second key/query 建议用 softplus/sigmoid 非负激活，避免切片间抵消。
- Agent 长期记忆/长上下文工具结果：如果 Agent 用线性注意力做记忆，可在长上下文扩展阶段把 E=1 upcycle 到 E=8，不必从头训练；论文显示 upcycling 可恢复约 50%-75% 从 scratch 的收益，适合已有模型低成本升级。
- 混合架构取舍：搜推广 rerank 或 Agent 模型若采用 linear+softmax 混合，优先扩大 linear state 而不是 softmax GQA 的 KV cache；论文在 3:1 混合中，triadic E=4 比 GQA-4 在长上下文 PG19 和 NIAH 更好，且 64k 显存少约一半。
- 工程实现：chunkwise-parallel 实现中，把三阶 state 沿 value 轴切成 32 列块放到 registers，避免 SM 持有完整 state；joint key 内积分利用 Kronecker 结构降维，E 维只增加少量 C^2E 计算，长上下文效率优于 Transformer。