递归护栏自我改进：少量迭代提升智能体性能上限
🧭 Agent 自我优化 · 提示级迭代改进
Sakana AI · UC Berkeley
提出RHI，通过提示级迭代优化智能体循环，仅需少量样本即可超越最大推理设置并降低60%成本
📌 工作参考价值（4 点）
- 在电商推荐或搜索的Agent工作流中，可对编排提示（harness）进行任务特定的迭代优化，而无需依赖模型推理深度，从而以更低成本获得更优性能。
- 利用成对比较反馈自动优化多智能体间的信息流，提升复杂任务（如多轮对话推荐、用户意图理解）中上下文管理的有效性。
- RHI的轻量级特点（仅需少量迭代与低推理努力Agent）表明，实际业务可快速微调Agent编排模板，避免昂贵的手工设计或重训练。
- 实验显示性能增益源于改进的上下文管理而非更长推理，提示优化Agent间通信机制（如工具调用、中间结果传递）可能比堆叠推理步骤更高效，对商品检索或广告策略Agent有参考意义。
DSWorld：预测数据科学操作效果的世界模型框架
🧭 数据科学世界模型 · 代理训练加速
The Hong Kong University of Science and Technology (Guangzhou)
提出数据科学世界模型预测操作结果，实现代理训练加速14倍、推理加速3-6倍
📌 工作参考价值（4 点）
- 可复用的世界模型思路：在搜索推荐系统的自动化调参或特征工程代理中，借鉴“低代价操作真执行，高代价操作用LLM模拟”的策略，用历史日志训练一个轻量过渡预测模型，减少线上实验成本。
- 结构化状态表示：将工作流状态（数据Schema、模型性能、资源消耗等）组织成结构化文本输入LLM，而非原始代码或日志，能稳定提升预测准确率，可直接用于推荐agent的状态管理。
- 成本感知路由：设定成本阈值，简单操作（如数据抽样、缺失值填充）直接执行，复杂操作（如模型训练）用世界模型模拟，可构建分级探索的AutoML代理，降低计算开销。
- 反思式世界模型优化：利用真实执行后的错误反馈更新世界模型，可将自动化A/B测试的模拟器与线上结果对齐，逐步提升模拟保真度，减少策略上线前的风险评估偏差。
FVAttn：视频生成的自适应稀疏注意力与运行时负载均衡
🧭 分布式推理·稀疏注意力负载均衡
中山大学 · Tencent Inc. (WeChat HPC) · Tencent Inc. (WeChat Vision) · 北京大学
提出训练无关的自适应稀疏注意力系统，通过运行时头迁移与空闲填充解决多GPU序列并行的负载不均，推理加速超2倍
📌 工作参考价值（4 点）
- 自适应稀疏中的 Top-p + Top-k 地板 组合策略：确保每个注意力头至少保留 k 个高相关 token，避免完全稀疏导致的训练/推理不稳定，在 LLM 长上下文推荐对话或 Agent 记忆检索时可借鉴此安全机制。
- 运行时负载均衡通过 P2P 迁移少量“重头”到轻载 GPU，这对多 GPU 部署推荐模型（如生成式推荐、多模态理解）时的序列并行头负载不均问题有直接参考价值，可降低栅极延迟。
- Slack-Aware Sparse Augmentation 利用非关键路径 GPU 的空闲时间计算额外高价值块，这种“空闲填充”思路可迁移到分布式 Agent 流水线调度，在等待 I/O 或其他 Agent 结果时执行预取或候选评分。
- 将稀疏计算与负载均衡、通信重叠结合的整体系统设计，展示了在工业级推理服务中如何兼顾精度与吞吐，推荐系统从业者可将类似思想用于大规模模型的多路召回或多专家（MoE）推理的负载均衡。
核加权重要性采样用于上下文赌博机的离线策略评估
🧭 离线策略评估 · 重要性采样 ★ 深度解读
University College London · Strive Health Ltd. · National Institute for Health Research · Great Ormond Street Hospital · McGill University
将核平滑引入加权重要性采样，在行为策略误设时显著提升离线评估的准确性与稳健性
📌 工作参考价值（4 点）
- 当 logging policy 模型因策略更新而失准时，Kernel-WIS 提供更稳健的离线评估，适合推荐/广告系统的频繁策略迭代
- 核平滑思想可直接嵌入现有重要性采样评估流程：利用用户/物品的特征向量计算局部密度，对重要性权重做归一化，无需额外模型
- 带宽选择通过交叉验证自动完成，可部署为离线评估流程中的一个超参数调优模块，降低人工成本
- 连续奖励场景（如点击率预估）需谨慎使用，实验显示 Kernel-WIS 可能劣于 WIS，可考虑使用混合策略或对奖励离散化
基于 LLM 的对话式房屋搜索重排序
🧭 对话推荐 · LLM 重排
QuintoAndar · Growthloop
用 LLM 融合多轮对话上下文重排房屋候选，线上 CTR +5.3%, 预约看房 +4.8%
📌 工作参考价值（4 点）
- 在对话式推荐流程中插入 LLM 重排模块，将多轮对话总结后与物品描述拼接，让 LLM 产出 relevance score，能有效捕捉非结构化意图。
- 构建离线评估数据时，可用 LLM-as-a-Judge 自动标注 query-item 对，再辅以人工验证，低成本获得大规模训练/评测样本。
- 线上部署需权衡延迟与成本：文中在召回后仅对 Top-K 重排，且使用缓存与批量推理策略，适合对延迟敏感的业务。
- 重排 prompt 工程是核心：需将对话历史压缩为结构化摘要（如预算、位置偏好），并限定输出格式（如 JSON 分数），确保稳定性和可解析性。
交互式训练2：实时模型训练的可审计控制平面
🧭 交互式训练控制平面
University of Waterloo · University of Wisconsin-Madison
提供开源控制平面，通过共享协议让人类和智能体对训练过程进行实时、可审计的操控
📌 工作参考价值（4 点）
- 在线训练动态调参：在电商推荐模型持续训练中，可以借鉴其声明式暴露学习率、dropout 等设置，让算法工程师或自动调参 Agent 通过统一接口实时调整，无需重启训练任务。
- Agent 驱动的训练编排：将训练控制能力抽象为 Action（如保存检查点、回滚、切换数据源），LLM Agent 可根据监控指标自动决策并提交请求，例如检测到 loss 异常时自动触发回滚和告警，适合广告模型频繁迭代的场景。
- 审计与复现：所有控制请求和结果按时间线记录，可回溯谁在何时做了何种干预，满足工业级模型训练的合规与排障需求，类似模型版本的 Git 日志。
- 工程实现参考：其“训练循环负责安全控制点”的设计模式可直接复用，在现有训练框架中插入轻量级控制平面，避免多控制器并发冲突，保证状态一致性。
静态检索效用无法预测多步 Agent 搜索中的因果效用
🧭 多步 Agent 搜索中的检索效用评估
University of Calcutta · Missouri University of Science and Technology
在多步 Agent 搜索中，静态低相关文档可能通过提供区分性实体成为关键的“桥梁证据”，静态效用与因果效用近乎独立。
📌 工作参考价值（4 点）
- 构建 Agent 检索模块时，不能用传统静态指标（如 NDCG）评估文档价值，应引入反事实评估（移除文档观察最终答案变化）来识别“桥梁文档”。
- 在电商对话助手等多步 Agent 场景，重视文档的“行动效用”：设计机制让 Agent 从文档中提取区分性实体（如属性、品牌），用于重定向后续搜索。
- 借鉴 CTU 指标（综合最终答案质量、下一步检索质量、步数变化）来全面衡量文档对 Agent 轨迹贡献，而不只看单步问答匹配。
- 训练检索模型时，可利用 Agent 交互数据生成反事实效用标签，直接学习检索对最终任务有用的文档，而非仅优化静态相关性。
可变低秩草图：免重训的实时推荐
🧭 实时推荐 · 嵌入鲜活性
University of Michigan · Criteo
用KP-tree存储用户偏好，固定低秩投影，新评分到达时动态更新嵌入，无需重训
📌 工作参考价值（4 点）
- 将用户特征更新与模型重训解耦：固定低秩投影，只在线更新KP-tree中的用户偏好向量，实现实时推荐，避免频繁重训大模型
- KP-tree支持对数时间点更新和内部求和传播，适合电商场景中用户行为实时流入时的低延迟嵌入计算（<1ms）
- 稀疏数据场景下采用范数比例采样替代均匀采样，可显著提升物品覆盖率（40–130%），改善冷启动和新颖度
- 整体框架简单：一次离线学习低秩基矩阵，在线部分只需维护带有聚合统计的树结构，工程实现复杂度低，便于集成到现有特征平台
可变速率训练无关KV缓存压缩用于长上下文大模型
🧭 长上下文LLM推理优化 · 可变速率KV缓存压缩
Iowa State University
提出无训练可变秩KV缓存压缩方法VarRate，按显著性分配预算并保留所有token，实现接近无损的长上下文推理
📌 工作参考价值（4 点）
- 在线LLM服务可直接部署VarRate作为无训练的KV缓存压缩插件，减少长上下文推理内存占用，支撑更长的用户历史（如推荐理由生成、Agent对话历史理解）。
- 在多查询复用预填充缓存的场景（如批量用户查询），VarRate避免丢弃token导致的精度崩溃，保障关键信息不丢失，提升推荐或搜索结果的稳定性。
- 显著性得分可基于注意力权重快速计算，适合流式处理，能集成到实时推理管线中，无需额外模型或微调，降低工程复杂度。
- 可变秩分配思想可推广到特征存储、用户画像压缩等模块，通过保留所有数据点但差异化精度，实现更好的资源效率平衡。
理解推理：从预训练到后训练
🧭 LLM推理的预训练-RL缩放与行为分析
New York University · Modal Labs · University of California, Los Angeles · University of Illinois Urbana-Champaign · Columbia University
以国际象棋为受控实验，揭示预训练损失可预测RL后性能，RL在困难任务中涌现新推理能力
📌 工作参考价值（4 点）
- 预训练损失是RL后性能的强预测指标：在推荐或Agent任务中，可先通过预训练损失筛选有潜力的模型/数据配置，降低RL实验成本。
- RL并非仅锐化SFT策略：在困难样本上能涌现SFT未覆盖的正确行为，提示在生成式推荐或Agent决策中，RL可能探索出更优的item/动作空间。
- RL提升斜率与预训练数据量近似线性关系，预训练投入对下游RL收益有直接放大效应，为「先大力预训练，再轻量RL」的工程路径提供依据。
- 使用棋类等可控环境作为测试平台，思路可复用于推荐系统离线模拟：设计规则明确、奖励可验证的推荐游戏，研究LLM推理行为。
利用策略重叠加速A/B测试：反事实估计视角
🧭 反事实估计 · A/B测试加速 ★ 深度解读
Independent Researcher · aampe
将随机流量分配视为元策略，用Δ-OPE利用策略重叠达成严格方差缩减，并提供最优流量与排名扩展
📌 工作参考价值（4 点）
- 免费方差缩减：在线上A/B测试中直接使用Δ-IPS或Δ-DR代替标准DiM，仅需记录两个策略的动作分布，当新旧模型存在重叠时即可自动获得更低方差，无需改变流量分配或延迟实验。
- 非平衡流量设计：放弃固定的50/50分流，利用历史日志估计策略分歧度，计算方差最优分流比p*（例如对探索性策略倾斜流量），可额外减小18%以上的方差（模拟显示）。
- 聚焦模型训练：Δ-MRDR loss对样本加权 wΔ²，让奖励模型集中拟合策略分歧区域，在推荐场景异构用户分布下，可比标准Δ-DR再降约8%的ATE估计方差。
- 排名实验加速：对推荐/搜索排序，用Δ-DCG并加入位置最优基线（Δβ*⊥⊥-DCG），可抵消策略分歧增大时的方差膨胀，始终优于传统均值差，可直接用于多臂A/B测试中的曝光指标评估。
利用指令微调与模型合并实现推理模型低成本领域适应
🧭 推理模型适应 · 指令微调+合并
ETH Zurich
先指令微调再与原始推理模型合并，低成本提升在难验证领域的性能
📌 工作参考价值（4 点）
- 若拥有特定领域的高质量SFT数据（如电商搜索意图、商品摘要），可对推理模型进行无推理痕迹的指令微调，再与原模型合并，以极低成本（<3美元）提升该领域效果，同时保留推理能力。
- 模型合并技巧可作为一种轻量领域适应方案，避免灾难性遗忘，适合在资源有限时快速迭代测试。
- 对于缺乏可靠自动评估的生成式推荐或Agent任务，可考虑用人类标注数据微调再合并，绕开难以设计的奖励函数。
- 方法简单稳健，适合嵌入现有LLM微调流水线，作为RLVR训练前的快速实验步骤。
LongStraw：固定GPU预算下的超长上下文RL训练
🧭 RL训练系统优化·长上下文 ★ 深度解读
MindLab · Fudan University
通过分离长提示状态捕获和串行响应回放，在固定GPU数下将GRPO训练上下文扩展至200万token以上
📌 工作参考价值（4 点）
- 长序列推荐模型训练：若需将用户长期行为序列（如200万长度）作为条件训练生成式推荐或Agent模型，可借鉴LongStraw的“捕获一次、回放多次”模式：用无梯度前向计算并保存固定大小的循环状态或压缩的KV页，然后仅对候选物品序列进行可微分回放，大幅削减峰值显存。
- 混合注意力架构选型：Qwen的48个循环层+16个全注意力层的设计启示：对于长历史处理，用循环层（如Gated DeltaNet）避免KV长度线性增长，仅保留少量全注意力层存储必要细粒度上下文，可平衡效果与显存。
- MoE训练中的多维并行布局：GLM同时使用CP（上下文并行）划分长序列和EP（专家并行）划分路由专家，可在固定机器数下扩展长序列训练。推荐系统中若有超大参数模型需处理长序列，可考虑类似并行策略，但需确保梯度完整聚合（论文指出当前未完成KV适配器梯度同步）。
- 训练系统设计原则：当显存成为长上下文瓶颈时，优先优化状态生命周期，而非单纯增加并行度。保留仅响应解码所需的状态，释放瞬态激活，并通过串行回放控制激活峰值。这种思路同样适用于大规模用户行为模型或Agent轨迹的离线RL训练。
Loopie：循环MoE Transformer超越普通模型的计算匹配扩展法
🧭 层循环MoE架构 · 计算匹配预训练扩展 ★ 深度解读
IQuest Research
提出层循环MoE架构与计算匹配扩展方案，在相同预训练计算量下首次超越非循环大模型。
📌 工作参考价值（4 点）
- 层循环(layer-loop)设计：逐层迭代再传递，降低激活内存，允许更大micro batch。可迁移到推荐系统中特征交互或序列建模的深层Transformer，在内存受限时用循环换取有效深度。
- 计算匹配扩展方法：从参考模型先减层加循环，内存节省后增大batch size，再投资到宽度上。在业务中可按此思路在给定推理预算下最大化模型容量，尤其适合电商搜索粗排/精排模型的轻量化设计。
- 监督预训练(SPT)：用预训练尺度（大批量、长序列、多轮次）做有监督微调，同时提升通用知识和推理能力，避免灾难性遗忘。可借鉴到业务LLM适配，用大规模业务数据做SPT保持基座能力。
- 循环推理与RL结合：多步循环为推理提供了迭代优化空间，配合分组序列策略优化(GSPO)提升复杂任务规划。可启发Agent在多步决策中引入内循环推理，增强长期规划能力。
面向音视频编辑整体评估的 AVE-Compass 基准与 AVE-Agent 框架
🧭 多模态音视频编辑评估
Nanjing University · Kuaishou Technology · National University of Singapore · Beijing University of Posts and Telecommunications · University of Illinois Urbana-Champaign
提出首个音视频耦合编辑评估基准 AVE-Compass，并设计模块化 Agent 框架提升跨模态编辑一致性与指令遵循度
📌 工作参考价值（4 点）
- 清单式 MLLM 评估方法可迁移至电商短视频广告的多模态生成质量校验，例如自动检查视频中商品外观与背景音乐的协调性。
- AVE-Agent 的模块化任务分解与自反思循环，为构建自动化多模态内容编辑流水线提供了模板，可用于批量优化商品展示视频。
- 跨模态对齐评估指标（如音画一致性）可能启发推荐系统中视频与音频协同特征的质量监控。
- 整体偏学术，业务直接落地难度较大，但 Agent 设计中的“分解→执行→评估→修正”闭环对多步骤推理任务（如动态创意生成）有参考意义。