面向通用 Agent 强化学习的 Harness Scaling 方法
🧭 Agentic RL · Harness 缩放训练 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research · Beihang University
将 agent 执行 harness 因子化并正交选择 18 个训练配置，跨 harness RL 显著提升未见配置与外部黑盒泛化
📌 工作参考价值（4 点）
- 在训练搜索/推荐/电商 Agent 时，不要只用单一 harness；可对同一任务构造多个执行配置变体（system prompt、工具 schema、观察格式、上下文压缩策略、workflow 约束），提升策略对生产环境变化的鲁棒性。
- 如果 harness 组合空间过大，可用 strength-2 正交设计从组合爆炸中选训练子集，保证各组件 realization 及两两组合均衡覆盖；在固定训练预算下，这比随机采样或全量穷举更好。例如推荐 Agent 的 prompt 模板、召回通道、排序特征视图、记忆压缩等维度都可以做正交选择。
- 采用 locality-aware assignment：每个训练任务采样一个 anchor harness，再配 1-2 个 Hamming 距离最近的 harness，既保留同任务局部变化，又全局覆盖多个配置；实验表明 K=2 效果最佳，且优于随机 assignment。
- 关键结论可直接迁移：在白盒多 harness 配置上训练，迁移到未见外部黑盒 harness（如 Claude Code）的效果，优于直接在该黑盒 harness 上做 SFT 或 RL。适合冷启动、跨平台迁移、多租户 Agent 系统。
SoftwareGym：用多样化合成软件环境规模化训练计算机使用智能体
🧭 计算机使用 Agent 环境合成与训练
Shanghai Jiaotong University · Zhejiang University
提出 SoftwareGym 自动化合成 GUI 软件环境及基准，训练 CUA 后在 OSWorld 上 Pass@3 提升 15.58 个百分点
📌 工作参考价值（4 点）
- 对需要构建 Agent 操作业务系统（如电商后台、广告投放平台）的团队，可借鉴 SoftwareGym 的环境合成管线：自动生成多样化 GUI + 迭代修复功能，低成本构造大规模仿真环境，避免每个内部系统手工集成。
- 用合成环境收集轨迹做 SFT/RL 训练可显著提升 Agent 在未见过的真实系统上的泛化能力（OSWorld Pass@3 +15.58），适合跨平台/多工具 Agent 的冷启动。
- SoftwareGym-Bench 的 12 类 120 任务设计思路可迁移到电商工作流评测：覆盖不同操作类型、验证功能正确性而非仅界面匹配；GUI 任务通过率可作为应用可用性筛选指标。
- 注意：合成应用与真实业务系统仍有差距，建议混合少量真实环境数据做适配；该方法更适合作为预训练/基础能力阶段，而非替代真实场景微调。
泛化是稳定性而非准确率：LLM 的多轴评估
🧭 LLM 泛化评估 · 稳定性度量
Technion – Israel Institute of Technology
提出 SAGO 框架，从生成一致性、内部激活、置信度与响应镜像等多轴度量 LLM 对同一输入变体的行为稳定性。
📌 工作参考价值（4 点）
- 业务中评估生成式推荐、Query 改写、Agent 决策时，不要只用单 prompt 准确率；应构造同一意图的多种表达（措辞、长度、格式、噪声），把输出一致性作为上线门槛。
- 借鉴 SAGO 多轴思想，将内部激活、置信度与生成结果分别监控：它们可能揭示独立失败模式，只盯最终输出会漏掉隐性漂移。
- 模型升级或微调后，用跨数据集稳定性排名代替单一 benchmark 排名；论文显示跨数据集变化会反转模型排名，单一评估容易误判。
- 将稳定性测试做成 CI 回归：对固定语义等价集定期跑，捕获 prompt 模板变更或 LoRA 微调带来的泛化退化。
AI研究Agent的递归自我改进：自主优化自身代码
🧭 AI Agent 递归自我改进与自主优化
Weco AI
展示AI研究agent通过递归自我改进在8天内自主发现7项改进，泛化至未见任务并降低reward hacking
📌 工作参考价值（4 点）
- 可将推荐/搜索agent的pipeline组件（如query改写、召回策略、排序规则）视为可编辑对象，用隐藏评估集自动迭代改进，减少人工调参与A/B测试次数。
- 借鉴论文发现的记忆压缩与管理机制，在电商会话agent中管理长上下文（多轮对话、商品浏览历史），避免上下文超限并保持性能。
- 采用分布外（OOD）留出任务评估泛化，防止agent在特定业务指标上reward hacking（例如只优化点击率而忽略转化或用户体验）。
- 递归自我改进本身是一种自动化元优化，在有明确评估信号和足够算力的场景（如生成式推荐中的Semantic ID搜索策略）可尝试。
RRSI：Agent 外壳的正则化递归自改进
🧭 Agent 自改进正则化 · harness 进化 ★ 深度解读
Google Cloud AI Research · UNC-Chapel Hill · Stanford University · Washington University in St. Louis
用 proposal 与 selection 两侧正则化约束 Agent harness 自改进，缓解在有限 evolve set 上的过拟合
📌 工作参考价值（4 点）
- 在电商搜索/推荐 Agent 或购物助手做自动化 prompt、tool description、context 管理的 A/B 调优时，很容易在内部小评测集上过拟合。可复用 RRSI 的 leakage screening：评估前先用 critic 过滤掉显式包含 task name、商品名、类目特定逻辑或实体值的候选，防止这类候选靠局部泄漏获得高 evolve score 进入后续搜索。
- 引入 noise band 接受 floor：先在固定 base harness 上重复评估估计噪声 δ，候选分数必须 ≥ S*-δ 才允许替换 incumbent。这能避免在搜索/推荐 Agent 的策略迭代中，把随机噪声冠军当成稳定改进永久写入系统。
- cost-aware acceptance 对生产很有用：任何候选若增加 policy tokens（例如更长的 few-shot 示例、更多 tool schema 字段、额外 context 读取），必须用 ΔC ≤ β0 + β1 ΔS 证明收益。可以直接迁移到线上成本约束的推荐 Agent 或 LLM 链路，避免演进结果越来越贵但得分不涨。
- 结构化探索和 evidence-aware history 可以复用到 query 改写策略、召回 prompt、排序 Agent workflow 的自动搜索：记录每轮修改的组件、假设和验证结果，停滞时优先探索从未改过的组件（如 control flow / context 管理而非继续改 prompt）。另外可加一个跨模型验证步骤：搜索得到的 harness 若不随 backbone 能力消失，才更像可复用机制而非策略专属补丁。
跨模态上下文学习的收敛性涌现
🧭 跨模态涌现的 in-context learning 规律
Johns Hopkins University · MIT · University of Illinois Urbana-Champaign
在六种模态中验证 few-shot ICL 普遍涌现，且任务难度效应在五个模态间相关，支持部分收敛涌现假设
📌 工作参考价值（4 点）
- 跨模态 ICL 在时序、基因组等非文本序列上有效，提示在电商推荐中可将用户行为序列、商品曝光序列视为另一种模态，用 few-shot 示例进行下一个交互预测或兴趣迁移。
- 论文中的 paired-mapping 任务套件可作为统一评测框架，业务上可构建类似的「输入-输出映射」任务集，快速测试不同基础模型在推荐/搜索数据上的 few-shot 适配能力，筛选适合 ICL 的任务类型。
- 任务效应在多数模态间相关，说明任务难度的跨模态一致性；在为新业务场景选择可 ICL 的任务时，可以参考其他模态（如文本）上的难度排序，降低试错成本。
- 对无法用自然语言指令描述的非语言任务（如 ID 序列、embedding 序列），few-shot ICL 可能是唯一有效的条件化机制，值得在搜索/推荐中储备这类能力以应对冷启动或新任务快速上线。
GOD：通过深度嫁接增强序列推荐泛化
🧭 序列推荐知识蒸馏 · 组件级嫁接 ★ 深度解读
Pohang University of Science and Technology
提出组件级知识蒸馏框架GOD，将学生组件嫁接进冻结教师构造混合源模型，强化序列推荐泛化
📌 工作参考价值（4 点）
- 组件级蒸馏替代输出级蒸馏：在电商/广告点击序列建模中，若教师-学生 KD 效果受限，可尝试将学生 embedding 或 encoder 临时插入冻结教师路径，分别得到 Embed-Grafted Teacher 和 Encoder-Grafted Teacher。这样能分离“嵌入不可靠”和“编码器过拟合”两类误差，比仅匹配教师输出更适合稀疏行为数据。
- Transformer 序列模型可用 Grafted Encoding 稳定训练：将教师侧与学生侧 token 拼接，允许互注意力（mask 为四块均 causal），早期教师 token 提供稳定上下文，后期学生 token 细化表示。训练 attention 开销约翻倍，但收敛更快，且不影响线上推理。
- 推理零开销，适合轻量线上模型：混合源模型只在训练阶段使用，线上仍用原始学生模型，不增加额外耗时。对需要低延迟的推荐/广告精排模型是可落地的 KD 增强方案。
- 自适应对比权重技巧可复用：GCL 对六种表示对做对比学习，并用 batch 内平均相似度的 stop-gradient 计算权重，抑制冗余对、强调互补对。该思想可迁移到多视图对比学习、多任务蒸馏中的损失加权。
On-Policy蒸馏泛化的双面性：同源对齐与多教师跷跷板效应
🧭 On-policy蒸馏泛化与多教师集成 ★ 深度解读
University of Science and Technology of China · Peking University · IQuest Research · MBZUAI · Zhejiang University
控制实验发现OPD迁移教师推理行为而非答案，同源教师跨域泛化强但使多教师路由出现跷跷板效应
📌 工作参考价值（4 点）
- 教师选型：做 LLM 蒸馏/对齐时，优先选同 base model 的 same-origin 教师，而不是只看 benchmark 更强的跨架构/异源教师；尤其在需要跨域、跨语言或长程推理迁移时，同源教师能带来更稳定的全局策略对齐。
- 训练数据筛选：不要按 teacher 是否解出问题过滤样本，teacher 端 pass-rate=0 的难题同样有价值；对 student 已稳定解决的 prompt 可以动态丢弃，能带来小幅一致性提升并节省算力。
- 多教师/多域路由：在多任务业务（搜索、推荐、广告文案等多域 LLM）里，不能把 prompt 路由当作能力隔离墙；教师影响会跨域拉扯，调整某一教师数据比例会产生跷跷板效应，必须全局监控所有域指标，且同源教师拉动力更强。
- 诊断方法：除了训练 loss，监控 teacher-student 的 top-K token overlap 等策略对齐指标，可判断蒸馏是真正对齐整体策略还是仅拟合训练分布；在 Agent 策略蒸馏中可用来控制跨能力迁移。
GeoBenchLLM：面向地理相关任务的大模型综合评测基准
🧭 地理空间推理 · 评测基准
University of Toulouse
构建覆盖12类地理时空任务的多维度LLM评测基准，揭示推理与模型规模对地理理解的关键影响
📌 工作参考价值（4 点）
- 地理位置相关搜索/推荐系统可借鉴该基准中的空间关系推理、路径规划等任务，评测模型对用户时空意图理解的能力
- 评测框架中多任务、多数据集的构造方式可用于构建电商场景下的位置感知 Agent 或推荐模型评测集，避免单一任务过拟合
- 发现推理能力对地理任务性能的提升显著，提示在搭建位置敏感型 LLM 应用时，应优先选用具备强推理能力的模型（如思维链增强）而非单纯增大参数规模
- 数据集覆盖事实问答、路径规划等实用任务，可直接用于微调模型以提升对地址、POI、区域范围等实体的语义与空间关系建模，改善本地生活服务推荐质量
基于多智能体法医推理的可泛化深度伪造视频检测
🧭 多智体协同法医推理
Beijing Jiaotong University · Tsinghua University · Ant Group
提出多专家Agent分别分析纹理、光照、运动、物理伪造线索，以小型开源MLLM超越GPT和Gemini
📌 工作参考价值（4 点）
- 多专家Agent分工架构：可借鉴到推荐系统的多信号融合——设计多个Agent分别专注商品视觉、文本描述、用户行为等不同特征，再由协调Agent融合决策，提升系统鲁棒性。
- Judge Agent的冲突解决机制：类似推荐的多路召回融合排序，可设计一个元Agent来处理各专家意见分歧，结合置信度加权或投票策略，提高最终决策质量。
- 小型开源MLLM的多Agent组合超越单一大模型：在资源受限的业务场景（如移动端推荐助手），可通过多个小模型协同达到不逊色于闭源大模型的性能，降低推理成本。
- 自动化标注流水线：多模型聚合与冲突解决自动生成细粒度图文注释，可用于电商评论分析、商品描述增强等任务，提升数据标注效率。
宪法性中期训练：内容存在驱动对齐增益
🧭 中期训练对齐干预与持久性 ★ 深度解读
University of Oxford · Geodesic Research · Oxford Internet Institute
仅在中训阶段插入少量宪法性文本，即可获得经下游微调后仍持久的对齐泛化收益，且能力无损
📌 工作参考价值（4 点）
- 在推荐/对话模型的预训练后、SFT 前，插入少量公司价值观/安全准则文档（几百 M tokens），可大幅提升模型对规则的遵守和跨场景泛化，且不会被后续业务微调覆盖。
- 文档设计不必过度追求课程排序或显式推理块的精细结构；原则性内容的“存在”本身是主要驱动力，降低工程复杂度。
- 这种干预几乎零能力成本，甚至在常识推理等任务上有小幅提升，适合作为标准 SFT 流水线的补充步骤。
- 对齐效果在需要主动对抗上下文压力的场景（如多轮交锋、价值冲突）较脆弱，业务中若涉及此类动态对抗，仍需结合后训练或额外安全机制。
重新审视智能体 Harness 进化的评估
🧭 Agent Harness 进化评估
Allen Institute for AI · University of Washington · Independent
自动 Harness 进化在公平比较下未超越简单测试时搜索，且泛化有限，呼吁新评估协议
📌 工作参考价值（4 点）
- 公平基线设计：在为业务 Agent 引入自动 Harness 优化时，必须以简单 test-time scaling（如多次采样投票）为基线，匹配推理预算，确保增益来自设计改进而非额外搜索。
- 防过拟合拆分：搜索配置与最终评估必须使用不同任务集，避免在公共 benchmark 上循环优化导致的过拟合，提升上线后的泛化性。
- 谨慎采用自动进化：实验显示自动 Harness 进化并不稳定优于简单基线，落地时优先考虑可靠的固定 Harness，仅当有强泛化证据时才投入自动搜索。
- 关注现实迁移：评估 Harness 时增加留出任务集测试，模拟业务中分布外场景，防止在熟悉任务上虚高，确保 Agent 在真实多变环境中有效。
利用外推梯度增强锐度感知最小化训练
🧭 训练优化 · 锐度感知最小化改进
将外推梯度引入SAM形成EISAM，两步更新提升泛化且降低超参敏感度
📌 工作参考价值（4 点）
- EISAM 可替换现有 SGD/Adam 训练推荐模型，尤其在数据稀疏或长尾场景下，平坦极小值带来的泛化提升可能直接改善冷启动物品的 AUC 和线上指标。
- 对扰动半径鲁棒的特性意味着超参调优成本更低，适合大规模工业模型快速迭代；可在召回、粗排等不同阶段复用同一组超参。
- 两步更新（预测步探索 loss 地形 + 扰动步微调）提供了一种可工程化的模式：在现有框架中可按 batch 交替执行，额外计算开销主要通过梯度累积补偿，易于分布式实现。
- 当业务模型出现明显过拟合（训练、线上指标背离）时，优先尝试 EISAM，因其不依赖特定架构，可直接融入 CTR 预估、多任务学习等现有训练流程。
穿越考验：重新评估 Agent 在陌生环境中的泛化能力
🧭 Agent 评估基准 · 泛化能力探针
University of Oxford · SoftServe · Massachusetts Institute of Technology · The Chinese University of Hong Kong · UK AI Security Institute
提出 GauntletBench 基准，揭示当前最佳 Agent 在时间感知/图形理解/3D 推理任务上仅 19.1% 成功率，远低于人类 80%+。
📌 工作参考价值（4 点）
- 评估泛化缺口：当前推荐/电商 Agent 的评测也易陷入熟悉任务饱和，可借鉴 GauntletBench 设计新维度（如时间感知、图形理解）的任务集，揭示模型在真实业务场景的短板。
- 多模态能力补强：电商 Agent 常需理解 UI、处理含时间序列的数据（如库存变化、促销时段）或分析商品 3D 模型，该基准揭示的视觉推理缺陷提醒我们在构建 Agent 时需重点强化这些能力。
- 模块化评测框架：论文提供的 web 环境、任务套件与自动评测流水线可复用到电商 Agent 测试中，构建可重复、可对比的评测基准，降低人工评估成本。
- 人类基线锚定：用非专家人类表现（>80%）作为参照，量化 Agent 成熟度，帮助业务团队设定合理的自动化预期与优化目标。
训练通用智能体模型的数据配方：开放实验与消融研究
🧭 Agent训练数据配方的系统性消融与开放数据集
UC Berkeley · Stanford University · University of Texas at Austin · UCLA · Amazon
100+消融实验揭示智能体训练数据配方的关键要素，100K数据微调Qwen3-32B后在7个基准上平均准确率44.8%，超越最强开源基线3.9个百分点
📌 工作参考价值（4 点）
- 数据多样性优于单一任务源：消融显示混合多种任务源（如代码、交互、推理）对泛化至关重要，构建推荐/搜索Agent的微调数据时应避免只用单一场景的日志。
- 指令格式与难度分布：通过统一系统提示、调整任务难度比例可以稳定提升Agent鲁棒性；在电商Agent微调中可借鉴控制简单/困难样本比例的方法，防止模型过拟合简单对话。
- 开放数据流水线复用：论文公开了完整的数据处理管线（任务收集、格式标准化、难度过滤、质量筛选），可直接复用构建内部垂直领域Agent训练集，尤其适合客服、推荐解释等场景。
- 消融方法论：100+对照实验的设计思路可用于业务中快速诊断数据瓶颈，比如对比不同召回源、不同交互历史长度对Agent效果的影响，低成本找到最优数据配方。
Fisher几何锐度与SGD隐式偏向平坦极小值
🧭 优化理论 · 信息几何平坦性
Gauhati University
定义重参数化不变的Riemannian sharpness，证明SGD噪声偏向Fisher几何平坦解，并给出泛化界
📌 工作参考价值（4 点）
- 训练推荐模型时，可定期计算参数的 Fisher 锐度（对角 Fisher 近似即可）作为泛化监控指标，替代 Hessian 谱等欧氏平坦性指标，避免重参数化（如 embedding 缩放、特征归一化）导致的不可比问题。
- 优化器设计可借鉴梯度噪声协方差与 FIM 成正比的结构：在推荐模型分布式训练中，若按 FIM 方向调整噪声注入，可能自动偏向平坦解，改善尾部物品 / 冷启动场景的泛化。
- 若团队用 K‑FAC 等二阶优化，其 FIM 估计本身已接近重参数化不变，可作为 flatness‑aware 正则的天然基架，比欧氏 Hessian 更稳定。
- 注意：论文实验仅覆盖 CNN 与小数据集，直接迁移到大模型或搜索推荐需谨慎；但将 sharpness 纳入早停或 checkpoint 选择的思路可直接复用。
技能重用即压缩：提升LLM智能体泛化性的RL训练方法
🧭 Agent RL训练 · 技能重用压缩 ★ 深度解读
Arizona State University · University of Pennsylvania · University of Southern California
提出REUSERL，基于MDL原则惩罚非结构化行为，强制智能体学习可重用技能模式，显著提升分布外泛化
📌 工作参考价值（4 点）
- 对话/推荐策略训练：将行为序列压缩奖励引入RL训练，可避免策略陷入任务特定捷径，强制重用高频子模式，提升多轮对话或推荐策略的泛化性。
- 用户行为技能挖掘：借鉴BPE在线字典构建方法，从成功交互轨迹中提取高频行为组合作为“技能”，用于奖励塑形或离线意图挖掘，在电商用户路径分析中可挖掘稳定购物模式。
- MDL作为正则项：在LLM生成式推荐或Agent策略优化中，可引入描述长度正则，不仅压缩模型参数，还压缩行为序列本身的复杂度，迫使模型学习紧凑、可解释的决策逻辑。
- 鲁棒性提升：通过惩罚idiosyncratic行为，可缓解强化学习训练中的“推理坍塌”，避免策略因为过度优化单次成功率而遗忘泛化模式，适合需要应对多样化用户需求的长程任务场景。
AgentKernelArena：面向泛化性的GPU内核优化代理基准测试
🧭 GPU内核优化代理评估基准
AMD
首个覆盖HIP/Triton/PyTorch-to-HIP的智能体GPU内核优化评估基准，引入未见配置泛化测试。
📌 工作参考价值（4 点）
- Agent迭代优化流程的量化评估：借鉴其编译、正确性、性能三道门控检查的设计，可为推荐系统中代码生成Agent（如特征工程脚本优化、数据处理pipeline生成）构建类似的闭环评测，确保输出代码在真实环境中可用且高效。
- 泛化测试避免过拟合：论文揭示从零生成的kernel容易硬编码特定输入形状，在未见配置下正确性大幅下降。在电商场景中，若用Agent生成模型训练或推理代码，应增加不同batch size、序列长度等配置的泛化测试，避免隐式过拟合。
- 隔离执行与集中评分：其模块化工作区隔离执行、集中打分的框架可复用于多Agent系统的性能基准测试，尤其适合评估代码优化类Agent的鲁棒性和速度提升。
- 对推荐场景的直接价值有限：工作聚焦底层GPU kernel优化，与业务层的生成式推荐、多智能体协作关联较弱，主要提供评估方法论参考。