RSI Arena：迈向基于人类反馈的递归自我改进
🧭 Agent 自主后训练与人类反馈
Bake AI · Stanford University · NVIDIA Research · Hugging Face · Scale AI
10个前沿模型作为训练代理自主后训练Nemotron基础模型，两阶段人类反馈闭环，最强模型关闭76%能力差距
📌 工作参考价值（4 点）
- 可借鉴自主后训练流水线：让 LLM agent 负责数据选择、训练脚本实现、检查点挑选，可将算法工程师从重复调参中释放，适合电商/推荐场景中大量候选模型或 prompt 版本的快速迭代。
- 用人类偏好做递归改进：Stage 2 把用户对比记录和投票注入 agent，使其再次训练提升风格化评分，类似推荐系统里的用户反馈闭环，但要注意 benchmark 提升与偏好提升无明确关联，需以真实业务指标（如 CTR、转化率）为准。
- 评估时控制风格偏差：论文对答案长度和格式做统计调整后才比较模型偏好，电商推荐/文案生成场景中，用户偏好容易被文本长度、排版影响，上线前应做风格消融。
- 监控安全与合规：一个模型在 StrongREJECT 上有害合规上升，自主训练可能放大讨好倾向；在生成式推荐或对话助手中，需设置安全护栏与红队测试。
舍入位置对齐稳定 LLM 强化学习
🧭 LLM RL 数值稳定性
ByteDance Seed · Peking University
对齐训练与推理的 RoPE/SwiGLU/RMSNorm 舍入位置可避免 BF16 RL 崩溃
📌 工作参考价值（4 点）
- 用 vLLM rollout + HF 重算 log-prob 的 RL 流程，优先检查/对齐 RoPE 路径的舍入位置；本论文中单独对齐 RoPE 即可防崩溃，成本最低、不动推理引擎和 attention kernel。
- BF16 RL 训练时，可把 RoPE/SwiGLU/RMSNorm 的中间激活保留 FP32 到输出再截断为 BF16；这是训练侧局部代码改动，避免了全局 FP32 带来的吞吐损失。
- 出现 LLM RL 不稳定的广告/推荐文案生成或对话 Agent 策略时，先别改算法或调 reward，先监控 rollout 与 training recompute 的 log-prob 差异；差异可能来自 rounding location 而非数据或算法。
- 该结论可迁移到基于 Qwen 等开源模型的搜索推荐 Agent 后训练：维持 BF16 matmul/kernel 性能，同时用局部舍入对齐降低 off-policy 偏差。
SkillRep：刻画并理解智能体技能检索的表示设计空间
🧭 Agent技能检索 · 表示设计空间 ★ 深度解读
EverMind, Shanda Group · Peking University · Southeast University
首个组合微调、双侧扩展、背景投影与BM25的0.6B技能检索器，SRA-Bench MRR@10领先7.02点
📌 工作参考价值（4 点）
- 在召回/检索项目中，不要孤立评估 LLM 扩展、embedding 校准、BM25 融合；一定要在最强微调 encoder 上做 leave-one-out/last ablation。论文显示微调会反转 training-free 模块排序：background projection 从 +5.55 降到 +1.63，query-side expansion 从 +1.40 升到 +6.28。业务里可先用对比微调把双塔/商品 embedding 校准好，再决定要不要做 query 扩展或去背景。
- 混合检索优先用 score fusion（按 query 的 top-k 分数分布做 z-score 后线性加权），而不是 RRF。RRF 丢弃分数边界，稀疏通道可能推走 dense 已高分但 margin 大的正确结果；这对电商搜索/推荐中 BM25 与双塔融合直接可迁移，建议保留 score 的置信度信息。
- 三个诊断量可复用：background gap、coverage、dilution loss。上线 embedding 检索前，用它们判断是 query 表达不足、语料背景偏移、还是单向量稀释主导失败：前者补 query expansion；中者做 background projection/whitening；后者考虑 passage-level indexing 或增加 lexical channel。
- LLM query 扩展的价值主要在补出目标文档的词，而非改写风格。做电商搜索 query 扩展/改写时，应让 LLM 生成包含商品属性词、卖点词的伪文档或 pseudo-query，并按 IDF/类目词汇控制生成，避免泛词膨胀。
System One 模型并非更好的重排序器
🧭 LLM reranker 微调策略对比
University of Passau · Interdisciplinary Transformation University Austria (IT:U)
在 0.6B–27B 六个 Qwen 骨干上，决策微调从未超过重排微调，9B 以下重排微调领先 5–29 nDCG@10
📌 工作参考价值（4 点）
- 实际搜索/推荐重排中，若目标是 nDCG，优先选择专门 reranker 微调模型（如 Qwen3-Reranker），不要拿 System One/决策模型按“是/否”概率直接排序；0.6B–9B 差距为 5–29 nDCG@10，27B 才打平。
- 9B 以下 decision fine-tuning 相比 untuned zero-shot 没有排序增益，如果已有 untuned LLM，可先做零样本问法 baseline，不必额外引入决策微调。
- 决策模型的校准优势对问题措辞敏感，换一种问法可能消失；在线上系统评估校准或做阈值策略时，必须用实际 prompt 验证，不能直接沿用论文结论。
- 若关心固定阈值下保留优质结果，reranker fine-tune 的概率比 decision model 概率更可靠；做准入/截断时应基于 reranker fine-tune 输出。
Trajectory2Gym：面向工具使用智能体的决策锚定组合交互合成
🧭 工具使用 Agent 轨迹合成与 SFT ★ 深度解读
Westlake University · Ant International
通过构造组合交互并仅监督有可见历史依据的决策，大幅提升多轮工具使用智能体的 SFT 效果
📌 工作参考价值（4 点）
- 决策级监督掩码：训练工具使用智能体时，不要只按最终成功或 API 执行成功过滤轨迹。对每个 assistant 动作检查：参数是否来自决策时可见的上下文（如工具返回结果、用户确认），工具是否可见，以及是否满足工作流顺序。失败的调用保留为上下文但不参与模仿损失，避免模型学会利用 collector 私有信息或错误捷径。
- 定向合成欠支持依赖路径：先统计现有轨迹池中组合结构的支持度（如“查询→错误→澄清→重试→确认→取消→更新”），再针对低于支持阈值的路径生成任务和初始状态。不要随机采样候选，否则稀有结构被漏掉的概率很高；可按模型尺度设定每个 canonical path 的目标深度，小模型少重复，大模型多重复。
- 父级归一化 SFT：一条多轮交互可能被渲染成多行训练样例，若按行平均会让长交互主导损失。以语义交互为单位赋予相等权重，再在内部按目标 token 数分配，可防止长轨迹过拟合，提升多轮和状态依赖任务的稳定性（消融中单独贡献 8.04 点）。
- 成功只做 gate，不做 license：在电商客服、订单处理等 Agent 场景，即使 API 执行成功，也可能包含错误目标或违反用户最新意图（如替换了已取消的商品）。将“成功”作为进入训练池的门槛，但不作为每个动作的监督许可；结合工作流顺序和用户确认来判定目标动作。
推进基于SVD的LLM压缩：逐层误差模型搜索
🧭 LLM 低秩压缩与层级误差建模
Technical University of Munich · BMW Group · University of Glasgow · TU Wien
提出LEMS与KFAC-SVD，分别解决SVD压缩中rank分配不精确和分解rank崩溃的问题
📌 工作参考价值（4 点）
- 在部署LLM用于推荐/query生成时，SVD压缩可大幅降低推理成本，但rank分配不能简单全局均匀：LEMS用逐层误差代理+ILP全局优化，能更好地保留关键层容量，值得借鉴到生成式推荐的backbone压缩。
- KFAC-SVD利用token-wise统计替代Fisher信息估计，缓解rank collapse，提高了分解质量；若业务中需要对嵌入层或Transformer层做低秩近似，可优先考虑类似token级统计修正。
- 层间误差传播的建模思路可迁移到多任务资源分配：在电商多目标排序模型中，不同层的敏感度不同，可仿照传播偏置做层级算力/参数预算分配。
- 工程实现上，ILP求解rank分配虽然复杂，但离线一次性完成，对在线推理无额外开销；适合用固定压缩比部署LLM生成商品描述、搜索词润色等场景。
智能体记忆管理：信息检索的下一个前沿
🧭 Agent 记忆管理框架与 IR 融合
Dept. CS&T, Tsinghua University
提出 AMM 框架，将记忆对象分为 constants、functions、operators，并给出 IR 视角研究议程
📌 工作参考价值（4 点）
- 在电商/广告 Agent 中，可按 constants/functions/operators 分类设计记忆层：用户长期偏好（constants）用于召回与排序；可调用的推荐策略/工具（functions）按需检索；总结、遗忘、合并等记忆操作（operators）显式管理，避免把所有上下文塞进 prompt 或向量库。
- 记忆检索不要只做相关性排序，需定义 utility（对下游动作/转化的贡献），可借鉴 learning to rank 或用 LLM 生成候选后重排，对记忆片段做效用打分，提升推荐 Agent 的决策质量。
- 混合参数化与非参数化更新：高频短期信号（点击、会话）写入外部记忆实时检索，低频长期偏好定期用 LoRA 等参数化微调固化，兼顾实时性与成本，适合个性化 Agent 持续学习。
- 评估 Agent 记忆时，借鉴搜索/推荐的离线-在线评估体系，关注任务完成率、记忆更新效率与长期回报，而不是只看单轮 QA 准确率。
AfterDeleteBench：审计 LLM Agent 删除后信息持久化
🧭 LLM Agent 记忆删除审计
The Ohio State University
用对照实验量化 LLM Agent 删除记忆后仍可从派生状态恢复秘密的比例
📌 工作参考价值（4 点）
- 删除审计必须覆盖派生状态：用户删除原始对话或记忆后，摘要、向量库、RAG 索引、日志等仍可能泄露；上线“被遗忘权”前应建立“暴露后删除 vs 从未暴露”对照行为回归测试，不应只看存储层记录是否消失。
- 用来源感知闭包做级联清除：维护每条记忆的 provenance，删除源记录时同步移除或重生成其派生摘要和嵌入，能显著降低删除后的可恢复性；仅做精确字面写过滤无法擦除已经扩散的信息。
- 评测接口本身会影响恢复率：自动化合规审计或红队测试需统一输出格式与解析器，避免目标内容实际存在但因格式不符被误判为未泄露，影响安全指标可信度。
- 对 Agent 记忆系统引入行为级隐私视角：即使模型权重固定、无逐字留存，分离存储的敏感组件在公开组合规则下也可被模型重建；设计记忆存储时不要保留可组合的敏感片段。
Atlas：长周期 Agent 轨迹的理解与复盘
🧭 长程 Agent 轨迹可视化与复盘
Allen Institute for AI · University of Washington
用轨迹树和产物投影，把长程 Agent 运行表示为目标-决策-产物三层，提升决策透明和复盘效率
📌 工作参考价值（4 点）
- 在电商/广告 Agent 流水线（选品、投放策略、搜索 query 生成/改写）中，不仅记录最终产出，也记录 trajectory tree 的决策节点：采取的、搁置的、排除的方向和理由，便于事后审核与调优。
- 借鉴 artifact projection：对同一批中间产物（商品候选集、query 候选、广告文案）提供表格/时间线/图等多视图切换，并支持从产物反查产生它的决策节点，降低复盘成本。
- 把“决策透明度、artifact 可理解度、与业务目标的关联”作为 Agent 产品验收指标；Atlas 的 goal/decision/artifact 框架可迁移为“业务目标-策略决策-候选产物”。
- 交互上，用可展开的 branching tree 做运行回放，比线性日志更能暴露 Agent 在长程任务中的错误分叉或过早排除选项。
保守元代理搜索：非平稳环境下的架构自适应
🧭 元代理架构搜索与在线自适应
CMAS通过保守提升、切换成本与风险约束降低在线架构搜索的回归与成本，在96个流上优于最强自适应基线
📌 工作参考价值（4 点）
- 在线架构变更采用“影子回放”评估：用共同随机数重放历史流量，对新旧架构计算配对分数，能显著减少评估噪声，适合在电商推荐、广告投放等延迟反馈场景中做 A/B 测试前的离线消融。
- 提升门槛加入方差惩罚和切换成本：只有显著优于现任方案才允许上线，避免频繁替换导致系统不稳定。可直接借鉴到电商 Agent 工作流的组件升级策略。
- 模拟金丝雀阶段与自动回滚：小流量试运行并预设指标阈值，失败自动回滚，降低线上风险。适合部署生成式推荐或广告文案生成等高风险模块。
- 当新增组件不贡献价值时收缩到最小有效团队，定期剪枝，可减少推理成本与维护复杂度。
贝塞尔引导自适应流用于跨域序列推荐
🧭 跨域序列推荐 · 贝塞尔流
Anhui University, China
提出 BGAFlow，结合 LLM 共享语义空间与个性化 horizon，用条件贝塞尔曲线和残差流实现跨域兴趣状态自适应迁移
📌 工作参考价值（4 点）
- 跨域迁移不要用全局对齐，可按用户兴趣重叠度估计个性化 horizon 控制迁移强度；电商跨场景（短视频→货架、直播→商城）可借鉴，避免向低重叠用户注入无关表征。
- 用 LLM 推断用户画像来辅助双域共享语义空间预训练，适合冷启动和少行为用户；工程上可把 LLM 画像向量作为跨域 embedding 初始化的辅助特征。
- 贝塞尔曲线 + 残差流提供了一种可学习的平滑轨迹约束，可尝试把用户多会话兴趣漂移建模为带控制点的状态演化路径，而不是离散的状态转移。
- 轨迹正则化能抑制跨域学习中的噪声和突变，在多域推荐/多任务学习中可作为稳定的域间表示约束。
BeNice!：通过 KV 共享弥合循环架构推理内存差距
🧭 LLM 循环架构 · KV-cache 共享
University of California, San Diego · Together AI
用随机深度预训练加末层KV广播后训练，实现循环模型跨层KV共享且不掉点
📌 工作参考价值（4 点）
- 部署 LLM 作为长用户行为序列编码器或生成式推荐 backbone 时，如果采用 looped/weight-tied Transformer，KV cache 不再随循环次数线性占用显存；BeNice 的末次循环 KV 广播 + 首次循环适配可作为低显存长上下文推理方案，适合 Agent 长会话和超长商品描述场景。
- 两阶段思路可迁移：想要模型获得 KV-shareability，不是直接微调，而是在（继续）预训练中引入 stochastic depth / 随机层丢弃，让残差路径收缩到近似固定点；否则同结构不同初始化可能不具备共享性质。
- 后训练可以保持不变原模型主体，只训练首次 recurrence 对末次 KV 的兼容层（或轻量适配器），避免破坏已收敛表示；这与 MLA、GQA、Kimi delta attention 以及 fp8/nvfp4 等量化方案可叠加，可直接纳入现有推理优化 stack。
- 若当前线上不是 looped 架构，建议先把该特性纳入生成式推荐 / Agent 长上下文模型选型：循环 backbone 的参数效率高，但需配套 KV 共享/压缩能力才能获得端到端低显存收益。
编码 Agent 的自适应技能粒度：运行时路由与宏到微恢复
🧭 Agent 技能粒度自适应与恢复执行
Shanghai Jiao Tong University · Kuaishou Technology Co., Ltd. · University of Warwick
将技能粒度作为条件化动作抽象策略，通过特征控制器与宏到微恢复提升编码 Agent 鲁棒性
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 工作流中，把“宏技能”（如一次生成完整推荐理由+商品卡片+优惠文案）与“微工具”（分别调用召回、排序、文案模型）纳入同一路由策略，根据 query 复杂度、用户状态和上下文选择执行粒度；若宏技能失败或不符合预期，自动降级到微工具补齐，避免整链路失败。
- 可借鉴其 feature-based 控制器思路：不依赖 LLM 做每个步骤的粒度判断，而是用用户/任务/状态特征（如 query 长度、类目数、历史是否出现矛盾信号、置信度）训练轻量分类器或规则，决定走宏模板还是微调用，降低延迟和成本，适合高 QPS 电商搜索/推荐消息场景。
- 引入有限状态执行器和显式的 transition correctness / route match 过程指标，对业务 Agent 做可观测、可回滚的执行管理；在 push 文案生成、搜索 query 改写等场景中，可以跟踪“宏采纳率”“失败恢复率”来评估系统鲁棒性而非只看最终转化。
- 局限：论文面向 coding agents，缺少电商语料和在线指标；迁移时需重定义技能库和 verifier，但执行抽象与回退机制可复用。
CARL：聊天辅助强化学习
🧭 LLM 辅助 RL 规范工程
Santa Clara University · Franklin Templeton
通过人机协同的十步规范工作流与自主工具循环，解决 RL 的规范与性能差距，避免奖励黑客和状态混叠
📌 工作参考价值（4 点）
- 在推荐/广告的强化学习项目中，reward hacking 与状态混叠是常见翻车点。可借鉴 CARL 的“先交互式确认 MDP + 奖励项权重，再生成训练代码”流程，让业务专家在建模前明确状态、动作、约束及多目标权重，减少上线后目标漂移。
- LLM 助手 persona + 步骤级 skill files 结构能引导非 RL 背景的业务/产品参与 RL 任务规范，适合内部自动化建模平台；紧凑决策摘要可跨迭代保留业务约束，避免长对话上下文过载，可直接复用到多轮需求澄清工具。
- 自主工具循环（生成-测试-调试）加训练后诊断重访，适合封装成半自动 RL pipeline 工具，把算法工程师从工程实现中解放出来，聚焦奖励设计与业务验证。
- 论文示例偏金融/控制，但工作流与 persona/skill 机制可迁移到电商强化学习系统的策略调试与参数治理。
测试时记忆演化能否在科学发现中超越测试时训练？
🧭 测试时记忆演化替代权重更新
UC Santa Barbara · UC Berkeley
提出TTME：不更新权重，通过外部记忆持续沉淀经验指导后续发现，性能优于TTT且算力降八成以上
📌 工作参考价值（4 点）
- 在电商/广告的 Agentic 搜索、选品/文案迭代场景，可用“外部经验记忆”替代线上微调：把每次 query/候选/收益反馈写入可检索 memory，后续推理时检索相似案例，避免在线权重更新和灾难性遗忘。
- 具体实现可借鉴 TTME：把成功/失败经验蒸馏成结构化条目（如状态→动作→奖励），用 memory read/write 控制探索；适合低延迟、高吞吐的推荐对话 Agent。
- 计算成本收益可指导工程：类似 Qwen3-8B 规模下，外部记忆方法比在线训练省 80%+ FLOPs、约一半 runtime，适合边缘/实时决策。
- 需注意论文在数学发现任务上验证，迁移到业务前应先在自有任务上对比 TTT、无适应和 memory 方案的收益/复杂度。