EMO：交替上下文优化与 logits 引导的闭环测试时计算框架
🧭 测试时计算 · 上下文优化与 logits 引导
Peking University · Samsung Research Beijing
训练免费的测试时框架 EMO 交替进行上下文估计与 logits 引导，平均提升 9.1 个百分点。
📌 工作参考价值（4 点）
- 在电商文案/搜索 query 生成等场景，可复用 EMO 的闭环测试时优化：用在线反馈或 LLM 评判器生成文本梯度，仅更新任务上下文提示而不微调模型，快速适配热点词、活动规则或用户意图变化。
- M-step 的 logits 对比修正思路可借鉴为轻量级生成控制：在同一 prefix 下对比“优化后上下文”与“旧上下文”的 next-token 分布，得到方向向量后对输出 logits 加权，类似 contrastive decoding / classifier-free guidance，无需额外训练，适合控制推荐理由或广告标题的风格/关键词偏向。
- 结果提示测试时算力分配：候选生成 + 验证/选择优于单纯增加 best-of-N 采样数量；成本敏感的生产环境可优先用更少候选 + 更强验证器，而不是堆采样数，尤其对 Llama 等模型效果更明显。
- 对 Agent 类系统有借鉴：外部评判器的文本反馈可作为上下文更新信号，让 agent 在多次交互中自我修正，无需访问 ground truth；但需额外日志与延迟预算，适合离线批处理或准实时场景。
EvalResearchBench：让 AI Agent 自主设计评测反馈，支持递归自我改进
🧭 AI Agent 自动化评测设计 ★ 深度解读
Oregon State University · University of California, San Diego · Pennsylvania State University · AG2 AI
首个系统评估 AI agent 在固定预算下自主设计、迭代并冻结评测器的基准
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐场景中，如果已有一套昂贵的线上 A/B 或离线评估集（如用户满意度、转化率、长期留存），可以借鉴 ERB 的思路，让一个 LLM agent 用固定预算从已有标注/日志中挑选或合成一个小而精的「代理评测集」，通过 pilot 迭代修正 grader 和权重，再用 sealed 候选模型验证其排序能力。
- 评测器的构建成本与执行成本要分开账本管理：研究/开发预算和最终评估预算独立，防止 agent 在思考阶段消耗光测试资源。在业务中可对应「离线实验预算」和「在线评估配额」的隔离。
- 关注 aggregation 的权重设计：Grok 的案例显示，按 development 候选排序拟合出的权重可能严重依赖少数几个高分题目，导致有效信号被稀释；用 equal weight 重新计算后 Score 明显提升。业务中设计离线离线指标加权时，应避免过度拟合历史模型的排序，定期用新模型反查权重是否稳定。
- 题目数量对评估一致性和稳定性有直接影响：从 10 题到 90 题，Score 均值上升且方差下降。若业务要做轻量级模型评估，建议保证每 domain 至少 30-60 个有区分度的样本，否则容易高估/低估某个模型。
分歧引导的弱到强路由
🧭 弱模型到强模型路由 · 无监督分歧信号
University of Pennsylvania
提出用模型间分歧信号做无监督弱到强路由，无需正确性标签即可在成本与准确率间权衡
📌 工作参考价值（3 点）
- 在电商搜索推荐或 Agent 工作流中，小模型常用于低延迟生成 query 改写、推荐理由或工具调用；当输出不确定时需路由到大模型。可直接借鉴：让弱模型生成多个候选（如采样多个 query/理由），再用强模型对候选打分或比较，弱模型候选分布与强模型偏好分歧大则路由，避免依赖用户反馈或人工标注。
- 多候选 + 分歧路由可作为默认路由信号：比较弱模型自身多个响应与强模型判断的一致性，无需训练正确性预测器，部署简单，特别适合开放域文本生成和 agentic 任务，能显著降低大模型调用成本。
- 实验结论表明，即使有 ground-truth 正确性标签可用于训练路由器，基于分歧的路由也能超越直接拟合正确性的方法。因此在业务中可优先采用无监督分歧信号，或将其作为特征加入有监督路由器，提升泛化能力。
GACC-Bench：评估大语言模型目标自适应上下文压缩能力
🧭 LLM 上下文压缩评估基准
Fudan University · Huazhong University of Science and Technology · JD.com · Harbin Institute of Technology · The Hong Kong University of Science and Technology (Guangzhou)
提出 GACC-Bench 基准，评估 LLM 在给定高层目标下压缩长上下文时保留目标相关信息的能力，发现与完整上下文仍有显著差距
📌 工作参考价值（4 点）
- Agent 长会话上下文压缩：在电商导购、客服 Agent 等长对话场景中，压缩上下文时显式传入当前用户意图或任务目标，能显著提升压缩后的信息保留质量，减少 token 成本。
- 压缩评估方法可复用：采用“固定 reader + 同一压缩上下文回答多个问题”的评估方式，能更真实地衡量压缩是否保留了目标相关的多角度信息，而非只看单一问答准确率。
- 目标相关性约束：目标引导压缩优于无目标压缩，而错误目标会降低性能，说明业务中需确保压缩时的目标描述与实际下游任务一致，避免引入噪声。
- 多目标分组评估：将同一上下文下的多个问题按共享目标分组，可以检测压缩是否遗漏某个目标维度的信息，适合用于诊断生产环境中压缩策略的薄弱环节。
改进环境无关编码智能体：脚手架的作用
🧭 Agent 脚手架与自主控制权衡
SingularityNET
仅改变指令鼓励报告困难并自动继续，环境无关编码智能体在 ARC-AGI-3 和 AGI Maze 上得分提升，但专用脚手架仍有优势
📌 工作参考价值（5 点）
- 环境无关脚手架与专用控制器解耦：将通用工具（shell、文件系统、上下文管理）与领域特定控制逻辑分离，便于在电商推荐 Agent 中复用通用层，只替换业务控制层，降低跨场景工程成本。
- 引入“报告困难 + 自动继续”机制：在购物助手或搜索 Agent 中，可要求模型在不确定时主动返回控制权，由外部脚本决定重试、换策略或退出，减少死循环和无效调用，提升任务完成率。
- 把重置/重试等关键决策固化到控制器：实验显示脚本化 controller 遵循已有约定能恢复部分专用 agent 优势；在推荐流程中，可将“重置会话、切换召回策略、回退规则”等决策从模型手中剥离，保证行为可预测。
- 警惕教程/Few-shot 过度设计：额外教程经验可能降低性能，提示在构造推荐 Agent 的示例或指令时需做严格消融，避免冗余示范干扰模型。
- 关注 token 成本与性能的权衡：性能提升伴随更高 token 开销，业务中采用此类自主控制机制前应对比推理成本与收益。
HTN-Orchestrate：面向多智能体编排的分层任务网络框架
🧭 多智能体编排 · 分层任务网络规划 ★ 深度解读
Nanyang Technological University · Apodex
两层 HTN 解耦全局规划与局部多智能体执行，结果驱动增量分解与重建，在多个 benchmark 超 Agent Team
📌 工作参考价值（4 点）
- 长链路电商/广告调研任务改造成双层 HTN：上层 Planner 只维护任务树和 sibling prerequisites（例如“先锁定竞品列表/人群画像 → 再生成文案/定价策略”），不要把整个 campaign 静态拆完；把满足 Ready 条件的叶子交给局部 Orchestrator，减少全局单点规划误差。
- 结果驱动分解，别一开始拆全量：对依赖前置结果的节点，等前置返回成功证据后再展开下游 prompt/worker；这能减少无效检索和 token 成本，论文消融显示可降低 worker invocations 和 Orchestrator rounds，同时精度更好。
- 失败重建带证据，而不是裸 retry：设置 epoch 上限和 CollectEvidence，把已验证候选、排除项、部分结论写入 evidence summary 再重建任务网络；适合搜推中的归因排查、商品信息补全、竞品调研等长链路任务。
- 叶子内多 worker 调度模式可直接复用：局部 Orchestrator 采用 dispatch/wait/finish，支持报告渐进收集、verifier 校验、并发上限和轮次上限，适合需要“并行检索 + 交叉验证”的推荐解释或广告素材生成。
基于随机投影的隐私保护检索增强生成
🧭 隐私保护 RAG · 随机投影
University of Chicago
用随机投影同时处理知识库与查询嵌入，在保持语义相似度的同时缓解数据抽取攻击，优于DP方案
📌 工作参考价值（4 点）
- 在涉及用户/商家敏感数据的 RAG 场景（如客服知识库、内部文档问答）中，可对 datastore embedding 和 query embedding 用同一个随机投影矩阵降维后再做检索；无需复杂 DP 机制，工程实现简单，还能降低向量维度、省存储与计算。
- 随机投影矩阵可以按租户或定期更换，增加攻击者从泄露的投影向量恢复原文的难度；但要注意它不能替代访问控制与审计，对强背景知识的成员推断攻击防护有限。
- 对电商搜索/推荐中跨团队共享商品或用户行为 embedding 的场景，可以先随机投影再共享，在 cosine/点积检索损失较小的前提下减少原始 embedding 泄露风险。
- 论文表明随机投影在检索与生成质量上优于 DP baseline，可作为轻量隐私基线；若业务需要正式合规保障，仍需结合差分隐私或其他审计机制。
检索到但未读：理解搜索增强 LLM 未利用可用证据的原因
🧭 搜索增强 LLM 的证据利用失败分析
Imperial College London
通过时序事实和分层分析，揭示搜索增强 LLM 常“检索到但未读”，即使有新证据仍输出过时答案并给出不忠实引用
📌 工作参考价值（4 点）
- 在电商/Agent 场景中，价格、库存、促销、政策等事实变化频繁，别把“检索到”当“已使用”。应记录 agent 是否打开详情页/全文；若仅读 snippet，可强制要求先展开来源页并基于全文作答，或把全文放入 context，避免 snippet 偏见。
- 引用可信度：对购物助手/客服回答要求逐句引用已打开页面内容；用 citation faithfulness 校验（如 NLI）拦截“答 A 引 B”的回复，尤其对有时效性的事实。
- 内部状态与最终答案不一致：即使模型隐层已表示新证据，最终仍可能偏向旧参数知识。可在 prompt 中显式对比“当前日期/最新数据”与模型先验，要求输出依据；或对关键时效属性做规则/缓存覆盖，不依赖 LLM 自己纠偏。
- 评测方法：构建训练截止后变更的“(实体, 属性, 旧值, 新值, 生效日期)”事实集，模拟商品改价/上下架/政策更新，用于回归测试 agent 的时效性和引用忠实性。
可控数据升格 + 联合 RL/在线蒸馏的长程多模态搜索智能体
🧭 多模态搜索 Agent 训练 ★ 深度解读
Peking University · HKUST(GZ) · Tsinghua University · The University of Hong Kong · Huawei Cloud BU
用可控问题升格与联合 RL/在线蒸馏，把易题变难、难轨迹变可学
📌 工作参考价值（4 点）
- 可复用的问题升格框架：Expand/Blur/Visualize 把已有简单 VQA 或搜索日志升级为长链、实体消歧、跨模态证据任务；电商场景可把“这是什么商品”改写成多跳品牌/历史/场景链，并要求买家秀或商品图反搜验证，提升训练数据难度。
- 难度与质量双筛选：先用直接答案探针过滤参数化捷径，再用专家 rollout 的 Pass@k 评估难度并分池；业务上可先易样本 SFT，再难样本 RL，减少奖励噪声和人工标注成本。
- RL 训练中加入行为惩罚与 token 级 OPD：只对失败或不完美轨迹启用在策略蒸馏，教师信号按 reward gap 加权，并指数衰减 λ；这比纯终局奖励更稳定，适合搜索/推荐 Agent 的 RLVR 训练。
- 监控行为经济性：训练后期 tool call 和 response length 下降但答案奖励不降，说明可先鼓励长程探索、后收紧效率；在线上 Agent 优化中可用同样指标做早停。
KnowGPO：面向搜索 Agent 的知识分组策略优化
🧭 搜索 Agent 强化学习 · 过程奖励 ★ 深度解读
Zhejiang University · Tencent
把搜索轨迹按已满足的原子知识条件分组，用增量知识增益做过程奖励，8B agent 超过多数 32B 开源系统
📌 工作参考价值（4 点）
- 电商导购/客服 Agent 可把多轮对话状态抽象为“已确认的原子约束集合”，例如已确认类目、预算、尺码、场景；每轮新增确认约束作为 incremental gain，按“当前已确认约束集合”分组做组内对比，避免按 query 文本相似度硬聚类。论文显示这种语义分组有效对比步数 ESR 达 97.8%，远高于 observation 相似度的 51.8%。
- 若有转化/成交/收藏等结局 label，可离线把成功会话反向拆成必须确认的知识条件，再用这些条件给失败或中间轨迹构造过程奖励。两阶段构造 pipeline：先生成 placeholder 条件，再用答案和成功轨迹做实体接地，能降低对单条成功轨迹的依赖。
- 过程奖励只需 incremental knowledge gain，不需要 critic 或 learned reward model；verifier 用 LLM 异步执行，可隐藏训练墙钟开销。对预算有限的团队，这比学 reward model 更容易落地。
- 混合 outcome reward 与 process reward 时不要过度偏向 process：论文最佳 ω=0.3，过大会偏离最终转化目标。业务中可优先在 0.2–0.4 内调参，避免多轮 agent 只优化局部信息收集。
扩散语言模型的多目标少样本提示
🧭 扩散语言模型 · 少样本多目标填充
University of Texas at Austin
用扩散语言模型在共享画布中同时填充多个掩码区域，并通过似然比奖励提升少样本示例跟随能力
📌 工作参考价值（4 点）
- 在电商文本结构化改写（如根据 2-3 个示例将商品描述转换成标题+卖点+属性标签等多字段）中，可借鉴扩散 LM 的多目标掩码填充：一次生成多个字段，利用左右上下文约束，比自回归逐 token 生成更连贯且避免重复。
- 选择性掩码+似然比奖励的思路可以迁移到 LLM 解码或 prompt 设计：只对关键槽位计算「有示例支持 vs 无示例支持」的概率比，作为过滤或重排分数，提高生成结果对 few-shot 示例的忠实度，减少随意发挥。
- 在需要格式转换/API 迁移的工程任务（如商品数据批量清洗、旧接口字段映射新接口）中，可以把每个字段当作一个掩码目标，展示少量成对示例后让扩散 LM 同时填充多个目标，减少多步串行生成的误差累积。
- 若团队已在探索生成式推荐中使用 diffusion LM 生成 Semantic ID 或多属性 token，这种共享画布的多目标填充可用来同时预测多个 token（如类目+属性+ID），相互提供上下文。
连续对抗训练增强 LLM 可迁移诚实性
🧭 对抗训练 · LLM 对齐与诚实性
Tara Research · Mila – Quebec AI Institute · Technical University of Munich
CATCH 用数百条自报告场景构造对抗训练对，让 LLM 在压力下保持诚实并跨任务泛化
📌 工作参考价值（4 点）
- 借鉴 CATCH 的构造方法：用 self-reporting 场景生成“有依据 vs 编造”答案对，仅需数百条即可训练模型远离不诚实输出，成本低，适合电商推荐解释、商品属性描述等场景，抑制模型编造不存在的优惠或参数。
- utility data 的选择是保持通用能力的关键：CATCH 在外循环加入 utility 数据防止诚实训练导致能力漂移，优于纯激活引导。在微调推荐对话或 Agent 时，应同时混合正常推荐/通用 QA 数据，避免模型变得“诚实但无用”。
- 对抗训练的内外循环范式（embedding 扰动让错误答案更容易，再更新参数偏好正确答案）比 SFT 更强，可迁移到广告文案生成中防止夸大宣传，或在多智能体场景中减少 Agent 隐瞒信息（如不披露广告属性）。
- CATCH 不增加推理开销，可直接部署到线上推荐 Agent；若已有 activation steering 方案，可考虑替换或叠加，以保持更强 utility。
迈向正确的循环模型：拓扑、输入注入与循环状态设计（第一部分）
🧭 高效循环 LLM 架构设计
Institute of Foundation Models · USC · CMU
系统消融循环LLM的拓扑、输入注入和循环状态设计，证明Huginn架构在稠密和MoE模型上均优于Ouro且参数效率更高
📌 工作参考价值（4 点）
- 循环 Transformer 是低成本部署 LLM 的有效架构：在电商搜索、推荐系统等需线上低延迟、低显存的场景，可采用 prelude–recurrent block–coda sandwich 结构，以相同 FLOPs 将 resident 参数减少约 75%，适合高频更新和边缘部署。
- 把 input injection 看作增强知识检索与上下文利用的专项机制：在做 query 改写、搜索 suggestion、商品描述生成或 RAG-based 推荐时，可专门设计输入注入层，将用户上下文、商品知识等注入循环块，而不用改变整体拓扑。
- 循环状态设计应从简：论文显示 separate H/L recurrent states 和 random initialization 无稳定收益，因此工程实现中不要过度设计循环状态，优先使用简单共享状态和标准初始化，降低实现复杂度。
- MoE 与循环结合可行且路由更均衡：推荐系统的大规模稀疏 MoE 模型可借鉴 Huginn-style loop，用更少 resident 参数维持性能，同时改善专家负载均衡，适合多域/多任务推荐联合训练。
Meta 面向 AMD GPU 的端到端协同设计与高性能 AI 训练
🧭 异构 GPU 训练协同优化 ★ 深度解读
Meta · AMD
通过硬件-模型协同设计、Origami 分析性能模型与 agentic kernel 优化，使 MI350X 在 DLRM 训练吞吐达 B200 的 101%
📌 工作参考价值（4 点）
- 硬件-模型协同设计：若业务有 AMD MI350X 或其他大 HBM 加速器，不要直接移植 CUDA kernel / 模型配置；应利用更大 HBM 扩大 per-GPU batch size、减少 activation checkpointing，并尝试扩大 embedding 表、序列长度或 hidden dim，可同时获得吞吐和模型质量收益（论文报告 20% 提速、>0.1% NE 提升）。
- 用分析性能模型替代离线 autotuning：推荐模型 GEMM 形状多且不规则，Origami 用硬件参数化 tile 模型微秒级选择 kernel，精度达 93%；可将类似思路用于自有训练框架的 kernel 选择或 Triton autotune 配置，避免维护海量 lookup table。
- 把 AMD 多 chiplet 的坑写进 agent skills：atomics 在 MI350X 上高竞争下可慢 10×，应优先用 shared memory 树归约 / 寄存器 cache 替换全局 atomic；把这类优化编码为 agentic workflow 技能，可自动修复长尾 kernel（论文中 JFA 提速 2.3×、端到端 25%）。
- Triton kernel 的硬件适配经验：AMD 64 线程 wavefront 不同于 NVIDIA warp，建议更大的 num_warps、浅 pipeline（num_stages≈2）、用 PID swizzle 改善 L2 locality，并启用 matrix_instr_nonkdim=16 / fast_expf 等；这些可作为跨 GPU 平台的 kernel 调优 checklist。
面向长程智能体强化学习的树感知后验蒸馏
🧭 Agentic RL · 树回溯信用与后验蒸馏 ★ 深度解读
Tsinghua University · Tencent
提出 TreeOPSD，用树回溯信用构建有限目标分布，以 Forward-KL 后验蒸馏替代固定策略梯度，无 critic 地稳定长程 Agent RL
📌 工作参考价值（4 点）
- 多轮 Agent 训练的 rollout 预算优化：initialize-then-expand 用 M 条完整轨迹 + 每个轨迹 N 个前缀分支，在同样 token/工具调用预算下（M=4, N=2 约等于 8 条全 rollout）构造 rollout tree，获得 turn-level 信用；电商导购、售后客服等长程 agent 可直接用这种采样方式，不用改 reward 标注。
- 用有限目标替代固定 advantage 权重，缓解 sequential mini-batch 漂移：把每轮信用映射成伯努利教师 q=1/2+V/τ，再用 Forward-KL 匹配当前 policy 的 sigmoid 后验 p=σ(avg log ratio)；梯度会自动在目标处消失、过冲后反向，可以避免多轮更新中的 policy staleness，适合在线更新频率高的推荐策略。
- 点式 credit 比 listwise centering 更适合多臂/多子节点场景：分支后的父节点下多个有用子节点都应上升，listwise 的 V_c - V_i 会让它们互相抵消；在推荐/搜索的候选生成、多工具调用分支中，可以考虑把树 backup 后的 pointwise credit 直接作为监督信号。
- 长序列 off-policy 更新的数值稳定 trick：用 per-token 平均 log-likelihood ratio 构造 p=sigmoid(s)，避免整条 turn 的 likelihood ratio 指数爆炸；这个做法可复用到长文本/多轮交互的 policy 优化或蒸馏中。