Vela：以用户行为作为监督激发 LLM 智能
🧭 LLM 训练 · 用户行为监督 ★ 深度解读
AllSpark Team
用10万用户真实行为构造可见历史/隐藏未来任务微调LLM，同步提升用户理解与通用能力
📌 工作参考价值（4 点）
- 可直接借鉴「可见历史/隐藏未来」的构造方式：把电商/广告日志按时序切分，将浏览、搜索、购买、收藏、负反馈作为可见上下文，用未来购买/点击/广告互动作为 ground truth，自动生成预测式 SFT 数据，省去人工标注。
- 对用户画像摘要、搜索 query 生成、广告文案等 free-form 输出，用 Rubric 类模板 + LLM scorer 做任务特定 criteria 自动评估，例如「证据是否来自历史」「是否避免无据属性」，既可用于离线评测，也可作为训练信号。
- 用基座模型多次采样估计难度，只保留 0.2–0.8 中间难度任务，再选高分轨迹做 SFT/RFT；这套筛选在 AdRecommendation、ProfileSummary 等任务上带来稳定 OOD 提升，成本低，适合业务个性化模型训练。
- 先做用户行为 SFT 再做 RL，比从基座直接 RL 高 7.7 分；在电商/Agent 的 RLHF/GRPO 流程前，可先加入一批行为监督 SFT，作为个性化能力的更强初始化。迁移时需按业务事件 schema 重新设计模板，并注意行为数据隐私合规。
WEB$HELL：面向智能体网页访问的统一接口
🧭 Agent 网页访问统一接口设计 ★ 深度解读
Yonsei University
提出统一网页访问接口 WEB$HELL，将网页信息与动作编译为可寻址对象并持久缓存，以更低成本在搜索/导航/深度研究任务上全面领先。
📌 工作参考价值（4 点）
- 电商购物 Agent 可将商品列表、筛选器、分页、详情页编译为统一对象；grep 定位到“价格”“尺码”等文本时，通过 association 直接关联可执行的 action address，避免反复解析 DOM 和多工具切换。
- 复用 WEBCACHE 思路：保存页面快照并按 page address 引用，状态变化后生成新版本、旧版只读，适合比价、购物车修改前回看等长程多步任务；工程实现可仿照 addressable cache。
- 优先用确定性 HTML 语义规则而非模型推理做页面编译，针对 select/option/label、a、table 等电商高频元素设计 constructor，成本可控且响应稳定。
- 评估 Agentic web 任务时不要只看 success，应同时跟踪 turns / input tokens / cost；搜索+浏览器+文件系统的简单混合不一定提升效果，统一接口往往更划算。
X-AgentRed：针对多服务生态下个人代理的自演化红队框架
🧭 Agent 安全红队 · 工具依赖图
Meta Reality Labs Research · Meta Superintelligence Labs · Meta · FAIR at Meta
构建工具依赖图并利用执行反馈迭代扩展，系统性发现跨服务有害工具调用路径，显著超越STAC
📌 工作参考价值（4 点）
- 可借鉴工具依赖图构建：梳理电商 Agent 中所有服务工具的 effects（如优惠券领取、订单取消）、harms（资金损失、隐私泄露）与 preconditions，得到有向图，用于测试组合错误，尤其跨服务如搜索推荐 + 购物车 + 支付。
- 执行反馈闭环：把尝试执行失败的路径反馈给红队生成器，替换等效工具或细化前置条件，更有效地暴露长尾安全漏洞，适合集成到 Agent CI 红队流程。
- 用图采样 recipe 而非直接 LLM 生成，能避免模型对常见工具组合的偏好偏差，提升对隐蔽组合的覆盖；电商广告场景可用来检测跨工具异常链路（如优惠券叠加导致价格错误）。
- 该方法不依赖具体模型，与 STAC 对比提升 1.77x 有害路径率和 2.99x 工具覆盖率，可作为思路引入多服务 Agent 上线前安全评估。
学习在何处注入新用户轮次以重定向 LLM 推理自纠正
🧭 LLM 推理自纠正 · 干预位置学习
KAIST
UPTURN 用 130K 参数头学习失败推理的干预位置，以新用户轮次注入纠正指令，无需微调即提升数学推理准确率
📌 工作参考价值（4 点）
- 在对话式推荐/搜索 Agent 的 multi-step 推理或工具调用失败时，可训练轻量 MLP 头（冻结 encoder）从若干候选 step 中选一个「重试起点」，只保留前缀、重新生成后缀，避免整轮重跑；该头只以最终任务成功（如是否下单/点击）做弱监督，不需要过程标注。
- 干预时把纠错指令作为新的 user turn 注入，而不是拼在原生成文本里 inline 注入；在固定生成预算下，角色转换更容易改变模型后续生成分布，这对包含 system/assistant/user 轮次的搜索推荐多轮对话尤其适用。
- 该框架与现有 RL（如 GRPO）和 self-correction 正交，可在强化学习后的 policy 上叠加，作为推理时纠错模块，适合业务中不重训大模型、只加小模型控制干预时机的低风险上线方式。
- 但注意其训练信号只有 final-answer correctness，对没有明确二元成功信号的推荐场景（如点击/转化稀疏）需要重新设计 reward，迁移价值主要在「何时重试」的选择器+「新 user turn」重定向技巧。
训练具备潜在内在反馈的用户仿真器
🧭 用户仿真器 · 内禀奖励多轮RL ★ 深度解读
Google Research · Georgia Institute of Technology
提出带潜在评估状态的用户仿真器，同时生成用户话术与逐轮评分，用于多轮RL训练助手并省一半以上算力
📌 工作参考价值（4 点）
- 在导购/客服 Agent 做离线 RL 时，可把用户模拟器输出结构化为「下一轮用户消息 + <eval> rating/feedback」，用 rating 直接当逐轮 reward，省掉外部 LLM-as-judge。文中 RL 计算量从 5.48e19 降到 2.45e19 FLOPs，约省 55%，且满意度不降反升（41.44% vs 41.08%）。
- 用真实聊天日志构造 simulator：用大模型对历史会话补标 latent eval 和 intent，再 SFT 小模型，比直接 prompt 大模型 roleplay 更真实、评分更接近真人。适合在电商客服/导购数据上复制，得到可控制、可复用的仿真环境。
- intent 条件化值得做：把用户高层意图作为 system prompt，提升反馈行为可控性，便于按场景（如“找一款送父母的蓝牙耳机”“售后问询”）生成特定仿真任务。
- 若只需要低成本 reward，可简化 LES 只保留 Rating；代价是文本 realism 下降。想要更真实话术，需加入 Internal_Thought/Feedback 等语言型子状态。另外注意反应类不平衡：WildChat 中 Praise 仅占 1.26%，Critique 约 14.15%，训练 reward 或分类时可能需要重采样。
语言模型何时该弃权：策略学习与校准答案选择
🧭 LLM 弃权策略与答案选择校准
CICATA Qro., Instituto Politécnico Nacional, México · Facultad de Informática, Universidad Autónoma de Querétaro, México
在 Qwen3-14B 事实问答上，独立答案选择器比模型置信度过滤显著提升效用，但跨数据集可靠弃权仍未解决
📌 工作参考价值（4 点）
- 在业务中若想让 LLM 客服/导购助手“不确定时闭嘴”，可以优先训练一个独立的答案选择器（用模型置信度、问题难度等特征），而不是直接微调生成策略；论文显示选择器比直接对模型概率做阈值过滤更稳定。
- 奖励设计要显式惩罚错误答案，避免只用正确率：若错误和弃权得分相同，模型会倾向乱猜；引入较大错误惩罚能改变弃权行为。
- 上线前务必在目标分布上重新校准：论文中 TriviaQA 有效的方法在 NQ-Open 上仍低于“全部弃权”，说明弃权策略跨数据域泛化差，不能拿一个公开基准的阈值直接用于电商/广告流量。
- 对推荐/生成式场景，可以为每个生成结果同时输出 confidence 或单独跑一个弃权打分器，只展示高于阈值的推荐理由、商品知识回答，降低事实错误带来的负面影响。
语言模型能玩维基百科游戏吗？
🧭 LLM 信息检索导航能力评测
The Alan Turing Institute
构建大规模本地维基与引文图，评测 LLM 跨语言/跨领域导航检索，最佳模型与人类相当但未超越
📌 工作参考价值（4 点）
- 借鉴 Wikipedia Game 评测框架，用本地构建的商品/内容链接图（如商品详情页关联、类目树、百科内链）替代依赖外部 API，低成本评测 LLM 在业务知识图谱上的多跳导航与检索能力，提前发现跨类目/跨语言失效模式。
- 在选型 LLM 做检索或 Agent 路径规划时，不要只看平均分：模型在不同语言/话题下排名会反转，业务上应按店铺类目、搜索语言分别评测，针对性部署或路由。
- 把 TF-IDF 和人工导航成功率作为双 baseline：当 LLM 只是“与人类相当”时，适合做辅助或候选生成，不建议完全替代人工；工程上可设置阈值或 human-in-the-loop 校验。
- 若构建商品/论文/类目大规模图并导航，可复用该工作已开源的 Wikipedia 与 OpenAlex 图构建代码，作为本地 RAG/GraphRAG 的路径探索与评测数据集。
只能打分的特权教师无法搜索：面向推理的批判条件化在线自蒸馏
🧭 Critique-conditioned self-distillation 用于推理错误定位 ★ 深度解读
Fin.ai · Dublin City University
证明参考解条件化的在线自蒸馏信号无法定位错误，提出先批判后条件化打分，使 token 级监督具有纠正性
📌 工作参考价值（4 点）
- 在稀疏奖励场景（如 RLVR 只有最终结果正确/错误）中，若一组 rollout 全部失败，group advantage 为零，可以借鉴 critique-conditioned 思路：先让模型对失败轨迹生成错误定位与解释，再以此作为额外上下文让 teacher 打分，获得 token 级纠正信号，解决冷启动和长尾问题。
- 验证了"定位错误是搜索问题，生成才能搜索"：在 Agent 多步决策、多轮对话等复杂任务中，单纯用参考解或最终状态做 reward model 可能无法提供有效信用分配，可以考虑增加一个 critic 生成 critique，将生成结果作为 reward model 的额外输入，提升对错误步骤的敏感性。
- 训练成本可控：用学生自己生成 critique（self-critique）仅增加 6% step time，但效果接近 oracle critic（OOD accuracy 0.593 vs 0.606），说明在计算预算有限时可以采用 self-critique 方案，且 quote 和 reason 的解耦（quote 负责定位，reason 负责纠正）值得在 prompt 设计或模块拆分中参考。
- Test-time 修复：将 critique 作为上下文插入 rollout 的截断处，可让模型回溯并纠正错误，在解决不了的问题上提升采样成功率（4.3%→9.3%），该思路可用于推荐对话系统或 Agent 执行失败后的自动修复。
专家学习更快：预训练知识组织塑造更新效率
🧭 预训练数据组织与知识更新效率
University of Rochester
发现按时间顺序预训练得到的专家模型获取新知识所需更新步数远少于随机顺序训练的通才模型，并提出可预测的预训练数据组织策略
📌 工作参考价值（3 点）
- 对于需要频繁更新知识的场景（新品冷启、新类目/实体词、实时政策词），可以尝试将近期数据按时间顺序组织进行增量预训练或微调，获得“专家”特性，使后续通过 LoRA、模型编辑等方法更新时收敛更快、所需样本更少。
- 为防止对历史知识灾难性遗忘，采用“近期时间顺序数据 + 少量历史重放/锚定样本”的混合组织策略；论文给出的策略在保留稳定历史知识的同时增强当前知识更新效率，可作为推荐/排序模型持续学习中的样本回放设计参考。
- 知识更新成本可通过优化动力学预测，实践中可建立小规模探针实验，评估不同数据排序（时间、类目、热度等）对后续更新效率的影响，选择适合业务的数据组织方式，而不是默认随机 shuffle。
自适应 DHiSparse：负载自适应分层 KV 上的投机解码
🧭 长上下文 LLM 推理 · 分层 KV 投机 ★ 深度解读
Umans AI
把 DSpark/DFlash2 投机解码接入分层稀疏 KV，并用可回收 optional residency 随负载调整 GPU 驻留，显著提升长上下文吞吐
📌 工作参考价值（4 点）
- 长上下文 Agent / LLM4Rec 场景：不要全量 resident 或全量 offload，用「固定 hot cache + 可回收 optional history」；低负载多驻留 GPU，高负载按整请求回收，host 永远有备份，能同时保吞吐和并发。
- 接入投机解码时，draft KV 用窗口 ring 限制大小，按 W + Kmax 加 page 对齐分配；验证阶段多个 query 的 top-k 选择做 union 去重，同一 miss row 只 host copy 一次，本文中可减少约 29% fetch。
- verification staging 按 live layer group 复用，而不是给每层分配；GLM 78 个 payload 层只留 4 个 arena，staging 从 24.0 GiB 降到 1.23 GiB，这对多 query 验证和长上下文服务非常关键。
- 调度上可用式(13)判断投机是否划算：当 speculative 与 non-speculative 的 active session 比低于 TPOT 改善比时，投机不再增加吞吐，应动态收窄 block 或关闭投机，避免高负载下白白等待 slot。
AgentSWE：编码智能体能构建你真正想要的智能体吗？
🧭 评估编码代理构建智能体的基准
Beijing Academy of Artificial Intelligence · Institute of Automation, Chinese Academy of Sciences · Renmin University of China
提出 AgentSWE 基准，覆盖智能体开发三阶段，揭示编码代理构建的智能体与真实需求存在普遍差距
📌 工作参考价值（4 点）
- 评估用 LLM 构建的搜索/推荐/Agent 流程时，不要只看开发者演示或少量示例；要留出 held-out 测试集，用需求衍生的硬性 pass/fail 门禁替代主观评分，防止模型过拟合可见案例。
- 在生成式推荐或 QueryRec 中，若用 LLM 生成 Semantic ID 或 query 文案，可借鉴「需求衍生 rubric」思路：将业务需求拆解为可自动判定的行为测试，覆盖长尾场景，而不是只优化离线指标或人工抽检。
- 工程验收时，需检查 Agent 交付物的运行时是否真实执行，不能只看代码结构完整；类似地，RAG 或搜索 Agent 要验证工具调用是否确实发生，避免出现「空壳 pipeline」——代码看似完整但实际不产出有效行为。
- 对于优化类任务，目标应使用源基准自身指标，而不是 Agent 自报的完成度；在电商 Agent 迭代中，可将转化率、响应延迟等业务指标作为唯一优化目标，防止 Agent 生成表面合理的中间结果。
AI智能体能否登顶？长程游戏竞赛中的对抗式启发式学习评估
🧭 Agent 在对抗游戏中的长周期自我改进
Department of Computer Science and Technology, Tsinghua University · College of AI, Tsinghua University
提出 AHL 范式与 AAArena 基准，评估 LLM 智能体在 12 个对抗游戏中通过选对手、分析回放和改策略爬升排名
📌 工作参考价值（4 点）
- 可借鉴 AHL 的“固定模型权重、让 LLM 作为教练从对局/日志回放中提取规则并修改策略代码”的闭环；在推荐/广告场景可让 LLM 定期分析线上 bad case sessions，产出可解释规则或轻量策略补丁，而不直接改动模型，降低上线风险。
- 论文发现 opponent selection 支持策略提升；对应推荐里困难样本/对抗样本挖取，让 agent 优先复盘高价值失败流量（如高竞价失败、低转化但高曝光），提升迭代效率。
- dense feedback 支持改进；在设计 RLHF/策略迭代时，除了最终指标（GMV/CTR），给 agent 中间步骤奖励或分阶段反馈，避免长程稀疏奖励导致学习困难。
- on/off-policy 回放都有效：线上策略迭代可以同时利用自己的日志（on-policy）和竞品/他组日志（off-policy）做分析，尤其冷启动期可借其他方案数据。
被引用却未被咨询：法律思维链忠实性的反事实审计
🧭 CoT 忠实度反事实审计与红队评估
Lexsi Labs
反事实替换法律依据并解码隐藏状态，发现LLM命名法规与判决实际依赖严重脱节，且易受对抗指令操纵
📌 工作参考价值（4 点）
- 在推荐/广告场景让 LLM 生成推荐理由时，别把“提到某个特征/商品属性”当作模型真的基于该特征决策的证据；可借鉴反事实替换：把解释中提到的关键依据换成相反/无关项，看输出 item/排序是否改变，量化理由忠实度。
- 用隐藏状态探测/线性探针监测模型在生成解释前是否已定下答案，评估“解释是事后再找理由”的程度，对应生成式推荐解释是否只是装饰。
- 注意对抗指令注入：用户评论、商品描述、query 中可能隐藏指令，LLM可能高度顺从；在电商搜索/客服 Agent 场景要增加输入过滤和角色边界约束，尤其是生成推荐理由或审核决策时。
- 工程上，合规/审计所需的推荐或风控决策，不应以自然语言理由作为可靠审计日志，应记录底层特征、模型分数等结构化信号。
超越领域路由监督：多教师在线蒸馏的跨教师守护
🧭 多教师在线蒸馏梯度冲突缓解
Nanjing University · JD.com
提出 ROADMOPD，引入非路由教师作为跨域批评者，通过 token 级信用分配与梯度投影缓解多教师在线蒸馏的梯度冲突
📌 工作参考价值（4 点）
- 在多领域/多任务 LLM 在线蒸馏或 RLHF 中，不要只靠数据路由区分教师；可在同一批轨迹上额外计算非路由教师的梯度/损失作为冲突检测器，用教师一致性加权 token 级损失，低成本缓解共享参数下的梯度冲突。
- 梯度投影是可复用的训练工程技巧：当辅助梯度与主梯度方向冲突时，对主更新做投影去除冲突分量；但落地时应自适应控制投影强度，避免过度约束损害目标域信号，可参考其投影强度的门控/衰减机制。
- 若业务中需同时蒸馏多个领域专家（如电商搜索、推荐文案、客服），可借鉴“跨教师守护”思路：把非目标域教师作为 critic，不直接更新学生，只参与冲突感知的梯度修正，降低劣势领域退化风险。
- 对于 token 级信用分配：利用教师间一致性而非单教师概率来调整 token loss 权重，能减少噪声标签/风格差异带来的干扰，适合生成式推荐中文本质量与领域风格冲突的场景。
ClawLoop：基于 Harness 原生训练闭环的自改进 Agent 框架
🧭 自改进 Agent 训练闭环 · Harness 原生任务合成 ★ 深度解读
Meituan · Peking University
无外部教师模型下，通过任务合成-训练-诊断闭环实现 harness agent 自改进，并迁移到小模型
📌 工作参考价值（4 点）
- 任务合成用可执行 generator 直接产出环境、答案 key 和 answer contract，避免让 LLM 直接生成答案；电商/搜索场景构造模拟任务（订单聚合、库存核对、报表生成）时可借鉴“生成代码而非标签”，把隐含业务规则写成 skill/contract 文件，确保 reward 可验证且不泄漏。
- SFT 阶段只对 agent action token 计算 loss，mask 掉环境观察 token；多轮 agent 训练中商品详情、日志、工具输出往往很长，不做 mask 会主导梯度，这个 trick 可直接复用。
- RL 用 GRPO 时引入 admission band [N_l, N_h] 只保留当前策略通过率居中的任务，太难或太易都不产生 advantage；推荐/对话策略的自我博弈或课程学习可以按通过率过滤样本，动态保持训练信号密度。
- 诊断反馈闭环：让模型自己总结失败轨迹并聚合 failure patterns，驱动下一轮任务生成；可用于 query 改写、Agent 规划失败归因，自动生成针对性补强数据，不依赖人工分析。