SkillForge：面向项目特定问题解决的自蒸馏 Agent
🧭 Agent 自蒸馏获取项目特定知识 ★ 深度解读
Shanghai Jiao Tong University
通过从仓库自身测试与代码合成 issue 并蒸馏为实体级技能，解决 SWE agent 的项目冷启动问题
📌 工作参考价值（4 点）
- 可复用的架构：离线自蒸馏 + 在线检索注入。电商/广告/推荐 Agent 同样存在“项目冷启动”：新业务域缺乏领域知识。可用仓库测试/日志/历史行为作为监督，先离线合成任务并跑通 Agent 轨迹，再蒸馏成可检索知识，在线时只做轻量注入，避免每次线上任务都重探。
- 双级技能库 + 实体对齐的 JIT 注入。不要把所有知识一次性塞进 prompt。把诊断类知识（模块定位、排障 playbook、关联 API）做全局初始化检索；把干预类知识（修改时的坑、修复模式）绑定到具体实体，Agent 访问对应实体时再注入。这比纯语义相似度检索更精准，能降低上下文噪声。
- 合成任务要“功能级”而不是“单函数级”。只改一个函数往往暴露不了跨模块集成问题。应沿执行 trace 一次覆盖多个协同代码段，合成出来的任务才更接近真实业务故障。
- 知识是模型相关的，跨模型迁移会掉点。如果是电商 Agent，不同底座模型编码偏好不同，蒸馏出的领域知识应尽量与线上推理模型绑定，不要拿 A 模型蒸馏的知识直接给 B 模型用。
SkillGate：训练长程 Agent 的策略内技能选择
🧭 Agent 技能选择 · 信用分配 ★ 深度解读
Shanghai Jiao Tong University · Xiaohongshu Inc.
识别选择器信用饿死问题，分离执行与选择 token 信用通道，将 9B 策略成功率从 40.8% 提升至 53.2%
📌 工作参考价值（4 点）
- 在电商搜索/Agent 场景中，当 LLM 在长对话里选择 query 改写、营销话术或工具时，不要把最终成交 reward 直接广播到全部 token；应将“选择 token”（如 query 或 skill 名）与“执行 token”的 loss mask 分离，避免下游执行失败反向惩罚正确选择（对应论文中 selector credit starvation）。
- 对选择动作构造局部信用：仅当轨迹中唯一选择为 oracle（正确 query/skill）时给 +1，否则给 0，并在同一 prompt group 的候选动作上做 group centering，去掉标准差归一化；这比给整条轨迹加分、或只奖励第一次正确选择更有效（可参考消融表 2）。
- 工程上可用 token span 标注 identity 区域，并在 mask 构建/分片/loss 三处断言两个 credit channel 的 support 不相交；对 selector channel 做长度无关重加权，使每个 credited action 的总权重恒为 N/M，避免长轨迹稀释关键决策。
- 业务上不要过度依赖外部 router/reranker：论文显示路由准确不等于下游成功，训练策略内部选择能力可同时降低交互成本（读更少技能、更少 turn）和上下文成本（按需加载 vs 预加载 k 个候选）。
StagedWorkspace：面向知识工作 Agent 的版本化工作空间
🧭 Agent 工作空间版本管理与状态一致性
Harvard University · Raycaster AI · University of Technology Sydney · University of Washington · Stanford University
提出带版本控制的工作空间，将解析视图与 diff 绑定到文件内容哈希，显著提升知识工作 Agent 的文件编辑与问答性能
📌 工作参考价值（4 点）
- 对于电商/广告场景中需要 Agent 自动生成或修改文档（如商品详情、营销报告）的流水线，可采用内容哈希将解析视图与原生文件绑定，防止 Agent 在异步处理中引用过时版本，确保最终提交一致性。
- 引入 staged edits 与 review diff 机制，让模型在每次修改后看到 diff 再继续下一步；在多轮编辑任务（如广告文案迭代）中能显著减少累积错误，提升最终质量，类似代码 Agent 的版本控制实践。
- 若构建基于 RAG 的知识工作 Agent（如自动撰写商品卖点、审核规则文档），采用 dual parsed/native access：结构化解析用于快速检索，原生文件用于精确校验，可平衡效率与准确性。
- 在评测或监控此类 Agent 时，将 evidence、staged edits 和提交产物作为显式状态转换进行打分，而不是只看最终输出，更能反映真实工作流中的质量。
VA-Judger：面向联合视频音频生成的人类偏好反馈奖励建模
🧭 多模态生成奖励建模 · 视频音频对齐
Fudan University · Shanghai Innovation Institution · Yinwang Intelligent Technology Co., Ltd
构建10K人类偏好数据集与评测基准，提出链式思考全模态奖励模型VA-Judger，通过分维度强化学习对齐人类偏好
📌 工作参考价值（4 点）
- 多模态生成评估中，单一标量奖励容易被 hack，可将评分分解为 prompt match、audio-visual consistency、audio quality、video quality、completeness 等维度，分别评分加总，使奖励更密集、可解释，也便于定位生成缺陷；类似电商广告视频生成可定义画面-文案一致性、卖点覆盖、音画同步等维度。
- 构建小规模人类偏好对比数据时，先让模型在明显差距样本上学习结构化输出，再用拒绝采样对难分样本蒸馏解释，降低人工标注成本；可用于业务中快速训练创意评估模型。
- 奖励模型后训练可采用 dimension-wise RL，把二元偏好分解到各维度，提供更密集训练信号，比只优化全局偏好更稳定；在广告创意 A/B 测试中可对应分维度打分作为辅助 reward shaping。
- CoT 让奖励模型输出各维分数和推理过程，便于线上审计和错误分析，但会增加推理延迟，业务中可在离线评估或数据标注环节使用，在线打分可只取结构化分数。
VisDocAgentBench：面向视觉富文档检索的智能体基准评测
🧭 多模态文档检索智能体评测 ★ 深度解读
Peking University · Alibaba Group
提出视觉富文档检索基准，暴露强静态检索在桥接证据上近乎失效，而工具智能体可恢复但依赖规划器与视觉表示
📌 工作参考价值（4 点）
- 电商/广告搜索中，商品详情页、广告落地页、海报等视觉富文档不能只用 OCR 文本召回；强视觉 late-interaction 检索（如 Nemotron ColEmbed）对直接匹配收益巨大，但面对需要上下文消歧的查询会失效。建议将强视觉检索作为 discovery，叠加 Agent 的迭代检查与证据重排序。
- 同一 index/tool 接口下不同 planner 的 R@1 从 19.17% 到 67.50%，说明单纯接入工具不等于有效检索；应重点优化 planner 的搜索改写、检查策略和最终排序，并利用 trace 诊断失败在 discovery、examination 还是 ranking。
- 页面/图片 inspection 是最大增益点（去掉后 R@1 掉 15.8/21.7 点），因此多模态 Agent 必须保留原始视觉图，不能只用 OCR 文本或 caption；on-demand OCR/crop 可做局部验证，但要平衡全局探索，否则长链路性能会反弹。
- 对需要多跳证据的查询，给 Agent 提供完整 support context 能显著提升 R@10；业务可实现为初期附加候选 support pages 或引入 evidence-role aware 状态，避免模型被表面相似项锚定。
文档嵌入保持调优：统一查询扩展与检索
🧭 LLM 统一查询扩展与稠密检索 ★ 深度解读
Beihang University
通过文档嵌入保持、白化、在线硬负样本与直通解码，实现 LLM 在统一查询扩展与稠密检索中的稳定端到端训练
📌 工作参考价值（4 点）
- 在电商搜索 query 改写/扩展中，可借鉴 DEPT 思路：用同一 LLM 做改写和向量编码，但保持文档侧嵌入稳定，避免频繁重建全库向量索引；工程上可先缓存文档嵌入，微调时只更新 query 侧，上线时直接复用原有向量库，节省推理与索引成本。
- 采用固定白化（whitening）预处理向量空间，缓解 LLM 原始嵌入的各向异性，提升 cosine 检索效果；实践中可以基于已有文档向量估计白化矩阵，训练时保持文档分布稳定，该矩阵可持续有效。
- 直通解码（straight-through）将检索排序损失直接传到生成 logits，可用来优化 query 生成策略，让生成式改写直接以召回/排序指标为学习信号，而非仅文本相关；在线硬负样本挖掘能提供与当前 query 行为匹配的难负样本，提升训练效率。
- 短扩展变体（DEPT-K）用关键词式 prompt 控制生成极短扩展（~9 tokens），在几乎不增加线上延迟的情况下达到接近长扩展效果，适合电商搜索高并发低延迟场景。
无黄金标准标签下 AI 生成数据的去偏推断：基于多重不完美测量的识别
🧭 多不完美标注去偏推断 ★ 深度解读
Massachusetts Institute of Technology
提出 DMM 框架，在无 gold-standard 标签时用多个不完美 AI 标注构建去偏桥函数，实现有效下游统计推断
📌 工作参考价值（4 点）
- 不要把 LLM 标注直接当真实标签做下游回归/指标计算，即使准确率 >90% 也会产生显著偏差；当没有 gold labels 时，可以用至少 3 个不同 LLM/prompt/temperature 输出作为 proxy，基于条件独立性识别真实标签分布并构造去偏矩估计。电商场景可迁移到用户意图分类、商品属性抽取、评论情感打分、广告内容审核等任务。
- 条件变量 D 的设计是关键：把文本 embedding、任务难度特征（长度、模糊度、语言风格）、prompt 版本、模型家族等加入条件集，能缓解不同 LLM 之间由于共享偏差导致的条件独立违背；同时要做条件独立性诊断，而不是默认假设成立。
- 工程实现上，用 cross-fitting + EM 估计每个 proxy 的 class-specific error rate，桥函数采用 pair/triple 多项式组合（3H2 - 2H3）可消除一阶估计误差，使 nuisance 模型只需 n^{-1/4} 收敛速度，适合大规模 LLM 标注 pipeline。
- 监控 proxy 质量：新增一个标注器是否提升效率取决于其条件 bridge variance；如果某个模型准确率太差，可能增大估计方差，应加权或筛选后再加入 DMM。
项目接地与验证把关的 PLC 代码生成 Agent 框架 SemaPLC
🧭 Agent 校验驱动代码生成
Midea AIRC · KUKA · Shanghai Jiao Tong University · Zhejiang University
提出以外部验证为完成条件的 Agent harness，在 PLC 代码生成上运行时得分显著超越基线
📌 工作参考价值（4 点）
- 将任务完成条件从 LLM 自我判断改为可执行的外部 checker（spec 校验、编译、运行时 trace 对比）作为 gate，只有日志确认通过才停止，能显著提升生成质量，尤其在动态运行时指标上。
- 分层验证思路可迁移到推荐/Agent 生成场景：spec 匹配、离线静态检查、线上仿真或 replay 动态评估三层 gate，动态层最能区分方法优劣。
- 项目 grounding 做法：给 LLM 提供完整项目树、接口定义、技能库等结构化上下文，而不是孤立生成，电商推荐中可类比为提供商品图谱、用户序列、业务约束等上下文。
- 动态评测比静态打分更能暴露问题，建议在推荐 Agent 或生成式推荐评估中增加线上仿真/真实 A/B 指标，避免只看离线静态分。
写、执行、精炼：通过执行反馈强化学习训练技能优化器
🧭 Agent 技能优化训练 · 执行反馈强化学习 ★ 深度解读
Harbin Institute of Technology, Shenzhen · The Chinese University of Hong Kong · MoE Key Laboratory of High Confidence Software Technologies · Harbin Institute of Technology, Harbin · Huawei Technologies Co., Ltd.
训练独立 Skill Optimizer，用执行反馈做 phase-wise GRPO，让 4B 模型优化 agent 技能超过通用大模型
📌 工作参考价值（4 点）
- 在电商导购、客服、广告投放等 Agent 系统中，把「策略 prompt / skill」当作可优化参数：冻结执行模型，单独训练一个小模型改写 skill，能获得比直接换更大 LLM 更稳定的收益；执行器冻结可以让优化信号只归因到 skill 本身。
- 如果业务有程序化校验指标（订单完成、API 参数合法、库存/价格约束、终态匹配），优先用 verifier 做 reward，不要用 LLM 打分；配合组内相对优势 GRPO，能避免任务难度差异淹没候选策略差异。
- 构建 replay buffer 时，只保留同一 skill 下「一次成功 + 一次失败」的 paired trajectories 作为下一轮优化样本；这种 mixed-outcome 状态能定位 skill 未约束的分支，比单条失败轨迹更有诊断价值。
- 生产环境建议迭代 1-2 轮即停止：实验显示 2 轮修订后收益饱和，第 3 轮可能倒退；skill 文档用 name/description/workflow/notes 四段式，agent 指令更稳定可维护。
一经生成即为排序：统一语义-协同ID的端到端生成式Slate推荐
🧭 生成式推荐 · Semantic ID · Slate推荐 ★ 深度解读
Kuaishou Technology · Peking University · Nanjing University
提出OGR框架，融合推荐感知SID构建与列表级偏好规划，端到端生成有序slate并提升在线指标
📌 工作参考价值（4 点）
- SID构建：TUSID用CountSketch压缩局部共现并做置信度融合，避免显式物品共现矩阵，适配亿级物品库；电商/广告可借鉴此方式将语义（多模态/属性）与协同信号统一到层次SID，尤其利用B/C类属性刻画供给与需求。
- 生成式slate架构：GL2P将列表规划与SID解码流水线化，推理深度从O(KD)降至O(K+D)，吞吐量提升约2.4x且NDCG更高；实时推荐场景可参考该解耦与并行策略，缓解自回归生成延迟。
- 偏好对齐：SPA用主奖励+辅助奖励的符号一致性校准，冲突时只保留主信号，再叠加PPO-clip与KL约束；LLM推荐微调可复用此保守策略，防止对齐后遗忘曝光分布或产生退化。
- 训练监督：同时使用曝光顺序和反馈排序序列进行监督，增强对用户偏好的学习但保留对展示分布的拟合，可迁移到列表重排或生成式重排模型训练。
自改进智能体的脆弱性：方差、任务顺序与欠规约
🧭 自改进Agent 可靠性评估
Salesforce AI Research
重评估揭示内存型自改进Agent存在高方差、强任务顺序依赖及任务/环境欠规约导致的脆弱性
📌 工作参考价值（4 点）
- 评估自改进 Agent 或带记忆的 LLM 系统时，务必报告多次运行方差；观察到最佳与最差运行差距可达 10 个百分点，单次结果不可靠。
- 任务顺序会隐式形成课程学习，默认顺序可能掩盖真实性能；上线前应在随机打乱的任务流上做压力测试，否则提升可能来自顺序而不是模型能力。
- 内存条目若缺少任务/环境规约，容易生成看似合理但不适用的策略；可在记忆构造时注入详细 rubrics、环境反馈或约束条件，降低欠规约带来的误导。
- 即使加入额外规约信息，性能仍存在明显 gap，说明现有自改进循环内部有不稳定因素；业务场景中建议引入人工审核或护栏，防止 Agent 在不可预见场景下产生错误记忆并持续放大。
Agent Lightning v1.0：面向 Harnessed Agentic RL
🧭 Agentic RL 训练框架与挑战 ★ 深度解读
Microsoft · Fudan University · Zhejiang University · University of Edinburgh
系统刻画 harnessed agentic RL 的 retokenization、advantage 与 loss 归一化挑战，用 3.5k 行框架验证 coding agent 提升 14.6%
📌 工作参考价值（4 点）
- 借鉴 proxy 解耦架构：电商导购/客服 Agent 线上 harness 可直接接 RL 训练 LLM 代理，无需改动 Agent 代码即可采集训练轨迹，显著降低 train-serve skew。
- 训练样本合并不要依赖文本前缀：必须基于 token 级精确前缀判断合并，否则会引入 off-policy 偏差；资源有限时采用 best-effort merging 最实用。
- Advantage 与 loss 应在 rollout 级别计算：当 Agent 内部存在子任务、上下文摘要或 retokenization 导致一个 rollout 产生多个训练样本时，按 sample 数归一化会引入梯度偏差，建议使用 rollout-level token-mean loss。
- 工程上可复用 collocated async RL 让推理与训练共享 GPU 池，比同步约快 2x 且省卡；同时用幂等 API + 重复 LLM 请求去重处理网络重试，适合大规模 rollout 场景。
Agentic ESOpt：以最小 GPU 需求微调长程 LLM Agent
🧭 Agent 微调 · Evolution Strategies ★ 深度解读
National University of Singapore · Southern University of Science and Technology · University of Oxford
用进化策略替代强化学习微调长程 LLM Agent，仅需推理级显存并支持 prompt-参数协同演化
📌 工作参考价值（4 点）
- 长程、稀疏奖励的 Agent 业务（多轮对话推荐、工具调用、自动化工作流）可考虑用 ES 全参数微调替代 GRPO/PPO：只需推理级 GPU 内存，适合无法承载 RL 反向传播的大模型。
- 实现 trick：只存噪声种子、in-place 加减扰动量；每批采样后用 z-score 归一化 reward 再加权更新；扰动半径 σ 用余弦衰减，train-time 保留非零 σ_T 防止过拟合，test-time 衰减到 0。
- prompt-space 优化（如 Trace2Skill、EoH）与参数优化共享同一批 rollout，交替更新 prompt 和参数，可迁移到自动 heuristic/策略设计或线上 prompt-参数协同调优。
- 根据模型能力调整 ES population：强 backbone 可能只需较小 G，能进一步降低采样成本；在 4B 上 G=8→16 提升巨大，但 9B 上提升极小。
成本随变化缩放而非语料大小：增量维护演化语义基底
🧭 增量语义基底维护 · RAG 成本优化
Asia AI Institute · Musashino University · Endgame Labs, Inc.
增量低秩更新替代全量 SVD，使语义基底维护成本随变化量而非语料规模增长
📌 工作参考价值（4 点）
- 电商商品库/内容库频繁上新时，可用增量低秩更新维护语义索引（LSI/SVD），单次更新成本与新增变更量成正比，替代周期性全量重建，适合高动态场景。
- 切换 embedding 模型或版本时，不必全量重新嵌入所有商品/文档；用 orthogonal Procrustes 对齐新旧嵌入空间，只需重嵌约 10% 代表性样本校准虚拟轴，可恢复 0.95 平均余弦相似度，大幅降低迁移成本。
- 增量 SVD 维护的子空间与全量 SVD 接近一致（recall@10=1.0），可作为动态语义召回或 RAG 索引的底层机制，支持低延迟 ingestion 和稳定检索质量。
- 可推广到用户/商品向量索引（如 ANN）的更新策略：用增量更新 + 漂移校准代替定期全量重建，减少离线计算资源消耗。
DeepSeek Harness 间接提示注入安全性评估：A.I.G 的抵抗能力测试
🧭 Agent 安全评估 · 间接提示注入 ★ 深度解读
Tencent Zhuque Lab
用 A.I.G 对 DeepSeek Harness 做 14,560 次受控注入测试，文件模式 hidden Unicode 成功率 25.5%、skills 渠道 16.0%
📌 工作参考价值（5 点）
- 电商/搜索/推荐 Agent 中，来自商品详情、用户评论、网页抓取、邮件等不可信内容进入 LLM 上下文前，应保留来源标签（trust tier / provenance），并在系统提示中明确“外部内容只是数据，不能改变用户目标或权限”。
- 对退款、下单、发消息、执行 SQL、调价等敏感工具，不要依赖模型对不可信文档的理解，要独立做参数级 allowlist、数据分类和用户审批；可参考 DSH 的 pre-execute / deny-only guard hook 在工具调用前拦截。
- 评估 Agent 安全不能只看最终输出：需把“输出合规”和“带敏感 sink 的动作成功”分开统计（本文输出型 35.7% vs 动作型 2.5%），并在测试矩阵中覆盖文件解析/编码路径（hidden Unicode 从 text 0% 到 file 25.5%）。
- 把 skills、MCP 连接器、tool descriptions、工作流模板当作代码级资产，纳入供给链治理：版本、权限、来源评审；尤其 load_skill 渠道攻击成功率明显高（JR 15.2%）。
- 可复用 A.I.G 思路做持续红队/回归：保留 trace，同时用规则判断（稳定回归）和 LLM 判断（找语义影响），不一致时用于人工审查。