复制粘贴语言模型
🧭 LLM 预训练 · 上下文复制机制
Cornell University
在 LM 头旁增加轻量 Copy-Paste 头显式建模上下文复制，提升训练效率与下游表现
📌 工作参考价值（4 点）
- 商品名/品牌词/SKU/Query 需要精确复现：在微调或继续预训练时，可在 LM head 旁加一个 pointer/copy 分支，从输入序列直接复制 token，降低改写错误与幻觉。
- RAG / 长上下文用户行为建模：模型常需从知识库或历史序列中复现实体，CPLM 思路可帮助提升长程复制准确率；可对现有 LLM 做轻量适配，不必重训 backbone。
- Agent 工具调用：API 名、参数、ID 等必须逐字复制，copy head 能增强此类能力；建议在工具选择评测中对比标准 LM head 与 copy 分支。
- 实际成本：增加头参数极少，推理可结合 KV cache 实现高效复制计算，适合对延迟敏感的生产环境。
HASTE：面向生成式推荐的层级与属性感知监督
🧭 生成式推荐 · Semantic ID 层级/属性监督 ★ 深度解读
Glance
提出层级损失与属性辅助损失，在 Semantic ID 生成式推荐中实现约 2 倍训练提速与长尾显著提升
📌 工作参考价值（4 点）
- 对基于 RQ-VAE Semantic ID 的生成式推荐，可直接把 flat causal CE 换成层级损失：粗粒度 SID code 给更大静态权重（如 4:3:2:1），再用 detached 置信度 gate 控制下游 level 的 loss 权重，并让权重从静态逐步退火到条件权重；同时用 scheduled sampling 扰动上游粗 code。这样不改变推理结构，却可拿到约 2× 收敛提速。
- 如果业务有商品属性（颜色、材质、版型等），可以在精细 SID 位置（如 L2 hidden state）接一个 64 维 MLP 回归头做辅助监督，目标由 SID tuple 查 catalog 聚合得到，不需要 query 中显式出现属性；用 Huber loss 且对低频 item 做频率加权 clamp((f_med/f_i)^0.5, 1, 5)，长尾 Recall@10 可提升 18%–24%。
- 属性辅助 head 不修改 SID 词表、logits 或生成分布，方便单独保存/上线回滚；但要先确认属性标注覆盖率，缺少 structured attribute 的数据集无法直接复用。
- 结果提示：标准 CE 微调会侵蚀预训练阶段形成的层级结构，使相邻 SID level 的 cosine coupling 下降、embedding drift 增大；因此在迁移 LLM 做生成式推荐时，值得监控 SID embedding 的结构保持程度，而不是只看 Hit/NDCG。
计算而非记忆：面向高效生成式检索的位分解标识符
🧭 生成式检索 · 数值 DocID 零样本适配 ★ 深度解读
Leiden University · Shandong University · Radboud University
将文档向量符号位作为 DocID，结合多树束搜索，实现零训练新文档适配与最低推理延迟
📌 工作参考价值（4 点）
- 新物品/新文档冷启动：可用预训练编码器对物品标题、属性、描述做 tanh 后取符号位，直接生成可打分的二进制 DocID，无需为新 ID 训练 embedding；通过 weight interpolation（α=0.5）融合通用编码器与任务调优编码器，能在 seen/unseen 间取得平衡。
- 推理工程：采用 flat token 评分，所有候选 token 在一次 encoder 前向中完成打分，不需要 autoregressive decoder；再用多棵不同 bit 排列的前缀树做 constrained beam search（h=8），可比单纯增大 beam 更有效地减少早剪枝，提升未见文档召回。
- 资源与延迟：120-bit DocID 仅需 15 bytes/doc，单 query 延迟 24 ms（A100），显著低于现有生成式检索方法；适合商品库频繁更新、需要低延迟检索的场景，可作为生成式推荐索引层。
- 局限与改进：平坦 ID 缺少层级先验，高召回略弱；若业务需要 Hit@100 更优，可尝试将 bit-factorized 与 RQ-VAE 等残差量化层级结构结合。
LeanPRM：基于 Lean 的自然语言证明过程监督
🧭 过程监督 · Lean 自动标注
University of Texas at Austin · University of California, Los Angeles · New York University
利用 Lean 形式化证明自动生成自然语言证明的逐步正确性标签，训练过程监督验证器，步级准确率从 48.2 提升至 74.7
📌 工作参考价值（4 点）
- 对 Agent/多步决策轨迹，可借鉴「可执行环境自动打标签」：用沙盒、规则引擎或领域知识库对中间步骤做形式化校验，替代人工标注，低成本构建过程监督数据。
- 「分离形式错误与语义错误」的过滤模型思路值得迁移：先自动生成大量轨迹标签，再训练一个二分类器剔除仅因语法/格式失败但推理正确的负样本，避免污染奖励模型。
- 训练过程奖励模型时，可以混合少量人工标注与大量自动标注；本工作证明在没有人类标注的情况下，自动标签也能显著优于 PRM800K 人工标注，适合快速迭代线上推理链路。
- 对于电商推荐理由生成、搜索 query 改写等有可执行校验（如转化、点击、库存）的场景，可尝试用业务指标为中间步骤提供弱监督，再微调 LLM 做步骤级打分。
任务导出评分细则，证据得出判断：工具增强的逐点 Rubric 奖励模型
🧭 LLM 奖励模型与 Rubric 评估
University of Tennessee · University at Albany
提出 ReVeR，从指令本身推导评分细则并用工具增强逐点评分，通过标签盲蒸馏训练，超越 pairwise rubric RM
📌 工作参考价值（4 点）
- 从指令本身推导评分细则，避免响应偏置：在电商推荐/Agent 评测中，构建 reward 或评估模型时，不要仅从已有候选回答归纳准则，先从任务指令或用户需求出发生成硬规则和分级原则，提升评估的泛化性与公平性。
- 工具增强判官提升机械约束处理能力：对于需要精确标量、结构化约束或事实核验的推荐文案、搜索改写、Agent 动作评估，让 judge 主动调用工具（如代码执行、数据库查询）从证据得出判断，而非单纯阅读，可显著提高指令遵循类指标。
- 标签盲蒸馏降低数据成本：用偏好标签仅过滤教师模型输出，生成大量 rubric-reasoning 与 judging 轨迹，可复用到需要大量过程监督数据的奖励模型训练中，适合资源有限的业务场景。
- 偏好准确率与下游策略效用不必然一致：部署奖励模型时不要只盯偏好准确率，需联合下游生成策略的线上指标和 rubric fidelity 联合验证，尤其在 RL 微调后可能出现“高分低质”脱节。
苏格拉底式技能学习：教学与实践交替习得可迁移 Agent 技能
🧭 Agent 技能获取与迁移学习
Nanjing University · Alibaba Group
通过教学与实践交替学习可复用的 Agent 技能，并构建 SkillTransferBench 验证迁移性
📌 工作参考价值（4 点）
- 将任务过程提炼为可复用 Skill 包（指令 + 可执行资源），而非一次性 prompt，便于跨场景复用；在电商/广告场景可将选品策略、文案生成规则、竞价逻辑封装为 Skill 供多个 Agent 会话调用。
- 采用教学与实践交替：Educator 只提供引导和反馈，Student 作为唯一环境操作者和 Skill 作者，可以质疑、测试并调整建议，这样学到的 Skill 能覆盖边界条件，避免简单模仿成功轨迹带来的过拟合。
- Issue-Guided SSL 通过跟踪未解决问题动态选择回顾内容，大幅降低 token 消耗（Educator tokens 减少 61.7%），适合成本敏感的生产环境；可将类似机制用于内部技能库的维护与更新。
- 构建 SkillTransferBench 的思路值得借鉴：用任务家族变体（不同商品类目、不同 query 模式）作为 held-out 测试，验证技能在全新 solver 会话中的迁移能力，可作为评估自研 Agent 技能泛化性的基准。
微信工业级搜索的统一生成式检索框架 WeGR
🧭 生成式检索 · SID 构建 + RL 偏好优化 ★ 深度解读
Tencent Penguin Island
联合行为感知 SID 构建与动态 horizon RL，解决生成式检索中的码本坍塌和奖励稀疏
📌 工作参考价值（4 点）
- SID 构建：将 query-item / item-item 协同信号作为对比学习损失加在连续表征上，并通过分离的 projection head 避免直接干扰 codebook；同时使用 codebook refresh（只对第一层，EMA 阈值重置）和残差保真 + 碰撞正则化，能显著提升 codebook 利用率，避免 SID 坍塌。这些 trick 可直接迁移到电商 Semantic ID 学习。
- RL 稀疏 reward：如果直接使用点击/订单作为 outcome reward，GRPO 会因 exact match 而大面积失效。借鉴 DHPO 的动态 horizon 课程，把 SID 前缀匹配作为早期 reward，逐步扩展到完整 SID，并只更新对应前缀 token，既不需要离线训练 ranker，也避免 beam search 的分布偏移。
- 多正样本 SFT：工业搜索 session 内通常有多个正反馈 item，MSFT 同时拟合所有正样本，可作为 RL 的稳定正则项，防止 policy 在稀疏 reward 下遗忘检索能力；建议与新策略 RL 联合训练，权重 0.5 左右可参考。
- 工程部署：生成式检索替换传统多路召回能直接减少进入粗排的候选量（本案 -38.10%），带来 CPU/GPU 和延迟收益；可考虑先 additive，再逐步加大替换比例验证收益。
WorkRover：通过递归环境演化训练长程 Cowork Agent
🧭 长程 Agent 环境演化与信用分配训练 ★ 深度解读
Fudan University · East China Normal University · Renmin University of China · Shanghai Qiji Zhifeng Co., Ltd. · Shanghai Innovation Institute
提出 WorkRover 框架，用递归环境演化与 Verifier 进度信用分配提升长程 cowork agent 训练，多个基准大幅超过基座
📌 工作参考价值（4 点）
- 环境构建可借鉴 Harness 思路：在电商 Agent 任务平台里，把“上下文 / 任务 / 校验器”作为同一版本包管理，校验器必须绑定证据并接收 valid alternatives；这样能减少“任务生成与评测脱节”导致的错误奖励。
- FCR 的最小修复 + 组合回放适用于线上工作流配置变更：对 query 改写、推荐策略或工具配置做修改时，冻结原 intention / eval 规则，枚举少量组件修复组合，用固定种子回归验证，选最小可验证变更而非全量重生成，降低误伤。
- VTCA 的 turn 级信用分配可直接迁移到长链路搜索 / 推荐 Agent：用确定性 workspace / 结果检查器计算每步可观测进度，不做中间 LLM Judge；通过工具输出或产物版本依赖决定哪些前置查询 / 读取步骤分享奖励，能缓解多跳检索、对比决策中的 sparse reward。
- 训练数据 pipeline：SFT 用大模型生成轨迹 + 验证，RL 前先对 task-verifier 做一致性筛选，再保留少数高质量对，适合在电商业内部署低成本后训练。
虚拟头注意力：线性重参数化实现双重 KV 压缩与质量提升
🧭 长上下文 LLM · 注意力重参数化 ★ 深度解读
Baidu Inc. · Peking University
通过 Q Premix 与 Linear Postmix 将训练后模型吸收为标准 GQA-2，实现 KV cache 4 倍压缩、训练 FLOPs 下降且质量提升
📌 工作参考价值（4 点）
- 线上长序列生成式推荐/Agent 工具调用受 KV cache 限制时，可参考 VHA：训练时加入线性头间混合，推理时重新参数化为标准 GQA-2，无需改推理框架；已有 GQA-8 服务可尝试降到 2 个 KV heads 并配合 Premix/Postmix，保持质量同时降低 4 倍缓存。
- (I+BA^T) 低秩 identity-residual 结构可迁移到多场景/多任务序列建模的输出融合，低秩约束提供隐式正则化，防止跨 head 混合过拟合；电商多业务场景可用其做 soft routing 而非共享 attention。
- Premix 的 per-group query transform 能实现 group-conditioned query specialization，在用户长期行为序列中根据不同 KV group 学习不同查询方向，不增加缓存即提升注意力多样性。
- 消融显示单纯 halve heads 会损失质量，必须同时在 query 侧做虚拟扩展、在输出侧做跨组融合；如果要在推荐模型中压缩 attention 头数，应同时设计两侧补偿，缺一不可。
自进化 Agent 脚手架
🧭 Agent 自我进化与持续学习理论
Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence · University of Science and Technology of China
保持模型权重固定，仅修订 prompt/memory/workflow/代码实现 Agent 自我进化，并给出持续 PAC 学习保证
📌 工作参考价值（4 点）
- 在推荐/电商 Agent 中，将 prompt、memory、workflow、工具代码作为可独立版本化与验收的资产；更新时强制走“提案-准入”流程，用独立的线上验证集或影子流量做高概率准入决策，避免直接热更引发事故。
- 对生成式推荐/QueryRec 系统中调用 LLM 的 agent，可借鉴“解释态（如语义 ID 映射、标签）低风险快速更新，可执行代码/工具高风险慢更新”的分层更新策略，控制回归预算。
- 多智能体协作或 RAG 工作流可引入持续 PAC 式监控：每次 harness 修订后记录历史回归与泛化误差，基于预算决定是否保留更新，保证长期稳定性。
- 注意组织层面：harness 不断进化会改变团队知识共享与工作流，建议保留修订审计日志、权限隔离和回滚机制，与模型权重更新流程区分开。
递归环境缩放：面向通用长程智能体的难度递增方法
🧭 Agent 环境难度缩放与课程训练
UESTC · HKUST · CUHK (SZ) · THU · WU
提出 RES 框架，固定任务目标、递归变换信息访问/资源关系/执行依赖，提升环境难度并增强 SFT
📌 工作参考价值（4 点）
- 借鉴 RES 的环境缩放机制做难度课程：在电商 Agent/对话推荐模拟器中，固定任务目标（如找商品、比价）不变，逐步限制信息可见字段、增加资源约束或依赖更多工具调用，生成难但语义一致的训练轨迹。
- execution-grounded checks 相当于自动质检：对生成的难环境不仅检查语法，更用可执行环境验证是否仍可完成，避免产生不可解任务，这对生成 Agent 训练样例有直接参考。
- 递归继承持续累积难度：可把多轮变更叠加，形成难度递增轨迹，用于课程学习或困难样本挖掘，避免每次从头构造。
- 结论显示同轨迹数下 RES 轨迹 SFT 全面优于原始轨迹：在推荐/搜广推 Agent 数据稀缺时，可优先构造变化环境扩充训练集，比单纯堆原始成功轨迹更划算。
Dream2Discern：从困难潜在变体学习多智能体系统运行时失败预测
🧭 多智能体系统 · 运行时审计
Rutgers University · The University of Texas at Austin
用自预测损失引导的隐式增广，把有限轨迹语料变成可再生难例源，提升多智能体失败审计
📌 工作参考价值（4 点）
- 在电商/广告的 Agent 流水线（如购物助手、广告投放 Agent、搜索多工具调用）中，可训练轻量运行时审计器，只从执行前缀预测最终失败概率；达到阈值时提前终止或降级为规则/检索/人工确认，减少高风险工具调用和外部系统误操作。
- 数据受限场景可借鉴 Dream 阶段的隐式增广：不采集新轨迹，而是对审计器表示算子做可学习扰动，构造让当前模型预测损失增大的 latent variants，再按原始标签训练。这种方式类似 hard negative mining，但发生在隐蔽空间，适合轨迹/会话/行为序列标注昂贵的问题。
- 注意审计器的 '表征算子' 选择与扰动强度需要平衡：过大扰动会引入噪声，过小则难例不足；可参考其按预测损失反馈、随训练迭代重新生成 variants 的做法，把有限样本做成可持续更新的难例池。
- 评估不要只看最终准确率，应引入 trajectory-level weighted accuracy 和预测及时性指标；对在线系统更有意义，能帮助选择既能早停又不误杀正常任务的审计阈值。
DuoDiscover：联合发现优化目标与廉价评估器
🧭 多 Agent 协同与多保真评估 ★ 深度解读
Google · UC Berkeley · Stanford University
Agent联合发现优化目标与廉价代理评估器，突破昂贵评估瓶颈
📌 工作参考价值（4 点）
- 当线上 A/B、全量 benchmark 或 serving trace 评估很贵时，可以让每个 agent 为选定模块自动设计轻量 proxy（如关键子集、小规模负载、成本模型），在 proxy 上秒级迭代；真实评估只用于确认候选，并用 Kendall τ 定期校验 proxy 排序保真度，漂移即失效。这种「昂贵评估只做确认、廉价评估负责搜索」的模式可直接用于推荐系统的离线评测、A/B 前筛选和 LLM serving 性能调优。
- 多 agent 编排采用 bottom-up：没有中心化任务分解，轻量 orchestrator 只管理昂贵的真实评估分配、终止停滞 agent、spawn（fresh/transfer/combine）和 brief。这个模式适合把多 agent 优化引入广告出价、精排模型搜索等评估成本高的业务，不必重写搜索逻辑。
- 用 Amdahl 定律做目标剪枝：agent 估计目标代码模块对总指标贡献占比 w，用 1/(1-w) 判断最大潜在收益，优先优化高上限目标。对应到推荐/广告系统，可以先估算某个环节（召回、粗排、特征计算、在线打分）对最终指标贡献上限，再决定是否投入 agent 搜索。
- 论文本身不解决推荐/检索建模问题，但可作为「LLM 驱动的系统优化 + 多保真评估」参考架构，尤其适合有昂贵端到端评估（全量 trace、仿真、大模型评测）的业务团队。
EAU：环境-智能体-用户共同进化训练用户中心智能体
🧭 用户中心 Agent RL 训练环境协同进化 ★ 深度解读
University of Alberta · National University of Singapore · Kuaishou Technology · Alberta Machine Intelligence Institute (Amii)
提出 EAU 元代理框架，在 RL 训练中在线诊断并修改用户模拟器、环境奖励与超参，实现三者协同进化
📌 工作参考价值（4 点）
- 用户模拟器不稳定是对话式推荐/客服 RL 训练的常见痛点：可借鉴 symbolic user 规则化控制信息揭示，与 LLM 模拟器按比例混合，获得稳定训练信号同时保留自然交互多样性。
- 训练中让 meta-agent（或自动脚本）监控 rollout 日志、检测 deadlock/信息泄露/reward hacking，并热修复奖励规则或环境约束，避免重启；工程上可将 user simulator、reward scale、max steps 等做成可编辑配置，支持在线调整。
- PPO 训练对话 agent 时，critic 和 GAE 只计算 action tokens 的 advantage，防止 observation 文本稀释学习信号；这一实现细节可直接复用于多轮对话策略优化。
- 跨 run 经验池：把每次训练发现的修改和效果记录下来供后续 run 复用，可加速迭代，适合业务中反复训练 agent 的场景。
FreeSolo：零样本长度外推的线性时间稀疏注意力
🧭 线性时间稀疏注意力 · 长度外推
National University of Singapore · University of Toronto · Sea AI Lab, Singapore
短程滑窗+长程 keypoint 选择的稀疏注意力，线性变体短 CPT 即可零样本长度外推
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐中，用户行为序列可能长达数十万 token，完整 attention 成本过高；FreeSolo 的“短程滑窗 + 长程 keypoint 选择”可直接启发用户长期记忆或 Agent 记忆模块设计：用 keypoint 表示长历史中的关键类目/商品节点，显著减少 KV cache 和推理延迟。
- FS-L 表明通过较短的继续预训练即可学会前缀剪枝，并获得零样本长度外推能力；已有 4k/8k 底座、需要扩展到 64k/256k 行为序列的团队，可以避免昂贵的全量长上下文 CPT，采用类似的稀疏化微调路径。
- FS-B 的 radix-sort + 平衡树 O(N log²N) 构建成本，为大规模商品/内容索引的层级化检索提供工程思路：离线构建可剪枝树状索引，在线做 query 相关的 top-k 节点选择，兼顾精度与时延。
- 可复用 S-NIAH/RULER 作为长上下文模块评估指标，相比单纯 loss 更能暴露零样本长度外推能力。