GameWAM：视频游戏世界-动作模型
🧭 视频游戏世界-动作模型
Fudan University · LIGHTSPEED · Independent Researcher · Tsinghua Shenzhen International Graduate School
首个面向原生闭环游戏与GUI控制的世界-动作模型，联合生成未来视觉与键鼠动作，支持长程重规划
📌 工作参考价值（4 点）
- 「并行视觉 + 动作生成 + block-causal conditioning」可作为多模态 Agent 联合建模世界状态与下一步决策的架构参考，尤其适用于需要同时预测环境变化和行为的搜索/推荐仿真环境。
- 「mode 预测 + mode-specific 分布 + 连续动作归一化」可迁移到多任务 Agent 或生成式推荐中处理异构行为（如点击、加购、搜索词），先预测行为类型再用对应分布生成，减少异质输出的冲突。
- 「block-cycle control」类似模型预测控制：预测多步但只执行短前缀，然后基于新观测重规划，可借鉴到实时推荐策略调整；通过分层历史上下文保持长期一致性，对会话级推荐有参考价值。
- LASI 发现低频率成分主导生成输出，提示生成式动作/序列模型要监控随机源的低频成分，可通过谱约束或低通滤波增强可控性。
触发式推荐CTR预估的级联相关性驱动网络
🧭 触发式推荐 · 相关性与兴趣融合 ★ 深度解读
Taobao & Tmall Group of Alibaba
提出CRRN，通过trigger-target交互门控、级联注意力融合与类别辅助pairwise loss，在TIR场景显著提升CTR
📌 工作参考价值（4 点）
- 在承接页/详情页相似推荐中，不要把trigger当作普通特征；用element-wise乘法+coaction门控做显式交互，参数量小、工程友好，能捕捉同类别/品牌/价格段等高阶关系。
- 引入类别辅助pairwise loss：利用商品类别构造“相关点击 > 非相关点击 > 相关曝光 > 非相关曝光”的偏序，不用额外数据就能强化相关性排序，适合电商商品/广告场景。
- 意图预测辅助任务：用页面级类别与trigger是否一致作为label，训练时辅助监督，线上不引入额外特征和延迟；同时用预测意图分和cosine相似度做显式门控融合，可解释且便于调试。
- 工程上该模型额外增加2ms推理延迟，训练时间增加约7分钟，适合低延迟承接页；在线统计显示同类+相关类占比大幅提升但保留约11%不同类，可作为相关性/个性化平衡的参考阈值。
缓解跨域序列推荐负迁移的双专家 LLM 策略
🧭 跨域序列推荐 · 负迁移抑制 ★ 深度解读
SK Telecom · KAIST
提出 DuELRec，用域门控双专家与双采样对比学习抑制 LLMRec 跨域负迁移
📌 工作参考价值（4 点）
- 多域/多场景推荐若出现负迁移，可设计同域/跨域双专家结构，分别用同域因果 mask 和跨域因果 mask 建模，再通过逐 item 门控融合；门控权重可视化能快速定位哪些域需要更强单域信号。
- LLM 做序列推荐不要只做 token 级自回归，应在 LLM 输出后增加 item-aware attention transformation，把 subtoken 聚合为 item 表示并在 item 级做 block causal mask，强制捕获协同信号，避免纯文本模式误导。
- 负采样不要只用同域负样本，加入 30%-50% 跨域负样本（论文 p=0.4）可以增强跨域判别能力，改动小、收益稳定，适合电商跨品类召回或广告多场景排序。
- ID-free 检索式 LLMRec 适合冷启动与新域扩展，但 warm item 通常弱于 IDRec；通过上述 item 级协同信号可同时提升 cold/warm，且无需为新 item 重训。工程上可用冻结 LLM + LoRA + 两个浅层 transformer expert 控制延迟，线上预建 item embedding 索引做相似度检索。
基于可验证奖励的在线策略蒸馏
🧭 RLVR+OPD 无缝结合训练推理模型 ★ 深度解读
LeapLab, Tsinghua University · Beihang University · SMS, Peking University · NLPLab, Tsinghua University
对采样 token OPD 的 log-ratio 奖励做 ReLU 门控，使教师信号与轨迹正确性对齐，零超参结合 OPD 与 RLVR
📌 工作参考价值（4 点）
- 可直接复用的训练 trick：若业务中已有可验证奖励（点击、转化、GMV 等）和教师模型或旧版模型，可在 on-policy 蒸馏损失中只加一行 ReLU 门控——正确轨迹上 max(0, log(πT/πθ))，错误轨迹上 -max(0, log(πθ/πT))，无需额外超参或 loss 权重，即能避免教师信号与业务奖励方向冲突。
- GRPD 替换二元 reward：用 GRPO 的 group-relative advantage 替换二元正确性 sign，再做同样的 ReLU gate，可平滑引入相对优势信息；适合推荐/广告中 reward 噪声大、需要组内归一化的场景。
- 训练健康度监控指标：论文观察到 zero-gated token ratio 稳定在 40-50%，可作为训练健康的实时监控；如果该比例过高或过低，说明教师信号与业务奖励大量冲突或几乎无冲突，需要检查教师模型质量或 reward verifier。
- 架构兼容性：该方法可无缝接入现有 PPO/GRPO/DAPO 训练框架，不改变采样流程；在已有的 RL 训练脚本中实现成本低，适合快速验证。
交互税：多智能体团队中通信如何抹除多样性
🧭 多智能体协作的多样性坍缩与交互税 ★ 深度解读
University of Chicago
完整方案交换会让异构模型解在一轮内趋同并抹掉多样性，独立生成与可定位修复的 critique 才更有效
📌 工作参考价值（4 点）
- 在多候选生成/策略搜索（广告创意、推荐解释、query 改写等）中，优先用多模型独立提案 + 打分器选择/合成（MoA 式），不要让 agent 互相阅读完整候选输出；这能在预算匹配下保留多样性并避免一轮收敛。
- 若必须引入 critic/refiner，把 critique 压缩成可验证的具体错误和修复建议（如硬约束违反、价格违规、敏感词、缺失卖点），不要传递完整候选；对容易定位和修复的约束有效，对需要复杂推理的错误可能有害。
- 异构模型组合前先做策略多样性诊断：检查不同模型/agent 是否真的产生不同结构或策略，还是某个模型总是输出固定高分退化解；不要只看模型家族数量，要看候选聚类和行为模式覆盖。
- 多 Agent 不一定优于单 Agent Best-of-N；在资源受限的搜推广系统中，先建设强单模型 + 多次采样 + verifier 选择，按需再加轻量 critique 或选择性信息共享，避免直接上 chain/debate 全量交互。
交接税：LLM Agent 续接非原生轨迹的代价
🧭 LLM Agent 模型交接与成本-质量权衡 ★ 深度解读
AWS
首次系统研究 LLM Agent 中途切换模型时非原生轨迹对成本-质量权衡的影响，发现升级昂贵、降级更优
📌 工作参考价值（4 点）
- 在多模型路由/级联系统中，避免把低成本模型的完整对话历史直接交给高成本模型（Raw escalation），可改为只传递工作状态（如中间结果、已编辑文件）或压缩摘要，以减少 token 成本并避免低质轨迹锚定接收方。
- 降级场景（强模型转弱模型）中，保留强模型的轨迹（推理、工具调用）比只保留最终输出更重要，轨迹中的思考过程能帮助弱模型延续工作；因此可设计选择性的上下文保留策略。
- 使用归一化指标 QRec（质量恢复率）和 CSRet（成本节省保持率）评估切换策略，而非只看绝对成本或 pass rate，能更好对比不同模型对和切换接口的综合性价比。
- 难度感知切换：在易/中任务上模型切换通常不划算，在难任务上使用精简上下文（Traj-drop 或 Compact）才可能获得成本效益；可将任务难度估计纳入切换决策。
开放世界智能体技能创建：SkillAlchemy
🧭 Agent 技能自动创建与证据准入 ★ 深度解读
Beihang University · Shandong University · Northwestern Polytechnical University
提出基于证据准入的框架，从开放世界材料自动创建可复用 Agent 技能，性能接近人工策划
📌 工作参考价值（4 点）
- 隐式需求挖掘可迁移到 query/对话推荐：用对比探测（替换、边界、邻居）从简短 brief 或用户 query 中挖掘遗漏的操作维度，例如从“7天欧洲旅行”中识别出预算、旅客类型、出行方式等隐含条件，可用于电商领域的 query 补全、推荐策略扩展或对话式需求澄清。
- 证据准入机制防止过拟合到局部案例：区分“通用指令”“局部示例”“排除项”的三分类决策，强制要求跨场景一致性证据才能推广为通用规则。在电商推荐策略生成中，可避免把某个爆款商品的特定操作误认为平台级策略，只保留有跨品类或跨场景支持的通用做法。
- 渐进式技能包组织节省推理上下文：借鉴 skill grammar 和文件分层（核心指令在 SKILL.md，细节放 references/scripts），在构建 Agent 工具库或推荐策略库时，把高频核心逻辑保持精简，低频案例外部化，既能提高加载效率，又降低 token 消耗。
- 对抗性来源鲁棒性可应用于外部数据清洗：论文验证了无关、冲突、对抗性源材料会被现有创建器误吸收，而 SkillAlchemy 通过明确的 admission 记录排除。在从用户评论、市场报告等开放数据提取洞察时，可以借鉴其“支持性+一致性+可复用性”的准入检查，减少噪声污染。
跨语言排序偏好优化：构建多语言对齐的层级 ranking 框架
🧭 跨语言 LLM 偏好对齐 · Learning-to-Rank ★ 深度解读
Korea University
将 Learning-to-Rank 引入跨语言偏好对齐，利用英语偏好知识提升目标语言一致性与质量
📌 工作参考价值（4 点）
- 在多语言推荐/Agent 回复场景，可用英语高质量偏好数据构建跨语言排序对，通过层级偏好（目标语言正确语言 > 英语正确内容 > 目标语言错误语言）同时约束语言一致性和内容质量，减少语言混淆。
- 将 DPO 的 pairwise 比较升级为 listwise ranking，利用 LambdaLoss 权重（如 nDCG2）对多个候选响应进行全局排序，能更精细地优化目标，例如在生成式推荐中同时对相关性、多样性、语言等维度排序。
- 在偏好优化损失中加入 NLL 项（如 α=0.2）可防止模型只增大 reward margin 而抑制被拒样本概率，避免生成退化，对业务中 LLM 微调有价值。
- 低资源语言/场景下，跨语言 ranking 比单纯 binary 对比更稳健，可借鉴到冷启动物品推荐或小语种文案生成，利用高资源语言偏好知识迁移。
扩散生成推荐中的自适应物品协作结构与噪声重调度
🧭 生成式推荐 · 离散扩散 · 噪声重调度 ★ 深度解读
Tongji University · Huawei Technologies Co., Ltd. · Fudan University
在离散扩散生成式推荐中注入物品共现先验与自适应噪声重调度，显著提升协作结构建模与召回精度
📌 工作参考价值（4 点）
- 生成式推荐的 Semantic ID 构建不要只用文本语义；用 item co-occurrence 矩阵 + SVD 提取 64 维协作特征，与文本 embedding 拼接后再 RQ-KMeans 量化。实验表明一阶共现信号足够，LightGCN 无额外提升，工程上简单且省成本。
- 训练 BERT4Rec / 扩散式推荐等 masked 模型时，可以把 uniform mask loss 换成本文的自适应重加权：按 inter-item 距离衰减、intra-item 位置衰减和 item 级 attention 动态给每个 masked token 的 loss 赋权，并 detach 权重防止模型偷懒，能明显提升协作信号学习。
- 推理端加入 SID-validity constrained decoding：每一步根据已 unmask token 维护真实 item 候选集，只在合法 token 子集上重归一化，可避免生成无效 item；可直接迁移到生成式召回、搜索词 token 生成等场景。
- 在扩散式生成推荐与 AR 生成之间选型时，本文显示双向离散扩散在长序列和中频 item 上更稳，配合噪声重调度可超过强 AR baseline；但需评估 beam search + 约束过滤的推理延迟。
LoRA 微调中通过公理化注意力模式涌现相关性
🧭 LoRA 微调可解释性 · 重排序 ★ 深度解读
University of Massachusetts Amherst
用 keep/omit 消融定位 RankLLaMA 中 LoRA 注意力更新关键层，并发现其与罕见词敏感、query-doc 交互等公理化注意力模式强相关
📌 工作参考价值（4 点）
- 对搜索/广告 reranker 做 LoRA 时，不必全量微调所有注意力层：在 MLP 全量 LoRA 的前提下，只对中间紧凑窗口（如 RankLLaMA 的 layers 10–18）应用注意力 LoRA，即可恢复全量注意力微调一半以上增益，文档 reranker 变体甚至恢复 70%+，可显著降低训练和推理适配成本。
- 借鉴 keep/omit 消融设计：先用小候选集+Mean Score Margin 快速筛选关键 head/layer/window，再用 NDCG 在更接近线上候选规模上验证，成本低且能定位冗余层，适合业务侧快速做模型裁剪。
- 可用 Normalized Feature Attention 监控 LoRA 微调效果：排除 attention sink（首 token）后，观察模型是否学到 document-query interaction、rare token sensitivity 等业务相关注意力模式，作为微调质量的辅助指标。
- 若线上 reranker 可解释性要求高，可优先关注不同层对 query-doc 交互和稀有词敏感的组合特征，这些组合特征与性能提升相关性最高（keep ρ=0.92, omit ρ=-0.94），能帮助判断模型是否学到类 BM25 的联合相关性信号。
MediSkill-Evo：面向循证临床交互的过程约束自进化智能体
🧭 Agent 自进化记忆与过程约束决策 ★ 深度解读
Brain-inspired Cognitive AI Lab, Institute of Automation, Chinese Academy of Sciences · Beijing Key Laboratory of Safe AI and Superalignment · Beijing Institute of AI Safety and Governance · School of Artificial Intelligence, University of Chinese Academy of Sciences · Long-term AI
用四库分离的自进化记忆与过程约束偏好控制，提升临床交互的证据获取与安全决策。
📌 工作参考价值（4 点）
- 把记忆按知识类型拆分并绑定不同校验/决策权：电商/Agent 不要把可复用策略、平台规则、商品 schema、视觉流程放进同一向量库；可迁移为“话术策略库 / 平台政策规则库 / 商品与活动 schema / 多模态识别流程”，每类分别做 provenance、support、replay、leakage 校验，测试时冻结 snapshot。
- 硬约束前置、打分后置：在广告/推荐 Agent 的动作生成中，先用 Symbolic Verifier 过滤掉违反库存、预算、品牌安全、合规约束的候选，再用 Critic 排序；软惩罚不能抵消硬违反，缺失信息保持 unknown，不当作负样本。
- 离线评测造“孤立压力”版本：用 deterministic controller 控制哪些特征延迟/不可用，只测特定 process obligation，比只看 CTR/GMV 更能暴露 Agent 在信息缺失下的错误行为；对应大促缺货、延迟价格、标签缺失等压力集。
- 多模态工具用 request-gated 接口和 original-pixel fallback：保留无工具路径与按需调用审计，避免把工具增益与模型能力混淆；MedSAM 带来的 3 点诊断提升明确只是界面可行性，不是因果证据。
门控循环Transformer：通过循环调制实现深度表达力
🧭 高效Transformer架构 · 循环深度共享
The German University in Cairo · Technical University of Munich · Cerebras Systems Inc.
用门控循环共享核心层，在固定算力或参数预算下达到甚至超越稠密Transformer质量，大幅减少参数与解码内存
📌 工作参考价值（4 点）
- 共享核心层 + 固定 prelude/coda 的架构可作为在线大模型推理的轻量化替代：用 3 层共享核心迭代 R 次匹配 12 层稠密模型精度，峰值解码内存降低约 59%，适合内存受限但延迟容忍度较高的生成式推荐/文案生成服务。
- 门控循环更新机制（elementwise gate 结合隐藏状态、prelude 输出与每步重采样噪声）能让同一组层在不同循环步动态调制输入，避免深度共享导致的表达坍缩；该 trick 可迁移到推荐序列建模中的共享 Transformer 层，在参数不变的情况下提升序列多样性建模能力。
- 采用 isoFLOPS / isoPARAMS 评估方式做架构选型，对实际部署有指导意义：在固定算力或参数预算下，优先考虑增加循环深度而非堆叠唯一层，可以获得更好的 loss/质量与内存 tradeoff。
- 对于广告文案生成、搜索 query 推荐等需要大模型但受限于显存和参数规模的场景，GRT 提供了一种可复用的参数高效化路径，且其代码已开源，便于快速验证迁移效果。
Meta^n：通过涌现深度实现递归自我改进
🧭 递归元认知 Agent 自我改进
University of Minnesota · Seoul National University
固定元操作 Ω 并递归应用于输入，实现可收敛深度的 LLM 自我改进，在 ARC-AGI-2 唯一得正分
📌 工作参考价值（4 点）
- 可将固定元操作递归应用到多阶段推荐/搜索流水线：每层读取下层 trace 与代码，输出下一层的预处理策略和可复用 helper 库，把隐式流程知识显式化为工具和策略，便于在 query 改写、召回排序等环节复用。
- 深度由收敛决定而非预先固定，可在 Agent 规划或 query 改写中引入自评收敛，减少无效迭代；结合进化 archive 搜索层链，可迁移为对多策略组合的进化选择，适用于搜索广告出价、文案生成等场景。
- 层间 conditioning 是主要收益：把上一层的完整推理 trace 和生成代码作为下一层上下文，比仅传最终答案更有效，建议在 LLM 推理管道中传递过程性知识而非仅结果。
- 主要是通用推理 Agent 贡献，业务落地需谨慎：任务为 ARC-AGI 等通用推理，与电商推荐数据分布差异大，但固定操作+递归输入的设计可借鉴到多智能体系统的自我改进循环，避免自编辑导致的不稳定。
描述性推理链质量与推荐效果之间的脱节
🧭 生成式推荐 · Semantic ID 与 CoT 推理 ★ 深度解读
Spotify
在生成式推荐中，更好的描述性推理 trace 质量并不必然带来更好的传统离线推荐效果
📌 工作参考价值（4 点）
- 在生成式推荐中引入 CoT/trace 时，不要默认 trace 质量提升会带来线上/离线指标提升。优先检查奖励稀疏性：仅用 prefix-match 准确率奖励会导致 70%-96% 的 prompt 零奖励，模型学不到 signal。可以改用复合奖励（准确率 + LLM judge relevance/trace 质量）或 embedding 相似度 dense reward；消融显示 embedding reward 几乎等效于 LLM judge，说明奖励密度比 judge 语义更关键，工程上更省钱。
- item 表示选择：自然语言标题让 trace 更可读，但 reasoning 与预测共享词汇表会产生 representational interference，导致更大幅度的离线指标下降；SID 与自然语言 token 分离，训练更稳但需要对齐。如果采用 SID，轻量单任务对齐即可，额外八任务对齐主要提升 trace 质量，却可能削弱推荐校准，不一定划算。
- 单 ground-truth 离线评估可能低估/高估推理的作用。生产中可以尝试把 reasoning 输出作为互补候选，与 no-reasoning 输出做 rank aggregation（论文中 playlist 场景 HR@30 从 0.6337 提升到 0.6515），或补充 LLM-judge relevance 评价。
- 用 teacher 蒸馏生成 reasoning trace 时，避免 answer-conditioned traces：教师已知目标 item 生成的解释，测试时模型没有目标，导致 trace 流利但逻辑连贯性和推荐理由分低。可尝试 end-to-end RL 或更选择性、目标无关的 trace 监督。
Prime Agent：长程 Agent 的自改进 RLM 执行框架
🧭 Agent 基础设施 · 长程执行与递归子代理 ★ 深度解读
Princeton University · Prime Intellect · MIT
开源长程 Agent 执行框架，通过持久 REPL、递归子代理与 Continual Harness 将 ARC-AGI-3 从 30% 提升至 95.5%
📌 工作参考价值（4 点）
- 把长上下文变成可执行程序：在搜索/推荐 Agent 中，将商品库、用户行为序列、规则文档落入持久化 REPL 或文件，让模型用 Python 查询、过滤、聚合，而不是反复序列化进上下文。这类似于把召回/排序前的信息管理变成程序化操作，能显著降低 token 成本并减少长上下文中的信息丢失。
- 递归子代理 + 异步消息队列并行化：为电商 Agent 的候选 query 改写、商品筛选、策略评估等任务创建独立子代理，通过 rlm() 异步句柄与直接消息队列通信，父代理动态汇总结果，替代固定 DAG。这适合并行跑多路实验、多候选评估，同时保留子代理的持久状态以支持后续追问。
- Continual Harness 做成可版本化的策略知识库：把验证有效的 prompt、执行技能、用户偏好记忆、子代理分工模式以版本化条目存储，支持在线 refinement 与回滚。在推荐/广告策略迭代中，可以把优秀策略、纠错经验沉淀为可复用技能，但必须加入权限最小化和独立状态验证，防止代理为优化指标而学会作弊（文中 Factorio 案例）。
- 统一资源审计与防 exploit：对子代理的 token、API 成本、外部动作全部记账，设置独立验证与可审计回滚。广告/推荐 Agent 涉及出价、预算、内容生成，需要这种全链路审计和最小权限接口，避免代理绕过约束或污染后续策略。