自问问他：关系即所需——替代注意力的 token 混合新范式
🧭 替代 Attention 的 token-mixing 基础架构 ★ 深度解读
City University of Hong Kong · Jilin University · National University of Singapore
提出 Self-Exchange Relation 算子，将 token 混合拆成先建关系再分配信息流，在 10M/30M/100M 语言模型上 NLL 全面优于 MHA
📌 工作参考价值（4 点）
- 可借鉴显式 Self/Exchange 分解：在用户行为序列建模（如点击序列、曝光序列）中，可把 token 混合拆成 Self（自身历史/当前意图）和 Exchange（与其他 item 的关系）两阶段，先构造关系再归一化，可能更利于可解释和稀疏控制。
- FlashRelation 的 tile 化扫描 + 只缓存 P2 和 I 两个投影状态，相比标准 KV cache 省去 query 缓存；线上低延迟场景可尝试类似“只存必要投影”的缓存设计。
- Linear Relation 将历史压缩成 d_h×d_h 矩阵状态，75% 线性层 + 25% 全 Relation 层混合在 30M 尺度 NLL 仅 1.278，说明线上长序列低延迟场景可用大部分线性层加少量 full 层，平衡效率与效果。
- 注意这些结果均在 100M 参数以下语言模型，业务迁移需先在自有推荐序列模型中小规模验证；但将“关系构建”与“信息流分配”解耦的思路可迁移到 attention 变体或 GNN 消息传递中。
AI 后训练中缺失什么：实证分析
🧭 LLM Agent 后训练能力实证分析
Tsinghua University · Renmin University of China · University of Electronic Science and Technology of China
发现 LLM Agent 后训练时策略锁定在初始阶段，仅做局部调整，经验、人类指导与推理算力均无法激发策略级自省
📌 工作参考价值（4 点）
- 若用 LLM Agent 做搜索/推荐模型自动调参或训练流水线，不要只给历史经验或 prompt 提示：需在框架中设置强制策略审查点，要求 agent 根据验证集波动、性能 plateau 等证据重写全局训练策略，避免陷入局部搜索。
- 经验驱动 scaffold 能提升执行效率，但不会改变策略方向；因此对需要探索不同召回/排序结构或生成式推荐 Semantic ID 空间的场景，仅靠积累经验不够，应引入多样性注入或不同策略并行。
- 人类指导只能修正初始策略，开始训练后 agent 会退回局部调整；工程上可在训练循环中加入自动化干预触发器（如验证指标停滞 N 步），强制 agent 重新评估目标与超参数。
- 增加推理算力对简单任务有效，难任务几乎无增益；在复杂商品理解或长链路推荐优化中，不要把算力花在更多推理 token 上，而应投资于更好的策略搜索算法或全局探索机制。
超越均匀位分配的量化
🧭 向量量化 · 非均匀位分配
Indian Institute of Science · Microsoft Research · Microsoft STCA
针对MRL嵌入提出按连续桶非均匀分配位数的量化框架，等存储下PQ/SQ召回最高提升8%/18%
📌 工作参考价值（4 点）
- 若线上 embedding 具备 MRL 结构（例如多任务/多模态训练或直接使用 MRL 训练），可以放弃 uniform bit allocation，按维度重要性分桶，将更多 bit 分配给高方差/高信息桶，特别在 int4/int8 等低比特压缩下能显著提升召回。
- 工程落地风险低：分桶为 contiguous bucket，利于 cache 和 SIMD；贪心位宽搜索可离线执行，线上查询只使用预计算码本，无额外推理开销。可直接在 DiskANN 等向量索引层实现，开源代码可参考。
- 对商品/用户 embedding 大规模建库时，先做小样本统计分析维度方差/重要性，若存在递减或聚类结构，可考虑 variable bit allocation；存储预算固定下比加 GPU 或换模型更容易提升 recall@k。
- 该工作主要针对 MRL 嵌入；如果不确定业务 embedding 是否具备 Matryoshka 属性，可先训练或验证 MRL 特性，或在线收集维度重要性指标，再决定是否启用非均匀量化。
CHIIR 2026 以人为本的主动式个性化信息访问代理研讨会报告
🧭 人本主动式 Agent 设计原则
University of Washington · AMD & UC Berkeley · TikTok · Georgetown University
系统梳理主动式信息访问Agent的人本设计议题，强调主动性须时机恰当、透明、可争议且对齐用户目标
📌 工作参考价值（4 点）
- 主动推荐/导购 Agent 的触发策略不能只依赖点击预测分数，应引入 calibrated initiative：结合用户上下文、可中断性与任务阶段判断何时推送，降低打扰成本。
- 在搜索/推荐 Agent 提供主动建议时，需要内置透明与可争议机制：给用户解释“为什么此时给出该建议”，并提供快速纠正/关闭入口，避免 agent 自动化侵蚀用户控制感。
- 跨会话个性化应区分短期会话状态与长期记忆，用 memory 架构累积偏好，但必须允许用户查看、修改或删除记忆，否则信任会快速下降。
- 评估不能只看任务准确率或点击率，要加入用户福利、信任、agency/控制感等指标，尤其在电商导购、智能客服等高频交互场景中更关键。
单次成功不等于可靠：有状态业务工作流的 Thinkingbox 沙盒与基准
🧭 Agent 可靠性评估 · 有状态业务沙盒 ★ 深度解读
University of Pittsburgh · Northwestern University · University of California, Irvine · Microsoft
提出可执行的状态副作用检查沙盒 Thinkingbox，发现最强模型 pass@1 仅 65.36%，且全部 20 次成功仅 25.25%
📌 工作参考价值（4 点）
- 在电商售后/订单修改/退款等有状态场景，评估 agent 不能只看回复或工具调用是否合法，应定义可执行的后端状态检查（订单、退款、优惠券记录），同时校验“必须变更”和“禁止副作用”。
- 上线评估应同时报告 pass@1 和 pass^k（如 pass^20 全部成功），区分“偶尔能找到成功路径”和“稳定可靠执行”，避免把 pass@20 当可靠性指标。
- 工具错误恢复是主要失效模式（平均 77.5%），建议在 prompt 或训练数据中强制 agent 在关键写操作后二次读取/校验状态，而不是假设工具成功返回即完成。
- 模拟用户可设计为“只回答被问的信息、不主动补充”，推动 agent 学会澄清缺失字段（地址、授权、时间等），接近真实客服多轮交互。
DeepWeaver：弥合开放问答中的证据合成鸿沟
🧭 RAG 证据合成 · Thought Block Chain ★ 深度解读
Tsinghua University
用 Thought Block Chain 将噪声证据编织成细粒度、带引用的声明，显著提升开放 QA 的证据利用率与引用质量
📌 工作参考价值（4 点）
- 借鉴 TBC 作为生成前中间表示：在电商/推荐场景中，当需要基于大量候选商品、用户评论、内容文档生成推荐理由或商品综述时，可以先用 LLM 抽取结构化的「claim + keywords + salient info + evidence」块，把长上下文压缩为可管理的块链，再逐块生成最终文案，避免直接给 LLM 全量候选导致的信息丢失。
- 迭代式证据补全机制：DeepWeaver 的 subordinate + commit 流程（识别未覆盖证据 → 生成子 TBC → merge/discard）可以直接迁移到商品推荐理由生成或搜索 answer 合成中：先让模型生成初稿，再找出被忽略的用户痛点或商品卖点，补充后合并去重，能大幅提升内容覆盖率和细节保留度。
- 随机采样证据分轮处理：在广告文案、推荐理由等需要引用大量候选的场景，不必一次把所有商品/文档塞进 context，可按轮随机采样子集构造 TBC，多轮后覆盖全量证据，既能降低单次 context 压力，又能保持最终输出的全面性。
- 可解释性与引用对齐：通过把每个 claim 显式链接到证据片段（商品属性、评论、文档段落），可以方便地做归因和后续验证，适合需要高可信度的搜索推荐答案生成，也方便在线上做引用溯源和质量审核。
DeltaMomentum：基于键值的各向异性动量更新
🧭 优化器动量更新 · Delta Rule
Electrical and Computer Engineering, Carnegie Mellon University
把线性层梯度拆成 key-value，用 delta rule 做方向感知动量更新来加速训练收敛
📌 工作参考价值（4 点）
- 推荐系统特征通常极度稀疏/长尾，例如 user/item id、类目等输入方向的频率高度不均。DeltaMomentum 可直接替换现有优化器的动量 buffer，对高频方向自动降低遗忘、低频方向加快遗忘，特别适合 embedding 层和 wide 部分；无额外持久内存，可在排序/召回模型训练中验证步数节省。
- 若业务在用 LLM 做生成式推荐或领域模型预训练，可在 AdamW 上启用 DeltaMomentum，论文在 67M/370M 语言模型上分别减少 46%/22% 达到同验证损失的步数，对固定算力预算下扩大模型或数据量有直接价值。
- 工程实现注意：额外计算约为 gated-MLP 线性层成本的 22-25%，无 persistent memory；但方法基于线性层 key-value 结构，对 attention 等非简单线性部分需适配，建议先在 MLP/embedding 层替换。
- 调参经验：系数在 μP 下可跨宽度迁移，若业务使用 μP 训练超大规模模型，能用小模型调的系数直接放大，降低调参成本。
EnvHarness：可编程环境包装实现 Agent 定向学习
🧭 Agent 环境定制与自动化训练 ★ 深度解读
Washington University in St. Louis · Google Cloud AI Research · Google Cloud · University of North Carolina at Chapel Hill
提出 EnvHarness 可编程层与 EnvRigger 自动诊断循环，将静态环境改造成针对性训练环境，不改底层代码且保留原生验证器
📌 工作参考价值（4 点）
- 可借鉴 EnvHarness 的 Stage/Contract/Chain 包装思路：在不修改现有电商沙盒、对话仿真器等模拟器底层代码的前提下，通过接口层注入初始状态变化、动作约束和观察过滤，低成本生成大量定向训练环境。
- EnvRigger 的黑盒诊断-生成-验证循环适合迁移到客服/导购 Agent 的弱点修复：记录失败轨迹，自动写出限制快捷操作或强制验证行为的 wrapper 代码，并通过新鲜 rollout 接受/拒绝，实现策略与环境共演化。
- 在强化学习训练推荐/搜索 Agent 时，可利用 Contract 屏蔽高奖励但无学习价值的捷径（如直接推荐热门商品），迫使模型探索长尾策略；用 Stage 预设不同用户状态（新用户、低活跃、购物车状态），覆盖长尾场景。
- 保留原始 verifier 的做法值得采纳：所有环境改造通过标准 reset/step 接口完成，评估仍使用可信的人工验证器，避免生成式环境带来的评估失真问题。
Eureka：面向科学发现的任务条件化元智能体编排
🧭 Meta-Agent 任务条件编排与自演化 ★ 深度解读
ManXis · Guangdong University of Technology · South China Normal University · Shanghai Jiao Tong University · Duke University
提出任务条件的 Meta-Agent 架构，动态编译义务图并形成专门代理，通过治理式演化完成长程科学发现
📌 工作参考价值（4 点）
- 动态义务图 + ready frontier 调度：在电商多 Agent 场景（如大促策划、商品打标、广告文案生成）中，避免一次性完整规划，改为维护有依赖关系的义务图，仅执行前置条件已满足的节点，减少规划浪费和上下文膨胀。
- 架构热点识别与 Macro-Agent 封装：根据子任务间状态共享、依赖密度、操作复用等遥测，将高频协作的子任务封装为拥有私有状态和工具集的专门子 Agent，减少重复状态加载和通信 token；父编排器只通过类型化接口查看已验证产物。
- 治理式自演化（governed evolution）：不盲目循环优化，而是用 cost-benefit gate 判断是否值得修改架构；对低风险局部变异（如 prompt/工具接口）给予有限租约，结构性变更升级到高层，避免长程任务中过度搜索。
- 接受证书机制：对关键节点输出附带可回放收据和验证器契约，确保在复杂流程（如推荐策略生成、数据管道）中每个环节可审计，避免置信错误。
EXIMO: VLM 引导的 VLA 策略探索
🧭 机器人 VLA 微调 · 探索-模仿-优化
Google DeepMind
提出三阶段（探索-模仿-优化）VLA 微调算法，用 VLM 规划分解任务并配合 residual off-policy RL，显著提升样本效率
📌 工作参考价值（4 点）
- 可借鉴 VLM 作为规划器分解长程任务：在搜索/推荐 Agent 中，用 LLM 将用户复杂意图拆解为多个可执行子 query 或子步骤，降低单次决策难度。
- “探索-模仿-优化”三阶段训练模式：先通过规划引导收集高质量数据（探索），再做监督微调（模仿），最后用离线 RL 优化策略，比直接在线 RL 或纯 BC 更高效，适合 Agent 策略迭代。
- Residual off-policy RL 思路：在已有大模型策略上训练残差模块进行 RL 微调，避免全参数 RL 的不稳定，可迁移到 LLM 推荐策略的轻量级在线优化。
- 用 VLM 生成 intermediate subgoals 指导策略探索，类似在推荐中生成有序的候选集或子任务序列，提升长链路任务的完成率。
FinRCA-Bench：面向金融 AI 系统的证据检索与推理基准测试
🧭 RAG 证据检索与推理分离评估
提出 FinRCA-Bench，分离检索失败与推理失败，量化证据检索架构对金融对账根因诊断准确率的影响
📌 工作参考价值（4 点）
- 电商交易纠纷、支付对账、风控诊断等场景中，证据通常分散在订单、支付、履约、客服等多张表且靠事务关系而非文本相似；可借鉴 TPGR 思路，用 Typed Provenance Graph 沿订单号、支付单号等持久化关系做受限遍历，而不是纯语义检索，能显著减少噪声 token、提高必需证据召回。
- 评估系统时不要只看最终答案准确率：把证据召回、证据契约覆盖率与推理正确性分开打点，定位瓶颈。论文发现检索失败远多于推理失败（95 vs 15），业务上应优先优化 retrieval 结构而非反复调 prompt 或换模型。
- 对结构化程度高的问题，Rules/SQL 和经典 ML 仍很强（95.44%），不要盲目上 LLM；LLM 更适合处理规则难覆盖的非结构化和需要解释的场景，结构化部分用确定性规则或 GBDT 等传统模型保证稳定可审计。
- 可复用 evidence contract 评估方法：为每个 case 标注必需的 record 级证据集合，独立评估返回证据的精确性与完整性；对推荐/排序解释、广告归因等需要审计的业务，也可以建立证据契约，避免“正确结论但不可解释”。
FlowEvo：工作流与可执行技能共演化的自进化智能体
🧭 Agent 自进化 · 工作流与技能共演化 ★ 深度解读
Southeast University · Rensselaer Polytechnic Institute · The Hong Kong University of Science and Technology
训练免更新框架，将成功工作流编译为可执行技能，并在推理时通过直接复用或技能条件生成持续提升智能体能力
📌 工作参考价值（4 点）
- 在导购/客服/搜索推荐 Agent 中，把验证通过的会话或工具调用轨迹编译为带接口与测试的技能条目，而不是仅存 prompt 文本；可显著降低重复探索的 token 成本，适合高并发商品推荐、Query 改写等场景。
- 采用「动态生成 / 直接执行 / 技能条件化生成」三级路由，并设直接执行失败自动回退；可嵌入商品属性抽取、推荐解释、营销文案生成等 workflow，结构化任务优先走缓存式执行。
- 用对比式效用追踪（compare skill applied vs withheld）做负迁移治理：对 prompt 版本、策略技能、推荐模板做持续 AB 式统计，低于阈值自动降权/停用，防止线上记忆库被低质量经验污染。
- 该框架在可验证信号（结构化 action、code、math）下更稳，对无明确 reward 的开放对话需谨慎；其「小模型受益大」结论可用于低资源场景，用记忆库补偿模型能力。
GateDiffInt：门控可控扩散与多意图 LLM 蒸馏的用户行为建模
🧭 用户行为序列去噪与多意图蒸馏 ★ 深度解读
Fudan University · Xiaohongshu Inc.
用可控扩散去噪与 LLM 多意图蒸馏协同解决行为序列中的噪声-意图耦合，提升 CVR 排序
📌 工作参考价值（4 点）
- 行为序列去噪可借鉴 GMCD：按行为类型设置差异化 mask/噪声强度（shallow action 强噪声，deep action 弱噪声），用 gated fusion 融合去噪表示与原始表示，保留比价、加购等弱信号并抑制噪声，对电商 CVR 序列很实用。
- 用 LLM 离线蒸馏结构化 intent 到小模型：让 Gemini 等 LLM 作为 teacher，从用户序列生成 long-term/short-term/latent/conversion 四类意图文本，再用 Qwen3 小模型 + per-intent LoRA 路由蒸馏成可线上使用的向量，避免线上 LLM 高延迟；不同意图独立 LoRA 防止坍缩，可直接套到用户分层/兴趣建模。
- 两阶段训练 + 冻结 backbone 注入 LoRA 联合微调是工业部署关键：预训练去噪/意图模块冻结，仅给 encoder 和 intent extractor 加 LoRA，CVR 梯度只通过 non-gate 分支回流，兼顾任务对齐与训练效率；线上可周更新预训练模块、日更新 LoRA，适合已有精排模型轻量升级。
- 诊断 NIC/NID/IDF 的方法可复用：通过注入噪声测量 intent drift 和弱信号重建保真度，量化噪声-意图耦合，帮助评估去噪模块是否真的保留有用弱信号，而不只是看 AUC。
GEAR：生成式扩展与真实锚定的两阶段表格基础模型蒸馏
🧭 表格基础模型蒸馏 · 生成式扩展 ★ 深度解读
Renmin University of China · Ant Digital Technologies, Ant Group · Nanjing University
用生成样本只作为教师查询位置，再用 OOF 真实数据锚定，把表格基础模型压缩为 CPU 可部署的 MLP/树模型
📌 工作参考价值（4 点）
- 在电商/广告场景用大型上下文依赖模型（TFM/LLM）做 teacher、蒸馏到线上轻量模型时，可复用两阶段协议：先用生成样本只作为 teacher query 点、丢弃生成标签，避免 generator 标签 bias；再回到真实样本做 OOF soft/hard 混合锚定。
- OOF teacher prediction 是防自标签泄漏的关键。推荐/广告中如果用 teacher 对训练样本打分再蒸馏，样本本身在 teacher context 里会造成泄漏；按 fold 排除后再 query，能明显提升蒸馏稳定性和泛化。
- 对 LightGBM/XGBoost 这类树模型，直接蒸馏容易不稳定；但先用合成 teacher soft targets 预训练、再真实锚定，二分类 AUC 能超过 CatBoost。适合在现有在线树模型上引入 foundation model 蒸馏，保持工程兼容性。
- 生成器质量决定扩展上限：TabDiff/TabPFGen 优于低容量 Copula/CTGAN；若没有合适生成器，优先用基于真实表条件生成的生成器，生成量 K 控制在 10-20 附近，边际收益已经递减。
更多上下文，相同预算：超越Top-K检索的双界关系召回
🧭 检索上下文分配 · 图关系扩展 ★ 深度解读
Radiant Institute for Manifold Studies (RIMS)
相同检索预算下，用相关性种子加图邻接扩展比平铺top-k多恢复23.8个百分点的完整支持证据
📌 工作参考价值（5 点）
- 在RAG/搜索上下文中，不要把上下文窗口只当Top-K分数填充：可以预留一部分预算给与已选高相关实体有边关系的邻居（知识图谱、共现、商品关系等），这对需要多跳证据的查询尤其有效。实验证明相同token/对象预算下，图邻接扩展比继续下钻排名多恢复24%的完整证据集。
- 评估检索不要只看单条hit rate或recall@k：改用「完整支持集恢复」这类集合级指标，才暴露出平铺top-k在组合证据上的短板。电商导购中一个答案往往需要多个商品/属性共同支撑，单条命中掩盖了证据不完整问题。
- 问题类型决定策略：桥接类/多跳查询从关系扩展中获益巨大（+28.7pp），比较类查询几乎不获益（+4.2pp）。先做查询类型识别，再有条件触发关系扩展，能集中预算、减少对平铺场景的伤害。
- 关系质量必须用真实业务图谱：随机邻居和度保持打乱图都显著弱于真实关系图，说明不能只靠粗略共现或结构相似，要构建和维护语义准确的知识图谱。
- 注意伤害案例：关系扩展替换掉了192个问题本可恢复的平铺项，并非单调有益。部署时应学习一个选择器或价值模型，在扩展和继续下钻之间做期望收益判断。