YOPO：单次前向同时完成回答与弃答的冻结语言模型系统
🧭 LLM 推理 · 激活 steering / 弃答门控 ★ 深度解读
Georgia Institute of Technology · Columbia University · University of Wisconsin–Madison · University of Texas at Austin
在残差流同一前向里融合条件 steering 与零样本充分性门控，用无标签重建消除写读干扰
📌 工作参考价值（4 点）
- 在 RAG / 问答式推荐 / Agent 工具调用里，把“不确定就弃答或转人工”做成残差流上的零样本方向 d（sufficient 与 insufficient 的 diff-of-means），不要训练判别器；跨域阈值用目标域无标签样本的中位数校准，迁移稳定性更好。
- 如果要在同一前向 pass 里同时做生成/改写和不确定性门控，注意 write 会污染 read 信号。可以学一个轻量重建 map M：只做 steered→clean 的 MSE 重建，不需要任何弃答标签，就能恢复大部分 AUROC；小模型上尤其划算。
- 算力允许时，one-pass 里加监督 BCE boost 能在 in-domain 超过 two-pass clean read；但若业务有明显 domain shift 或小模型，优先用 label-free repair，避免 trained abstention 的跨域崩塌。
- 若用 steering / LoRA 做 query 改写、item 表示增强，注意训练目标会以 write 自由度换来跨域泛化损失：read-only < constrained write < free write。弃答/不确定性信号应放在 read head，不要写进同一个 write vector。
注意力感知变换编码压缩 KV Cache
🧭 LLM 推理 · KV Cache 压缩 ★ 深度解读
Technical University of Munich · Technical University of Darmstadt · MIT · Harvard University · Red Hat AI
用白化变换与反向注水按注意力输出失真分配 KV cache bit，5.8x 压缩下近无损
📌 工作参考价值（4 点）
- 长上下文 LLM 推理服务里，KV cache 是大头成本；这套方法只需离线校准集做白化 + 全局 bit 分配，在线仅做 per-token 标量量化，无额外训练，适合快速接入 vLLM/TensorRT-LLM 的量化路径。
- 注意力感知权重可直接复用：key 通道用 q_c^2 加权，value 通道用 W_O 行范数加权；对重要通道多给 bit，尾部通道给 0 bit 等价低秩裁剪，比 uniform precision 更稳，尤其适合商品描述、多轮会话历史、Agent memory 等长上下文场景。
- 校准数据混合思路值得照搬：FineWeb 与 OpenR1-Math 各半，同时覆盖通用文本和推理链；电商场景可替换为商品描述/搜索会话/推理 trace 混合，避免只在通用语料上过拟合。
- 工程细节有复用价值：保留前 4 个 token 与最近 128 token 全精度，按 block 16 重量化；GQA 下按 head-group 做 token-wise max scaling；在更 aggressive 的 2-bit 预算下，attention-aware 分配相对 var-only 优势更明显，可做服务分层压缩。
ACID 合规智能体系统：语义化事务执行框架
🧭 LLM Agent 事务化执行与可靠性增强 ★ 深度解读
Tsinghua University
以语义化 ACID 事务约束 Agent 执行，在 KramaBench 上超 Claude Code 10.6 个百分点
📌 工作参考价值（4 点）
- 把一次「探索→执行→验证」看作一个事务单元，commit 前用小模型做置信度分歧校验，失败即丢弃该步 workspace 与上下文；可直接用于电商/广告数据分析 Agent 或推荐策略多步工具调用，防止中间错误污染后续决策。
- 置信度分歧信号很便宜：用 token 平均 log-prob 估计，API 模型没有概率时挂一个本地 0.6B 模型即可；可对关键决策（过滤条件、人群圈选、代码生成）做有无证据支持下的置信度差，低于阈值触发重试。
- 语义隔离按依赖类型分 independent/collaborative/competitive：独立子任务给 Docker 独立权限，协作任务用 branch+定时同步，竞标任务 copy-on-write 并早停低分分支；适合多 Agent 并行做召回/排序/评估时的资源与上下文隔离。
- 只把 validated 步骤写入 append-only workspace，再用知识图谱组织长期记忆，既减少上下文（文中 7.7k→0.7k tokens），又支持审计回滚；推荐/搜索会话 Agent 可借鉴来做持久化状态管理。
AdsWorldEngine：编排器与工具协同进化的对话广告 Agent
🧭 对话广告 Agent 与工具协同进化 ★ 深度解读
Microsoft
用 Actor-Tool 协同进化与标签锚定判断建模构建对话广告 Agent，取得显著离线与在线收益
📌 工作参考价值（4 点）
- 把“是否出广告/推荐/消息”从“出什么”里拆开：用 Opportunity Gate + asymmetric cost-sensitive GRPO 控制误触发。false positive 惩罚设为 -2、false negative 设为 -1，直接按业务损失编码；不要做 group std scaling，避免抹掉不对称 gap。适合电商 push、对话推荐插入、搜索广告位决策。
- Actor-Tool 协同进化：先用 final slate 的 relevance/diversity 奖励训练 Orchestrator，再用 high/low reward rollouts 构造 (intent, 正样本 ad, 负样本 ad) preference 对，以 DPO 式目标训练 retrieval/relevance/ranking tool。能把端到端业务奖励传导到召回/排序工具，适合已有检索/排序模型的团队。
- Orchestrator 的 GRPO 奖励要看最终 slate 的 relevance/diversity，而不是看生成 query 的表面多样性。训练后模型会从“2026 Honda Pilot vs Toyota Grand Highlander comparison”这种重叠 query 变成两个产品名 query，检索候选更不重叠。搜索 query 生成/改写可复用：评估 query 质量要用下游召回结果。
- Label grounded judgment modeling：用 human label + 生产 guideline 生成思维链，再用 reflection 过滤标签不一致的 rationale，能减少“流畅但违背 label”的监督噪声；适合做主观 relevance/机会判断模型。
超越局部准确率：受控LLM推理评估的协议级可识别性审计
🧭 评估协议可识别性审计
School of Statistics and Data Science, Southwestern University of Finance and Economics
提出零模型调用的协议级可识别性审计，证明静态准确率与干预响应保真度存在结构性分歧
📌 工作参考价值（4 点）
- 评估任何策略干预（如推荐解释、prompt 改动、Agent 行为约束）前，先用协议级可识别性审计检查观测协议是否能区分不同行为策略，避免把静态准确率当作干预响应保真度。
- 利用最小识别支持思想做实验设计：离线评估时找出能区分策略差异的最小观测单元，减少日志、标注和推理成本。
- 注意基准正确率不能预测干预响应保真度，线上干预效果需要单独设计评估协议并验证其可识别性，尤其适用于多 Agent 策略对比场景。
- 可复用的审计是零模型调用的，可以在上线前用合成策略集检查评估协议，适合 Agent 多策略预筛选。
超越最终分数：面向长时域 AI 研究与开发的智能体系统性评估
🧭 Agent 长时域任务过程评估与经验复用
Meituan · University of Chinese Academy of Sciences
通过过程化指标与受控对比，评估 7 个前沿模型在 36 个长时域任务上的行为，发现当前智能体更像工程优化器而非自主研究者
📌 工作参考价值（3 点）
- 评估 Agent 不能只看最终指标，应监控 Solution Framing、Execution、Feedback Control 三个过程环节，定位瓶颈是方案设计、代码执行还是反馈调整，再针对性优化。
- 经验复用是把双刃剑：成功经验可能误导后续决策，建议在 Agent 记忆模块中加入相似性门控或置信度过滤，避免盲目复用历史方案。
- Harness 设计（提示模板、工具接口、实验环境）会显著影响表现稳定性，在业务中上线 Agent 前需隔离变量做 A/B 测试，避免将平台差异误判为模型能力。
CogChat：异构知识图谱增强设计对话 AI 的认知接地
🧭 知识图谱增强对话 · 异构 Graph Transformer
Design AI Lab, Hanyang University · Human-Centered AI Design Institute, Hanyang University
用个人异构知识图谱 + HGT 选择相关节点注入 LLM，提升设计对话的上下文保留与个性化意图理解
📌 工作参考价值（5 点）
- 面向电商/广告/搜索推荐场景的可借鉴点：
- 用户级动态知识图谱做长程上下文：在客服/导购/创意 Agent 中，实时从对话里抽取实体（商品、属性、类目、偏好）与关系，构建个人异构图谱，替代仅依赖 sliding window 的上下文；用 HGT 或轻量图注意力做子图选择，避免全量 KG 造成 prompt 噪声和延迟。
- 同名词/多义词消歧：异构图中实体类型和关系结构可区分同一词在不同上下文（如“苹果”作为品牌或品类），适合电商搜索 query 理解与个性化召回；将图结构注入 LLM 可提升意图识别准确率。
- 主动探测问题生成：借鉴 CogChat 同时生成 intentional 和 exploratory probing questions 的机制，在推荐对话中用于偏好澄清、query 改写建议（如“你指的是 A 还是 B？”），降低用户决策负担并收集偏好信号。
- 工程实现：可用轻量抽取器构建图，HGT 只负责节点打分与选择，LLM 负责最终生成，保持低延迟；先在特定垂直领域（服装、家居、3C）试点，注意图谱更新频率和图谱规模控制。
CROP：基于反事实的任务相关性用于选择性在线蒸馏
🧭 LLM 在线蒸馏中的 token 级样本选择
The University of Hong Kong
提出 CROP，通过反事实敏感性边际度量 token 级任务相关性，优化选择性在线蒸馏的监督分配
📌 工作参考价值（4 点）
- 在业务 LLM 蒸馏或微调中，可借鉴 CROP 对 token 级监督进行加权：仅重点关注与当前任务语义相关的 token，降低无关 token 的学习干扰。
- 利用构造「原始-释义-反事实」三元组来校准 token 敏感度，可用于评估指令中哪些部分真正驱动任务输出，辅助 prompt 精简或数据筛选。
- 方法不依赖外部标注，完全基于模型内部行为，适合线上持续学习或无法大量标注的推荐/Agent 场景。
- 可迁移到生成式推荐，例如对用户 query 或 item 描述生成时，判断哪些 token 影响最终推荐结果，提升蒸馏数据质量。
带目标正则化的 CVR 因果效应双稳健估计
🧭 CVR 因果效应估计 · 双稳健 + 目标正则化 ★ 深度解读
Tsinghua University · Tencent Inc.
为链式点击-转化结果构造双稳健因果效应估计器，并用目标正则化提升稳定性
📌 工作参考价值（4 点）
- 在 CVR 因果效应估计中，不要只在点击样本上应用标准因果估计器；可直接采用论文推导的影响函数校正项，构造 P_n(μ2/μ1) + P_n(δ(A=a)/(π μ1^2)[(Y2-μ2)μ1 - (Y1-μ1)μ2])，实现对点击选择偏差和 nuisance model 误差的双稳健。
- 工程实现上优先用目标正则化替代 one-step DR 校正：在 loss 中加入 R = mean((Y2-μ2)/μ1 - (Y1-μ1)μ2/μ1^2 - ε(a)/π)^2，用低维 spline 参数 ε(a) 学习校正项，能避免低点击率下分母放大导致的数值不稳定。
- 多任务同时估计 CTR 和 CVR 因果效应，并显式建模 μ2 = μ1 * tilde μ2，可共享底层表征、利用 Y2≤Y1 的先验，提升样本效率；同时 block 从目标正则化项传到 propensity 的梯度，保证 π 估计质量。
- 对连续 treatment，采用 varying-coefficient 网络（spline 基函数控制网络权重）可防止 treatment 信号被高维协变量淹没，在广告/补贴策略评估中较易迁移。
DARTree：基于自回归草稿树的推测性扩散解码
🧭 LLM 推理加速 · 推测解码
VILA Lab, MBZUAI
将扩散块草稿与树形自回归校正结合，训练无关地提升推测解码接受长度与加速比
📌 工作参考价值（4 点）
- 对线上部署 LLM 做生成式推荐（商品文案、推荐解释、对话式导购、搜索 query 改写）的团队，可直接把 DARTree 作为即插即用的推理加速层：训练无关，只需预训练 AR 校正头，无需额外训练成本，且保持无损输出分布。
- 借鉴其“固定宽度候选树 + 批量扩展评分”的工程 trick：把树节点扩展和 AR 校正头推理合并为单个 batch，避免逐节点堆排序的串行开销，适合在 GPU 上高并发执行，有利于降低在线服务延迟。
- 扩散草稿器做块级并行预测时，其边际分布需通过树形 AR 校正来恢复因果条件，这对其他使用扩散/非自回归草稿的加速方案有参考意义：不要只用单一链式校正，树形候选能显著提高接受长度。
- 注意该方法主要针对通用 LLM 解码，对传统推荐模型的排序、召回无直接帮助；但其加速比（最高 9.73x）在 LLM 参与的推荐链路里能有效缓解推理瓶颈。
DFM Mimir v1：1B参数开放HRM模型，仅用许可数据达前沿性能
🧭 1B参数开放HRM语言模型
University of Southern Denmark · Ordbogen A/S · Aarhus University
用HRM架构与161个许可数据集训练1B模型，英语有竞争力并刷新丹麦语SOTA
📌 工作参考价值（4 点）
- 合规数据策略可落地：业务中常受用户隐私、版权数据限制；Mimir 用 161 个许可数据集训出 1B 可竞争模型，说明「只使用许可数据」不必然牺牲性能。电商/广告团队可优先构建高质量合规数据集（如平台内脱敏行为、商品描述、客服会话）做模型训练或微调。
- 小模型 + 高效架构值得关注：HRM 使 1B 参数接近 4B 性能，若其层级推理能降低解码步数或提升推理效率，适合线上生成式推荐/Agent 的低延迟约束；可试验类似层级生成语义 ID 或分步 query 生成。
- 多语言混合训练启示：针对小语种或垂直域数据稀缺，将稀缺语言与高资源语言任务混合训练能提升目标语言表现；跨境电商、多语言 query 推荐可借鉴。
- 完全开放基座便于快速验证：Hugging Face 可直接获取，合规风险低，适合作为多语言业务原型的基座模型，快速测试 prompt/微调效果。
第二思考：LLM Agent 行动与观察期间并行推理
🧭 Agent 推理时延优化 · 异步并行思考 ★ 深度解读
Singapore Management University
在 ReAct 的 Action-Observation 空闲窗口并行分叉四路原子思考，融合回下一轮，降低主线程解码与轮次而不损精度
📌 工作参考价值（4 点）
- 把 ReAct 中 Action–Observation 的等待窗口当成免费并行推理资源：Agent 调用商品搜索、用户模拟器或工具返回期间，分叉 Check/Recall/Rehearse/Alternative 四路旁路思考，下一轮提示词直接拼接收获的原子思考，可减少无效轮次；工程上可复用主线程前缀 KV cache，关闭旁路 thinking mode 以快速产出。
- 四类推理维度对应电商对话 Agent 常见失败：假设未验证（库存/优惠条件）、长对话约束遗忘（预算/偏好）、工具结果偏离时重新规划、过早锁定单一策略；可按业务裁剪只保留 1-2 路，例如 Alternative + Rehearse，单分支 API 成本仅增加 16%-35%。
- 原子思考输出契约值得直接抄：用 <thought> 包裹、每条 ≤25 词、无前后引用，中断只丢弃当前单元，适合推送文案生成、搜索 query 改写等任何需要异步生成且可随时截断的场景。
- 延迟收益主要来自主线程 token 减少而非隐藏工具等待，说明把旁路思考预算转到等待窗口比单纯 force 主模型更长推理更划算；若允许主线程等待分支完成，Pass@1 还能再涨 4.7 点，但会牺牲关键路径，适合离线批处理或准实时场景。
DrEM：面向带噪 pxtr 预测的双侧鲁棒集成排序框架
🧭 推荐系统 · 集成排序 · 鲁棒学习 ★ 深度解读
Shenzhen University · Kuaishou Technology
提出 DrEM，用共享 logit 噪声模型同时校正 pxtr 噪声造成的监督侧偏好翻转和特征侧输出不稳定
📌 工作参考价值（4 点）
- 电商/广告多目标融合排序中，上游 pCTR/pCVR/pCVR 等分同时充当特征和代理监督是常见做法；可直接复用 DrEM 的双侧结构：监督侧做 pair 级 flip 校正，特征侧做一致性正则，并让两侧共享同一噪声参数。
- 上游预测噪声方差无法观测，工程上可用 DrEM 的 bucketing + probit 估计：按 pxtr 分桶，用后验行为均值与预测均值的聚合偏差反推 logit 空间 σ²，便于流式更新。
- 特征侧不要无脑加对抗扰动；先做 preference-preserving filtering，只对扰动前后序一致的 pair 施加 rank consistency，避免与主 ranking loss 冲突。
- 线上收益对稀疏互动目标更明显（Follow/Comment 提升超 1%）；如果业务关注收藏、评论、转发等稀疏行为，应优先在这些 pxtr 任务上做 flip 概率驱动的自适应校正和 item 级扰动。
DTAMLP：面向会话推荐的去噪时间感知 MLP
🧭 会话推荐 · 时间去噪 MLP
University of Electronic Sciences and Technology of China
针对会话推荐中短 dwell time 的偶发噪声，提出可插拔时间权重融合与 FFT 滤波的全 MLP 模型 DTAMLP
📌 工作参考价值（4 点）
- 将 dwell time 作为软权重而非等权特征：用阈值截断（超过一定秒数就 cap）并做对数/归一化，与 attention 得分相乘，作为插件嵌入现有 session/序列模型，冷启动快、改动小，可优先在电商详情页点击序列上尝试。
- 频域去噪可作为通用 embedding 侧模块：对用户行为序列 embedding 做 FFT，学习可训练滤波器（如实部/虚部权重或 mask），再逆变换，再送入 MLP/Transformer，计算开销低，适合处理多意图混杂的浏览序列。
- 消融设计提示：不同去噪机制可能互补，但需控制阈值和频域模块容量，避免过拟合；上线前先用离线数据验证单独模块增益。
- 注意评估的诚实性：论文明确说不是 SOTA，主要是机制验证；迁移到业务时先做小流量 AB，关注浏览深度、误触率等指标，而不是只看点击率。
多轮RAG何时停止？Search-R1中结构化停止判断与检索削减
🧭 多轮RAG自适应停止策略
Unaffiliated
在冻结的Search-R1框架上训练S2G风格结构化judge，用第一STOP决策减少3.7%检索调用，EM仅降0.625个百分点
📌 工作参考价值（4 点）
- 冻结主流程、只训停止judge：在电商搜索/Agent的多轮RAG场景，可以保持线上reasoner、retriever、prompt不动，只在小模型judge上做结构化停止判断，降低切换风险。
- 用“充分性+缺口”双标签替代二分类：让judge同时预测当前证据是否足够、缺失信息是什么，能提供更可解释的停止信号，后续可直接用缺口引导下一轮query改写或检索。
- 把序列决策当成first STOP选择问题：部署时轨迹由第一个STOP决定，因此评估时应按整条轨迹的最终效果而非单状态分类准确率来选阈值，建议用grouped validation避免同题多状态之间的泄漏。
- 注意成本口径：论文明确即使检索次数减少，judge推理也可能增加总耗时；业务上要单独核算端到端latency/cost，不能只报检索调用下降。