可解释下一事件预测：神经符号序列规则与残差网络
🧭 神经符号规则 · 可解释事件预测
Saarland University · CISPA Helmholtz Center for Information Security
学习序列规则 RULES，并与残差网络组成 RUNES，在保持精度同时提供可解释规则与残差调整
📌 工作参考价值（4 点）
- 电商行为序列预测可用学到的规则如「搜索→点击→加购 ⇒ 购买」作为可解释基础层，配合残差网络提升精度；规则部分直接给运营/风控提供可读理由。
- 架构上采用规则+残差加性组合，线上可单独审计或配置规则部分，残差网络吸收长尾和非规则模式，适合需要业务可解释与合规审计的场景。
- 用于搜索词/query 推荐时，可将 query 和用户行为离散化为事件，学习「query A 后 query B」类规则，为推荐生成可解释理由。
- 规则集可作为冷启动先验或模型诊断工具：先在合成/历史数据上验证规则恢复能力，再接入残差模型，避免黑盒覆盖关键业务规则。
可预测的性能意味着次优：对模型路由的启示
🧭 模型路由与级联优化
Max Planck Institute for Intelligent Systems, Tübingen · Tübingen AI Center
证明性能预测仅在模型次优或预测器容量大时才优于模型自置信度，级联路由同理
📌 工作参考价值（4 点）
- 模型路由基线选择：将候选模型自身的 self-confidence（输出概率）作为默认路由依据，不要盲目训练额外性能预测器；当模型已通过微调接近任务最优时，复杂预测器增益很小。
- 如果业务中必须使用预测器（如小模型 + 大模型级联），把预测器资源分配给最弱的模型或最难的子任务，因为预测器优势与模型次优性正相关，模型越好增益越少。
- 重校准可复用：训练出的性能预测器若优于模型自置信度，可通过 recalibration 将该优势直接转化为模型 log loss 改进，类似用预测器蒸馏/矫正模型的不确定性估计，提升线上校准和风险控制。
- 级联路由设计：优先提升第一级模型本身（微调、领域适配）而非仅优化路由策略；当第一级模型足够强时，基于 self-confidence 的阈值路由与预测器路由差距缩小，工程更简单且更稳定。
Lean Finder V2：面向 Mathlib 的语义搜索与查询消歧
🧭 语义搜索 · 查询改写与消歧
Simon Fraser University · Rice University · University of Pittsburgh
用对抗训练生成大规模短歧义查询，结合模型微调与输入层改写，在 MathlibQR 上至少相对提升 11%
📌 工作参考价值（4 点）
- 用对抗训练补足“短歧义 query”数据：电商搜索里“苹果”“nike 卫衣”等短查询经常缺 context；可仿照用生成模型 + 判别器迭代生成大量带标签的歧义 query，而不是只靠真实日志，显著扩充训练集，解决数据稀疏。
- 模型层 + 输入层双层消歧：同时 fine-tune 检索模型（增强对短 query 的鲁棒性）并在检索前对 query 做改写/补全（如加类目、属性、别名），两者互补；在商品搜索或 Agent 工具检索中可分开评估增量，避免只做单一层。
- 面向真实短查询做人类评估基准：构建少量人工标注的短 query benchmark，用 unlabeled 真实 human/agent 交互做 ranking 评估，比离线 dense retrieval 指标更贴近线上体验。
- 检索质量直接挂钩下游 agent 任务成功率：与 Claude Code 集成后证明 proof success 提升，说明 Agent 工具检索/商品召回改善能直接转化为任务成功；建议将检索召回作为 Agent 流程中的关键优化点。
LLM 忘记所信：长程对话中的状态完整性崩塌表征
🧭 长对话状态完整性评估与缓解
School of Artificial Intelligence, Shenzhen University
定义状态完整性崩塌，用 StateTrack-Bench 揭示长对话中模型“记得但不执行”约束的失败模式，并验证结构化锚定可部分恢复
📌 工作参考价值（4 点）
- 在对话式推荐/客服 Agent 中，用户偏好、预算、格式或业务规则常在多轮对话中设定；不能只测单轮遵循，要构建类似 StateTrack 的“约束保持”回归集，监控长 session 下 recall 与 compliance 是否解耦。
- 将关键状态用结构化锚点注入每轮上下文（如 system state block / 结构化 memory），实验显示可恢复最多 24.4 点；可在电商 Agent 中用类似“状态锚定”方式（固定摘要或 key-value constraints）防止行为漂移。
- 区分“忘记”和“记得但不做”很重要：排查线上 case 时，如果模型能复述约束却违反，补 RAG/摘要可能无效，需要改进推理或加显式约束检查。
- 对多轮推荐/搜索场景，格式约束（如输出 JSON、候选 ID 格式）容易发生 symbolic degradation，考虑后处理校验或每轮显式重申约束。
Lychee：高召回向量搜索的倒排列表认证筛选
🧭 高性能向量检索 · GPU 倒排索引
University of Washington, Tacoma School of Engineering and Technology
Lychee 在 GPU 倒排索引上通过 certified screening 跳过大部分向量读取，实现高召回向量搜索加速
📌 工作参考价值（4 点）
- 在电商/推荐的高召回向量召回场景（如风控、相似商品去重、内容安全）中，可在现有 IVF/倒排索引上增加基于 anchor 的 certified lower bound 预筛，用 GPU tensor cores 做数值比对，避免读取全精度向量，显著降低显存带宽压力；可参考其证明框架，确保不损失召回。
- 若业务使用 cuVS / Faiss IVF-Flat，可借鉴 Lychee 的筛选顺序：先按 bound 递增处理候选，快速排除大部分不相关向量，只对少数候选计算精确距离；尤其适合 probe 数较大、追求 0.999+ recall 的场景，吞吐不再与 probe 数量成反比。
- 多 GPU 扩展方案对亿级/十亿级商品 embedding 库有参考价值：通过分片和跨 GPU 合并，可在 4 卡上达到十亿向量 0.9999 recall 的工程可行性。
- 对使用量化/图索引但需要高召回的业务，该方法的“certified exact top-k of probed lists”特性可替代部分重排，避免全量 rerank，平衡精度与延迟。
面向任务的长文档视觉问答综述：分类、演进与未来方向
🧭 多模态检索增强生成 · 长文档 VQA 综述
College of Computer Science and Technology, Zhejiang University · School of Software Technology, Zhejiang University · Polytechnic Institute, Zhejiang University · BWTON Technology Co., Ltd.
以任务瓶颈为主线，系统梳理长文档 VQA 的解析、证据检索、生成与评测，突出预算约束下的证据充分性
📌 工作参考价值（4 点）
- 电商售后、产品手册、合规条款等长文档问答场景，可参考其「证据组织与检索」组件化设计：把版面元素（表格、图表、段落空间关系）作为显式检索证据，而不仅是文本 chunk。
- 广告审核、商家资质审核需要从长合同/报告中找到依据，可借鉴「预算感知协调」与可验证理解的思想，在 token/延迟约束下动态选择直接阅读或检索。
- 面向客服 Agent 的架构：论文梳理的 Agentic Reasoning 与显式检索结合，可用于设计能持续管理证据、支持可纠正问答的长文档助手，降低幻觉风险。
- 评测维度中的证据充分性、可验证性，可直接迁移到内部长文档 VQA 评测集构建，重点考察答案是否有高保真证据支撑。
面向数据科学任务的自适应评分准则过程奖励智能体
🧭 Agent 过程监督 · 自适应评估准则
Carnegie Mellon University · Microsoft
AdaPRA 用自适应 rubrics 的过程奖励智能体审计并纠正数据科学 agent 的中间过程错误，显著提升排行榜百分位
📌 工作参考价值（4 点）
- 用可执行的检查（而非仅看轨迹）构建过程监督信号：在电商/推荐 agent 中可对召回策略、query 改写、特征拼接等中间步骤做"提交完整性""防泄漏验证""预算利用"等自动核对，提前捕获 silent errors。
- 自适应 rubrics：从简单任务或历史成功运行中挖掘 rubric 模板，再按任务难度/失败样本动态调整；对应推荐系统可按场景或品类生成评估检查项，并利用线上 badcase 持续更新。
- 跨模型迁移：用强模型运行结果挖掘 rubrics 去监督弱模型，或反之；可用于 reward model 构建、蒸馏或 RLHF，降低人工标注成本。
- 持久化 workspace 与跨尝试记忆：多次尝试间缓存探索结果、失败原因和已试策略，避免重复跑 baseline 和 EDA；推荐 agent 或搜索 agent 可复用已尝试的召回/排序策略，优化固定预算利用。
MICE 与你相见：从仅重排到端到端检索
🧭 神经检索 · 端到端 Late-interaction
Sorbonne Université · CNRS · ISIR · Sinequa by ChapsVision · Univ. Toulouse
首个基于 MICE 的端到端检索管线 MICE-P，用 PLAID 索引文档 token 表示，在保持 cross-encoder 效果的同时达到 late-interaction 吞吐量
📌 工作参考价值（4 点）
- 在商品/广告搜索中，可参照 MICE-P 将昂贵的 cross-encoder 级重排模型改造为端到端召回：离线预计算文档/商品侧上下文 token 表示并用 PLAID 类索引存储，线上仅做轻量 token 交互，保持效果同时大幅降低计算开销。
- 借鉴 Ettin Family 的公平对比框架：在自己的模型评测中，确保不同架构训练数据、优化器、步数等保持一致，避免因训练配置差异导致结论不可靠。
- 若已有重排模型表现优异但推理慢，可探索为其增加文档侧预计算与索引模块，转化为召回或第一阶段检索，减少多级 pipeline 的延迟。
- MICE-P 证明存在一种新的效率-效果权衡区间：在部分场景下，不必牺牲 cross-encoder 精度即可获得接近 late-interaction 的吞吐，适用于对精度敏感且有一定计算预算的电商搜索/推荐入口。
OneLatent：面向高效基础推荐模型的潜在推理框架
🧭 生成式推荐 · Latent Reasoning ★ 深度解读
Kuaishou Technology
用可学习潜在 token 压缩显式 CoT 推理，实现 Latent-Reason-then-Answer，精度与吞吐双提升
📌 工作参考价值（4 点）
- 用固定数量的可学习 latent tokens 替代显式 rationale 生成：在用户上下文和目标 SID 之间插入 2-3 个 latent token，训练时用教师 CoT 对齐，推理时只解码目标 item，可将 LLM 推荐的吞吐提升 17 倍以上且精度不降；适合在需要低延迟的生成式召回或重排中落地。
- Multi-View Adaptive CoT 构造互补监督：设计意图探索、正样本评估、行为归因三个视角，并让教师根据用户行为复杂度自适应输出推理长度，相比单一模板能覆盖更多样兴趣且减少 35% 冗余；这套 CoT 数据构造思路可直接迁移到 query 推荐、广告文案生成等场景。
- 三阶段对齐 + 课程后训练：先 rationale 对齐，再 SID 对齐，最后混合 latent/standard SFT 1:1，能同时保留直接生成和 latent 推理两种模式，避免显式 CoT 训练损害通用能力；适合渐进式上线 LLM 推荐。
- 生产推理架构：行为触发异步刷新、价值感知调度、结果缓存 Redis，将大模型推理移出在线请求路径，只在候选融合时消费缓存结果；这是把 LLM 推荐落地到高 QPS 电商/广告场景的可行工程范式，可直接参考。
PAIR：LinkedIn 高级用户人推荐的偏好对齐意图检索
🧭 偏好对齐检索 · LLM Embedding ★ 深度解读
LinkedIn
用曝光条件偏好对比学习与可增量更新的历史注意力，将 LinkedIn Premium 人推荐检索 MAR@100 提升 56%，线上 CTR +7.5%
📌 工作参考价值（4 点）
- 用「曝光未点击」当负样本，而不是随机负样本：把生产日志里同批次曝光但未点击的候选作为难负例，随机样本作为易负例，可以让召回模型直接对齐线上检索策略的曝光分布，比 ANN 硬负挖掘更贴合真实曝光偏差。电商/广告召回可以直接复用这个负样本构造思路，尤其是多路召回混合的场景。
- 静态画像与动态意图分离，行为更新只在 embedding 空间做：Profile tower 和 Document tower 离线预计算，用户历史用最近 K 个点击 item 的预计算 embedding + positional attention 聚合成意图向量，更新复杂度 O(Kd)，不需要在线重过 LLM。适合大规模实时个性化，对需要频繁更新用户表示的推荐系统尤其有价值。
- Matryoshka 训练让一个模型同时服务多种维度预算：在训练时同时对 200/256/512/1024 维前缀计算 loss，线上可按 latency/storage 截断，不需要为不同业务线训练多个模型。电商多场景召回/粗排可以合并训练，降低模型维护成本。
- 工程细节可直接抄：bf16 而非 fp16 防止 DeepSpeed 梯度溢出；温度设 0.02；离线指标优先看 MAR@k，ACC 在小候选集容易饱和，MAR@k 更能反映排序召回质量。
RSIHub：可组合的 Agent 进化方法框架
🧭 Agent 进化框架与实验治理 ★ 深度解读
University of California, Berkeley · University of Science and Technology of China · Douyin Group · Shanghai Jiao Tong University · Beijing Institute for General Artificial Intelligence
开源框架将 Agent 进化策略与执行评估解耦，支持公平对比、溯源与受保护评测
📌 工作参考价值（4 点）
- 在电商/广告 Agent 迭代中，把「策略改动面」和「评估面」分开：对 prompt、工具、编排做自动进化时，将评测器、数据切分、认证记录放在框架侧，禁止 mutate 触碰评估配置；这能避免上线 Agent 优化时因评测漂移导致错误归因。
- 借鉴 train/gate/sealed 三分法：用 train 产生反馈、gate 做准入、sealed 做 held-out 报告。搜索推荐场景中，可对应历史反馈窗口、回放准入窗口、未来线上 sealed 时段；防止对历史日志过拟合，暴露 query 改写/文案生成的泛化问题。
- 建立轻量 provenance/lineage：每个候选版本绑定 commit、recipe snapshot、模型版本、数据集指纹、split 与得分，便于回溯和审计；框架独占开销 <0.02% 生成时间，可集成进现有 MLOps。
- 复用 recipe+operator 组合模式：把进化策略写为算子，用配置声明 mutable surface，能让 A/B 对比不同 prompt/策略搜索算法时少写端到端实验代码，团队可快速替换单个策略组件。
深度增长与循环如何塑造语言模型中的上下文学习
🧭 深度增长/循环模型的 ICL 偏置
Technical University of Munich · Helmholtz AI, Munich · Munich Center for Machine Learning (MCML) · Google, Paradigms of Intelligence Team
证明深度增长与循环模型共享更强的上下文学习归纳偏置，并揭示归纳头传播机制
📌 工作参考价值（4 点）
- 若用 LLM 做 few-shot 推荐/排序（例如通过示例商品-用户偏好映射），可优先评估 depth-grown 或 looped 基座：它们更依赖上下文信息，可能比 dense 模型更少靠权重记忆固定关联，适合动态偏好学习。
- 预训练推荐/Agent 模型时可借鉴渐进深度增长：先训浅层再复制层继续训练，可能在更少步数内获得 ICL 能力并降低训练成本；同时可用“早期 induction heads 传播”作为训练监控信号。
- 用 induction head 排名做模型诊断与剪枝：识别对 few-shot 关键的头，保留或蒸馏到轻量模型，或用于验证提示工程中的示例格式是否有效。
- 资源受限的多轮 Agent 场景可考虑 looped/共享层结构，减少参数与 KV cache 压力，同时强化对上下文规则的依赖，适合反复调用工具/策略的推理。
谁在谄媚谁？自信 LLM、人类顺从与信任校准崩溃
🧭 人机交互 · 信任校准与反向谄媚评估
Amrita Vishwa Vidyapeetham · Netaji Subhas University of Technology · Indian Institute of Science (IISc)
当 LLM 自信且一致地犯错后，人类会反向顺从：虚假事实被采纳约65%，置信校准从0.70降至随机
📌 工作参考价值（4 点）
- 电商导购/客服 Agent 不能只评估模型是否迎合用户；应同步统计用户是否反向顺从错误答案。可仿照 Human Deference Index，在会话日志中标记用户是否采纳 LLM 输出的商品属性、政策解释或推荐理由，并与真实值比对，重点关注错误采纳率。
- RAG / 商品事实问答中，仅靠 LLM 自信表达无法阻止错误被吸收，且用户事后信任几乎不下降。应把“高置信但无依据”的内容做逐条可信度标注、来源展示或要求用户确认，不能寄希望于用户自行校准。
- 搜索推荐 Agent 生成的候选 query、推荐理由或商品描述，避免所有输出都用肯定语气。对低可靠性字段加不确定性提示、可核验来源或二次确认，尤其要防止高置信错误被直接采纳。
- 用户回看/互动多不等于系统更可靠：本实验中更差的助手反而导致更多回看，但回看伴随更多错误吸收。工程上不要把 session 回看次数当作质量正向指标，应结合正确性结果或任务完成度。
softmax 与交叉熵的数值修复：消除梯度塌缩与抵消
🧭 数值稳定训练 · softmax/CE 修复 ★ 深度解读
Google DeepMind
修复 softmax/cross-entropy 的两个数值 bug，消除 Slingshot 尖刺与蒸馏漂移
📌 工作参考价值（4 点）
- 在大规模多分类/生成式推荐训练（含 bf16）中，若出现 loss 精确为 0、梯度不对称或 Slingshot 尖刺，优先检查 logit margin 是否超过精度悬崖：bf16 约 5.5，fp32 约 16.6。可直接替换 CE 为论文的稳定实现：loss=softplus(-margin)，margin=-logsumexp(非目标 logits - 目标 logit)，保证 target logit 梯度不归零且梯度严格零和。
- 做知识蒸馏（如 LLM 教师蒸馏排序模型、语义 ID 蒸馏、ctr 蒸馏）时，学生接近教师时标准 soft-target CE 会因 q-p 相减产生非零噪声梯度，导致学生漂移；应改用 log-space 直接计算 q-p 的实现（expm1/log1p），保证 zS=zT 时梯度为 0，bf16 下尤其重要。
- AdamW/Adam 训练时 logit margin 最终会稳定在 log(1/ε)，若 ε=1e-8 则 margin≈18.4，略高于 fp32 悬崖；可通过调整 ε 避开精度悬崖或使用稳定 CE，避免高置信度下的隐性优化问题。
- 该修复为 drop-in 替换、无额外计算开销，建议直接用于训练框架的 CE 实现，防止高置信度场景的数值退化。
SQuAT：球面格型向量量化感知训练
🧭 LLM量化训练 · 球面格型VQ ★ 深度解读
University of Copenhagen · Qualcomm AI Research
提出分离STE的shape-gain向量量化训练，诱导球面优化，实现LLM低比特压缩SOTA
📌 工作参考价值（4 点）
- 在推荐/广告模型的 embedding 表或大权重矩阵压缩中，可借鉴 shape-gain 分解：将权重块拆为方向向量和标量增益，方向用球面码本量化，增益用少量比特（如 chi 分位标量量化），能在低比特下保留更多角度信息。
- 分离 STE 设计：在量化训练时对 shape 和 gain 分别使用 STE，而非对整个量化器用联合 STE，可诱导切空间更新，改善低比特收敛，该技巧可迁移至其他 VQ 或低秩训练场景。
- 若需对大规模模型做 VQ-QAT，采用分块分配、索引缓存、Triton 融合最近邻搜索，可将训练速度提升一个数量级（12.8×），适合电商场景下亿级参数的在线部署。
- E8S 球面码本支持分数比特率（如 1.75 bpw），有助于在存储与精度之间找到更细粒度的 Pareto 最优，对资源受限的端侧推荐模型尤其有用。