超越因果掩码：审计与定位自适应序列模型中的隐藏未来token泄漏
🧭 自回归模型因果性审计与泄漏定位
School of Artificial Intelligence, Guilin University of Electronic Technology · Department of Electrical Engineering, University of Chile
揭示自适应路由解码器中全序列summary造成未来token泄漏，提出审计与定位方法并修复验证
📌 工作参考价值（4 点）
- 在电商/推荐场景使用 LLM 或生成式推荐模型时，若架构中包含序列级 pooling、动态路由、summary broadcast、时间卷积等模块，即使 attention mask 正确，也可能引入未来 token 泄漏。应建立 prefix-invariance 审计流程，加入训练回归测试。
- 评估生成式推荐或 Agent 策略模型时，不要只看 teacher-forced loss 的下降。必须补充自由运行生成评估（如参考模型 perplexity、生成质量指标），防止隐藏泄漏造成虚假架构收益。
- 可复用 LeakScore（最大前缀输出差异）作为轻量诊断工具，在每次架构改动或新 checkpoint 上线前检测跨位置信息泄漏；尤其适合 MoE routing、自适应残差连接等动态路径。
- 工程实现中，动态路由的 query 路径应只使用 prefix-only 统计量，避免广播全序列 summary；对 KV cache 在不同数值精度下的一致性也要纳入检查，防止类似泄漏。
低比特 N-Gram 嵌入用于语言模型
🧭 n-gram 嵌入低比特量化与内存优化
DualverseAI
低精度存储 n-gram 嵌入表，4-bit 可节省约 75% 表内存且几乎不损失性能
📌 工作参考价值（3 点）
- 若推荐/搜索模型中使用 n-gram 特征嵌入表（如用户行为序列中的连续 token 片段），可尝试 4-bit 量化存储，通常能节省约 75% 内存且性能损失极小，是性价比很高的工程优化。
- 量化后若精度下降，可加入短时微调恢复大部分性能；若内存预算不变，可将节省的内存用于扩大嵌入表容量，反而可能超过原全精度表效果。
- 对于线上已有大模型（如 DeepSeek、Qwen 系列），其 n-gram 模块可直接做低比特量化，实测困惑度增加 <1.2%，下游任务基本不降，适合对内存敏感的场景。
DIAL：蒸馏指令遵循等级的可操控语言模型
🧭 语言模型细粒度指令遵循控制
School of Computing, National University of Singapore, Singapore · Singapore-MIT Alliance for Research and Technology Centre, Singapore · CSAIL, Massachusetts Institute of Technology, USA · School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore
轻量steering adapter+CFG蒸馏实现LLM指令遵循程度细粒度控制，并保持高吞吐与跨指令泛化
📌 工作参考价值（4 点）
- 在电商导购/客服 LLM 中，可用 DIAL 式的 steering adapter 对“回复长度/促销语气/品牌人设”做连续数值控制，避免仅靠 prompt 导致过短或过啰嗦；同一 base LLM 可部署多档风格服务不同场景，例如售前简短答疑与售后详细说明。
- 对 Agent 工具调用、商品属性抽取等可验证约束，可借鉴其“结合 prompting 提升 verifiable instruction following”：把价格、材质、适用人群等作为 verifiable 约束，在生成时动态加强遵守，降低后校验和拒识成本。
- 共享 text-conditioned classifier 的设计使得新增指令/风格无需重新拟合 adapter，便于在推荐文案、搜索广告标题、push 文案等多任务上用一个模型快速扩展；离线训练只需 instruction+request 文本，省去大量标注 response。
- 其 closed-form steering edit 推理开销极小，吞吐保持 96–99%，适合推荐/搜索/广告在线高 QPS 场景；可在流量侧按用户特征或场景动态选择 adherence level，实现个性化响应风格。
多模态大模型检索头的拓展与优化
🧭 多模态检索头机制与注意力优化
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Tencent
发现检索头在多模态模型中保持稀疏且跨模态共享，通过排序目标训练注意力可提升文档检索 Recall@1 6.03 点
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可先定位模型的 retrieval heads（稀疏注意力头），针对性地做剪枝或稀疏推理加速，同时保留跨模态共享的不足 2% 的关键头，避免文档理解、空间感知等能力下降。
- 借鉴 ranking objective 训练特定注意力头的方法：构造正负证据对，只对检索头的注意力分布施加排序损失，配合文档 / 商品召回任务做轻量微调，可提升 MMDocIR 等文档检索的 Recall@1。
- 多模态模型中音频和视觉证据共享检索头，说明跨模态对齐可在注意力头层面实现，电商短视频、直播等音视频带货场景可复用此机制设计统一的召回模型，减少模态间冗余。
- 消融实验显示跨模态共享的极少数头部影响多项能力，部署时可通过冻结这些头部或提高其权重稳定性，保障线上模型在多任务下的鲁棒性。
多Token预测与替代分词改进大规模隐式多跳图搜索学习
🧭 多Token预测与分词改进多跳推理学习
University of Toronto · Vector Institute · Manulife Applied AI Research · Dalhousie University
用多token预测和替代分词突破LLM学习隐式多跳图搜索的规模墙，实现稳定训练
📌 工作参考价值（4 点）
- MTP 可作为辅助训练目标加入生成式推荐/Query 改写模型：若任务需要隐式多步推理（如从用户意图推导 query、从 query 推导商品路径），同时预测未来多个 token 或路径节点，能强化模型对中间步骤的规划能力。
- 分词策略对结构化生成任务影响显著：将图路径、商品序列或意图链按更合适的语义单元编码（如子路径、节点对、结构化 token）替代逐节点编码，可降低序列长度、改善学习稳定性，在电商路径生成中值得单独调优。
- 训练信号与分词是两个正交因素，可以独立迭代；工程实现上可先在现有生成式推荐模型上分别尝试 MTP 和调整 item/path tokenization，无需整体重构。
- 论文使用合成图任务，主要是学术贡献，业务直接迁移有限，但其“扩展墙源于监督信号与分词”的归因可迁移到其他需要长程依赖的生成场景（如会话内多跳推荐、广告序列生成）。
更好的推理，而非更大模型：结构锚定的高效可靠推理框架
🧭 结构化不确定性削减 · 多轮推理
Huawei Research Canada · Huawei Technologies Co., Ltd. · Central University of Finance and Economics
训练无关的 SGUR 框架用先验加权图匹配与主动信息增益消减多轮推理不确定性，医学诊断 Hit@3 达 92.5% 且 token 少 5 倍
📌 工作参考价值（4 点）
- 可把业务知识构建成共享 schema 的异构图数据库，将用户当前行为/属性作为 query graph，再做先验加权部分图匹配，而不是对所有边等权检索；先验权重可由历史数据中的关系频率或决策增益得到，重点强化与最终决策相关的边。
- 主动信息增益策略可迁移到对话式推荐或 Agent 客服：不要问次要属性，而是按信息增益最大的节点/属性发起下一轮询问或补特征，既减少 token 消耗，也降低用户负担，同时系统性剪枝候选空间。
- 训练-free 框架可叠加在任意 LLM 后端上，适合业务快速上线验证；较小后端模型配合结构约束，可逼近甚至超过 10 倍规模的大模型，有助于降低线上推理成本。
- 对 Graph-RAG 类方案有直接启示：不要把所有图边一视同仁，先验权重让检索更聚焦决策相关关系，减少噪声，提升命中率。
GraphRAG 自动化富集分析：高效多数据库 ORA 提取与生物解释
🧭 GraphRAG 加速 ORA 并提升解释忠实度
Graduate School of Information Science and Technology, The University of Osaka, Japan · The First Affiliated Hospital of China Medical University, China
将多基因集库建成术语-基因知识图谱，用紧凑证据子图驱动 LLM 生成可溯源解释，查询提速 37 倍且忠实度最高 0.90
📌 工作参考价值（4 点）
- 多源标签整合：把商品属性、类目、场景、用户标签建成统一实体关系图，用共享实体连接分散的标签体系，便于跨源召回和解释。
- 证据子图检索：给 LLM 提供紧凑连通子图而非平铺 top-k 文档，可降低上下文噪音并提升推荐理由/广告文案生成的事实一致性。
- claim-level 忠实度评估：逐条校验生成声明是否被图谱边路径支撑，可作为 RAG/Agent 输出质量监控指标，适合落在 pipeline 里自动打分。
- 查询加速：图式预计算+子图检索相比逐库查询显著提速，可用于实时推荐解释或 Agent 工具检索的缓存设计。
何时跟随教师：基于优势的在线策略蒸馏
🧭 LLM 在线蒸馏 · 优势加权
University of Pennsylvania · University of Southern California
AOPD 用学生优势加权教师动作，仅靠标准 rollout 和终局奖励即可无偏估计，提升在线蒸馏效率与效果
📌 工作参考价值（4 点）
- 在生成式推荐/搜索场景做 teacher-student 蒸馏时，不要在所有状态都强行跟随教师；可以用 advantage-weighted 监督，只强化对当前 student 有益的教师动作，减少有害模仿。
- 工程实现上，AOPD 只需要保存 student rollout 的 logprob 和 terminal reward，再用 teacher/student 概率比做 importance weighting 即可，无需额外 rollout 或 reward model，轻量且易接入现有 on-policy 训练流程。
- 若业务中已有用户点击/转化/成交等终局奖励，可把蒸馏目标从 token-level SFT 换成 AOPD 形式，使教师监督与业务回报对齐，尤其适用于 query 推荐、push 文案、商品描述生成等 LLM 应用。
- 自蒸馏设置下也能用同一套优势加权逻辑，从历史高质量策略或大模型生成样本中蒸馏，同时避免拖累当前学生已擅长的状态。
HERD：面向持续学习的 Harness 演进递归蒸馏
🧭 持续学习混合框架 · 递归蒸馏
Monash University · University of the Sunshine Coast
提出混合持续学习框架 HERD，用 harness 技能库与有界残差记忆结合双锚漂移约束蒸馏，实现新任务获取与低遗忘。
📌 工作参考价值（4 点）
- 在电商/Agent 持续迭代中，可借鉴「skill/harness + 有界高残差样本库」做快速适配：新任务/新类目先用上下文技能处理，只把模型反复出错的高价值样本沉淀为记忆，避免全量重训。
- 蒸馏策略：定期把 harness 记忆蒸馏回基座模型时，采用双锚点（初始 checkpoint + 上一版蒸馏模型）做漂移约束，能缓解长时间递归更新中的遗忘，适合需要频繁发版/增量训练的推荐模型或 Agent policy。
- 资源固定：HERD 在固定 memory 与 compute 预算下运行，给生产环境提供了一个可落地的约束范式：不无限增长上下文/记忆，通过递归蒸馏滚动内化经验，保持线上成本稳定。
- 注意：论文面向通用 LLM 持续学习，不是推荐系统专用；但其中「技能库 + 残差记忆 + 双锚蒸馏」的架构可迁移到多域推荐、搜索 query 策略或客服 Agent 的持续优化。
混合检索的融合税：稀疏-稠密融合何时有害的诊断分析
🧭 混合检索 · sparse-dense 融合诊断 ★ 深度解读
Independent Researcher, Bothell, WA, USA · Independent Researcher, Issaquah, WA, USA
系统量化 BM25+密集检索融合在单查询上的损失，发现即便平均提升，13-48%查询反受损
📌 工作参考价值（4 点）
- 不要默认 RRF：若目标 domain 的 dense 检索明显强于 BM25，用 dense-heavy score interpolation（α=0.6-0.7）比 RRF 更稳；RRF 只在两路强度接近时更合适。
- 上线前做 per-query fusion 损益审计：统计比单独 dense 差的 query 占比（该论文 8-21%），尤其对风险敏感的商品搜索/广告召回；不要只看平均 nDCG。
- 不要依赖便宜 query 特征做跨 domain 路由：同一特征在不同 sparse-dense 平衡下方向会翻转，跨 dataset AUC 仅 0.59，路由收益不可靠；可考虑更重的 LLM judge 或在线评估。
- 排序第二级 reranker 不一定能修复第一级融合损失：先在目标域确认 reranker 可靠性；若 reranker 可靠，约 71-90% 原受损 query 被修复但会引入新 hurt query，需持续监控。
Jev-DLC：基于类型化反馈的决策级持续学习
🧭 持续个性化 · 类型化反馈有界状态
The Hong Kong University of Science and Technology (Guangzhou) · Sun Yat-sen University
用接受/撤销类型化反馈构建有界状态，在冻结评分器上实现低开销持续个性化决策
📌 工作参考价值（4 点）
- 将用户 accept/revoke 操作抽象成“选中动作 + 被替换动作”的成对反馈，用有向关系存储，适合电商推荐“换一换”、广告主拒单/改投等场景，直接用于在线修正排序偏好。
- 方法不存原始行为日志、不加一次 scorer 推理、不做在线反向传播，仅维护有界状态（可限制大小），对高 QPS 推荐/广告系统友好；可把该模块作为轻量级个性化插件放在已有精排模型之上。
- 互补双通道设计（动作身份证据 + 偏好关系）比单一历史重放更抗噪声，且在反馈稀疏时仍能稳定提升；可借鉴到用户级表示更新或 pairwise ranking 中，比单纯累积正例更有效。
- TCPA-Bench 的时序评估方式强调“只有影响后续决策才计分”，适合用来验证持续学习/在线学习系统，避免传统离线评估高估模型效果。
继承而非发明：推理模型中 Wait 的来源追溯
🧭 LLM 推理行为训练溯源 · RL 角色
The Hong Kong University of Science and Technology · Peking University · Huawei Noah’s Ark Lab
通过追踪开放模型训练历史，证明 wait 等修订标记主要继承自训练数据而非 RL 凭空创造
📌 工作参考价值（4 点）
- 训练推理型 Agent 时，显式在 SFT 数据中加入“wait/reconsider”等自我修正 trace，不要寄希望于 RL 后期涌现；RL 只能放大已有行为，不能无中生有。
- 对线上 LLM 推理/推荐 Agent 做行为归因时，用无标签指标（标记频率、位置、形式、注入错误后是否触发）替代主观印象；marker 频率不应单独作为“推理增强”的 KPI。
- 评估 query 改写、解释生成或自检质量时，谨慎使用 LLM-as-judge：自动裁判可能反转人工标注趋势，建议人工抽检或多种 judge 交叉验证。
- 复现或调 RL 配方（如 GRPO）时，先检查基础模型是否已含目标语言行为、是否带 KL 约束；这些因素决定 RL 是放大、不变还是擦除该行为，影响线上文案/推荐解释的风格一致性。
基于测试时回归的序列压缩方法
🧭 高效序列压缩 · test-time regression
The Chinese University of Hong Kong · Token Foundry, Alibaba Group
提出 TTR-Compressor，将序列压缩视为测试时回归并用闭式解聚合 token，在稀疏注意力和视觉 token 合并上优于 pooling/投影
📌 工作参考价值（3 点）
- 长用户行为序列压缩：电商推荐中用户历史行为 token 通常很长，进入 LLM 前可用 TTR 替代 mean/attention pooling；它联合拟合所有 token，保留交互，闭式解推理开销可控。
- 多模态商品信息合并：商品图、标题、属性等多模态 token 合并进 LLM 时，可借鉴 TTR visual merger 减少视觉 token 数并保持理解性能，适合多模态搜索或商品描述生成。
- Agent 长程记忆与上下文管理：面向 LLM agent 的对话推荐/搜索助手，用可学习回归压缩替代固定窗口截断或摘要，可能提升长上下文检索与推理（如 RULER）；工程上可将回归维度设小、分块计算闭式解。
兼顾任务遵循与行为自然度的用户模拟器
🧭 用户模拟器 · RL+对抗判别器 ★ 深度解读
Cornell University · Microsoft Research
用 RL 联合动态对抗判别器训练用户模拟器，有效对话率 46.2%，为最强现有模型的 3.3 倍
📌 工作参考价值（4 点）
- 在需要模拟用户生成多轮对话的场景（如评估导购 Agent、电商客服助手），不要只用 prompt 大模型或纯 SFT；可借鉴 SFT+RL+动态判别器配方：先 SFT 对齐真实用户语料，再用联合奖励优化任务完成度和自然度。
- 自然度评估要避免 LLM-as-a-judge，用轻量判别器（如 ModernBERT）做对抗训练，每 N 步重训，防止 reward hacking；业务中可训练真实用户 vs 模拟对话的判别器，作为线上模拟器的质量监控信号。
- 设计 coverage 奖励时引入信息不对称：给生成模型的意图抽象、给 reward 的子目标具体，可防止模型逐字复述意图刷分，鼓励多样化合理行为；类似可应用于推荐解释生成或 Agent 指令跟随训练。
- 终止/质量奖励可作为必要的门槛：先检查角色切换、重复输出、提前终止等硬失败，再做细粒度打分；这能低成本过滤掉不可用样本，提升自动化评估信噪比。
将自回归LLM控制编译为策略精确的并行推理用于层级RAG
🧭 层级RAG控制并行编译 ★ 深度解读
MemTensor (Shanghai) Technology Co., Ltd. · China Haisum Engineering Co., Ltd. · The Hong Kong University of Science and Technology (Guangzhou) · Shanghai Jiao Tong University
把层级RAG受限解码编译为一次prefill+树因果probe，零输出token复制串行策略
📌 工作参考价值（4 点）
- 对电商/Agent里任何 bounded-horizon constrained LLM controller（选品、路由、工具/query推荐、多步筛选），可把动作空间编译成 action-prefix tree，用 root prefill + tree-causal probe 一次前向求出所有可达状态；零解码 token、深度-2，直接去掉 JSON 协议失败和串行延迟。
- 若业务上「顺序选择有历史依赖」但最终只取集合，可用 probe 计算 order-marginalized posterior，并用 branch-and-bound MAP certificate 得到精确集合选择；避免把顺序当成集合决策的 serialization artifact。
- 上线前用 interaction mass Iseq = KL(P_AR || P_U) 诊断历史依赖强度；若 Iseq 大，说明 unary logit shortcut 不能替代串行策略，可以用同一 probe 低成本判断何时需要保留自回归条件。
- 注意工程限制：bf16 下 near-tie 翻转与跨硬件/跨后端差异同量级；需要强 parity 就换 fp32 或对低 margin round 回退串行；horizon>3 时 probe 宽度阶乘增长，建议改成 staged/chunked 混合执行。