解码感知剪枝：面向 LLM 高效推理的 SparseDecoding
🧭 LLM 推理剪枝与稀疏计算优化
Westlake University · Ant Group
提出解码感知的剪枝框架，用生成过程激活校准并优化N:M稀疏SpMV内核，实现1.48x解码加速
📌 工作参考价值（3 点）
- 校准数据选择：剪枝/量化 LLM 时，让 dense 模型自回归生成并从各层收集激活作为校准集，而非离线静态文本，能缓解分布偏移导致的性能下降；在电商推荐理由生成、Agent 长回复等 decode 为主场景尤其适用。
- 系统内核优化：线上 LLM 以 decode 为主时，应重点优化 SpMV；采用 N:M 结构化稀疏配合 bitmask 索引与固定步长遍历，可有效降低 memory-bound 延迟，在商品描述生成、对话式推荐等长输出服务中提升吞吐。
- 训练后剪枝无需微调，工程成本低，适合对已有搜索推荐 LLM 服务做快速压缩迭代，保留任务性能的同时降低 A100/H100 推理成本。
解释信息检索中查询扩展性能的框架
🧭 QueryRec · 查询扩展可解释性 ★ 深度解读
Indian Statistical Institute · IIT Bombay · IIT Bhilai
提出理想扩展查询与可分性两个视角，系统解释查询扩展性能差异，验证相似度与检索效果正相关
📌 工作参考价值（4 点）
- 可用理想查询作为离线评估扩展质量的参考：若有小规模标注（如电商搜索点击/相关标注），可构造近似理想查询，度量 LLM 生成的扩展词/改写 Query 与理想查询的余弦相似度，作为自动评估指标，避免昂贵的在线实验。
- 使用 separability（Cohen's d）快速评估扩展 Query 质量：在标注子集上计算相关商品与不相关商品得分的分离度，与线上效果相关性高，可用于 A/B 测试前的快速筛选或模型迭代中的监控指标。
- 诊断 LLM 生成查询扩展失败：当 LLM 生成的扩展词效果不好时，检查其是否缺少关键 term 或权重不当；可尝试用 DFO/LS 方法从标注数据中学习理想权重，反过来指导生成或后处理，例如对 LLM 生成的扩展词重新加权。
- 注意负权重处理：LS 理想查询含负权重，但 BM25 优化（如 Lucene）不支持负权重，实际系统中需截断或用支持负权重的检索器。
Learn2Play Bench：评估 LLM Agent 在陌生环境从经验学习的能力
🧭 LLM Agent 经验学习评估基准
National University of Singapore
设计新文本游戏基准 Learn2Play Bench，揭示保留完整交互轨迹优于总结规则、改变 harness 可提升性能并降本
📌 工作参考价值（4 点）
- 在电商客服、导购、自动谈判等 Agent 场景中，优先保留完整的动作-反馈交互轨迹作为后续决策上下文，而不是仅让 LLM 总结成规则或策略；原始轨迹能保留更多细节，有助于更有效的经验学习。
- 固定 LLM 骨干模型后，优先优化 Agent harness（状态管理、观察剪枝、动作选择器、循环控制等）可能比微调模型更划算：论文显示更换 harness 可同时提升性能并降低推理成本，对业务降本增效有直接借鉴意义。
- 评估 Agent 上线前的学习/适应能力时，应设计规则新颖或反直觉的任务，避免模型利用预训练知识掩盖交互学习不足；同时通过变化游戏实例测试泛化，类似电商场景中的新品类、新活动规则快速适应测试。
- 人类玩家策略多样性显著高于 Agent，且重复动作更少，提示在 Agent 探索机制中可引入多策略采样、多样性正则或 epsilon-greedy，避免过早陷入局部策略，对复杂对话和推荐交互尤其有用。
两层 Softmax 采样的正确做法：纠正规模不平衡与离散度偏差
🧭 推荐候选采样 · 两层 softmax 修正
Spotify · SJTU Paris Elite Institute of Technology
提出 S-2LS 和 SD-2LS，修正标准两层 softmax 采样忽略簇规模不平衡与簇内离散度的偏差，几乎无额外计算开销
📌 工作参考价值（4 点）
- 在电商/广告大规模候选召回中，如果采用两阶段 softmax（先 cluster 后 item），注意标准 2LS 的 cluster 概率不是 item 聚合概率；对 cluster 打分时可直接加 log|C| 做 size 校正，避免热门大簇被系统性低估。
- SD-2LS 进一步校正簇内相似度离散度，推荐用 cluster 内 log-sum-exp（而非质心点积）近似 cluster 的 softmax 质量；若担心计算量，可预计算每个 cluster 的 dispersion 项，工程开销可忽略。
- 作为产品 embedding 检索、短视频/商品候选采样、负采样训练中的替代方案，S-2LS/SD-2LS 能降低两阶段采样偏差，提升召回质量与采样保真度。
- 业务中若簇大小极不平衡（头部类目 vs 长尾类目），优先用 S-2LS；若同簇 item embedding 方差大（同簇商品跨价格带/风格），用 SD-2LS。
路由化 3D 特权蒸馏提升视觉语言模型空间推理
🧭 VLM 空间推理 · 特权蒸馏
浙江大学
将深度、语义、BEV 等 3D 几何线索作为特权，在 GRPO 中对错误轨迹做路由化蒸馏，提升 VLM 空间推理且部署保持仅 RGB
📌 工作参考价值（4 点）
- 借鉴「特权信息蒸馏」思路：训练时引入部署时不可用的 3D 几何、商品属性、用户行为后验等特权信号作为教师，通过 KL 蒸馏到仅 RGB/文本输入的在线模型，在不增加推理延迟的前提下提升空间推理或多模态判断能力，尤其适合电商图像中的家具尺寸、商品摆放、场景布局理解。
- 借鉴「仅对错误轨迹施加特权 KL」的稀疏监督：在 RLVR/GRPO 流程中，只对模型出错的样本做特权蒸馏，能更高效利用稀疏错误信号，降低训练开销并改善收敛稳定性；推荐/Agent 系统中也可以只对失败案例蒸馏专家/特权信息。
- 借鉴「问题条件路由」：按问题内容只注入相关几何线索（如当前问的是距离则只给深度，问的是方向则给 BEV），而非全量上下文，避免冗余信息稀释注意力；可迁移到 Agent 或推荐模型中对多源特征的按需路由与融合。
- 多种特权可以互补：答案特权和几何特权叠加优于单一特权，业务上可同时蒸馏商品属性、用户反馈、场景 3D 等多类特权，进一步压缩模型与真实环境的信息差。
MARGIN：多Agent基础模型协调的运行时置信度校准
🧭 多Agent置信度在线校准
Ericsson
提出 MARGIN，通过运行时增量归一化按置信度分段学习模型特定校准，无需重训或留出校准集，提升多Agent决策准确率
📌 工作参考价值（4 点）
- 多模型投票/加权融合场景（如多个LLM生成推荐理由、多路召回结果合并）可用 MARGIN 的思路：按置信度分桶跟踪近期准确率与声称置信度的比值，用比值修正该桶的置信度，稀疏桶向模型级估计收缩，避免单个桶样本过少导致校准不稳定。
- 适用于需要在线适应 workload 变化的系统：无需重训模型或留出固定校准集，只需在每次获得正确性反馈后更新对应置信度桶的统计量，适合电商/广告中持续流入标注数据的场景。
- 工程实现上，可维护滑动窗口或指数衰减的准确率/置信度比率，对每个 responder 分别维护，用校正后的分数作为加权依据；冷启动时使用模型级估计作为先验，逐步过渡到分桶校准。
- 注意前提：必须能获得候选答案的正确性反馈（如用户点击、转化作为隐式反馈），否则该方法不可直接用；对于无反馈的推荐排序阶段，可考虑用代理指标替代。
Memento 3：通过反思式规则簿实现基于模型的递归自我改进
🧭 LLM Agent 通过可执行世界模型递归自改进 ★ 深度解读
University College London · Huawei Noah's Ark Lab, UK · University of Liverpool
让冻结 LLM Agent 用自然语言规则簿+可执行代码作为显式世界模型，通过反思与验证递归自改进，在 ARC-AGI-3 全部 25 个游戏达到人类动作效率天花板
📌 工作参考价值（4 点）
- 在电商搜索推荐 Agent 中，可把「用户意图/商品属性/召回规则」维护成 natural-language rulebook + 可执行代码，作为显式世界模型；用 action-observation 轨迹做 exact replay 验证，只接受能复现历史交互的规则/代码，避免 LLM 幻觉。
- 引入 Git 版本化记忆：每次规则修订/代码编译提交 commit，能 diff、回滚，便于线上排查与衰减实验；相当于把模型的「学习轨迹」变成可审计资产。
- population 扩展：同时维护多个世界模型假设，共享交互证据，用行为等价类采样保证探索多样性；在不确定用户意图或流量分布变化时，可以做多臂/集成式探索，降低单一错误假设的自我确认风险。
- 如果业务中需要 Agent 在无 reward 的交互环境中做事，可直接借鉴「反思→修订规则→编译为代码→验证」loop，把策略改进外置到可执行模型，而不是微调 LLM 参数，适合 rapid iteration 和低成本 rollback。
面向大语言模型的通用文本教学
🧭 LLM 文本知识蒸馏 · Primer ★ 深度解读
Westlake University
提出 UTT，无需参数更新，将 Teacher-Student 知识差距蒸馏为可迁移的自然语言 Primer，显著提升推理与代码生成性能
📌 工作参考价值（4 点）
- 业务中有强模型（如 GPT-4/Claude）和弱模型（如开源小模型或 API 便宜模型）时，可借鉴 UTT 对困难 query/商品/广告创意做配对评估，自动生成可复用 prompt/Primer，无需微调弱模型即可提升效果，尤其适合只能调用 API 的模型。
- 知识差距选择比随机选择更有效：先找出教师答对、学生答错的样本，再让教师针对性生成教学指令和演示，比直接让教师总结全量数据更利于迁移。可用于构建困难样本集或优化 few-shot 示例。
- 验证门控机制实用：每次更新 prompt/Primer 前，用小批量验证集确认不降低学生已有能力，避免自动 prompt 优化或 Agent 指令库更新时出现退化。
- 跨模型迁移性提示：同一个文本提示可在不同版本/不同家族的模型间复用，适用于多模型路由、灰度发布或模型升级时的知识继承。
MiMo-V2.6：面向自我改进的大规模强化学习训练
🧭 大规模强化学习训练与 Agentic RL 基础设施 ★ 深度解读
LLM-Core Xiaomi
通过扩展 RL 训练计算、任务环境与 grader 计算，在代码/通用/视觉/安全任务上稳定提升 1T 与 310B MoE 模型。
📌 工作参考价值（3 点）
- 防 reward hacking 的工程闭环可迁移到推荐/广告 RL 训练：环境清理（去缓存、隔离网络）、hack agent 对抗探测、训练中离线审计 + 作弊轨迹奖励清零，把 hack 率控制在 2% 以下，适合在线学习/探索场景。
- Groupwise advantage redistribution 思路可用于推荐模型基于 listwise/groupwise 反馈的训练：在 batch 内按质量因子对正样本重新分配 advantage，既保留成功样本梯度又惩罚低质量转化/刷指标行为，避免模型学到投机式优化。
- 大模型 RL 基础设施设计值得参考：统一 trajectory 表示、control/data plane 解耦、partial rollout + Sample Mixer 稳定多任务 batch 组成、冻结 MoE router 保证训练稳定；这些对大规模生成式推荐/Agent 在线更新有直接工程价值。
OneSearch-VL：统一图像/视频的多模态深度研究 Agent
🧭 多模态深度研究 Agent 统一训练 ★ 深度解读
BUAA · CUHK · NTU · THU · HFUT
以视觉证据图 VGEG 与证据/定位双层奖励 EVGR 为核心，统一训练单图、多图、视频深度研究 Agent
📌 工作参考价值（4 点）
- 用显式证据图统一数据构造、SFT 轨迹过滤与 RL 过程奖励：在电商商品图像/视频理解中，可构建「视觉 anchor → 商品实体 → 来源化属性事实 → 答案操作」的 VGEG 结构，使商品问答/导购 Agent 的证据链路可追溯，便于生成训练数据和做细粒度评测。
- 把过程奖励拆成 evidence traceability + visual grounding 两个维度：最终答案正确之外，分别检验检索事实是否被工具观察支持，以及模型是否真的定位到正确商品区域/视频帧。消融显示两者同时使用比只用答案+query 奖励平均高 3.8 个点，适合迁移到电商多模态 Agent 的 RL 训练，降低幻觉和“不看图就答”。
- 评测按 research operation 分层，而不是只报总体准确率：单 anchor lookup、multi-hop、多 anchor join/comparison/arithmetic、knowledge-conditioned counting 等操作化分层，能定位 Agent 具体弱项；电商场景同样可以按“属性抽取、跨商品比较、规格计算、多图统计”拆 benchmark，避免平均分掩盖能力短板。
- 单图/多图/视频联合 SFT 有跨输入迁移收益：共用同一套 action-observation 工具 schema 和动作空间，联合训练达到 55.8 平均分，优于单类型训练；电商场景中商品主图、多角图、商品视频共用一套策略，可以减少多套系统维护成本并提升一致体验。
Opera：面向长程编码 Agent 的语言化批评框架
🧭 Agent 执行期批评与反馈闭环
Salesforce AI Research · Rutgers University · Lehigh University
将每次纠正视为持久化笔记并跟踪到问题解决，显著提升编码 Agent 的 resolve rate 并支持蒸馏训练
📌 工作参考价值（4 点）
- 对电商/广告场景中的长周期 Agent（自动选品、广告投放、多轮购物助手），把每次干预/纠正变成持久化 note 并跟踪到闭环，而不是发完反馈就结束；配合周期性+事件驱动触发器，避免在任务进行中过早打断。
- 诊断问题用 typed operators（如重复动作、过早完成、缺乏验证），可迁移到推荐/搜索 Agent 的轨迹诊断：定义可枚举的高频失败模式，比开放生成 feedback 更可控、可审计。
- 反馈投递前先做 evidence audit，只基于可见轨迹批评，降低 LLM critic 幻觉和误判；对推荐解释、query 改写评估等 critic 模块同样适用，可减少误导性反馈。
- 用 critic-guided rollouts 蒸馏成 on-policy 微调数据，使小模型（如 Qwen3.5-9B）推理时无需 critic 也能保持提升，适合线上低延迟的推荐/广告 Agent 部署；这是一个可复用的训练数据生产范式。
潜在空间判定：语义保持压缩实现高效生成式奖励模型
🧭 生成式奖励模型 · 潜在推理压缩
Soochow University · University of Cambridge · Chalmers University of Technology · Peking University · Tsinghua University
LatentGRM 用语义分块与压缩替代逐 token 评估，在保持判断质量下将推理耗时降低 6-7 倍
📌 工作参考价值（4 点）
- 在电商/广告场景中用 LLM-as-a-judge 做数据筛选、候选评分或 A/B 评测时，可借鉴 LatentGRM 的思路：对多准则评价过程做语义分块与压缩，不逐 token 展开文本，而用连续潜在轨迹完成判断，能显著降低推理成本。
- 其 rubric-guided 压缩方式可迁移到「相关性+广告质量+商品匹配」等多维度评估 prompt：按准则边界压缩关键语义段，保留任务相关的偏好信息，避免生成冗长解释。
- vote@k 场景下节省明显：LatentGRM-8B 在 vote@5 时总推理时间降低 6.1-7.0 倍，适合批量生成候选排序信号时的成本控制。
- 独立解释器从潜在轨迹重建评估文本，提供离线可审计性：生产环境若需追溯 LLM 判断依据，可在不增加在线成本的前提下抽样重建解释。
REMORY：学习残差记忆实现上下文压缩
🧭 Agent 长程上下文压缩与记忆 ★ 深度解读
Shanghai Academy of AI for Science · Fudan University · Shanghai Jiao Tong University · University of Michigan · Alibaba Group
REMORY 在摘要后追加可学习软记忆 token，通过冻结 LLM 的续写分布逼近训练，以少量位置预算显著提升长程 agent 表现
📌 工作参考价值（4 点）
- 会话/上下文压缩：在电商导购、客服或搜索 Agent 的长对话中，用“文本摘要 + 可学习软 token 残差”替代纯摘要；摘要保持可读 checkpoint，软 token 补偿后续决策所需的隐式信息，避免丢失关键细节。
- 训练方式：不微调大模型，只训练轻量 memory encoder，通过冻结 LLM 的 teacher-student 分布匹配（reverse KL）接入；可在业务已有模型上低成本部署，在线只增加少量输入 token，无需改动 actor 权重。
- 两阶段课程：先重建阶段学习信息保持，再在固定摘要下学续写分布，直接优化“摘要遗漏但后续需要”的补偿；可迁移到生成式推荐中的用户历史压缩、query 会话 embedding 等场景。
- 工程配置：每 1024 positions 产生 64 soft tokens，层次压缩至最多 4096 slots，用约 5% 的位置预算接近全上下文效果；同时减少重复工具调用和工具错误，利于降低 API 成本、提升任务完成率。
生成式推荐中未召回目标的训练：解耦监督与概率竞争
🧭 生成式推荐 · 候选补全与重排训练 ★ 深度解读
Zhejiang University · Independent Researcher
用 WN/Cond/Full 三损失分离补全候选的监督收益与跨组概率竞争，证明竞争可损害重排。
📌 工作参考价值（4 点）
- 在生成式推荐/固定候选池重排中，不要默认把离线未召回目标直接 append 到训练 list；append 同时改变已召回目标权重、增加 training-only 监督并引入跨组 softmax 概率竞争。建议用 WN/Cond/Full 等效三损失做消融，定位端到端提升/下降来自监督还是竞争。
- 若必须使用 missed targets 作为训练专属正样本，可对 returned group 与 appended group 分别归一化（Cond），避免二者竞争总概率；实现只需训练两个 group 内 listwise CE 的加权和，无需构造 offset。
- 多路召回/多候选源可扩展为每个 source 一个共享 offset 的分组条件训练；soft/nonuniform target weights 同样适用，零质量 source 用相应无限 offset 极限。
- 上线决策：用 development 用户比较 best returned-only 与 best appended-target reranker，指标用 FT-NDCG@20（分母保留未召回 target）；仅当调整后 lower CI > τ 才切换，并按 generator 独立决定，避免全局默认 append。
思考惯性：LLM 被要求不思考时仍在思考
🧭 LLM 推理行为评估与指令遵循
Tsinghua University · University of Oxford · Stanford University
系统评估 LLM 的“不思考”能力，提出三层指标并发现显式禁用推理无法可靠消除思维惯性
📌 工作参考价值（4 点）
- 在电商/Agent 系统中若依赖“禁用 thinking”来节省推理开销，不能只看模型设置或提示词，需用空思考率、问题-预答相关度、显式推理率等指标做线上回归，才能避免隐性推理延迟。
- 对搜索推荐 query 改写、客服 Agent 等场景，把开放生成改成先给候选答案或多选题形式，可显著提高“直接给答案”的合规率，减少推理 token 与耗时。
- 评估 LLM 输出是否真的“无推理”时，可复用 LLM-as-judge 的 Explicit Inference Rate 指标，业务侧能低成本监控模型行为。
- 若业务需要高准确度且答案空间开放，要接受“禁止推理”会带来准确率下降的 trade-off，设计时需评估延迟、成本与效果。