KV²：一种自精炼 KV 缓存压缩方法
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
Karlsruhe Institute of Technology
用轻量代理选少量锚点做选择性重建，在 2% KV 预算下大幅优于 KVzip 等基线
📌 工作参考价值（4 点）
- 对 Agent 长期记忆、用户历史、商品知识库等“一次缓存、多次 query”场景，优先用 query-agnostic 压缩；KV² 两阶段思路可复制：先用便宜业务信号（如 key 相似度、商品/行为 embedding）挑锚点，再做局部 max-attention 打分，比全量重建省钱。
- 可将 KV 预算压到 2%–5%，适合电商搜索/推荐的超长上下文（长用户序列、多商品文档），降低缓存显存和 decode 带宽；chunk size 4K 是性价比甜点。
- 默认单轮即可，别急着上多轮 self-refinement；只有在 proxy 很弱或 reconstruction 比例极小时才考虑 2–3 轮。
- 落地注意：论文基于 kvpress 的 masking 实现未物理 compact，需配合 headwise 变长 attention、paged cache 和重复 query 服务后端，才能把压缩阶段收益转成实际 decode 收益。
LESSER：基于输出层梯度的后训练数据选择
🧭 训练数据选择 · 输出层梯度近似
University of Pennsylvania · University of Texas at Austin
用输出层梯度近似全参数梯度进行数据选择，降低特征提取FLOP 9.7倍/3倍且保持下游性能
📌 工作参考价值（4 点）
- 在 LLM 微调数据筛选中，只提取输出层梯度作为样本特征，避免全参数反向传播，数据选择成本大幅下降；适用于电商搜索/推荐场景下的 LLM 微调、指令数据清洗。
- 工程实现上只需 hook 模型最后一层，兼容现有 gradient-based 选择方法（如 LESS），可作为 drop-in wrapper 快速迁移，无需改变训练流程。
- 即使单个样本的梯度排序与全梯度存在差异，选出的 batch 梯度仍然对齐，因此批量训练效果稳定；可以在大规模候选池中做粗筛或迭代选择。
- 对 RLHF/DPO 等后训练数据筛选，输出层梯度可替代全梯度做相似度排序，尤其适合计算资源受限的团队进行高质量样本挑选。
MRVQ：面向维度与速率弹性的单一驻留向量索引
🧭 向量检索 · 弹性量化索引 ★ 深度解读
Atlassian · National Taiwan University
用一个残差量化索引通过残差阶段和坐标前缀两种截断，同时服务多种维度与码率，大幅节省驻留内存
📌 工作参考价值（4 点）
- 在需要同时支持多 embedding 维度（Matryoshka prefix）和多压缩率（4/8/16 B/vector）的召回/检索场景，可用单个残差量化器替代每个配置存一套索引：训练时对多个前缀维度加权重建误差，服务时用 stage 前缀控制码率、坐标前缀控制维度，大幅减少内存和部署复杂度。
- 工程实现上，残差量化 stage 天然提供嵌套码长：只存最大码（本文为 16 B/vector），解码时截断前 b stages 即可得到低码率版本；query 保持 floating point 不对称打分，容易接入 Faiss 等现有 PQ/OPQ 检索链路。
- 对商品库更新快、需要频繁重建索引的电商/多租户场景，PCA-scalar 方案（PCA 旋转 + 按方差分配标量位 + 逐坐标量化）质量与 RaBitQ 相当，但拟合速度中位数快 420 倍，适合近实时构建。
- 注意两个负面结论：高 rate 下 QINCo2 可能训练 collapse，若复现需做稳定性处理；基于 residual energy 的 ranking bound 预测未达标，不能用于质量保证。
NeutronGym：面向 LLM Agent 的物理分级中子仪器设计环境
🧭 LLM Agent 科学仪器设计与 RL 训练环境 ★ 深度解读
Oak Ridge National Laboratory
首个可执行中子仪器设计环境，用无 LLM 评判的物理分级奖励训练 8B 模型超越未训练 32B
📌 工作参考价值（4 点）
- 奖励塑形：把最终业务指标拆成可验证的中间层（输入合法→系统可执行→返回结构完整→业务指标达标），每层给部分信用。文中去掉部分信用导致 pass rate 从 76.7% 暴跌至 16.7%，说明密集课程式奖励是 RL 稳定训练的关键，推荐 Agent 做 RL 时不要只用稀疏 GMV/转化作奖励。
- 防 reward hacking 的 no-model 基线：上线前用固定答案、读题规则、跨实例迁移三种 probe 检测任务是否可被捷径破解。对应电商场景应先跑规则基线（热门、复制 prompt 限制、历史均值），避免把“背答案”当成模型能力。
- 工具调用前置校验：22 个工具在调用时即校验组件与参数合法性，把编译错误前置到工具层。Agent 链路中应对每个工具输入做 schema 校验并返回最近合法选项，减少多轮失败和无效探索。
- 不要只用成功样本做 SFT：克隆自己成功轨迹的模仿学习在文中让 pass rate 从 40.3% 跌到 31.3%，而 on-policy RL 训练包含失败轨迹效果更好。推荐 Agent 微调时应保留失败探索轨迹做 RL，避免只喂高转化样本导致分布偏移。
On-Policy 蒸馏中的收益与崩溃：强化学习视角
🧭 LLM 后训练 · On-Policy蒸馏 · RL视角
Zhejiang University · Westlake University
用 RL 视角解释 OPD 收益与崩溃：教师隐式奖励会放大学生的已有采样行为，掩码不健康响应与 SFT 初始化可缓解崩溃。
📌 工作参考价值（4 点）
- 做 LLM 后训练/蒸馏（如生成式推荐文案、Agent 轨迹优化）时，不要把教师模型只当作生成器，要同时审计它作为隐式 reward model 的可靠性；若教师打分和业务质量指标失配，可能系统性放大拼凑长文、重复槽位等低质输出。
- 在 on-policy 训练或在线蒸馏流程中加入「不健康响应 mask」：对超长、重复、包含异常模板的 rollout 直接屏蔽或降权，可低成本遏制 reward hacking。
- 上线蒸馏前先做 SFT 初始化，再切换 on-policy 蒸馏；尤其适合电商推荐解释、搜索 agent 工具调用轨迹等冷启动场景，避免从随机策略开始导致退化。
- 监控 rollout 长度分布、重复 n-gram 比例、KL 偏离等指标，作为早期预警；一旦长度/重复度飙升，优先检查教师偏好是否被错误行为劫持。
Pivot-SD：掩码扩散语言模型的高效自蒸馏
🧭 掩码扩散 LM 后训练 · 自蒸馏
KAIST AI · University of Toronto · Vector Institute
用信息增益筛选高影响力掩码 token 进行自蒸馏，提升扩散语言模型推理性能
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 训练中，可用信息增益等指标识别对最终结果影响最大的中间决策 token（如商品属性、工具调用参数），只对关键 token 做监督，降低训练噪声和计算开销。
- 对失败轨迹不要整条丢弃，定位导致失败的 pivot token 使用 targeted unlikelihood，其余 token 保持原样，可以保留有效探索、避免过度惩罚。
- 自蒸馏/离线 RL 中只需少量 query（200 个）和 rollout（每个 4 次）即可达到超过全序列 SFT 和预算匹配 RL 的效果，适合标注和算力受限的业务场景。
- 掩码扩散模型在生成式推荐（如 Semantic ID 生成）中逐步填充 token，可将每一步的 uncertainty reduction 作为信号，动态决定训练重点或推理早停条件。
散度选择控制蒸馏中的熵变化
🧭 LLM 蒸馏目标的熵效应
Stanford University
证明 forward KL 抬高学生熵、reverse KL 压低熵，散度成为隐式熵正则器
📌 工作参考价值（4 点）
- 蒸馏生成式推荐或 query 生成模型时，按输出分布需求选散度：forward KL 会抬高学生熵，适合增加候选多样性/探索性；reverse KL 压低熵，适合需要集中、高置信输出的广告文案、push 文案等场景，但需注意 student-teacher 差距过大时 reverse KL 会欠拟合。
- on-policy 蒸馏中低熵主要来自 token-level reverse KL，而非 on-policy 采样本身；如果 RL/on-policy 训练后模型行为过于 deterministic，可以直接调整 token 级散度损失，而不必改动采样数据策略。
- 使用 interpolated KL 时，训练早期熵变化平滑、收敛时突变；可在训练中监控熵曲线，在收敛前设置早停或动态温度，避免熵崩溃损伤生成多样性。
- self-distillation 中 teacher 拥有特权特征会降低 student 熵，此时应调节散度超参或 softmax 温度做补偿；在电商 teacher-student 迁移中，student 无法使用用户实时行为等特权信息时，可提高 forward KL 权重或降低温度以保持输出多样性。
通过模型路由与协作实现集体偏见缓解
🧭 多 LLM 协作路由去偏
Nanyang Technological University · National University of Singapore · Harbin Institute of Technology · King's College London
提出 Collective Bias Mitigation，用多 LLM 路由与协作降低偏见，Committee 在 top-7 将年龄偏见从 0.25 降至 0.10
📌 工作参考价值（4 点）
- 在生成推荐文案、广告语、客服话术等 LLM 输出场景，可先对业务敏感维度（性别、年龄、地域、消费能力）做细粒度偏见评估，按问题类型路由到该维度偏见更低的模型或 LoRA 专家，而不是全局换大模型。
- 借鉴 Committee 拓扑：多个异构 LLM 对同一 prompt 生成候选，再用低成本聚合/仲裁模型投票或改写，能明显降低 biased 输出；线上可按 top-k 控制成本，用较小 committee 在偏见与推理成本间取平衡。
- Debating 拓扑适合高价值、低 QPS 场景（如公关文案、敏感 push 文案），让模型互相挑战后再产出；普通推荐解释或 query 改写可用 Committee 的轻量投票。
- 工程上把偏见分数作为模型路由特征：离线为每个模型×敏感属性×任务类型建立 bias profile，路由时查表选择，避免每次实时前向全部模型。
学习查询编码器可能很难，即使向量检索几何上容易
🧭 向量检索 · 查询编码器可学性
Stanford University · Amazon AWS · Tel Aviv University
证明冻结文档索引几何容量充足时，查询编码器学习仍存在统计查询下指数级困难
📌 工作参考价值（4 点）
- 双塔召回（电商/search/推荐）中，上线新 query encoder 前先算冻结 doc index 的 oracle recall：用 ground-truth query embedding 或暴力 kNN 可达召回作为上界，定位瓶颈在文档几何还是 query 编码器；若 gap 很大，优先改进 query 侧训练信号而非替换向量库。
- 论文证明仅靠聚合统计的 query encoder 学习可能指数级困难，提示实践不能只堆数据/加负样本量；可尝试更细粒度的监督（hard negatives、teacher distillation、pairwise/listwise）或引入交互式打分头来辅助单向量召回。
- 若召回明显低于索引几何容量，可对 query 侧做诊断：线性 probe / 小网络能否逼近最好召回；如果简单模型也差，说明训练目标或分布不匹配，考虑生成合成 query-doc 对、用 LLM 扩展查询意图。
- RAG 场景同样适用：先测 frozen corpus 的检索上界，避免把 query encoder 问题误判为文档切分或 embedding 模型问题。
依赖感知的终端智能体策略优化
🧭 终端 Agent · 依赖感知信用分配
Southeast University · Huawei Noah's Ark Lab
提出 DepGPO，用命令间读写依赖图反向追踪，把优势分配到真正影响结果的步骤
📌 工作参考价值（4 点）
- 对多步 Agent 业务（如推荐 Agent 先检索后排序再生成文案），可以借鉴依赖图思路：记录中间工具调用的读写资源，从最终业务指标反向追踪哪些调用真正影响了结果，再做细粒度 credit assignment，减少无关步骤的梯度噪声。
- 训练 LLM Agent 时，trajectory-level advantage 会平均分配到所有 step，导致无关操作也获得信号；可以按依赖相关性重分配 advantage，只强化对最终 verifier 关注资源有贡献的 write/read 步骤，提升样本效率与训练稳定性。
- 工程实现上只需保存 execution trace 并解析命令间文件/变量读写关系，成本较低；在终端、代码或工具调用类 Agent 的 RL 训练中易于落地。
- 对电商搜索推荐中“多轮改写-召回-排序”的 Agent 链路，可以类比为命令依赖图，识别哪些改写或过滤动作对最终成交/点击有实际贡献，后续可用于诊断或弱监督信号设计。
直到证据确凿才结案：训练 LLM 调查员何时结案
🧭 LLM 推理闭环与不确定性判断
Peking University
构建 Nautil 事故调查数据集与三阶段结案评估，显著降低 LLM 过度自信并提升证据依赖结案准确率
📌 工作参考价值（4 点）
- 在客服、工单诊断、风控等需要“证据不足不下结论”的场景，可借鉴「证据依赖测试」：人工删除关键证据，要求模型必须停止闭环或明确缺失项，避免模型仅靠少量线索强行给出推荐/诊断。
- 用「仅来源规则」作为 baseline：在构建推荐或诊断数据集时，先检查 label 是否被来源/品类等浅层特征泄漏，若规则 baseline 已很高，需按来源分层评估，防止虚假高准确率。
- SFT 阶段用 teacher trajectories 显式教导模型输出“缺失信息”而不只给结论，可有效降低 LLM 过度自信，适合迁移到对话式推荐/Agent 的“不知道就反问”设计。
- RLVR 只奖励闭环决策可大幅提升准确率，但会牺牲对证据变化的敏感性；实际部署时建议将 evidence dependence 作为关键 offline 指标，避免模型“学会猜标签”而非真正依赖证据。
知识还是计算器？可验证金融 Agent 工作流中技能溢价的分解
🧭 Agent 工作流评测 · 技能溢价分解
Independent Researcher · Deep Insight Labs · University of Kent · University of Cambridge
用 2603 个金融 episodes 分解 agent 技能溢价：策展工具 +19.5、文档 +5.6，现场生成几乎无效
📌 工作参考价值（4 点）
- 将高频、可标准化的 agent 子任务沉淀为 curated skill package（可执行工具 + 规范输出 schema），不要依赖 agent 单次生成；实验表明现场生成几乎无增益且更耗 token/turn。
- 数值密集型流程（如预算分配、CTR/ROI 校验、竞价计算）优先提供 executable tools，而非文档说明；工具单独带来 +19.5 分，文档仅 +5.6 分。
- 涉及严格输出结构（如商品标签、推荐理由模板、广告文案字段）的场景，把 output schema 与操作手册作为 curated resource 注入能改善 adherence；但工具+文档组合收益次可加，不要盲目叠加资源。
- 建立 agent 工作流评测时使用任务特定确定性 verifier 和可再生成 ground truth，避免耗时 LLM-as-judge 且保证结果可复现。
自适应循环扩散语言模型
🧭 扩散语言模型 · 自适应计算
University of Illinois Chicago · Amazon AGI · Korea University
按 token 难度分配计算，扩散语言模型在多个基准上超越同规模 AR 模型并保持并行解码
📌 工作参考价值（4 点）
- 难度自适应计算可迁移到生成式推荐/query生成：在并行生成 Semantic ID、搜索词或推送文案时，不同 token 的预测难度差异大，可借鉴 ALoDLM 按 token 置信度动态分配迭代次数，避免对简单位置做无谓计算。
- 离散提交 + 隐状态继续精修：对电商场景中的流式生成或交互式 Agent，可将已确定的 token 提前作为条件输入，只对高不确定性 token 保留隐状态继续推理，类似级联早退机制，能显著降低平均延迟。
- 计算调度作为隐变量联合训练：如果把 token 的“停止迭代”决策也作为可学习变量，并用 NELBO 与最终生成质量一起优化，可以在线上对推理预算和业务指标做端到端权衡，比人工固定迭代次数更优。
- 并行解码吞吐优势明显：在需要大批量生成商品标题、广告文案或搜索 suggestion 的场景，扩散式并行解码能提供比 AR 更高的吞吐，适合高 QPS 线上服务。
AgentWebRec：在用户代理网络中通过紧凑证据融合实现个性化推荐
🧭 Agent Web 多智体协作推荐 ★ 深度解读
Beihang University · The Hong Kong University of Science and Technology (Guangzhou)
将推荐重构为 Agent Web 上的任务时证据获取与融合，通过 query-response 交互与置信度门控协作，在不集中代理记忆的情况下提升个性化推荐
📌 工作参考价值（4 点）
- 用户侧 Agent 记忆管理：在不汇聚原始交互数据的前提下，通过 query-response 接口获得紧凑任务证据，适合跨平台/合规场景下的用户偏好建模；可把私有记忆检索改为候选语义锚定 + 时间衰减 + 预算控制，降低无关上下文稀释。
- 条件协作机制：用本地决策置信度 κ 作为门控，只有低置信才请求邻居代理提供偏好模式，并将每个邻居返回的 pattern 通过 RefineLLM 融合；这能避免无差别引入噪声，控制推理成本和延迟，适合电商推荐中稀疏用户或长尾场景。
- 平台侧 item 语义增强：利用语义邻居构造支持集并用 AbstractLLM 丰富候选商品描述，可以作为后续检索的 anchor；对描述不完整、长尾商品尤其有益，可直接借鉴到商品理解、query 改写或广告创意生成中。
- 用户代理网络拓扑构建：实验表明基于 item 共现构建用户边优于 persona 相似度或随机边，说明行为共现是更可靠的人群同质性信号；在构建用户人群、Lookalike 或协同过滤图时可优先采用行为共现作为边权重。
AutoCompact：学习何时压缩长程编码智能体上下文
🧭 长程 Agent 上下文主动压缩 ★ 深度解读
Singapore Management University · Nanyang Technological University · Harvard University
训练编码智能体主动决定何时压缩上下文、保留什么工作状态以及如何继续，显著提升长程任务成功率
📌 工作参考价值（4 点）
- 主动压缩而非长度触发：在长程多轮Agent（如电商导购、搜索Agent）中，可引入类似compact()的工具，让模型在任务阶段转换时主动总结上下文，而非等到窗口将满；证明即使上下文未溢出，主动压缩也能提升效果。
- Judge-guided在线纠错数据收集：用更强模型作为judge在线审查agent的每个动作（压缩时机、摘要内容、后续行动），并执行纠正后的动作继续轨迹，能高效收集示范数据，尤其当目标行为在基座模型中很少出现时。
- RL联合优化压缩与任务执行：使用最终任务成功作为唯一奖励，同时优化压解决策、摘要生成和压缩后行动，无需额外的压缩专用奖励；实现上将轨迹按上下文重写点分段，各段共享advantage，简单有效。
- 摘要自一致性检查：除信息覆盖外，还要求摘要记录的状态与提出的下一步行动一致；在业务中可借鉴此标准评估Agent生成的中转状态质量。