序数在策略蒸馏：只学教师 Top-K 排序
🧭 LLM 知识蒸馏 · 序数监督
University of Memphis · University of Missouri
O3PD 在策略蒸馏中只复现教师 top-K token 排序，不拟合概率值，对温度不变并在数学推理上全面优于 OPD
📌 工作参考价值（4 点）
- 在蒸馏 LLM 到线上小模型时，不要强制小模型拟合教师 soft probabilities 的绝对数值，尤其当教师温度需要搜索时；改用 top-K 排序监督（如 ListMLE、RankNet）可省去温度调参，训练更稳定。
- 生成式推荐/query 生成的 on-policy 蒸馏中，教师概率值混杂其自身校准与置信度，小容量学生难以复现；只保留序数信息能降低容量要求，让模型专注学习候选 token 的相对好坏，适合电商 query 推荐、广告文案生成、推荐理由生成等场景。
- 若已有 OPD 流水线，可将 loss 替换为对 teacher top-K logits 的 ranking loss，保留 on-policy 生成模式；数学推理任务上的 +2.9 平均分提升说明该 trick 在复杂生成任务上可能有效。
- 对 Agent 策略蒸馏的启示：当学生策略模型容量有限时，教师动作分布的序数偏好可能比概率值更重要，可以在策略优化中借鉴序数监督。
BrowseFlow：用于生成式用户模拟的稀疏事件流匹配
🧭 生成式用户模拟 · 离散 Flow Matching ★ 深度解读
Tsinghua University · Taobao & Tmall Group of Alibaba
用离散 Flow Matching 对稀疏关键事件和浏览深度建模，生成随机用户浏览轨迹，在三个数据集上取得最优分布拟合
📌 工作参考价值（4 点）
- 拆解用户浏览轨迹为“浏览深度/进度 + 稀疏关键事件序列”的稀疏表示，避免逐 action 预测滚动等高频进度动作；直接生成点击/转化/收藏的计数、深度和目标，适合电商推荐模拟和 offline RL 环境中的用户行为生成。
- 采用离散 Flow Matching 的插入式 CTMC 生成可变长关键事件序列，天然处理事件计数和位置，不需要单独 count 预测头；训练用随机事件保留构造部分序列 + 条件速率匹配（hazard 1/(1-s)），实现简单，可迁移到点击/加购等稀疏正反馈序列建模。
- 评估随机用户模拟时不要只看命中或似然：用 energy score 同时度量样本对观察的保真度和样本间多样性，再加关键事件计数分布 Wasserstein 距离，能更真实反映条件响应分布拟合；线上模拟器/A/B 评测可引入类似分布指标。
- 对长会话，分离 browsing extent 能明显改善深浏览位置的恢复；在广告/信息流中若关心首点击深度或长浏览用户，可显式建模浏览深度分布而不是依赖逐步终止。
Chronos-2：多变量时间序列预测基础模型
🧭 时间序列基础模型 · 多变量预测
Amazon · University of Freiburg · Boston College · Rutgers University · Max Planck Institute for Biogeochemistry
零样本多变量时序基础模型，联合建模序列交互与异构协变量，精度与推理效率显著领先
📌 工作参考价值（4 点）
- 把 Chronos-2 作为电商场景的 zero-shot 多变量预测底座：对销量、流量、广告消耗、库存等多条相关序列联合建模，并纳入价格、促销、节假日、市场指数等协变量，减少逐业务训练专用预测模型的工作量。
- 可直接复用「历史上下文推断序列关系 + 异构协变量」思路：在推荐/广告的实时调控中，对 CTR、转化率、GMV、曝光量等多指标联合预测，输出概率分布而非点值，便于做风险控制和预算分配。
- 其推理效率（100 序列/秒级）适合大规模商品/广告计划的批量预测与实时校准；若将预测结果作为特征或 reward 信号接入排序/Agent 决策，延迟成本可控。
- 如需领域适配，优先考虑基于 Chronos-2 微调或蒸馏，而不是从零训练；同时注意协变量口径统一与缺失处理，因为模型对异构协变量的建模能力是收益关键。
从出行行为挖掘隐式意图的跨域 POI 推荐 MILES-Rec
🧭 生成式 query 推荐 · LLM 跨域意图推理 ★ 深度解读
AMAP, Alibaba Group
用 LLM 将地图出行行为与画像推理为有序自然语言 query，再用 GRPO 双层 credit assignment 对齐后续服务交互
📌 工作参考价值（5 点）
- 跨域推荐可用「自然语言 query 列表」作为语义桥：当行为域与商品/服务域无直接 ID 重叠时，不直接预测 item，而让 LLM 先输出多条有序意图 query（primary/expansion），再复用现有检索/召回。可迁移到从站内浏览、搜索、收藏、加购等异质行为生成导购 query，接商品/POI 检索。
- 两阶段训练可落地：先用大模型+人工校验合成三段式推理 SFT 数据（situation understanding → intent expansion → query prioritization），要求证据引用并去重；再用后续点击/下单做 GRPO。相比直接 SFT，能显著提升下游 Hit/NDCG，冷启与稀疏历史也受益。
- 奖励设计值得复用：用后验交互按细类聚合后，计算 query-category 匹配概率 × query-目标内容 embedding 相似度，one-to-one 最大权匹配 + rank discount 量化列表覆盖；重复 query 和超长惩罚可抑制冗余。适合只有隐式反馈、无逐 query 标签的列表生成任务。
- two-level credit assignment 是关键 trick：list-level advantage 管整体覆盖，query-specific advantage 只加在对应 query token 上，不能广播到所有 query；这能同时优化单 query 相关性和列表多样性。在生成广告文案、搜索推荐词、多意图 query 时可直接借鉴。
- 完整 60 天历史好过 7 天窗口；画像在行为稀疏时更补益。实际系统可将轨迹/行为窗口放大，并对冷启动保留画像与城市上下文。
CRoS：基于打乱思维链顺序的因果奖励提升推理准确性与忠实度
🧭 LLM 推理训练 · 因果奖励设计
UNC Chapel Hill
用打乱推理步骤顺序而非改变信息内容的因果奖励，缓解结果奖励无法保证 CoT 因果贡献的问题
📌 工作参考价值（4 点）
- 在电商/Agent 场景做 LLM 强化学习时，若只用最终结果正确性做 reward，模型可能产出与答案无关的低质量推理。可借鉴 CRoS 思路：对生成的多步推理/决策轨迹做顺序打乱，观察最终答案是否变化，作为因果性奖励信号。
- 对搜索推荐里的 query 改写、推荐理由生成、Agent 工具调用轨迹等，可以先按步骤/换行/工具调用边界切分，然后随机 shuffle 几步，让模型重新给答案；若答案对顺序不敏感则说明推理缺乏因果链条，适合作为负样本或扣分项。
- 相比删除步骤或注入错误，shuffle 不损失信息，能避免模型钻空子生成冗余、低信息量 CoT；在 reward 工程中可优先采用这种破坏顺序而非内容的因果性检验方式。
- 实现成本不高：只需对已有 RLVR 流程增加一次打乱后前向推理和一致性打分，适合作为 LLM-based recommender / Agent 的辅助 reward 或 offline 过滤指标。
DecisionRank：面向决策模型重排器的在线策略蒸馏
🧭 决策重排模型蒸馏 · 单 token 排序 ★ 深度解读
Meta · Purdue University
用 item-space on-policy distillation 把生成式 LLM 排序偏好蒸馏到单 token 决策重排器，8B 超 27B 教师且快 24.5 倍
📌 工作参考价值（4 点）
- 如果线上重排为了低延迟采用单 token doc-id score，可以不必再靠离线静态 RankNet 蒸馏；把学生当前排序的 top-K 作为 teacher-forced 前缀，在 item space 用 reverse KL 对齐 teacher 的条件 next-item 分布，训练与推理完全一致，且 teacher 无需和学生共享词表或架构，适合接闭源/跨家族 LLM 教师。
- 工程实现：每步用学生 first-token logits 排序取 top-20，一次性 teacher-forced forward pass 拿到 step 2–19 的条件分布，再对剩余候选做 Plackett-Luce 归一化和 reverse KL；不需要自回归 rollout，稳定且省算力。联合离线 RankNet，λ=0.1，16k 查询即可在多种 teacher/student 尺寸上稳定增益。
- 对推荐/广告重排的负向结论也有用：AR SFT/AR OPD/Listwise GRPO 在单 token 打分器上不稳定，尤其会伤 general retrieval；因此如果目标是 first-token 推理，不要套用生成式策略优化，应直接用 item-space conditional feedback。
- 附带收益：该方法蒸馏出的 first-token scorer 在 TREC DL/BRIGHT 上 ECE 低于生成式教师，且无需标定专用目标；这对需要阈值截断/出价置信度校准的广告或推荐场景是可直接复用的性质。
非对称跨 LLM 上下文迁移：KV 缓存跨模型复用
🧭 LLM 异构部署 · KV cache 跨模型迁移
Tsinghua University, Beijing, China
提出 ACCT，将源模型 KV 稀疏转换为目标模型可直接消费的状态，削减 75% KV 仍匹配原性能
📌 工作参考价值（4 点）
- 在电商多模型/Agent 路由中，可以把共享长上下文（会话历史、商品详情、检索文档）先由低成本源模型做 prefill，再由同 family 的大目标模型复用其 KV，省掉重复 prefill，适合动态路由频繁切换模型的在线服务。
- 借鉴 Cartographer 的 query-relevant 稀疏化：对每层每个 KV head 分别选择与当前 query 相关的 context token，比全局 Top-K 更精细；推荐系统里长用户行为序列或多模态商品上下文也可以按 query/候选 item 做非对称稀疏化，而不是固定截断。
- Allocator 的“全局 KV 预算下逐层/逐 head 分配”思路可用于模型服务：给深层/浅层或不同 attention head 分配不同的缓存 token 数，在 latency/cost 约束下最大化长上下文任务效果。
- 工程实现上，Compiler 把不同 hidden size 的源 KV 映射到目标模型，意味着上下文计算与最终推理可解耦，适合 Agent 系统里同一上下文被多个异构模型消费的架构，能简化上下文缓存服务。
Flide：通过精确状态分叉加速决策推理
🧭 Agent 决策推理加速 · 精确状态分叉
National University of Singapore · University of Oxford
提出支持决策模型分支请求的推理引擎，通过扁平化执行和ForkAttention实现精确且高效的批量决策
📌 工作参考价值（4 点）
- 若业务中有大量「同一上下文下对多个候选项打分/判断」的场景（如搜索 query 质量过滤、商品标题合规审查、广告创意审核），可参考 Flide 将逻辑分支树与物理 token 流解耦的思路，把共享前缀只计算一次，分支部分扁平化执行，避免重复 forward 或 cache 复制。
- ForkAttention 用 GPU-resident 索引控制注意力掩码，保证每个分支与单独推理数值完全一致；在设计自己的批量推理服务时，可借鉴这种「逻辑分支 + 物理连续序列 + 掩码隔离」模式，在标准 attention 和 Gated DeltaNet 层上均可实现，适合混合架构模型。
- 对于多轮 agent 交互中逐步扩展历史（如用户不断追问、筛选条件动态增加），可利用其 checkpoint 机制从已保存状态恢复，只计算新增部分，显著降低长会话延迟，这对电商导购、客服 agent 等场景很有价值。
- 如果业务对决策概率的精确性有要求（如风控、A/B 测试），需避免标准批量推理导致的概率偏移，Flide 的「精确算术等价」设计提供了可复用的工程原则：把分支拓扑放入 GPU 元数据，配合预录制执行图，兼顾吞吐与一致性。
何时 AI 代理应该提问：有限人类注意力下的澄清请求
🧭 多智能体共享人类注意力时的提问协调
The University of Sydney Business School, The University of Sydney · Amazon
提出 Pairwise Coordination Policy 协调多智能体共享有限人类注意力时的提问时机与排序，成本接近最优
📌 工作参考价值（4 点）
- 在多个 AI agent 并行处理推荐/广告/生成任务且需要人工确认偏好、约束或补全信息时，不要逐个 agent 独立决定是否提问；PCP 用成对任务延迟矩阵估计全局等待成本，能显著降低人工等待与任务闲置带来的总成本。
- 工程上可以先离线计算单任务和双任务的最优策略与成本表，运行时仅根据当前待解决需求做组合近似，避免动态规划维度爆炸；适合作为 agent 调度与澄清模块嵌入现有 LLM agent 框架。
- 业务中可复用“先做不依赖缺失信息的部分，再决定 search 或 ask”的框架：如果 agent 有其他可做工作，提前提问可能反而降低总延迟；若可通过查询历史记录/知识库低成本解决，则优先 search，否则 ask。
- 人类注意力是瓶颈时，不要用 agent-by-agent 排序，而应基于所有等待问题动态调整优先级；PCP 的近似保证和合成基准上的 0.07% 最优差距说明这种成对近似已经足够用于实际调度。
混合计算机使用：面向通用智体的程序化、语义与视觉统一接口
🧭 多通道接口的通用计算机使用 Agent
Microsoft Research · Fudan University · Tsinghua University
统一代码/CLI、无障碍语义AX与GUI视觉三通道，让智体灵活选择组合，在OSWorld 2.0上取得最高分
📌 工作参考价值（4 点）
- 电商/广告自动化 Agent 可直接借鉴多通道设计：对内部系统优先暴露 API/CLI 程序化通道，对前端页面提取 AX 语义树而非只给截图，减少 LLM 对像素的推理负担。
- 动作批量执行 + 紧凑 diff 观察：将多个可独立操作合并为 batch，返回状态变更前后的差异（AX diff），避免逐步骤截图和往返，显著降低长流程任务的成本与时延。
- 通道切换时引入 stale-state 防护：在 Agent 执行跨系统任务时，维护各通道状态版本并在切换前校验刷新，防止过期状态导致错误操作，对广告投放、订单处理等高风险场景尤其重要。
- 为 LLM 提供通道选择 skill：编写接口选择手册，让模型根据任务类型（数据查询走程序化、页面操作走 AX、复杂视觉走 GUI）路由到最有效通道，减少自由探索成本。
ID2Pattern：为交易风险基础模型预训练可泛化身份行为模式
🧭 身份行为模式预训练 · 交易风控/电商 ★ 深度解读
Ant International · East China Normal University
用 LAID 匿名 ID 编码与多尺度 VQ pattern codebook，从高基数身份序列中提取可泛化行为模式，提升风险/电商预测。
📌 工作参考价值（4 点）
- 高基数 ID 不要用 hash/ID embedding，用 LAID 匿名编码：将 user/device/card/item 等 ID 映射为局部 ID、novelty、occurrence、recurrence 四通道；词表固定、不受 ID 新增影响，且对 ID 值置换不变。适合冷启动、跨域迁移以及线上推理速度（比 hash 更快，参数不随 ID 增长）。
- 用多尺度 VQ pattern codebook 做无监督预训练：在 short/medium/long 三个时间窗口各自量化成离散 behavior pattern，通过 masked identity-state recovery 学共享码本；离散 pattern 比连续表示更稳，可跨数据集 transfer，甚至略优于 in-domain 预训练。
- 可迁移到电商/广告序列建模：淘宝/RetailRocket/Synerise 上的结果表明，短期 window 捕捉 repeated revisit（转化意图），长期 window 捕捉 novelty（风险/偏好变化）；可以把用户行为序列中 ID 的高基数问题与语义特征解耦，作为 plug-in 加到 GRU/LSTM/Transformer/Mamba 骨干。
- 工程实现上，LAID 计算只需 window 内等值比较，无需全局映射：单次 pass O(#fields * sum L_s)；pattern token 仅给 backbone 增加 3 个 token，复杂度可控。适合高 QPS 在线支付/推荐场景。
基于层级树索引器的次二次方注意力机制
🧭 层级树索引稀疏注意力加速长上下文
Zyphra Research
提出层级树结构索引器对KV cache递归压缩，使注意力总成本随序列长度亚线性增长，实现次二次方缩放
📌 工作参考价值（4 点）
- 电商长序列建模：用户历史行为、商品序列、会话记录可视为 KV cache，借鉴层级树压缩摘要，在推理时自上而下检索相关 token，实现长上下文稀疏注意力，降低 inference cost。
- 轻量适配存量基座模型：仅需数亿 token 的 KL 蒸馏，业务侧可为已有 LLM 加装该索引器，无需重新预训练。
- 树深度稳健：即使 6 层深树也不显著掉点，工程上可自由调整索引层级，在精度与延迟间取平衡。
- Agent 场景收益：长上下文 agentic coding 性能不降，适合需要超长工具调用历史 / 文档上下文的电商导购 Agent 或智能客服，可直接扩展 context window 而不更换模型。
可靠性加权直接偏好优化：鲁棒偏好学习的惩罚权重方法
🧭 偏好学习 · 鲁棒 DPO
School of Data Science and Analytics, Kennesaw State University
在 DPO 中为每个比较样本引入可学习可靠性权重，自动降权翻转/噪声偏好，几乎无额外计算成本
📌 工作参考价值（4 点）
- 直接用于 LLM 推荐/排序模型的偏好微调：电商场景的用户行为（点击、点赞、下单）常含噪声甚至反转，RW-DPO 的权重估计与策略联合优化可自动降权可疑样本，工程实现只需在 DPO loss 中加一个惩罚项和闭式权重更新，几乎不增加训练成本。
- 容忍标注噪声，减少人工清洗：实验显示在 10-30% 翻转标签下，RW-DPO 的 win rate 不随翻转率上升而下降，甚至超过干净标签 DPO，说明面对隐式反馈数据不必先花大量资源清洗，可直接训练。
- 利用 margin 阈值识别翻转样本：理论证明恢复所有翻转比较需要 margins 约 log n，可据此设计样本检查策略：优先审查模型与其高置信度预测矛盾且 margin 较大的比较对，辅助数据质检。
- 与其他噪声校正方法对比的启示：RW-DPO 的误报标志更少、估计误差更低，可作为 RLHF 训练中鲁棒偏好建模的基线方案，适合需要快速验证鲁棒性的团队。
KITE：将检索构建为长期对话记忆的决策过程
🧭 Agent 长期记忆检索决策化
Memoket AI Research · Universität Stuttgart · Georgia Institute of Technology · Tsinghua University
KITE将长期对话记忆检索变成受控主题索引上的可检查决策过程，LoCoMo/LongMemEval-S准确率93.5%/86.0%，仅约1.6k tokens
📌 工作参考价值（3 点）
- 在电商客服/对话式推荐 Agent 里，长期记忆不要只依赖 embedding 相似度；可以维护一个受控的主题/商品/意图词汇表，把查询编译为显式检索计划，根据问题包含的时间、实体、主题条件去定位历史证据，提升可审计性。
- 对结构化主题索引遗漏的表面细节，用 BM25 等稀疏词法检索兜底，适合找回订单号、SKU、地址、优惠码等精确字符串，避免 embedding 模糊匹配丢失关键信息。
- 受控索引的动态扩展与合并可用于治理电商知识库和会话 topic；固定 lookup/ranking 执行路径可降低 LLM 调用成本，每题仅约 1.6k reader-context tokens，对高并发成本敏感的 Agent 场景有直接复用价值。
LLM Agent 多工具请求的检索结构完备性与成本
🧭 Agent 工具检索结构对比与完备性评估 ★ 深度解读
香港理工大学
比较六类工具检索结构，发现多工具完整检索需标注数据或30+次LLM调用，零训练/单次调用结构近乎失效
📌 工作参考价值（4 点）
- 评估 Agent 多步骤任务时，把 completeness@k 作为主指标，不要只看 recall@k；按所需工具/技能数量分层，否则单目标请求会掩盖多目标真实水平。
- 若工具池固定且有少量标注数据（75-90 条），优先训练 set-level retriever（如 COLT），查询期零 LLM 成本、完备率更高；若工具池频繁更新，用 LLM 层级导航兜底，但需预留 30+ 次调用和分钟级延迟预算。
- 失败归因决定修复方向：缺失项大量落在 top 17-50 时，可增大 K 或接 set-aware reranker；层级导航漏 prerequisite，则在导航后沿 producer-consumer 依赖补全已找到工具的上游/下游。
- 工具/技能描述尽量结构化声明 input/output schema，否则依赖图无法建边；没有 schema 时 LLM 补边不一定提升召回，可能反而引入噪声。