UniCon：面向CTR预测的统一上下文中心建模范式
🧭 统一上下文建模 · CTR预测 ★ 深度解读
Meituan
将历史曝光列表与当前候选集统一为上下文单元，通过分层注意力建模上下文内局部性与跨上下文动态
📌 工作参考价值（4 点）
- 上下文单元抽象：在电商搜索/推荐中，把每次展示列表（共现商品、位置、环境信号）组织成一个上下文单元，而不是把行为序列展平。这能显式建模同一曝光内商品的竞争/互补关系，以及跨曝光的状态演化，对货架、瀑布流等强上下文场景特别有用。
- 历史与目标结构对齐：训练时历史曝光带点击标签，目标候选集用可学习占位符对齐，再通过曝光和绝对位置预测辅助任务将目标单元引导到真实展示分布。这套做法可以迁移到重排或生成式推荐中，让候选集表示更贴近最终展示情境。
- 目标感知的上下文压缩：在长历史序列中，每层用target-context的query-key相似度选择保留top-k个最相关的历史上下文单元，大幅降低attention计算量而几乎不损失精度（压缩比0.5时计算减少75.4%，AUC仅降0.0001）。这对长序列用户建模很有借鉴价值。
- 工程化细节：padding-free变长注意力、segment offsets表示上下文边界、AOT编译和融合算子，以及候选分片策略（固定300个候选一个分片），这些是让高计算量上下文模型上线可行的关键。训练和推理使用一致的分片规则也很重要。
VestigeKV：NoPE-MLA KV 缓存利用退化分支自身携带淘汰信号
🧭 LLM 推理优化 · KV Cache 压缩
Yotta Labs
利用 NoPE MLA 缓存中 64 维退化分支作为查询无关显著性信号，实现无训练 KV 缓存分层压缩
📌 工作参考价值（4 点）
- 若线上 Agent/LLM 服务采用 NoPE MLA 架构（如 Kimi 系列），可直接在长上下文场景（用户长期行为序列、商品知识库、会话历史）部署 VestigeKV：以 decoupled branch 的 64 维子空间做 top-m 分层，将非 top 行归档且 GPU 常驻，避免删除导致不可逆信息丢失；无需修改权重或 kernel，工程上可作为 cache policy 无损接入。
- 观察注意力淘汰（H2O/SnapKV）在 NoPE MLA 上失效（needle retrieval 0.00–0.33），提醒在生成式推荐/Agent 长上下文服务中若目标模型为 NoPE，不要沿用 RoPE 时代的 KV 淘汰策略；先验证查询无关显著性信号是否存在。
- 分层缓存 + 可触发归档的思路可迁移到推荐系统特征缓存：将高频/高显著性特征放快速层，其余 bit-exact 放低成本 GPU/CPU 层，需要时按查询 key 精确取回，避免近似压缩带来的检索精度损失。
- 对多轮 Agent 对话或用户行为序列建模，利用缓存中已有分支的统计分布（top-1 目标 token 占比）判断可压缩性，可在推理前离线冻结阈值，避免在线调参。
先澄清再优化：动态预建模澄清的交互式优化框架
🧭 LLM Agent 交互式优化澄清
Cardinal Operations · Shanghai Jiao Tong University
提出OR-Clarify基准与InterOPT两阶段框架，在优化建模前主动识别缺失槽位并决定追问或停止
📌 工作参考价值（4 点）
- 在营销/广告预算分配、促销优化等业务自动化中，将需求澄清抽象为“槽位恢复”：预定义目标函数、约束、业务规则等关键槽位，用多选或填空式追问替代开放问答，可显著降低交互成本并减少错误建模。
- 借鉴 InterOPT 的两阶段设计：先识别 formulation-critical 未解决槽位，再依据槽位覆盖度/信息增益决定继续追问还是停止，避免过度打扰用户；可嵌入电商广告计划 Agent 的需求确认环节。
- 用“silent assumptions”指标兜底：跟踪模型未经用户确认就默认的关键假设，在生成广告投放模型或 SQL 前强制校验，防止预算、排期等约束被静默填错。
- 对交互式推荐/搜索澄清场景：当用户 query 或目标模糊时，可以基于预定义维度（价格带、类目、目标 KPI）生成候选澄清项，而不是直接生成推荐或优化方案，提升准确率。
显式后验物品条件化的语义 ID 扩散推荐
🧭 生成式推荐 · 语义 ID 扩散去噪 ★ 深度解读
VinUniversity · Griffith University · Aalborg University
在语义 ID 扩散解码中显式构造可行物品后验并回注 token logits，使物品竞争在目标仍可达时发挥作用
📌 工作参考价值（4 点）
- 在生成式推荐/SID 模型的迭代解码里，不要只盯着 token logits：每个中间状态可以用倒排索引或字典树快速得到与已解析 SID 一致的候选商品集合，显式计算 item posterior 再边际化回未解析位置。这能减少早期 token 决策误杀高潜商品的问题，尤其适合候选集较大的电商目录。
- 训练时用 frozen backbone + 轻量 adapter，只在候选集大小 2~M 的 frontier 状态做 item-level 监督，并用 SID 或语义编码距离给 heavily masked 状态做软标签。新增参数很少（论文中 0.39M），线上仅多一次候选扫描和 attention，不增加 backbone forward，适合在已有排序/生成模型上增量上线。
- 要把候选 proposal 和偏好打分分离：候选集剪枝可以用 backbone token likelihood，但 item posterior 的 energy 不要再加 token likelihood，否则会重复使用同一信号并损害 ranking。融合 token 和 item 证据时，可用 signed log-residual + ambiguity-aware gate，而不是简单凸混合。
- 历史交互建模使用 candidate-conditioned transition evidence：让每个候选商品与用户最近 K 个交互做 attention，并拼 element-wise product 和 absolute difference 特征，使不同候选从不同历史获得支持；这比单一 pooled history vector 更有区分度，可用于电商中的下一件购买、搭配推荐或广告候选打分。
硬件感知的 FP4 FlashAttention-4：全 FP4 前向推理与量化反向传播
🧭 Transformer 注意力 FP4 量化加速
Graphcore Research
Direct-P 将注意力分数直接映射为 FP4 概率，GB200 上前向吞吐达 BF16 的 2.13 倍，8B 模型训练更新加速 1.14 倍
📌 工作参考价值（4 点）
- 推荐/广告场景中大量使用 Transformer 处理用户行为序列，注意力算子是性能瓶颈；Direct-P 将 softmax 后的概率直接量化为 FP4，避免中间 FP32/FP16 转换，可显著提升在线推理吞吐、降低时延。
- 训练侧采用“前向量化 Q/K，反向重建概率并使用 FP8 梯度操作数”的混合精度方案，比直接使用 FP4 概率/值更稳定；实际部署时可借鉴该方案避免训练发散，同时获得 1.14 倍的 8B 模型更新加速。
- 若业务使用长序列注意力（如用户行为序列、会话建模），可评估 FP4 注意力对精度的影响；论文结果表明概率 FP4 量化在非因果推理下可行，但训练中 MXFP4 概率/值易发散，需谨慎验证。
- 工程实现上，可将注意力中间结果（概率矩阵）显式量化并落到片上存储，减少 HBM 读写，类似 FlashAttention 的 tiling 策略与 FP4 结合能榨取 Blackwell 张量核性能。
预训练中知识获取：辅助视图让 LLM 学得更好
🧭 LLM 预训练数据表示与知识获取
University of Pennsylvania
辅助视图（知识重构）在固定 token 预算下比重复更能提升 LLM 知识获取，且不依赖强 teacher 生成
📌 工作参考价值（4 点）
- 在电商/推荐场景构建训练数据时，不要只重复原始商品描述或用户评论，可引入多种辅助视图（如改写描述、属性问答、用户评价总结、知识图谱陈述）来覆盖同一知识的不同表述，提升模型对商品知识的记忆与推理。
- 固定 token 预算下，优先增加辅助视图而非同文档重复。例如在微调商品理解模型时，将重复样本的 budget 分配给同一商品的不同表述（不同风格、不同角度），能更高效利用 token，尤其对事实类属性（品牌、成分、适用人群）的 recall 有提升。
- 辅助视图的生成不依赖强 teacher 模型，所以业务中可以用低成本 LLM 或规则模板生成多样化视图，无需昂贵的 GPT-4 级别 teacher，也能获得知识学习增益。
- 预训练或领域继续训练时，数据多样性不足（同一商品反复出现相同描述）可能导致知识获取低效；应控制重复度，增加表述多样性。这验证了数据多样性在推荐领域大模型训练中的价值，可指导数据清洗和配比策略。
增强金融问答：银行财报新基准数据集 FinRAG-QA
🧭 金融财报 RAG 基准与组件增益分析
Intesa Sanpaolo Innovation Center · Università degli Studi di Milano-Bicocca · Politecnico di Torino · IMI CIB, Intesa Sanpaolo · University of Bologna
构建跨机构银行财报问答基准 FinRAG-QA，量化 RAG 各组件贡献，检索与上下文增强将 NDCG@10 从 0.322 提至 0.710
📌 工作参考价值（4 点）
- 长文档、跨实体检索可借鉴「上下文 chunk enrichment + 检索优化 embedding」组合，NDCG@10 从 0.322 提到 0.710，适合商品详情、商户证照、政策文档等长文本 FAQ 检索。
- 生成阶段不要默认堆多 chunk：论文显示单个 top-ranked chunk 比更大上下文更准且延迟更低，可在业务 RAG/Agent 中优先精简上下文并做对比验证。
- 首阶段检索已强时，cross-encoder rerank 可能带来负优化；在已有高质量 embedding 和丰富上下文后，应评估是否保留 rerank，以节省 GPU 与延迟。
- 采用 reasoning-optimised 生成器会带来约 20 倍生成延迟，适合高价值、低实时要求场景；搜索/推荐 Agent 中建议按 query 价值做分级或缓存降级。
指令复制作为推理时控制原语
🧭 LLM 推理时控制与轨迹利用
PeaceTech VC, Israel
重复程序性指令可在不改训练/解码下提升过程遵循，下游轨迹消费时价值显著
📌 工作参考价值（3 点）
- 在需要显式推理轨迹的推荐/搜索场景（如商品推荐理由生成、多步 Agent 决策、查询改写），对关键过程指令做重复（尤其 trailing duplicate）可低成本提升过程遵守，且不改变最终答案分布，便于下游解析和修复。
- 评估 LLM 应用时不能只看最终准确率，需增加过程遵循指标（如关键步骤覆盖率、premature commitment）；否则可能低估指令重复等推理时控制的效果。
- 若下游系统消费轨迹（如规则校验、多级推荐流水线、审核模块），指令复制可放大价值；否则可能只有微小提升。建议在关键流程指令或末尾约束处重复，并监控轨迹状态指标快速 A/B 测试。
自适应局部关系对齐：自回归语言模型预训练蒸馏的 logit 方法
🧭 知识蒸馏训练优化
VJ Technologies · AJ Technologies · Vietnam National University · University of Information Technology
ALRA 结合学生提议与教师锚点，自适应局部对齐改进 logit 蒸馏，提升预训练学生模型零样本性能
📌 工作参考价值（4 点）
- 在生成式推荐（如 Semantic ID、商品标题生成）的蒸馏中，可借鉴 ALRA 的候选 token 选择策略：让学生提出高概率 token，同时将教师的 top1 token 作为锚点加入，避免只用教师或学生导致候选集偏差，尤其适合训练早期学生排序不准确的场景。
- Adaptive Local Divergence 用单位系数替代教师质量系数，防止低概率但语义重要的 token 区域被忽略；这可以迁移到电商长尾商品或 query 的蒸馏，保护稀有但相关的 token 信号不被全局分布淹没。
- Student-Weighted Pairwise Relational Alignment 强调学生概率差小但教师偏好的 token 对，可用于校准推荐生成中 top-k 的局部排序，提升生成结果的多样性与准确性。
- 位置特定且 batch 自适应的 token 数量选择，减少了手工设定 top-k 的超参负担，适合在线学习或增量更新场景，能动态适应数据分布变化。
子空间推断让偏好主动奖励学习更高效
🧭 主动偏好学习 · 贝叶斯滤波
University of Southern California
用低维子空间扩展卡尔曼滤波追踪奖励模型不确定性，以更少偏好标注训出高质量奖励模型
📌 工作参考价值（4 点）
- 可将“低维参数子空间 + EKF”的在线不确定性量化方案迁移到推荐/搜索的用户反馈场景：例如对排序策略、创意文案或 prompt 偏好做主动对比采样，只维护子空间后验，避免对大模型全参数做后验推断，显著降低在线更新成本。
- 采集函数基于参数采样高效计算，可复用信息增益/BALD 等主动学习指标，在电商标注预算有限时用于选择最有信息量的偏好对，减少人工评估次数。
- 方法给出的不确定性校准更好，适合用在带探索的在线决策（如 bandit 或 RLHF 策略）中，降低过度自信带来的推荐风险。
- 可增量接入现有 RLHF/偏好优化流程，若团队使用 LLM-as-a-judge 或偏好奖励模型，可考虑用子空间 EKF 在线更新 reward model，替代全量微调。
贝叶斯最优 BER/AUC 估计与评估
🧭 最优性能估计与评估 · soft labels
The University of Tokyo · RIKEN AIP
提出基于软标签的最优 BER 与 AUC 估计器，并扩展 FeeBee 框架评估任意估计器
📌 工作参考价值（3 点）
- 在电商 CTR/CVR 预估、广告排序等高度类别不平衡场景，常用 AUC/BER 评估；可用该方法估计业务数据上的贝叶斯最优 AUC/BER，量化“不可约误差”与模型可提升空间，辅助判断模型是否已接近天花板。
- 若线上能采集到软标签（如用户停留时长、成交概率、点击概率），可尝试用 isotonic regression 校准并估计最优指标；该方法对标签噪声和保序变换鲁棒，适合真实日志中常见的标注偏差。
- 评估最优指标估计器本身难，可借鉴 FeeBee 扩展流程，在无 ground truth 最优值的情况下比较不同估计器的表现，作为离线评估工具。
超越检索：面向流式视频理解的渐进潜在记忆演化
🧭 流式视频 MLLM 的渐进潜在记忆
Nanjing University of Science and Technology · Ant Group · National University of Singapore · The Chinese University of Hong Kong
提出 LatentStream，将流式视频记忆从 store-and-retrieve 转为 retrieve-and-internalize，通过层级记忆与渐进置信度优化取得 SOTA
📌 工作参考价值（4 点）
- 借鉴“查询无关层级压缩 + 查询相关检索内化”两段式记忆架构：电商用户行为序列建模可先用无查询的自适应聚类（如 Jenks natural breaks）压缩长短期兴趣，收到请求后再用 query 检索相关证据并内部化为固定长度 latent 表示，平衡内存与推理精度。
- 固定内存预算下的短/中/长期分层组织可迁移到 Agent 或在线推荐系统的会话记忆管理，避免历史状态无限增长，适合延迟敏感的长序列处理。
- Progressive confidence-guided optimization 用分组预测熵构建层级奖励，可应用于多步推理或交互式推荐，对中间状态逐层优化置信度，提升最终输出稳定性。
- retrieve-and-internalize 方式比将检索证据直接拼接到上下文更节省 KV cache，适合长视频/直播理解、多轮对话 Agent 等需持续累积历史的在线场景。
超越模态和谐：正交净化与拓扑引导MoE的冲突感知多模态推荐
🧭 多模态推荐 · 去噪融合
City University of Hong Kong · The Hong Kong Polytechnic University
提出OrthoRec，用协同引导正交净化和拓扑感知MoE解决多模态推荐中的模态-拓扑冲突
📌 工作参考价值（4 点）
- 多模态融合改造成残差净化思路：电商图文/视频常存在标题党、主图诱骗，直接 concat 或 gate 会污染协同信号。可借鉴 CGOP：先用纯协同 embedding 作为锚，把视觉/文本特征投影到平行/正交方向，只保留平行分量并做能量归一化后残差注入，低成本缓解模态噪声。
- 多模态专家融合不用 softmax 门控：TAR-MoE 用解耦 sigmoid 门控替代传统 softmax 注意力，打破“模态之间零和竞争”，每个模态专家可独立决定注入强度。在电商多模态排序/召回模型中可直接替换融合层，避免视觉强、文本弱的 item 被错误压制。
- 对比学习负样本别强行对齐：safe-SSL 对矛盾 pair 动态降低对比损失，适合电商中图像与交互语义不一致的样本。如果业务在多模态对比学习时遇到噪声对，可加入置信度惩罚或自适应温度，而不是全量强制对齐。
- 稀疏 item 鲁棒性有直接价值：实验显示对稀疏 item 的改善，说明该去噪机制在新品/长尾商品多模态建模上可能比复杂跨模态模型更稳。
超越上下文窗口：面向数据中心的智能体的持久发现上下文
🧭 Agent 记忆增强检索
Megagon Labs
引入持久发现上下文记忆层，复用任务意图到数据对象的映射，提升后续检索质量
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景，可把历史成功 query→item/attribute 映射作为轻量记忆层，避免每次请求重复做语义解析与召回；尤其适合长尾 query 或数据目录频繁变化的场景。
- 元数据稀疏或缺失时，记忆检索可能优于元数据检索。对商品冷启动、长尾类目、非标品可尝试用历史交互记忆补充召回，而不是只依赖属性倒排。
- 自动生成记忆有效，意味着无需人工维护映射表，可通过 LLM 自动抽取意图-对象对并写入记忆；工程上可低成本落地，与现有 RAG/检索流程叠加。
- 注意可复现的干扰失败模式：记忆冲突或错误映射会降低效果。建议加入置信度阈值、来源标记、过期淘汰或按任务域隔离机制，避免脏记忆污染检索结果。
CORAL：面向生产推荐系统的 LLM 原生闭环优化框架
🧭 Agent 闭环优化推荐系统控制面 ★ 深度解读
Meta AI
用 LLM agent 闭环优化推荐系统控制面资源配置，以极低成本实现在线 A/B 验证的 engagement 提升或成本节省
📌 工作参考价值（4 点）
- 可把 LLM agent 用于推荐系统资源/预算分配的闭环优化（召回源预算、流量分群 serving 档位、广告库存分配等）；关键是不让 LLM 直接改线上参数，而是让它输出结构化 proposal，由确定性约束优化器投影到可行集。
- 架构上模仿 observation / assessment / decision 三层记忆，保存最近 3 个 cycle 的原始指标、模型判断和决策结果，让 agent in-context 根据自己上次动作的效果调整，不用 retrain；对非平稳线上环境有效。
- 固定决策 cadence（如 3 天）并用 A/B 实验测每个配置的增量，把测量结果写回 memory 作为 attribution，避免噪声误导；初期可先在低风险控制面（预算 multiplier、serving tier）小步跑，再逐步扩大自主范围。
- 成本极低：每个 cycle 仅十几次 LLM 调用、几千 token，与用户量无关，适合亿级流量的电商/广告推荐；如果业务有硬资源约束，优先把 LLM agent 用于配置优化而不是 per-item 生成。