PACE：面向用户请求中隐藏冲突的识别与证据检索框架
🧭 多智能体协作检索与冲突感知推理 ★ 深度解读
Department of Computer Science and Engineering, POSTECH · Graduate School of Artificial Intelligence, POSTECH
提出 PACE 数据集与 PACEMAKER 多智能体框架，通过冲突感知查询重构、多跳图遍历与证据过滤提升隐式冲突判断能力
📌 工作参考价值（4 点）
- 冲突感知查询重构：不要直接用原始 query 检索，先让 planner 生成可能的冲突维度（时间、个人约束、资源状态），再生成 counter queries 去检索隐式约束。在电商推荐或 Agent 决策中，可主动生成反事实查询（如“用户是否对某成分过敏”“该时段是否有冲突日程”）以覆盖不兼容场景。
- 多跳图遍历 + 加权 RRF 融合：为个性化知识库离线构建 k-NN 文档图，在线检索时先混合 dense+BM25 获取种子，再 BFS 扩展邻居，最后用冲突感知过滤器筛选证据。反事实查询检索结果给予更高权重，有助于发现弱相关但决策关键的证据。
- 证据筛选优于全量上下文：实验显示 Full KB 反而不如精选 top-10 证据，缺失部分 gold facts 会显著降低冲突判断准确率。工程上应避免把整个用户画像或海量行为日志直接塞给 LLM，先检索筛选决策关键证据，尤其对冲突类请求。
- 训练-free 且索引阶段无 LLM 调用：多智能体框架冷启动成本低，适合频繁更新的个性化 KB。可借鉴离线建图 + 在线 agent 检索的架构，降低延迟和成本。
Puffin-World：用原生 3D 世界状态扩展统一多模态模型
🧭 多模态世界模型 · 3D 生成重建
S-Lab, Nanyang Technological University · University of Michigan · Beijing Jiaotong University · ACE Robotics
统一多模态架构，联合物理/几何/外观三态与 Omni-Camera 实现 3D 世界生成重建
📌 工作参考价值（4 点）
- 可借鉴「原生状态联合建模」：在商品理解/生成中，将视觉、深度/几何、物理属性（如材质、尺寸、重力约束）作为并行状态统一建模，替代只用图文 embedding，可提升家居、鞋服等品类空间一致性。
- 用显式 Omni-Camera 参数控制多视角生成：商品视频、虚拟试穿、3D 展示素材可 ground 绝对相机内外参，生成物理稳定、多角度一致内容，减少后期抖动与畸变。
- 外观-几何耦合生成：同时输出 RGB 和 depth 再用于重建，适合商品 3D 重建/AR 展示/虚拟棚拍，能对齐纹理与几何，降低“贴图漂移”。
- 闭环自校准探索思路可迁移到 Agent 拍摄/漫游：让模型根据当前状态规划下一视角并在线修正相机与场景参数，但需构建匹配业务场景的轨迹数据。
群组感知的自适应证据导航检索
🧭 自适应检索 · 组级扩展 · 推理密集检索 ★ 深度解读
Sungkyunkwan University
用组级方向评估替代文档级扩展，结合探索-利用策略提升推理密集检索中的有界召回问题
📌 工作参考价值（4 点）
- 在电商/内容推荐中，可借鉴离线对物品图做社区检测得到语义簇，并用LLM为每个簇生成摘要，作为粗粒度召回方向。相比逐item扩展，簇级信号能更早发现远处相关物品，减少初期弱信号下的迷航。
- 采用explore-then-exploit策略：召回初期用round-robin从多个高分组簇各取少量物品，避免过早集中在单一簇；后期集中到强相关簇。该策略适合搜索推荐中的多路召回融合，前期保多样性，后期聚焦头部。
- 分离粗粒度方向评估与细粒度相关性排序：navigator用较小的reranker模型（如Qwen3-Reranker-4B）评估组摘要，主reranker用大模型精排文档。工程上可并行执行，且实验表明小模型足够做方向判断，可节省大量推理成本。
- group-driven evidence propagation后处理：对同簇内高排名文档赋予衰减权重，并传播给簇内其他文档。可类比电商推荐中的类目内协同过滤，利用头部商品带动长尾商品得分，提升召回排序质量。
人脸伪造中的多工具图像编辑归因
🧭 多工具图像编辑归因与伪造检测
中国科学院计算技术研究所 · 中国科学院大学
面向多工具编辑人脸图像，提出DPEC方法结合空间-频域特征与课程学习，实现多工具归因
📌 工作参考价值（4 点）
- 多工具痕迹解耦：在处理多行为叠加信号（如搜索、点击、收藏、购买）时，可借鉴空间与频率双分支设计，用局部感知特征分离不同来源的模式。
- error-based curriculum learning：按预测难度渐进训练，可迁移到多任务学习或难易样本挖掘，例如广告转化率预估中先学简单样本再逐步加入难样本，稳定收敛。
- 合成数据集构建：通过组合基本操作模拟真实多步编辑，可用于构建多行为归因评测集或用户行为序列模拟。
- 频域线索：在电商商品图质量检测或主图篡改识别中，引入频域特征可增强对压缩/编辑痕迹的识别能力。
双层协调反思：多智能体 LLM 系统的博弈论方法
🧭 多智能体 LLM 协调与反思理论 ★ 深度解读
UCL Centre for Artificial Intelligence · University of Liverpool · Huawei
用双层博弈与漂移分析形式化多智能体反思，提出需环境验证门控的 SRMA 更新
📌 工作参考价值（5 点）
- 反思记忆更新不要无条件 commit 所有 reflection；引入 grounded evaluator（线上 reward、模拟器、规则校验、AB 指标）作为 gate，只在 candidate memory 使 verifier risk 严格下降时接受。实验中这使 harmful 接受率从 34.5% 降到 6.2%，最终风险近似减半。
- 任务分解时显式量化耦合：共享特征/约束/接口越多，worker 子博弈均衡偏离越大（slack ηc≤2dmaxκ）。在电商多 agent 工作流中，应尽量按商品类目、用户分群或流程环节做低耦合拆分，并评估共享状态对最终收益的影响。
- 对纯文本 LLM-as-judge 的反思质量保持警惕：理论上存在 text-indistinguishable 环境，任何只看 transcript 的 gate 都无法一致改进；在可执行/可验证场景优先使用环境信号（规则引擎、SQL 校验、线上小流量实验）做 gate。
- 面对分布漂移（大促、季节、策略变化）对 memory 做重锚定：定期用当前环境重新评估候选与当前记忆并触发替换。论文中重锚定使 switch time 降低 67.9%，regret 降低 67.0%。
- 若 evaluator 随机/噪声大，增加探测次数 K 并用 Hoeffding 置信区间比较，可把误接受率从 28.4% 降到 6.8%，同时自适应调用减少 63.6% evaluator cost。
SPAR：通过真实世界空间感知增强工业级生成式 POI 推荐
🧭 生成式推荐 · 地理空间感知 ★ 深度解读
AMAP, Alibaba Group · The Chinese University of Hong Kong, Shenzhen
用空间内禀 SID、多粒度地理继续预训练和任务向量锚定 SFT，将真实城市空间知识注入生成式 POI 推荐
📌 工作参考价值（4 点）
- 有强地理属性的业务（到店、O2O、本地生活）不要把经纬度只当文本字段；用正弦/NeRF 式坐标编码与语义向量拼接后再 RQ-Kmeans，让 SID 的 L0 层自然按地理分区，能同时改善距离约束和冷启动。
- 多阶段 LLM 微调时，用“任务向量”保护特定能力：把领域知识 CPT 后的参数差 τ=W_MG-CPT−W_base 冻结，SFT 期间只加 LoRA 做轻量适配，可避免大规模行为数据覆盖已学知识。
- 构造多粒度结构化语料做 CPT：基础属性、两两关系（距离/方向/周边）、系统级可达性（导航/路网），比只用 item 文本更能让 LLM 内化真实场景约束，适合搜索/推荐中的上下文知识注入。
- 离线评估别只看 Hit/NDCG，加上“推荐结果到用户实时位置的距离/可达性”和冷启动分层，能暴露模型是否真正学到空间或场景约束；模块增量贡献分解也有助于定位优化优先级。
随机注意力：重新思考 KV 缓存淘汰以实现高效推理
🧭 LLM 推理效率 · KV 缓存随机淘汰
Salesforce AI Research · University of Illinois Urbana-Champaign
提出 Random Attention，保留 prompt 并在各注意力头内随机淘汰 KV 缓存，匹配最强选择器同时吞吐提升 32-43%
📌 工作参考价值（4 点）
- 在部署长上下文 LLM 服务（如电商 Agent 的多轮对话或长链推理）时，可将 KV cache 淘汰策略简化为“保留 prompt + 每头随机淘汰”，省去 token 重要性打分，降低额外计算和延迟，实现 32-43% 的推理吞吐提升。
- 显式保护 prompt 是稳定性的关键：随机淘汰由于天然保留 prompt 而表现出与复杂选择器相当的性能，提示我们在设计缓存管理策略时应优先确保 prompt 完整，而非依赖复杂重要性估计。
- 推理轨迹在文本和注意力头两个层面存在冗余，因此随机抽样足以保留必要信息，这对长 CoT 生成场景尤其有借鉴：可放宽对精确 token 选择的假设，采用更轻量的随机策略。
- 可作为强 baseline：在电商搜索推荐系统的 LLM 模块中，如果采用 KV 压缩，先测试随机淘汰，它实现简单、无需训练或计算分数，且能匹配最优方法。
Text2Cypher 的自适应测试时推理：跟踪预算与选择性精炼
🧭 LLM 测试时推理优化 · Text2Cypher
Neo4j, London, UK
提出自适应 trace 预算与选择性执行引导精炼，在 Text2Cypher 上降低 30.7% 生成预算、21-25% 推理时间且质量持平
📌 工作参考价值（4 点）
- 在电商/搜索的文本生成场景（query 改写、商品标题、广告文案、推荐理由）中，可先做难度/置信度评估，动态分配采样与精炼预算：简单请求少生成少校验，复杂请求多候选+执行级验证，降低 LLM 成本与延迟。
- 执行引导精炼可迁移到业务规则校验：对生成结果做 schema、库存、价格、广告法违禁词等可执行检查，仅在失败或低置信时触发强模型 refinement，而不是全量二次生成。
- 跨模型族精炼结果表明，可保留现有轻量/低延迟主模型，用另一个强模型作为统一精炼服务做兜底，兼顾效果与成本，便于在推荐链路中逐步引入 LLM 精炼。
- 动态 budget 分配思路类似推荐系统的粗排/精排分级算力：可按 query 复杂度或用户价值分层，对高价值/复杂流量给予更多推理资源。
通过重排器蒸馏提升 MLLM 嵌入的组合推理能力
🧭 多模态嵌入蒸馏 · 组合推理检索
CASIA · Alibaba Group · University of Chinese Academy of Sciences · Yale University
将重排器的跨注意力组合判断蒸馏为 Rank-KL listwise 目标，显著提升多模态嵌入的组合检索与细粒度区分
📌 工作参考价值（4 点）
- 双塔召回或 embedding 模型训练时，用 reranker 作为 teacher 做 listwise 蒸馏，Rank-KL 目标比传统 contrastive/pairwise 更能传递细粒度排序结构；电商图文相关性、属性绑定问题可直接复用。
- 五级匹配粒度（完全匹配/部分出现/属性错/对象错/全错）适合挖掘商品主图与 query 的难负样本：例如“红色条纹衬衫”与“蓝色条纹衬衫”应作为属性错误而非随机负样本，提升 embedding 对属性-对象组合的判别。
- 评估上不建议只看 Recall@K，可以按 L1-L5 错误类型分级统计，定位模型在绑定关系上的盲区；搜索/推荐中可迁移到 query-主图/标题-属性一致性评测。
- 工程上 teacher reranker 只在训练阶段蒸馏，推理仍用双塔 embedding，不增加线上 latency；注意需要统一数据构造和调优预算才能公平对比不同训练目标。
图向量搜索的可扩展性：披着对数外衣的幂律
🧭 向量检索 · 图索引扩展性
University of Toronto
实测发现图向量搜索成本在数据规模小于内在维度时呈次线性幂律增长，之后才转入多对数增长，并给出统一理论模型
📌 工作参考价值（4 点）
- 容量规划：若数据规模 N 未达到由内在维度决定的临界点，搜索延迟/算力按 N^c（0<c<1）增长而非多对数；电商/推荐团队做向量库扩容预算时不能假设对数级成本，可用论文模型估计 c 和临界规模。
- 内在维度监控：数据集内在维度随规模增大而升高，导致查询邻域更密集；可在 embedding 上线前/后持续测量 intrinsic dimensionality，预测搜索成本拐点。
- 索引调参：论文提供预测不同 recall target 和索引配置下 power-law 指数的模型，可用来在 M、efSearch、efConstruction 等参数间做 cost-recall 权衡，适合高召回场景（广告召回、相关商品召回）提前规划。
- 评估方法借鉴：做 ANN 基准应跨多个数量级规模测试，而不是只在单点规模测量成本。
推荐系统评估中的训练种子与模型选择稳定性
🧭 推荐系统评估可复现性与模型选择
Aalborg University · Johannes Kepler University Linz · ISISTAN · CONICET-UNCPBA
固定数据划分仅变训练种子，证明单种子结果会高估推荐模型评估稳定性，种子应纳入评估协议
📌 工作参考价值（4 点）
- 离线对比召回/排序模型时，同一配置至少跑 3-5 个训练 seed，报告 metric 均值±方差；若两组模型 score 差异落在 seed 方差内，不要下“有提升”结论。
- 做 hyperparameter tuning / model selection 时，不要用单 seed 的 validation 最优直接定配置；可用 multi-seed validation 平均或 bootstrap，并检查 validation→test 的转移是否稳定。
- 除了 nDCG/Recall，同时看 top-k 列表的 Jaccard/agreement；分数接近但列表重叠低时，线上效果可能不稳定，尤其影响广告/推荐位的曝光一致性。
- 若业务 pipeline 含 dropout、negative sampling、masking 等随机机制，固定 seed 的离线报告会掩盖真实方差；在 launch review 中把 seed 稳定性作为通过标准。
UE5M3 FP4 块缩放实现稳定语言模型预训练
🧭 FP4 低精度预训练 · E5M3 block scaling
Graphcore Research
用 E5M3 块缩放替代 RHT 与 BF16 末层豁免，更简单的 FP4 预训练配方，8B 模型 190B tokens 表现优于 NVFP4
📌 工作参考价值（4 点）
- 若团队有自研 LLM 或大规模召回/广告模型持续预训练，可尝试 UE5M3 block scale 代替 RHT：用更宽标度范围减少额外矩阵变换，简化 FP4 训练管线。
- 选择性 stochastic rounding 只作用于 backward gradients，可作为低比特训练/微调 trick 保留优化信号，适合资源受限的广告/内容模型训练。
- 移除 BF16 末层豁免，所有 eligible internal linears 用 FP4，实测吞吐 +21.2%；在做 FP4/NVFP4 推理或训练部署时可以直接复现这个算子策略。
- 若在实时推荐/Agent 中需要 FP4 量化 LLM serving，考虑软件模拟 UE5M3 块缩放，可能降低 pre-processing 延迟并提升 quantized-inference 精度。
ViSAR：面向视觉文档问答的无训练自适应-k检索
🧭 视觉文档RAG·自适应k检索
INSA Lyon, CNRS, LIRIS UMR 5205 · EPITA Research Laboratory (LRE) · Lowit
在嵌入空间构造查询条件页面级相似度矩阵，动态决定检索页数，降低RAG延迟并保持或提升准确率
📌 工作参考价值（4 点）
- 可借鉴动态 top-k 思想：在电商/广告场景中，为商品详情页、广告落地页或用户评价做 RAG 时，不再固定召回条数，而是根据查询复杂度动态截断，能显著减少输入 LVLM 的 token 数和首字延迟。
- 利用 late-interaction 编码器产生的 page-level 相似度矩阵作为查询语义激活图：该方法无需训练，直接基于 embedding 空间的 MaxSim 等运算，可在现有向量检索链路上快速实现，适合业务侧低成本验证。
- 将相似度矩阵的统计结构（如激活分布、峰值集中度）作为检索质量信号，用于重排或决定是否触发多跳检索/补充上下文，类似于推荐中 uncertainty-aware 的截断策略。
- 论文结果显示自适应检索在多个编码器与 LVLM 组合下最高降低 58.7% 延迟且准确率不降，证明“检索质量感知的上下文裁剪”在视觉富文档问答中有效，对多模态商品理解、店铺资质审核等 RAG 任务有直接迁移价值。
尾部似然强化学习
🧭 生成式策略的尾部优化RL训练
Carnegie Mellon University · University of California, Berkeley · Impossible, Inc. · Together AI · Aurora Innovation
通过最大化超过随机奖励阈值的对数概率，保留生成式策略对稀有高奖励样本的覆盖，提升Best-of-k性能
📌 工作参考价值（4 点）
- 在生成式推荐/搜索词/广告文案场景用 RL 优化连续奖励（点击率、转化价值）时，可借鉴 TailRL 将连续奖励按随机阈值二值化，转化为“超过阈值”的成功事件，让训练更关注高价值尾部样本，避免模型只学会平均平庸输出。
- 推理阶段若使用 Best-of-N 采样/重排序，训练时需保留高奖励候选的覆盖。TailRL 的梯度可视为 Best-of-k 梯度混合，能防止尾部坍塌，直接提升线上多候选采样收益。
- 工程实现成本低：只需修改 advantage 函数或奖励处理逻辑，兼容已有 RLHF/GRPO/PPO 流程，适合现有 LLM 推理微调管线快速验证。
- 对回报分布长尾的业务（大促高转化、高客单、优质内容）尤其有效，可通过动态阈值模拟不同业务指标分位，平衡模型在不同难度目标间的泛化。
序列推荐中的快慢双系统自适应推理框架
🧭 自适应快慢推理 · 序列推荐 ★ 深度解读
City University of Hong Kong · University of Electronic Science and Technology of China · Shanghai Jiao Tong University · Fenz.AI · University of Science and Technology of China
提出 DS-Frame 插件式快慢推理框架，用样本级路由只对难样本做多步 latent refinement，在 SASRec/BERT4Rec 上平均提升约 7%
📌 工作参考价值（4 点）
- 在不改主排序模型架构的前提下，把「一次性前向」升级为「共享 encoder + 轻量 slow path + 路由 gate」。线上可以按 latency budget 调整慢路径激活率或阈值，适合精排/粗排做样本级算力分配。
- Selector 训练直接用 fast/slow 的 loss + 成本比较构造 oracle 标签，再用 budget regularizer 约束激活率；这种方法不用额外标注，业务里可先在离线训练 gate，在线只过 MLP，成本可控且路由可解释。
- Slow System 不重新 encode 整条用户序列，而是在共享表示后逐步拼接 reasoning token 做 latent refinement；配合 step embedding、KL 连续性和渐进温度退火，能稳定多步推理。可迁移到 LLM-based Rec 或 Agent 生成中间推理轨迹时稳定输出。
- 评估不仅看整体 NDCG/HR，还按用户历史长度和物品流行度分层看 group-wise 收益。电商推荐中长历史、小众兴趣用户往往是难例，这种分层能直接看到自适应推理是否真的补到短板。