RetrievalRouter: 联合模态与架构选择的文档检索路由
🧭 检索召回 · 查询路由 · 效率优化
SAMOV AR, Télécom SudParis, Institut Polytechnique de Paris · Özyeğin University
轻量 query-aware 路由仅凭查询文本选择最优检索管道，在精度和延迟上同时超越静态基线
📌 工作参考价值（4 点）
- 电商搜索多路召回可借鉴其动态路由：简单 query（品牌词、短词）走轻量双塔或倒排，复杂 query 路由到多模态/交互式重排。用一个轻量分类器仅依赖 query 文本做路由，无需动底层模型，单参数即可在线调节成本和收益。
- 若业务中有文本嵌入、多模态嵌入、dense 与 late-interaction 等多种检索管道，不要全局固定一个。构建候选 pipeline 池，用 query-aware router 联合选择模态和架构，比简单级联更灵活、时延更可控。
- 单参数 accuracy-latency 前沿的思路可直接用于 SLA 对齐：置信度阈值决定多少 query 走 expensive path，能直观给出成本—精度曲线，方便与预算、p99 时延等业务约束权衡。
- 论文路由只用 query 文本，开销极低，适合在线推理。电商场景可扩展轻量特征（query 长度、类目、用户历史）提升路由准确度，仍保持低延迟。
乳腺超声诊断中通才-专家模型协作的引导与反馈框架
🧭 MLLM 与视觉专家协作优化
Department of Data Science & AI, Monash University, Australia · Department of Computer Science, Renmin University of China, China · School of Computing and Communications, Lancaster University, UK
提出 BooF 框架，通过 BI-RADS 引导 MLLM 生成可靠描述并反馈给视觉专家，提升诊断准确性与可解释性
📌 工作参考价值（4 点）
- 借鉴领域知识约束：用结构化 schema（如商品属性、广告合规词表）引导 LLM 生成内容，减少幻觉。
- 两阶段协作：先由轻量专家模型给出初步信号，再让通用 LLM 基于该信号生成解释或描述，反馈给专家模型融合，可提升多模态推荐/审核模型性能。
- Attention-Gated 跨模态融合模块：轻量、可自适应过滤噪声，适合工程上在现有多模态模型中插入，无需大改架构。
- Bootstrapping 思想：通用模型与专家模型循环增强，可用于 Agent 系统中不同角色协作，比如生成式商品描述与检索模型互反馈。
视频场景下多模态大模型指令遵循能力的评估基准
🧭 多模态LLM指令遵循评估
Tencent Youtu Lab · Tencent Hunyuan · TJU · SJTU · CUHK
提出Video-IFBench，系统评估视频理解中MLLMs的指令遵循能力，含1500样本和39类约束
📌 工作参考价值（4 点）
- 约束分类体系可复用：电商视频场景中用户指令常含多个视觉/音频约束（如“找出视频中穿红色衣服且位于画面左侧的人”），可借鉴其39类约束设计评估或训练数据，提升模型对复杂query的遵循能力。
- 半自动数据构造流水线：结合MLLM生成、程序化处理和人工验证，可低成本构建领域专用的指令遵循数据集，适合业务迭代。
- 评估发现的启示：当前模型在复杂条件分支和语义约束上表现差，提示在Agent系统中需增加指令解析模块或结构化输出约束，避免直接依赖端到端生成。
- 多模态推荐借鉴：视频推荐/搜索中用户query可能包含条件选择（如“如果出现A则返回B，否则C”），可参考其嵌套指令模板设计更严格的评测集。
SkillForge：通过可验证技能演化训练强化学习智能体
🧭 Agent 技能演化与 RL 训练优化 ★ 深度解读
AMAP, Alibaba Group
让 LLM Agent 通过显式技能调用和基于证据的验证，在 RL 训练中持续积累并修正可复用技能
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，可将经验从原始日志蒸馏成结构化技能（title/intent/principle/when to apply），检索时只注入 title+intent 的紧凑目录，调用后展开完整内容，能控制 prompt 长度与 KV cache，适合技能库/策略库持续膨胀的场景。
- 借鉴 evidence-based verification：对每条技能/策略模板维护 EMA 成功率与调用次数，计算 underperformance score，优先让 LLM 反思和改写高失败率策略；可用于推荐 Agent 的 prompt 模板、工具选择策略、query 改写规则库的持续治理。
- 显式技能调用标签把技能使用变成可归因事件，RL 或线上日志可直接统计哪些策略真正影响转化/点击，避免“注入一堆 prompt 但不知道有没有用”；可迁移到生成式推荐的 Semantic ID 策略库或多 Agent 工作流节点的版本管理。
- 多路径技能归纳：从成功会话抽取、失败会话提炼修正、成功/失败对比分析差异生成新策略，且弱模型演化出的技能可迁移到强模型，能降低高质量策略库的生成成本。
StarHarness：用分层搜索为企业环境演化 Agent Harness
🧭 Agent harness 演化 · 环境适配 ★ 深度解读
ServiceNow · Mila · Université de Montréal
提出 StarHarness，在冻结模型下分层搜索演化 Agent harness，企业基准提升 20-35pp 并可跨模型迁移
📌 工作参考价值（4 点）
- 对电商/广告/搜索推荐里的 Agent 工具链，可以不微调模型，先优化 harness（prompt、tool schema、MCP 参数预处理、subagent 结构、finish 逻辑）；本文在 4-12 个 accepted patches 内拿到 20-35pp 提升，工程成本很低。
- 借鉴其分层任务池：按 baseline failure mode、task score、verifier pass rate 抽样，再把任务拆成 proposer 可见 search set、隐藏 selection set 和 held-out；能直接评估泛化、防止 harness 搜索过拟合到具体 case。
- 演化循环中加入便宜门控：scope/import/smoke 校验 + 单任务 test flip，不通过就不跑全量 selection eval；生产环境可大幅降低搜索成本。
- 实际可复用的修复类型：清理 null/empty/placeholder 参数、补充 schema 约束、把隐式业务规则写进 prompt（如 priority 与 impact/urgency 联动、保留 relationship 字段）、把日期/金额计算下沉到确定性工具；这些都适合迁移到订单、商品、营销工具等有状态业务 Agent。
SWIM：生成式重排中会话监督列表评估的逐步积分测度
🧭 生成式重排评估 · session 级生存建模 ★ 深度解读
University of Science and Technology of China · Kuaishou Technology
将重排 list 评估建模为有限时域生存过程，用因果 Transformer 并行估计 continuation 与 reward
📌 工作参考价值（4 点）
- 用 survival 加权替代 pointwise 加和：短视/短视频 feed 的 list 价值不应是 item reward 直接相加。可以把当前 list 贡献写成 Σ(Π q_t) r_t，其中 q_t 是位置 t 的继续概率，r_t 是到达位置后的条件收益。这套公式能直接迁移到重排 evaluator，尤其适合 session 连续消费场景。
- 用 causal-masked Transformer 并行估计 q_t 与 r_t：在 [prefix token, item_1..item_T] 上做因果注意力，每个位置输出 continuation probability 和 reward heads，一次 forward 得到整条 list 评估。这样避免自回归 rollout，满足工业延迟约束；prefix token 编码 session prefix，可同时估计跨 request 的进入概率 q_0。
- 连续目标做离散 bucket 分类：play time 等长尾连续反馈不要直接回归，而是离散为有序 bucket 预测 categorical distribution，再取 bucket 代表值恢复期望；训练更稳定，适合多目标 reward 融合。
- 训练时只在 reached positions 计算 survival/reward loss：reward 是到达位置后的条件收益，未到达位置不应参与 reward 监督；survival BCE 也只在已到达位置有效。这个 masked loss 设计能避免 selection bias，工业日志可直接复用。
TAGR：面向工业直播广告的时序自适应生成式推荐
🧭 生成式推荐 · 动态Semantic ID与策略优化 ★ 深度解读
Kuaishou Technology · Tsinghua University
动态LSID、多尺度意图建模与间歇性在线策略偏好优化，使直播广告生成式推荐收入提升16.1%
📌 工作参考价值（4 点）
- 动态 token 化：对直播间、闪购活动等时效性实体，周期性刷新 Semantic ID（如每分钟）并保持稳定词表，使用 RQ-KMeans 量化 + streamer-aware hash 降低碰撞；实时更新双向索引即可支持新广告检索，无需重建全库。
- 意图建模：将高密度浅层行为（进入直播间）做多时间尺度下采样（stride 1/2/10），深层行为（加购、下单）分开通道编码；用 post-request 反馈深度（如加购/下单强于曝光）加权 NTP 损失，可迁移到用户序列建模。
- 偏好对齐：在线 RL 采用间歇性 on-policy GRPO，穿插监督 NTP 维护，避免连续 RL 梯度干扰；BA-GRPO 用生成 ID 与真实下一 ID 的 token 嵌入余弦相似度做行为锚，VA-GRPO 用 RM 融合 engagement 和 eCPM，组合可平衡行为相关与商业价值。
- 工程部署：动态 token 更新 + 双向索引，支持 >2500 QPS/GPU、<100ms 延迟，为生成式检索的实时化提供参考。
Tlow：基于流模型的物品分词器，将语义嵌入映射到标准正态空间以提升生成式推荐
🧭 生成式推荐 · Semantic ID 分词 ★ 深度解读
Tsinghua University · Tencent Inc. · Shenzhen International Graduate School, Tsinghua University
用 normalizing flow 将物品语义嵌入转换为维度独立、标准正态的 latent，再做并行 PQ 分词，显著提升生成式推荐的语义 ID 质量与冷启动表现
📌 工作参考价值（4 点）
- 生成式推荐/搜索中做 semantic ID 时，优先用 normalizing flow 预处理 item embedding 再做 PQ，而不是直接在原始 embedding 上 OPQ；尤其适合跨域、多模态、图文混排场景，能显著提升 codebook 语义纯度和解码并行度。
- 代码书对齐损失（MSE 对齐 token 空间与 codebook 空间的 cosine similarity 矩阵）实现简单、可插拔，可作为现有生成式推荐训练的额外正则；但 codebook 本身质量决定上界，需先保证分词语义清晰。
- 工程上线时，token embedding 数量仅 C×S（如 16×256=4096），可替代千万级 item ID embedding；flow 训练在百万级 item embedding 上即可收敛，每日对数千万新物品的 tokenize 仅需单 GPU 几分钟，适合高时效冷启动，例如新品、新内容快速进入召回。
- 线上冷启动验证显示 UCTR 提升 10.32%、新 item UCTR +11.64%，且头部内容曝光占比下降，说明该方法有助于长尾和冷启动分发；电商大促新品、广告新素材 cold-start 可复用该思路。
V-Rubrics：基于Rubric强化学习的视觉忠实性训练
🧭 多模态VLM后训练 · Rubric奖励
S-Lab, Nanyang Technological University · A*STAR · UIUC
将参考答案分解为原子命题，从视觉忠实、推理一致、指令遵循三方面给结构化rubric奖励，提升VLM多模态后训练
📌 工作参考价值（4 点）
- 将粗粒度结果奖励拆成rubric子项（视觉事实、推理步骤、约束满足），对广告文案、推荐解释、商品QA等LLM评估与RL奖励设计可复用：避免只给整体好坏，能定位错误点并给予结构化部分信用。
- 使用prefix-localized partial credit：当有支撑证据span时只奖励相关前缀，不惩罚后续冗余，适合多步推理生成任务中做更精确的credit assignment。
- 训练数据构造：规则过滤+拒绝采样分数划分难度，再用强LLM统一prompt标注rubric，可低成本获得可扩展的奖励标注集；业务上可对商品描述、视频帧QA等构造领域微调数据。
- 先SFT冷启动再做GRPO，并用相同SFT检查点对比answer-only GRPO，可迁移到LLM-based推荐/Agent训练流程，验证奖励抽象对后训练的实际增益。
VGI-Bench：视频生成模型视觉智能评测基准
🧭 视频生成模型视觉推理评测
University of Illinois Urbana Champaign · Tsinghua University · University of Waterloo · Massachusetts Institute of Technology · University of British Columbia
构建27任务810实例的VGI-Bench基准，评估视频生成模型零样本视觉推理，最强模型仅51.0%准确率
📌 工作参考价值（4 点）
- 评测生成式模型时，采用与模型视觉先验对齐的输入格式，且同时要求过程有效与最终状态正确，而非仅看最终生成结果；在商品视频、多模态内容生成评估中可借鉴其任务分层与难度校准方法（27 tasks / 810 instances / skill tags），避免基准过难或过易。
- 分析输入条件敏感性和失败模式：在生成式推荐文案、商品视频或创意生成中，可系统性地改变 prompt 条件（如视角、物体属性、时间演化）来定位模型不稳定点，用于指导 prompt 模板设计和后处理过滤。
- 合成数据微调转移边界：对使用合成数据训练生成式推荐模型有参考意义，需注意性能提升存在域转移边界，在合成数据与真实业务数据混合时应评估跨域泛化能力。
- 去噪过程自校正有限的结论（后期步骤主要细化早期假设而非纠正推理错误）与 LLM 推理中 self-correction 有限类似，提示在生成式推荐流水线中不要依赖模型生成过程中的自我修正，应引入外部验证器或约束（如规则、知识图谱）保证推理正确。
VoiceMem：实时交互的流式双脑记忆
🧭 实时语音 Agent 记忆 · 流式 RAG ★ 深度解读
Nanyang Technological University · National University of Singapore · Tsinghua University · The Chinese University of Hong Kong · Open Interaction Lab
双脑流式记忆：左脑管信息、右脑管情感人格，top-5 检索 134ms 达到实时语音交互记忆 SOTA
📌 工作参考价值（4 点）
- 用 schema-entity 两层索引替代扁平向量召回：先把候选池按实体/类目路由到小集合，再做 top-5/10 精排；适合电商导购/会话推荐里把用户长期行为、商品类目、偏好实体做成可寻址索引，低 token 预算下保持高准确率。
- 借鉴“让候选池更密而不是把 K 调大”的结论：通过 query 共现和 LLM judge 自动让兴趣簇/商品簇跨预设类目重组，可迁移到用户兴趣聚类、促销主题挖掘、Semantic ID 层级构建。
- 把事实行为与情感/偏好分开建模：独立节点记录长期偏好，跨实体节点记录对具体商品/事件的态度，避免把一次情境反应误判为长期兴趣；适合个性化推荐理由、卖点文案和售后 Agent 的情绪感知。
- 上层图路由与底层向量/记忆引擎解耦，四阶段流式检索拆分到固定静音/请求窗口内；在电商语音助手或实时推荐 Agent 中可异步执行召回/粗排/精排，保证延迟不随 K 线性增长。
微信多模态 Embedding 技术报告：WeMM-Embedding 家族
🧭 多模态表征学习 · 通用 Embedding ★ 深度解读
WeChat Vision, Tencent Inc.
2B/4B/9B 通用多模态 embedding 家族，两阶段训练与蒸馏在 MMEB-v2 达 80.6 SOTA，并大规模落地微信推荐搜索
📌 工作参考价值（4 点）
- 通用多模态 item embedding 直接复用：商品/视频/图文内容统一走 <embedding> 末 token 出向量，可在召回、排序特征、用户序列建模、跨域理解中复用；视频场景可一次前向同时拿到“视频帧-only”和“视频+ASR文本”两种表示，适配不同召回通道。
- 多任务 pair 统一格式优于分开训练：把搜索 query、商品详情、内容描述、分类标签、点击/转化分级相关统一成 (instruction, source, target, hard_negatives, relevance)，用 task-consistent batch 和 duplicate-aware masking，能显著提升 in-batch negatives 质量；该技巧可直接迁移到电商搜索/推荐 embedding 训练。
- 用 Semantic ID 做数据平衡和难负例挖掘：对 pair 表示做 RQ-KMeans 得到三层语义 ID，按频次降采样高频语义、保留长尾，配合 MLLM 质量过滤和检索难负例，特别适合缓解电商长尾商品和新品冷启动；MRL 输出 256/512 维可降低向量索引成本，同时保留 97% 以上性能。
- 蒸馏策略可压缩学生模型：2B/4B 用 9B teacher 的 batch 内双向相似度分布做 KL 蒸馏，不像 one-hot 对比损失那么硬，能高效传递细粒度关系；在广告/推荐小模型迭代时可用此方法把大模型能力压到线上可部署尺寸。
一个症状，三个杠杆：在策略自蒸馏批判性综述
🧭 LLM 训练 · 在策略自蒸馏
OVHai LLM
系统化梳理OPSD的坍缩失败模式，提出信号位置、特权信息、动态衰减三杠杆框架
📌 工作参考价值（4 点）
- 若用 OPSD 微调生成式推荐/搜索 Agent（如 query 改写、商品文案生成），可用模型自身作 teacher 并注入业务侧特权信息（用户真实意图、最终成交商品），但必须监控生成多样性（熵、n-gram 新颖度）以防坍缩。
- 借鉴三个杠杆做训练设计：where——损失只加权关键 token（如最终答案/决策 token）而非全序列平均；what——teacher 的特权信息粒度要渐进揭示，避免过度强条件导致模型只学会抄捷径；when——蒸馏信号随训练衰减，后期保持与 base policy 的 KL 约束。
- 对 Agent 搜索/推荐，坍缩类比于动作空间收窄：训练时环境反馈或 oracle 路径会诱导窄策略，需加入熵正则或行为多样性约束。
- 没有新实验，但提供统一术语与诊断清单，适合作为生产 LLM 微调前的风险自查。
直接语料交互中的证据盲区与 AtlasNav 持久化导航
🧭 Agent 有限预算语料导航 · 持久化多视图 Atlas ★ 深度解读
提出 Evidence Blindness 四阶段诊断，并用持久化多视图语料图谱 AtlasNav 把有限预算的 agentic search 从反复探索转为可复用导航
📌 工作参考价值（4 点）
- 离线为商品/内容/企业知识语料构建持久化多视图结构：Topic、Identity、Episode、Relation，再与 BM25 做加权 RRF 融合，供 Agent 查询时自适应路由；避免每个 query 动态重建 workspace，能显著降低在线 token/cost。
- 用 Evidence Blindness 漏斗（Construction→Surface→Open→Locate）做过程诊断：不只追踪最终答案，还追踪相关商品/属性/证据片段是否被 surface、open、locate 到模型上下文，可定位静默失败。
- 保留原语料直接读取与全文检索，不做 query 条件剪枝，而是通过共享层级 + region anchors + cross-region bridges 导航；适合电商/广告中长尾商品、合规要求高、多跳关系推理等场景。
- Query-adaptive router 可用语料自监督任务训练：单文档/pair/triple 构造，parent-disjoint split，无需人工业务标注；轻量线性 router 学一组语义+词法通道权重，可直接迁移到搜索/推荐入口的混合召回。
智能体游戏开发：作为可验证轨迹数据引擎扩展世界模型
🧭 世界模型 · 可验证奖励 · RL post-training
National University of Singapore, HPC-AI Lab · InfRec, Cardinal AI Lab · University of California, Berkeley · Hong Kong University of Science and Technology · Independent Researcher
提出 RLHEV 后训练范式，用游戏引擎可执行验证与人类隐式接受信号，为世界模型提供可奖励轨迹数据。
📌 工作参考价值（4 点）
- 在电商/Agent 场景，借鉴“可执行验证”思路：用库存、价格、物流时效、广告合规等确定性业务规则作为 dense verifier，替代 CLIP 这类模糊 proxy；同时用点击/成交/无投诉等隐式人类反馈做 global signal，构建 RL post-training 奖励。
- 把生产中的长程交互日志（搜索→浏览→加购→下单→售后）当作 trajectory data，回流训练 Agent；类似论文将 game development 过程转为可验证轨迹。
- 对跨域/跨环境泛化：论文中发现 transfer learning 对 OOD shift 有正向信号，电商可尝试在相似但不同的域（不同站点、类目、流量渠道）做预训练+微调，并设计可控实验评估。
- 若业务有模拟器（如供应链仿真、店铺经营模拟），可以低成本合成违规/可玩性等验证信号，给 LLM/Agent 提供递归数据引擎；没有模拟器时，也可从人工审核/退款/纠纷数据中抽取弱监督信号。