Gander：全模态实时交互智能体技术报告
🧭 全模态实时交互Agent
Hunyuan Speech Team, Tencent · Zhejiang University · Shanghai Jiao Tong University · The Chinese University of Hong Kong · Nanyang Technological University
提出Gander，融合多模态感知、全双工流式交互与Agent能力的端到端模型，通过小脑-大脑协同与Thinker-Talker架构实现低延迟实时交互
📌 工作参考价值（4 点）
- 将实时交互与复杂任务推理拆分为两级：轻量流式“小脑”负责即时响应、追问与澄清，重模型“大脑”负责意图解析、工具调用与规划，电商导购/客服Agent可据此降低首响延迟并节省推理成本。
- 全双工可中断机制适合语音购物、直播互动等场景：用户可随时打断，模型可主动给出中间反馈或反问，建议在会话式推荐中引入此类异步主动交互，避免死等完整query。
- 采用chunk级统一token流表示多模态输入输出，可借鉴到流式ASR+LLM+TTS的搜索/推荐语音链路，减少模块间等待与传输开销，提高整体低延迟体验。
- 评估需覆盖背景噪声、多人交互与backchannel等真实环境压力测试，语音搜索/推荐Agent上线前应补充类似鲁棒性评测，而非仅看离线对话质量。
多模态序列推荐的顺序模态丢弃鲁棒性方法
🧭 多模态序列推荐鲁棒性
Stevens Institute of Technology
训练时整段历史独立擦除单模态，让多模态序列推荐在模态缺失时保持 HR@10 精度
📌 工作参考价值（4 点）
- 电商多模态序列模型（如商品图+标题描述）常遇到无图/无文本；可直接将 SMD 作为训练时模态 dropout：对每个 batch，以概率 p 对某模态在整条用户序列上置 0/掩码，让模型不依赖单一模态，实现仅需数行。
- 线上部署前用 retention 指标评估模态缺失下 HR@10 的保留比例，而非只看全模态准确率；设定服务等级，例如文本缺失时至少保留 90% 才允许上线。
- 若主模型为简单加和融合（additive backbone），可额外加 cross-modal reconstruction loss，把极端缺失下的 retention 从 90% 提升到 98%；对于复杂交互融合模型也可尝试但需验证。
- 生产数据中物品缺失比例高（如 Beauty 类文本缺失 48%），应模拟训练时高缺失率（p=0.9+）以贴近真实；SMD 在 95% per-item missing 下仍保留 61% HR@10，而未做仅 22%。
DocMemo：面向多模态长文档理解的概率记忆引导动态证据检索
🧭 多模态文档理解 · 动态证据检索与记忆
Harbin Institute of Technology, Shenzhen · Tsinghua Shenzhen International Graduate School, Tsinghua University
提出三层记忆状态与贝叶斯页信念更新机制，将长文档推理建模为动态证据探索过程
📌 工作参考价值（4 点）
- Agent 记忆机制设计：三层记忆（结构模式记忆、页信念记忆、问题情景记忆）可借鉴用于多轮对话推荐系统中，管理用户状态、商品上下文与推理轨迹，解决长对话场景下兴趣漂移与证据跟踪问题。
- 不确定性驱动的探索：汤普森采样与贝叶斯页信念更新提供了一种平衡探索与利用的范式，可迁移至推荐系统的冷启动或动态兴趣建模，例如在新商品或新用户场景下自适应调整曝光策略。
- 结构感知的自适应粒度检索：根据文档结构（目录、节标题）动态选择检索粒度（整页、段落、视觉区域），对应电商场景中商品详情页的结构化信息（标题、图文、参数表）的分层次检索，提升证据定位效率。
- 空间邻近传播：利用相邻页面的相关性平滑信念，可启发推荐系统中基于会话内邻近商品或协同过滤的置信传播，增强对强相关 item 的召回。
超越噪声信号：多模态序列推荐的双层去噪框架
🧭 多模态序列推荐 · 双层图频域去噪
University of Science and Technology of China
提出图低通滤波和频域自适应滤波的双层去噪，联合清洗多模态特征与序列行为噪声，显著提升推荐鲁棒性
📌 工作参考价值（5 点）
- ### 可以借鉴到电商推荐工作中
- 特征层面图低通滤波去噪：利用物品语义图上的拉普拉斯平滑作为低通滤波器，能有效抑制预训练视觉/文本特征中与推荐意图无关的高频噪声。在构造电商场景的商品多模态特征（如商品图、描述）时，可直接复用此轻量模块，无需引入复杂注意力，计算开销小。
- 序列层面的频域去噪：通过 FFT 将用户交互序列变换到频域，用可学习的频率滤波器自适应增强良性信号、衰减异常点击等随机噪声。对于电商/广告场景中常见的误触、短暂兴趣等噪声行为，该模块能显著增强序列建模的稳定性，可插入现有 Transformer 或 SASRec 类骨干结构。
- 多模态对比对齐目标：引入跨模态对比损失，强制视觉与文本表征在语义上一致，能弥补模态间语义鸿沟。在构建商品多模态特征库时，可用此约束训练更好的对齐编码器，或直接在召回模型中加入该辅助损失。
- 整体架构即插即用：DDMSR 的 denoising 组件均可独立拆解，作为现有推荐模型的增强插件。对于已有序列模型（如 BST、DIEN），只需要在特征输入层和序列编码层分别接入图滤波与频域滤波，实验显示在多个公开数据集上稳定提升 3–8%，适合快速 A/B 测试验证。
统一视觉语言模型的视频审核系统
🧭 多模态视频理解与工业级内容审核
Bytedance
用统一VLM生成策略感知字幕实现可解释视频审核，将违规泄露和过度封杀相对降低42.7%与37.0%
📌 工作参考价值（4 点）
- 可解释中间表示：在电商直播/短视频审核中，可训练VLM生成与平台规范对齐的自然语言描述，直接作为审核依据，方便人工抽检和规则迭代。
- 统一骨干替代多模型：借鉴UNIVID用单一VLM取代上千个专用分类器，大幅降低工程维护成本和计算资源，适合策略频繁变更的电商场景。
- 多级漏斗架构：结合缓存嵌入和风险信号融合，先粗筛后精审的思路可迁移到商品内容安全、侵权过滤等链路，平衡效率与精度。
- RAG增强召回：在审核决策时检索历史违规案例作为参考，有效减少遗漏，类似方法可用于商家资质审核或评论风控中的相似违规召回。
基于鲁棒评分标准的强化学习奖励方法
🧭 多模态准则级强化学习奖励设计
Huawei Technologies Co., Ltd.
将RLVR扩展到准则级验证，通过LLM抽取器+确定性验证器与LLM评判双路径、最小暴露和分层聚合，显著提升多模态模型性能
📌 工作参考价值（4 点）
- 推荐/Agent 的多目标优化可借鉴分层聚合思想，将核心指标（如点击率、转化率）作为 essential criteria 优先保障，辅助指标（如 diversity）按权重融合，避免多目标互相干扰。
- 对于部分可验证的业务指标（如推荐结果是否符合政策规范），可采用“确定性规则提取 + LLM 评判”双路径奖励：先用规则快速检查硬约束，再用 LLM 评估主观质量，兼顾效率与灵活度。
- 最小暴露策略（屏蔽 ground truth 或原始图片）可直接用于奖励函数设计，防止模型学习到利用奖励漏洞的采样行为，提升在线 RL 训练的稳定性。
- rollout 组内分数缓解饱和的技巧可迁移到推荐策略梯度训练中，通过组内 baseline 或标准化避免模型过早收敛到次优策略。
SIREN：多粒度语义交互的统一多模态终身兴趣建模
🧭 多模态终身兴趣建模 · 语义ID ★ 深度解读
Tencent Inc. · Xiamen University
在工业推荐的两阶段框架中，通过语义ID和相似度桶实现多模态信号的早期融合，兼顾效果与部署效率。
📌 工作参考价值（4 点）
- 语义ID生成与使用：利用RQ-VAE将多模态embedding离散化为分层语义ID，并通过前缀编码保留层级语义，可作为item的稳定通用token，既用于GSU的硬检索（倒排索引，降低90%以上在线成本），又作为ESU中细粒度特征，可迁移至电商商品的生成式推荐或冷启表征。
- 早期融合代替晚期融合：将相似度桶和语义ID直接拼入item表征，与ID特征一起进入target-conditioned Transformer进行统一序列建模，而不是在序列聚合后再融合。这让多模态信号参与注意力权重和兴趣表征的联合学习，可应用于短视频、广告等场景的多模态长期行为建模。
- 相似度桶化与语义ID的互补设计：相似度桶提供粗粒度的目标相关度，语义ID捕获细粒度的物品语义和协同异质性。分析表明二者互补，且单纯增加桶数无法弥补细粒度缺失。在电商场景中可借鉴该组合特征方式，提升老客与新品的匹配精度。
- 冷启动增益：多模态信号显著提升低活用户和新广告的效果（GMV增益可达整体平均的1.4~3.6倍），对于电商新品冷启、小语种用户等场景有直接参考价值。
OScaR：极端KV缓存量化的奥卡姆剃刀
🧭 LLM推理优化 · INT2 KV缓存量化
Tsinghua University · Meituan LongCat Team · The University of Hong Kong · The University of Edinburgh · UCAS
OScaR通过Canalized Rotation与Omni-Token Scaling解决Token Norm Imbalance，实现INT2近乎无损KV缓存量化，解码加速3.0×
📌 工作参考价值（4 点）
- INT2 KV缓存部署：电商对话或实时推荐场景中，用OScaR的INT2量化可降低96%的KV缓存内存（5.3×），结合3.0×解码加速，适合高并发低延迟需求。
- 轻量集成路径：Canalized Rotation + Omni-Token Scaling无需复杂重采样或辅助模型，仅需少量显式变换，可直接插入现有Transformer推理管线，降低工程复杂度。
- 多模态量化统一：OScaR已覆盖文本、多模态及全模态LLM，对购物图文推荐中的多模态模型KV缓存压缩同样有效，避免为不同模态设计多套量化方案。
- CUDA Kernel优化：论文提供的定制化CUDA kernel将旋转与缩放无缝融合，可借鉴其极简高效的设计思路加速自研模型推理。