Gander：全模态实时交互智能体技术报告
🧭 全模态实时交互Agent
Hunyuan Speech Team, Tencent · Zhejiang University · Shanghai Jiao Tong University · The Chinese University of Hong Kong · Nanyang Technological University
提出Gander，融合多模态感知、全双工流式交互与Agent能力的端到端模型，通过小脑-大脑协同与Thinker-Talker架构实现低延迟实时交互
📌 工作参考价值（4 点）
- 将实时交互与复杂任务推理拆分为两级：轻量流式“小脑”负责即时响应、追问与澄清，重模型“大脑”负责意图解析、工具调用与规划，电商导购/客服Agent可据此降低首响延迟并节省推理成本。
- 全双工可中断机制适合语音购物、直播互动等场景：用户可随时打断，模型可主动给出中间反馈或反问，建议在会话式推荐中引入此类异步主动交互，避免死等完整query。
- 采用chunk级统一token流表示多模态输入输出，可借鉴到流式ASR+LLM+TTS的搜索/推荐语音链路，减少模块间等待与传输开销，提高整体低延迟体验。
- 评估需覆盖背景噪声、多人交互与backchannel等真实环境压力测试，语音搜索/推荐Agent上线前应补充类似鲁棒性评测，而非仅看离线对话质量。
VibeVoice-ASR-Streaming：LLM 流式说话人归因语音识别
🧭 LLM 流式说话人归因 ASR
Microsoft Research · University of Chinese Academy of Sciences · Shanghai Jiao Tong University
首个 LLM 端到端流式说话人归因 ASR 之一，交错音频块与少量前瞻音频实现低延迟“谁说了什么”输出
📌 工作参考价值（4 点）
- 面向实时语音 Agent/客服：统一 LLM 直接生成“说话人+转写”，省去独立说话人日志模块，降低级联错误与延迟；输入设计可参考 fixed-size audio chunks + 少量 lookahead audio + previous text 的拼接策略，在语音点单、售后沟通等场景实现流式结构化记录。
- 自托管替代商业 API：在电商/广告会议转录等数据敏感场景，7B/1.5B 开源模型在五个评测集 WER/CER 上平均最低，且 speaker attribution 在 12/13 设置最优或并列，可作为内部服务，避免数据外传并控制成本。
- 工程架构上，用少量前瞻音频而非整句缓存，能显著降低流式延迟；在 Agent 中可类似设计“当前 chunk + 短 lookahead + 上一轮文本”的上下文，减少重复识别和说话人切换丢失。
- 中文电商场景需注意：论文里的中文会议集 AISHELL-4、AliMeeting 上 CER 仍较高（约 30-50%），落地前应基于国内电商/客服语音数据做领域微调，尤其提升中文说话人归因和电商术语识别。
Super Star：面向数字人的流式实时交互智能体
🧭 多模态生成 · 实时交互数字人
ShanghaiTech University · LIGHTSPEED
提出因果多模态自回归模型与自进化数据闭环，实现数字人低延迟在线语音同步手势生成
📌 工作参考价值（4 点）
- 实时流式生成范式：在需要低延迟在线生成的场景（如对话式推荐、实时文案/回复生成、虚拟主播）可借鉴“仅用当前与历史信息”的因果模型设计，避免依赖未来信息，降低首字/首帧延迟。
- 自进化训练闭环：将在线交互中收集的用户反馈纳入数据生成与模型迭代，使系统持续适应用户偏好，这对电商导购 Agent、交互式推荐等长期在线服务有直接可迁移价值，但需设计反馈去噪与延迟更新机制。
- 数据合成管线：利用主题/情感感知的语料构建多样化对话，再条件生成训练数据，可用于解决交互式推荐或导购场景中高质量多轮对话数据不足的问题。
- 工程实现参考：流式多模态推理与缓存/增量计算的设计思路，可迁移到需要实时聚合文本、语音、用户行为等多路信号的 Agent 架构中。
RECAP：反馈驱动的流式语义用户画像优化
🧭 流式用户画像 · 闭环 GRPO 优化 ★ 深度解读
University of Science and Technology of China · Kuaishou Technology · China Academy of Cyber
闭环框架通过清洗隐式反馈训练双塔评估器，用GRPO优化流式结构化用户画像生成，提升推荐对齐度
📌 工作参考价值（4 点）
- 将用户画像维护为有界结构化状态：LLM 只产出语义差异（确认已有兴趣、新兴趣），确定性状态机管理生命周期、容量和强度衰减。电商/广告场景中用户兴趣同样流式变化，这种解耦保证了画像状态可追踪、可解释，避免 LLM 输出不稳定元数据，工程落地性强。
- 从隐式反馈构建高质量奖励：通过 LLM pairwise judge 过滤行为对，只保留高置信语义一致的正负样本，再训练双塔评估器作为奖励模型。这比直接使用排序分或原始播放/跳过标签更干净，适合业务中缺乏显式语义偏好的场景，可用于优化文案生成或推送消息筛选。
- GRPO 优化 LLM 画像更新器：用冻结的双塔评估器计算逐块画像更新的奖励，配合格式惩罚和多样性惩罚（如证据重叠惩罚），在 SFT 基础上进一步对齐下游任务。该范式可迁移至对话策略或搜索词推荐的在线优化，利用离线日志安全训练。
- 流式分块并行训练：长行为历史分块，SFT 预计算前缀画像，每块独立优化，大幅降低序列计算开销，适合大规模用户行为流的工业训练。
VideoChat3：全开源高效通用视频多模态大模型
🧭 高效通用视频多模态大模型
Nanjing University · Shanghai AI Laboratory · Nanyang Technological University · Peking University
提出膨胀3D ViT与自适应帧分辨率，结合三阶段合成数据，4B参数即超越更大模型，实现高效通用视频理解。
📌 工作参考价值（4 点）
- 视频特征提取效率：I3D-ViT 将 2D ViT 权重直接膨胀到 3D，无需重新训练时空融合模块，可直接迁移到商品视频表征、直播切片理解等场景，大幅降低训练成本。
- 流式处理设计：自适应帧分辨率（Adaptive Frame Resolution）根据视频动态调整抽帧策略，适合电商直播实时分析、监控流式视频中的行为事件，提升吞吐且保持精度。
- 多领域数据合成流水线：通过结构化提示合成多样视频问答对（通用、长视频、流式），可借鉴为推荐系统生成多模态训练数据，例如为商品视频生成属性描述、使用教程等指令微调数据，缓解标注稀缺。
- 全开放生态：模型权重、代码、数据全开源的策略，方便团队快速复现并适配垂直业务，降低自研视频理解模型的门槛，尤其适合需要定制化视觉问答或视频审核的电商场景。