OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
OmniSeek：面向多轮音视频推理的原生工具集成
🧭 Agent 多轮音视频推理与工具检索
University of California, Davis · Adobe Research
将 Omni-LLM 变为主动多轮推理 Agent，动态检索关键音视频片段以支撑跨模态长上下文推理
📌 工作参考价值（4 点）
- 多模态长视频/直播/商品讲解等场景，别让模型一次吞下整个序列；可以借鉴 OmniSeek 的做法，让 Agent 先粗略定位，再调用工具按时间窗口取回关键音频或视觉片段追加到上下文，既省计算又能保持细节证据。
- 数据冷启动可复用“合成多跳 CoT 轨迹 + SFT + 两阶段 RL”路线：先造带交错的证据检索轨迹让模型学会多轮工具调用，再用可验证奖励做策略优化，适合业务中缺乏真实交互标注的场景。
- Audio-Visual Necessity 奖励是防止多模态捷径的有效 trick：在训练目标里显式惩罚只依赖单一模态的成功轨迹，可迁移到电商多模态模型，避免模型只抄文本或只靠图片就能答题。
- 工具返回原始音视频片段而不是高层特征，能保留稀疏关键证据，类似多模态 RAG；在直播切片问答、广告素材审核、智能客服等场景可以直接套用这种“检索-追加-再推理”的循环。