JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence
实时视觉交互模型 JoyAI-VL-Interaction：主动决定何时开口的 8B 级视觉模型
🧭 实时视觉交互模型与系统 ★ 深度解读
JD.com
首个开源、视觉驱动的 8B 交互模型，每秒自主决策沉默/响应/委派，并配有完整部署系统。
📌 工作参考价值（4 点）
- 直播电商 / 短视频场景可直接借鉴其“每秒决策”范式：模型持续观看直播画面，自主判断何时插话（如提醒主播漏讲卖点、解答观众疑问），而非被动等待提问。
- 委派（delegate）机制适合复杂任务卸载：当需要生成商品详情页 HTML 或调用知识库时，模型可暂停实时应答，将任务异步交给后端大模型或 Agent，保持对用户的实时存在感。
- AdaCodec 视频压缩策略（对可预测帧仅用约 16 个 token）大幅降低长流推理成本，适合需要连续观看监控或直播的电商 AI 助手，降低部署门槛。
- 分层记忆设计（短期缓冲 + 中期文本摘要 + 长期归档）与 vLLM 前缀缓存结合，实现两小时以上连续视频的亚秒级延迟，可用于需要长上下文记忆的在线导购或客服会话。