Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory
Light-Omni:以反思取代推理的轻量级长时记忆视频智能体
🧭 Agent 轻量级视频理解框架
Nanjing University
通过全局与隐状态实现单步上下文驱动动作,以反射取代迭代推理,速度提升12.1倍、精度提高2.4%
📌 工作参考价值(4 点)
- 全局状态压缩历史的方法可迁移到推荐系统的用户行为序列建模:通过层次化合并保留近期细节、总结远期事件,平衡记忆容量与信息保真度
- 隐状态直接驱动动作的架构能避免昂贵的长链推理,适用于实时推荐中的快速决策(如排序、召回策略的动态生成)
- 双状态设计(全局上下文 + 条件化隐状态)分离了语义理解与动作执行,可借鉴到 Agent 框架中提升检索语义对齐性
- 记忆系统作为即插即用模块增强现有模型,推荐大模型可引入类似长短期记忆以提升连续会话的上下文一致性