OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics
OmniGameArena：统一UE5游戏VLM Agent评测与改进动态曲线
🧭 VLM游戏Agent评测·自我改进曲线 ★ 深度解读
The University of Hong Kong · LIGHTSPEED · The Chinese University of Hong Kong · Tsinghua University
12款自建UE5游戏构建多模式Agent评测，IDC反射框架揭示自我改进轨迹与技能迁移规律
📌 工作参考价值（4 点）
- IDC的反射框架可直接复用到业务Agent自我优化：自主工具调用（Explore/Diagnose/Validate/Distill）+ 有限工具面（只读、诊断、验证、写入），无需人工脚本，能自动从失败轨迹中提炼改进的skill prompt。电商推荐Agent（如选品策略、投放文案优化）可采用类似多轮反思循环，持续迭代策略自然语言描述。
- Best-skill rollback 防止灾难性遗忘：当新一轮 skill 导致分数断崖下降时，自动回滚到最佳历史 skill 并继续反思，保证非单调改进环境中的稳定性。在线上策略自动演进中可借鉴，避免劣化版本持续生效。
- 源任务改进 ≠ 迁移能力的实验发现警示业务只盯着主任务指标：GPT-5.5在主任务上改进最小，但迁移到所有变体均正向；Opus 4.7主任务改进巨大，但迁移全负。电商多场景下应定期用 held-out 场景检验策略的泛化性，避免陷入过拟合单一环境的“安全策略”。
- 多智能体协同的评测设计：PvP矩阵和Coop零和结果暴露了模型间的非传递优势（如Kim K2.5击败Claude但在Solo中弱），可为多Agent电商系统（如议价、库存博弈）的对手建模与角色分配提供评测范式。