Build, Don't Play: Self-Improving LLM Research Agents Develop a Hearthstone Battlegrounds AI That Rivals Top Players
构建而非游玩：自改进 LLM 研究代理造出匹敌顶尖玩家的炉石酒馆战棋 AI
🧭 多代理自改进与 RL 训练
Nanjing University · Shanghai AI Laboratory
自改进 LLM 研究代理系统 AutoTavern 从零构建模拟器和 PPO 策略，训练出的 AI 在天梯表现超越顶尖人类玩家
📌 工作参考价值（4 点）
- 将 LLM 用于「构建工具/策略」而非「直接实时决策」：让 LLM 离线生成模拟器、校准对手、特征或规则，在线推理仍用轻量模型，可兼顾效果与延迟，适合推荐系统实时打分场景。
- 类型化研究记忆 + 验证门（verification gates）值得借鉴：把实验结论、模型改动历史、A/B 结果存成结构化条目，新代理或新方案先过验证再采纳，减少 LLM 幻觉导致的上线事故。
- 用 PPO 训练策略时，对手/用户模拟器必须校准到真实分布（calibrated to real games），否则 sim-to-real gap 会毁掉效果；电商推荐做 RL 时应定期用真实日志更新用户模拟器。
- 构建专用决策 benchmark（类似 TavernBench），同时评测效果指标和推理延迟：LLM 在推荐决策上可能准确率高但延迟达数十秒，无法满足在线约束，必须评测真实时间窗口内的可用性。