#Sim-to-Real

3 篇

Build, Don't Play: Self-Improving LLM Research Agents Develop a Hearthstone Battlegrounds AI That Rivals Top Players

构建而非游玩：自改进 LLM 研究代理造出匹敌顶尖玩家的炉石酒馆战棋 AI

🧭 多代理自改进与 RL 训练

Nanjing University · Shanghai AI Laboratory

自改进 LLM 研究代理系统 AutoTavern 从零构建模拟器和 PPO 策略，训练出的 AI 在天梯表现超越顶尖人类玩家

📌 工作参考价值（4 点）

将 LLM 用于「构建工具/策略」而非「直接实时决策」：让 LLM 离线生成模拟器、校准对手、特征或规则，在线推理仍用轻量模型，可兼顾效果与延迟，适合推荐系统实时打分场景。
类型化研究记忆 + 验证门（verification gates）值得借鉴：把实验结论、模型改动历史、A/B 结果存成结构化条目，新代理或新方案先过验证再采纳，减少 LLM 幻觉导致的上线事故。
用 PPO 训练策略时，对手/用户模拟器必须校准到真实分布（calibrated to real games），否则 sim-to-real gap 会毁掉效果；电商推荐做 RL 时应定期用真实日志更新用户模拟器。
构建专用决策 benchmark（类似 TavernBench），同时评测效果指标和推理延迟：LLM 在推荐决策上可能准确率高但延迟达数十秒，无法满足在线约束，必须评测真实时间窗口内的可用性。

MultiAgent | 2026-10-23 | HF Daily | score 7/10

重建、练习、真机部署：具身智能体的引导式自我改进

🧭 具身智能体自我改进

UC Berkeley · Amazon FAR · MIT · University of Chicago

RPG 不更新模型权重，在仿真中重构练习任务并自我改进技能与提示，22 项操作成功率从 28.6% 提升至 95.0%

📌 工作参考价值（4 点）

借鉴“不更新权重、用可复用符号技能库 + 系统提示修订”的固化系统做法：在电商 Agent 中把高频操作抽象成工具/skill，LLM 只负责调度和组合，降低每次推理成本与非确定性。
用“执行反馈 + 离线日志重构练习任务”做自举：从历史成功/失败会话中自动生成回归任务和仿真环境，每次修改 prompt 或 skill 前先在跨任务集上评估，避免局部过拟合。
借鉴“候选变更先单测、再合并回归”的变更管理：对 prompt 模板、工具定义、规则库做 A/B 和 cross-task evaluation，只保留被验证有效的修订，形成 Agent 系统的 CI/CD。
具身/机器人特有的 privileged simulator state 与 sim-to-real calibration 在电商场景不可直接复用；主要价值在于自我改进流程、技能复用与跨任务验证机制。

Agent | 2026-10-01 | cs.AI | score 6/10

多智能体强化学习实现超人类安全高速竞速

🧭 多智能体强化学习与安全交互 ★ 深度解读

University of Zurich · Google DeepMind

通过联盟式自博弈与注意力架构，多智能体强化学习在无人机竞速中超越人类冠军，碰撞率降低50%。

📌 工作参考价值（4 点）

联盟式训练（League Play）：维护包含历史自身策略与固定多样性对手池的策略库，按幂律分布采样历史快照，可借鉴用于多智能体对话系统或推荐模型的对抗训练，防止策略坍缩到单一对手模式。
置换不变注意力编码：采用Perceiver架构处理任意顺序、任意数量的对手观测，输出固定维度表示，适合处理推荐系统中动态长度的用户行为序列或多物品关系，避免固定长度拼接带来的性能衰减。
课程学习与域随机化组合：从简单单智能体任务逐步引入多智能体交互，配合动力学域随机化，实现零样本仿真到现实迁移。可迁移到多智能体强化学习项目，先训练基础能力再注入交互压力，提升训练稳定性与泛化性。
价值函数可视化解释：通过改变自身状态输入观察Critic对风险的评估，揭示策略学习到的“碰撞风险区域”，为行为审计提供工具。可借鉴对推荐模型中的注意力权重或价值估计进行风险归因，辅助安全部署。

MultiAgent | 2026-05-21 | cs.LG | score 8/10