Superhuman Safe and Agile Racing through Multi-Agent Reinforcement Learning
多智能体强化学习实现超人类安全高速竞速
🧭 多智能体强化学习与安全交互
University of Zurich · Google DeepMind
通过联盟式自博弈与注意力架构，多智能体强化学习在无人机竞速中超越人类冠军，碰撞率降低50%。
📌 工作参考价值
- 联盟式训练（League Play）：维护包含历史自身策略与固定多样性对手池的策略库，按幂律分布采样历史快照，可借鉴用于多智能体对话系统或推荐模型的对抗训练，防止策略坍缩到单一对手模式。
- 置换不变注意力编码：采用Perceiver架构处理任意顺序、任意数量的对手观测，输出固定维度表示，适合处理推荐系统中动态长度的用户行为序列或多物品关系，避免固定长度拼接带来的性能衰减。
- 课程学习与域随机化组合：从简单单智能体任务逐步引入多智能体交互，配合动力学域随机化，实现零样本仿真到现实迁移。可迁移到多智能体强化学习项目，先训练基础能力再注入交互压力，提升训练稳定性与泛化性。
- 价值函数可视化解释：通过改变自身状态输入观察Critic对风险的评估，揭示策略学习到的“碰撞风险区域”，为行为审计提供工具。可借鉴对推荐模型中的注意力权重或价值估计进行风险归因，辅助安全部署。
动机：单智能体自主系统已趋于成熟，但多智能体在共享物理空间中的安全交互仍是瓶颈。高速无人机竞速将问题推向极限：碰撞即损坏，空气动力学扰动耦合多机动态，安全无法妥协。现有方法或仅支持双人对抗，或低速运行，无法应对多人竞争的指数复杂度。
方法关键点
- 联盟式自博弈（League Play）：训练时与演化对手池对抗，75%概率从历史快照采样（幂律分布偏向近期），25%从固定池采样（包含单智能体最优策略和独立PPO策略），强制策略泛化。
- 置换不变注意力编码：使用Perceiver处理变长、无序的对手观测，4个隐式询问、4头交叉注意力输出固定维表示，消融实验证明其必要性。
- 粒子基下洗流模拟：用粒子近似螺旋桨射流，模拟临近无人机的空气动力扰动，训练策略学习保持非几何安全间距。
- 课程与域随机化：逐步从不可见对手过渡到全交互，门尺寸收缩，初始条件随机化；动力学参数±10%随机化加执行延迟，实现zero-shot sim-to-real。
关键实验与结果
- 真实世界：与五次瑞士冠军对抗，3v1人类时策略完成率91.67%，人类58.33%；最快单圈5.540s vs 6.627s。
- 仿真大规模评估：64,000场四智能体赛，league-play完成率~92%，碰撞率23%，单智能体基线碰撞率78%（降低50%），圈速仅慢0.03s。
- 泛化至8智能体：league-play完成率维持56%，单智能体几乎全撞。
- 消融：去掉注意力编码导致撞门率激增，性能低于单智能体。
一句话记忆：对手多样性 + 置换不变注意力 = 策略内化安全避碰而无需显式约束，零样本泛化至与人类安全共存。