DNQ: Deep Nash Q-Network for Partially Observable n-Player Games
DNQ：部分可观测 n 人博弈的深度纳什 Q 网络
🧭 多智能体博弈 · 求解器监督策略学习
交替训练框架，利用均衡求解器为多智能体策略提供监督信号，并通过成对分解实现可扩展的博弈训练。
📌 工作参考价值
- 均衡求解器作为策略监督：对于电商竞价广告、多智能体资源分配等非平稳环境，可直接将外部博弈求解器（如 Nash 均衡计算）生成的目标分布作为策略模仿的监督信号，避免传统 RL 的不稳定训练。
- 成对分解降低复杂度：当智能体数量多时，将 n 人博弈分解为每对智能体的双人博弈，大幅降低均衡求解成本和训练时间，适合大规模多智能体场景（如多商家竞价）。
- 掩码策略用于合法动作：在策略模仿时对不合法的动作（如超出预算的竞价）进行掩码，只对合法动作分布计算 KL 散度，确保策略始终满足约束，可直接借鉴到带约束的推荐出价策略中。
- 共享批评家摊销收益学习：用一个共享网络预测所有智能体对的收益矩阵，减少参数并加速收敛，适用于智能体间存在对称或相似属性的场景，如电商平台多个类似卖家竞价。
动机：多智能体竞争场景（如拍卖、资源分配）中，策略需适应对手的持续变化，传统单智能体 RL 因环境非平稳而失效。亟需一种能学习均衡策略且可扩展的训练方法。
方法：提出 DNQ 框架，交替执行四步：收集交互轨迹、用共享批评家估计每对智能体的收益矩阵（成对形式）或完整收益张量（精确形式）、调用博弈求解器（如线性规划）计算纳什均衡策略、通过最小化策略与均衡目标的 KL 散度进行模仿学习。重点设计成对分解：将 n 人博弈近似为所有双人博弈的并集，极大降低均衡求解的代价，同时采用动作掩码保证约束满足，共享批评家实现跨智能体和状态的收益预测。
结果：实验在多人同步出价环境中对比了成对与精确两种形式。成对方法在 5 智能体以上仍可高效训练，精确方法随 n 增长计算代价爆炸；成对方法的批评损失更低，策略熵适中，资源使用接近均衡策略，验证了可扩展性，但也显示策略保真度与可扩展性之间的折衷。