Enhancing the MADDPG Algorithm for Multi-Agent Learning via Action Inference and Importance Sampling
通过动作推断与重要性采样增强MADDPG多智能体学习
🧭 多智能体深度强化学习算法优化
引入动作推断机制与几何分布重要性采样，提升MADDPG在非平稳多智能体环境中的学习稳定性和探索效率
📌 工作参考价值（4 点）
- 在多智能体协同推荐（如召回-粗排-精排多级联动）中，可借鉴动作推断思想，让各级代理预测上下游的决策意图，减少因独立更新导致的策略震荡。
- 面对用户兴趣漂移或策略频繁迭代造成的环境非平稳性，可采用几何分布重要性采样对经验回放加权，优先使用近期交互数据，加快对新分布的适应。
- 若将推荐模块抽象为离散动作的协作代理，本文的离散动作MADDPG变体提供了一个轻量实现起点，工程上易集成到现有Actor-Critic框架。
- 实验表明动作推断对提升智能体间协作效果显著，可用于优化多代理竞价、多目标排序等存在隐性博弈的场景，稳定联合策略。