Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
基于延迟市场反馈的多智能体强化学习目标权重自适应三方调度
🧭 多智能体调度优化 · 离线强化学习 ★ 深度解读
DoorDash Inc.
离线RL从真实市场延迟反馈中学习调整调度优化器的目标权重，实现效率提升而不损害质量
📌 工作参考价值（4 点）
- 通过低维目标权重接口控制现有优化器，避免直接替换，既保留约束与安全，又实现自适应调节；电商推荐中可类比为调节召回/排序目标权重的外部Agent。
- 利用离线RL从延迟且耦合的市场反馈中学习，采用 Double DQN 与 Conservative Q-Learning 惩罚未充分支持的动作，减少外推误差，适合业务中无法实时交互的场景。
- 多智能体完全去中心化执行、集中训练，并利用区域级奖励捕捉网络效应，对电商中多地区/多仓库协同决策具有借鉴意义。
- 上线前通过离线奖励重加权诊断策略行为的方向灵敏度，确保策略按预期权衡速度与效率，可作为推荐Agent上线前的安全检验方法。