Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning
Agon: 竞争式跨模型强化学习，隐式对手评分提升推理能力
🧭 Agent 竞争训练增强推理
Independent Researcher · thinkdense.ai
让两个模型互为评分者，通过竞争性RL隐式判断推理质量，无需过程标签，大幅超越GRPO
📌 工作参考价值（4 点）
- 多模型互为评分的训练范式可直接用于对话Agent或推荐解释生成：用一个模型生成，另一个模型评估，交替优化，无需人工标注过程质量。
- 在搜索推荐场景，可让生成式推荐模型与排序模型互相竞争，前者生成item，后者判断合理性，奖励机制为是否比对方更准，潜在提升推理链的实用价值。
- 训练时形成的两阶段级联可直接部署：推荐系统可让轻量模型快速草稿再由精排模型修正，兼顾效率与质量。
- 竞争双方仅需相当实力且行为差异，无需完全对称，启发我们用不同架构或偏好模型进行对抗训练，避免单模型自举的偏差放大。