CREDO: Evidence-Conditioned Credit Assignment for Temporal Reasoning Agents
CREDO：面向时序推理智能体的证据条件化信用重分配
🧭 时序知识图谱问答 · 强化学习信用分配
Nanjing University of Aeronautics and Astronautics · Tsinghua University · 360 Security Capability Center, Qihoo 360
CREDO 用中间证据恢复局部监督，改进 GRPO 在时序知识图谱问答中的信用分配，提升 MultiTQ/TimelineKGQA 准确率
📌 工作参考价值（4 点）
- 在 LLM Agent 强化学习（GRPO）中，不要只依赖最终转化/成交信号。对同一 query 的多个 rollout 互相比较，利用中间状态（如检索命中、候选覆盖、证据留存比例）构造阶段级奖励，能区分“证据找对了但后续没接住”的失败样本。
- 全失败批次也可以训练：采用中间证据质量或答案重叠作为“机会”代理，把一部分 outcome-policy 权重分配到推理/回答阶段，避免全 0 奖励导致无梯度；这在多跳搜索推荐 Agent、多轮对话推荐等稀疏奖励场景尤其有效。
- 工程上可保持终端 reward 和 trajectory-level advantage 不变，仅对阶段奖励做权重再分配且保证总权重守恒，降低新增超参风险；适合用于商品知识图谱问答、带检索/过滤步骤的 Agent 训练。
- 若业务中有“检索到关键属性但最终没转化”的日志，可用于离线构造证据条件化奖励，指导 Agent 改写查询或重新排序。