Graph-GRPO: Dependency-Aware Credit Assignment for Generative E-commerce Search Relevance
Graph-GRPO：电商搜索相关性生成式推理的依赖感知信用分配
🧭 生成式电商搜索相关性·图信用分配 ★ 深度解读
Nankai University · JD.COM
提出图结构GRPO，将CoT推理步骤构建成依赖图，通过图传播结局奖励到节点，实现细粒度信用分配，提升电商搜索相关性。
📌 工作参考价值（4 点）
- 在结构化推理任务（如电商搜索相关性）中，可将 CoT 步骤间的逻辑依赖显式建模为图，利用图传播结局奖励到局部节点，实现更精细的信用分配，比单纯使用序列级 GRPO 或独立过程奖励更有效。
- 可学习图系数与主策略损失联合优化，使信用传播强度自适应不同训练阶段和样本分布，这一机制可泛化到其他多步推理的 RL 微调场景。
- CoT 随机掩码训练策略：SFT 阶段对推理 token 随机掩码但始终监督决策标签，既保留结构化推理信号又防止过拟合模板化解释，适合作为 RL 初始化。
- 通过图节点多头蒸馏，将 LLM 的结构化推理能力迁移到轻量 Bert 模型，在满足在线低延迟要求的同时保留多维度匹配判别能力，为 LLM 在搜索中的工业部署提供可行方案。