SalesLoop: Reinforcement Learning from Performance Feedback for Sales Lead Ranking
SalesLoop：基于性能反馈的强化学习销售线索排序框架
🧭 强化学习闭环排序优化
Li Auto Inc.
通过闭环强化学习与位置感知奖励+判别式GRPO，解决销售线索排序中离线-在线指标不对齐、逐点-列表目标错位及分布漂移三大断层
📌 工作参考价值
- 闭环反馈直接优化业务指标：借鉴 SalesLoop 的 Deploy→Collect→Reward→Update 月度迭代闭环，将线上真实转化（非代理标签）作为奖励，解决离线 AUC 与线上 KPI 背离问题。电商推荐中可类似地将成交、加购等延迟信号转化为位置加权 + 速度加权的奖励，驱动模型直接优化 Top-K 业务指标。
- 判别式 GRPO 实现列表级优化：将 GRPO 的组内相对优势思想用到排序分上，而非 token 生成概率，用 KL 散度对齐分数分布与优势分布，替代传统逐点 BCE。这对搜索/推荐中需要对整个候选列表优化 NDCG 等指标的场景非常实用，且无需价值网络。
- 位置感知奖励建模：奖励 = 转化标签 × log₂(rank+1) 的倒数 × 速度衰减，让模型感知高顺位转化的更高价值，适合有运营截断窗口（如每日 Top-1 万商品推送）的场景。可复用到广告位竞价排名或消息推送的排序训练。
- 温启动 + 低学习率保守更新：每月从上一轮参数热启，配合降低 10 倍的学习率及 BCE 正则项，防止灾难性遗忘并保持点校准。在业务持续迭代的场景中，这一策略能有效积累历史知识，实现复利式效果增长。
动机：CRM 销售线索排序普遍存在三大断层：① 离线 AUC 高但线上转化不升（标签被人力跟进混杂，模型可能偏好易跟进而非高意向线索）；② 逐点准确率不代表 Top-K 列表质量（转化集中在 K 外则价值为零）；③ 静态模型无法适应持续变化的客户分布与市场周期。本文提出 SalesLoop，以线上实际转化反馈替代历史标签，构建闭环强化学习系统，让排序模型持续与业务目标对齐。
方法关键点：
- 闭环迭代：月度周期：部署模型 Top-K 分配销售 → 30 天后收集真实转化及延迟 → 计算奖励 → 更新模型再部署，形成反馈循环。
- 性能感知奖励：Rᵢ = yᵢ × g(rᵢ) × v(τᵢ)，g(r)=1/log₂(r+1) 对顺位施加对数衰减，v(τ)=1-τ/T 对更快转化给予更高奖励，由此区分同是转化但不同实际价值。
- 判别式 GRPO：将 GRPO 的组内优势标准化引入排序模型：批次内计算奖励标准化优势 A，再最小化 KL(softmax(A/γ) || softmax(分数))，配合 BCE 正则项 α=0.5，实现列表级优化同时保持点校准。
- 实现细节：Qwen2.5-1.5B 处理对话文本 + 表格编码器融合，LoRA（r=16）高效微调；月更时用 10⁻⁵ 学习率、epoch=3，温启动保留历史知识。
关键结果：
- 离线对比：SalesLoop 相比最强静态基线（LLM+DPO），P@K 提升 15.8%，NDCG@K 提升 7.9%，AUC 回升至 0.789。
- 线上 A/B：两省 280 名销售、160 天、1650 万线索：实验组累计锁单转化提升 +4.7%（p=0.047）和 +8.7%（p=0.002），且差距随时间持续扩大，呈现复利效应。
- 基座模型绝对质量：Top-10% 召回率 44.1%（4.4 倍随机），识别出增量高意向线索的 14 天转化率是人工标记基线的 2.3 倍。
- 消融：去除列表损失 P@K 骤降 8.9%；去除位置增益降 5.0%；去除 BCE 正则 AUC 降 2.1%，说明各组件均关键。
最值得记住的一句话：SalesLoop 证明，用部署反馈构造的位置与速度感知奖励，加上判别式 GRPO 列表优化，能驱动排序模型在线持续提升业务转化，而非仅改进离线代理指标。