CASI: Credit Assignment via Set Intervention for Agentic Retrieval
CASI:基于集合干预的 Agentic 检索信用分配
🧭 LLM 多 query 联合生成与信用分配 ★ 深度解读
Xiaohongshu Inc.
用快照集合干预构造反事实子集价值,Shapley 聚合加有界零和优势整形,实现多检索动作的上下文相关信用分配,线上广告主价值提升 3.51%
📌 工作参考价值(4 点)
- 在多 query/多策略并行召回或 rewrite 场景,不要直接 broadcast set-level reward;可复用「一次生成+一次检索,缓存各 action 结果,只改 coalition 组合,用冻结 evaluator 批量打分」的做法,不增加线上生成/检索成本。
- m≥4 时 singleton、leave-one-out、full-set 不能唯一确定 Shapley 分配;业务里如果 action 数≥4,仅按单 action 或 leave-one-out 赋 reward 会丢中间 coalition 信息。additive 价值下三者等价,所以先判断是否真的需要中间 coalition 查询。
- 有界零和 advantage shaping 值得直接抄:对 credit 先 within-rollout center,再用 group-level 共享 scale 归一化,最后投影到 sum=0、∞≤κ 的 box;避免独立 clip 破坏零和导致 advantage 漂移。token 级 implementation 把 action 内 token 赋 action advantage,shared token 保持 base。
- 训练用 surrogate evaluator 替代线上 auction replay:m=5 时 31 个 coalition 打分不是 31 次 auction replay;但上线前必须审计训练 evaluator 与 replay/production 的 size-resolved sign agreement,否则 CASI 可能不优于 Singleton。