CoHyDE: Iterative Co-Training of LLM Rewriter & Dense Encoder for Tool Retrieval
CoHyDE：密集编码器与LLM改写器的迭代联合训练用于工具检索
🧭 Agent工具检索 · 联合训练编码器与HyDE改写器
SAP Labs
通过多轮交替更新，让编码器和LLM改写器在检索任务中协同进化，解决查询与API目录的词汇鸿沟
📌 工作参考价值
- 联合训练改写器与编码器：在电商搜索或Agent工具检索中，可借鉴交替迭代的训练范式，用检索分数直接指导改写器优化，使查询描述与商品/工具表示空间对齐，缓解词汇不匹配问题。
- DPO以检索效果为奖励信号：无需外部标注，直接使用编码器的NDCG分数构建偏好对训练改写器，实现端到端的闭环优化，可应用于生成式推荐中的查询改写或商品描述生成。
- 预热与风格适配：先独立训练编码器（用真实查询-物品对）和改写器（用物品目录多格式文本），再进入联合循环，可快速获得领域适应能力，降低冷启动成本。
- 多轮协同进化：逐步增加轮次可稳定提升跨分布能力，尤其适合电商搜索中口语化查询与商品标题之间的语义对齐，模糊查询改善显著（+6.3pp NDCG@5）。
动机：LLM Agent调用外部工具时，用户查询常以口语化、未充分指定的方式出现，而API目录使用技术术语，固定编码器难以独自弥合这一鸿沟。现有方法分两类：对比微调编码器在查询表面形式与目录匹配时表现好，但面对词汇漂移时失效；零样本HyDE改写器对模糊查询更鲁棒，但生成与目录词汇脱节，在标准查询上反而不如单独微调的编码器。简单组合两者（用微调编码器+HyDE改写）反而导致性能下降，因为两者的表示空间已针对不同输入分布校准。CoHyDE旨在通过联合训练让编码器和改写器成为一个协同进化的系统。
方法关键点：
- 预热阶段：编码器用真实（查询，工具）对进行InfoNCE训练，改写器用工具目录的5种渲染格式进行SFT，提前掌握目录词汇和命名习惯。
- 迭代循环（进行多轮）：每轮中，改写器为每个训练查询生成一段假设的工具描述（catalog风格），编码器仅用这些描述作为anchor与工具正例进行对比训练（不使用真实查询）；然后用刚训练好的编码器对改写器的多个候选描述打分（NDCG@5），构建偏好对，通过DPO更新改写器，使其生成检索性能更好的描述。
- 推理阶段：用协同训练后的改写器生成描述，编码器对其进行编码后向工具索引进行最近邻检索。
关键实验：在ToolBench的10k工具子集上，与7种基线（BM25、冻结编码器、HyDE等）对比。3轮协同训练后，CoHyDE在标准查询上NDCG@5相对最强单组件基线提升2.5pp，在模糊查询上提升6.3pp，最难的跨领域模糊查询提升高达8pp。消融证实：去掉改写器预热导致标准G3检索下降9.6pp；将协同训练的改写器与冻结编码器配对会使性能崩溃（标准G1下降23.6pp）；协同训练的编码器配冻结改写器在标准查询上接近完整模型，但跨领域和模糊查询上差距明显，说明编码器负责标准精度，改写器负责鲁棒性，协同训练同时获得两种增益。
一句话：将密集检索编码器和LLM改写器视为一个闭环系统，用检索分数直接监督改写器进行偏好对齐，是多轮迭代中两者相互适应、实现检索鲁棒性的关键。