From Topical Relevance to Answerability: Entailment Distillation for Conversational Retrieval
从主题相关到可回答性:面向对话检索的蕴含蒸馏
🧭 对话检索 · 可回答性 · 蕴含蒸馏 ★ 深度解读
University of Electronic Science and Technology of China · Southwest University of Finance and Economics
提出 CLEAR,用答案-段落蕴含蒸馏和段落中心溯因召回,缩小对话检索中主题相关与可回答性差距。
📌 工作参考价值(4 点)
- 在电商客服/商品问答 RAG 中,不要只优化 query 与商品的 topical similarity:可以在 rerank 阶段加入 answerability 头,训练时用 NLI 模型对「答案-商品/内容」算 entailment 再蒸馏到 cross-encoder,推理时只需 context+passage,能有效把「能回答问题」的候选提上来。
- 对低相似但可回答的商品详情页、评论区、文档,可离线用 LoRA fine-tune 的 LLM 为每个 item 反向生成多个可能 query,建成向量索引,在线做 query-to-query ANN 匹配并 RRF 融合;这样能找回 dense retrieval 漏掉的候选,同时避免在线 LLM 延迟。
- NLI teacher 信号偶尔会倒置(负例 entailment 高于正例),不要直接丢弃;借鉴其 adaptive calibration:正例按 passage 相似度放大,负例按不相似度削弱,保留 hard negatives 排序,可稳定 reranker 训练。
- 工程上把 LLM 生成和 entailment 计算全部放到离线,在线只留 ANN lookup + 固定 size cross-encoder,延迟可比 autoregressive rewrite 方案低约 3-4 倍,适合低延迟线上检索链路。