Understanding and Debugging Failures in N-Gram-Based Generative Retrieval
n-gram 生成式检索的故障分析：分类、实证与诊断工具
🧭 生成式检索故障诊断 · n-gram 模型 ★ 深度解读
Vienna University of Economics and Business
首次构建生成式检索故障分类体系并通过 SEAL/MINDER 发现单 token 主导、元数据依赖、答案串偏置等关键失效模式
📌 工作参考价值（4 点）
- 生成式检索的故障巡检单：可直接将论文的 R/I/T/G 四级分类作为线上系统审查清单，重点检查元数据依赖(R4)、单 token 占比(I3/R2)、答案字符串偏置(I8)等高频陷阱。
- n-gram 评分分析工具可复用：提供的可视化工具通过颜色编码（绿/红/黄）区分唯一相关、唯一负向、歧义 n-gram，可直接集成到电商搜索评测中，快速定位误召或丢失的相关片段。
- 训练数据增强思路：MINDER 引入伪查询(PQ)虽只占 1.4% 的 n-gram 量却贡献 27.7% 分数，说明用合成查询扩展语料是缓解词法不匹配和邻接约束的有效手段，电商中可用商品属性组合生成伪查询扩增训练集。
- 排序特征优化警示：发现答案字符串出现使 Hits@1 从 34.9% 跃升到 75.0%，提示模型在推理时可能进行参数化后合理化。在业务中应避免让 docid 直接包含答案，或至少监控该特征，防止排名严重偏离真实相关性。