REDSI: Addressing the Reproducibility and Evaluation Consistency of Differentiable Search Indexing for Document Retrieval
REDSI：解决可微搜索索引文档检索的可复现性与评估一致性问题
🧭 生成式检索 · DSI 可复现性 ★ 深度解读
Artefact Research Center · INSA Rennes, IRISA, CNRS, Université de Rennes · MICS, CentraleSupélec, Université Paris-Saclay
首个支持 DSI 三种标识符的开源实现及参数化 NQ320K 构建管道，系统分析模型缩放
📌 工作参考价值（4 点）
- 商品/文档标识符设计：如果商品库规模在几十万以内，直接使用 atomic ID（每个商品一个输出 token）可能比 semantic ID 更好，训练快、推理只需一步解码，且对模型容量下降更鲁棒；注意大规模库的输出词表扩展性。
- 数据集构建：复用公开数据集或自建检索/推荐数据集时，明确去重键（稳定 ID 如 SKU/商品ID，而非 title 或 URL），清洗文本序列化（去除 infobox、导航、特殊字符）以减少 unk token，对固定输入长度前缀影响显著。
- 训练采样比例：不要盲从原论文的 indexing:retrieval ratio，应调参。本文发现自然比例（约 1:2.8）远好于 DSI 原文的 32:1，这个超参常被忽略但影响显著。
- 解码简化：生成式检索/推荐中，在 beam search 后接 valid ID 过滤即可，无需实现复杂的 trie 约束解码；模型缩小时同样有效，可降低工程复杂度。