SHIFT: Self-reconstruction Harnesses Implicit Fine-grained Thinking for Retrieval
SHIFT：自重建利用隐式细粒度思考进行检索
🧭 隐式推理检索器 · 细粒度自重建
Peking University · Institute of Computing Technology, Chinese Academy of Sciences · Beihang University
用细粒度自重建缓解对比学习与隐式推理的目标错配，提升推理密集型检索性能
📌 工作参考价值（4 点）
- 隐式推理检索可直接用于电商搜索/推荐召回：在双塔模型里插入少量软 token 做隐式查询理解，替代显式改写，既保留推理能力又降低在线延迟。
- 细粒度 NTP 重建可作为对比学习的有效正则：在训练检索器时加入 next-token-prediction 重建 query 或 item 文本，能缓解对比目标与生成能力之间的冲突，提升表征的语义对齐度，适合复杂意图的查询-商品匹配。
- 残差投影与双向注意力的适配方案：将 LLM 转换为检索器时，用残差投影层和按任务定制的双向注意力聚合，可稳定保留预训练语义知识，这为利用大模型做召回模型提供了一套轻量、稳定的改造范式。
- 对 Agent 中检索工具的优化意义：若 Agent 需要调用多跳推理检索，可微调一个隐式推理检索器，在低延迟下实现接近显式推理的效果，适合实时决策场景。