Trie-based Experiment Plans for Efficient IR Pipeline Experiments
基于 Trie 的 IR 管道实验计划：提升级联检索评估效率
🧭 IR 管道实验优化 · 计算重用
University of Glasgow
用 trie 数据结构规划级联 IR 管道比较实验，共享重复组件，实验时间减少 26%
📌 工作参考价值
- 搜索/推荐管道离线评估中，当需要对比多个召回+排序变体时，可采用 trie 结构共享公共阶段（如相同召回结果复用），避免重复运行高成本模型，大幅减少实验耗时。
- 推荐使用类似 PyTerrier 的声明式管道框架，通过运算符组合变换器（transformers），自动识别并缓存可重用的中间结果，适合快速迭代实验。
- 在业务实验规模扩大时（如多路召回、多版本精排、多轮重排的排列组合），trie 实验计划能节省 20% 以上评估时间，可以直接落地到离线实验平台。
- 将实验计划的思想融入内部实验管理工具，让研究员只需声明管道变体，系统自动生成最优执行计划，降低重复计算成本，提升实验吞吐量。
动机：现代搜索系统多采用级联管道，从粗排到精排逐级重排，评估需测量各阶段指标，且常需比较不同配置组合。但重复运行公共组件（如 BM25 召回）导致大量耗时。
方法：提出基于 trie 数据结构的实验计划，将管道变体表示为节点，公共前缀共享计算。在 PyTerrier 框架中，将 transformer 操作（如 >> 串联、% 截断）声明为 DAG，trie 计划自动识别并合并相同子图，避免重复执行检索或重排步骤。
关键结果：在 MSMARCO v2 上测试 BM25→MonoT5→DuoT5 等组合，trie 计划相比顺序执行缩短实验时间 26%。用户研究显示学生能有效使用该计划，体验良好。