DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking
DoPR：可复用压缩文档前缀实现高效 LLM 重排序
🧭 LLM 重排序 · 文档前缀复用 ★ 深度解读
上海交通大学 LUMIA Lab · 字节跳动 · 上海交通大学
离线压缩文档为可复用前缀状态，在线仅编码 query 与打分 token，保留 97%+ 排序效果并提速最多 8 倍
📌 工作参考价值（4 点）
- 在电商搜索/推荐精排或广告 rerank 环节，将商品详情、广告创意、用户评价等长文档的 LLM 编码结果离线压缩成 prefix KV cache，在线只算 query+score token，固定 8x 压缩比可保留 97%+ NDCG@10，适合文档重复召回的稳定商品库或内容库。
- 用 self-attention 列向注意力集中度作为 salience 信号选择 top-K 文档 token，无需额外参数，可作为 item 文本压缩或生成式推荐中 item 侧表示选择的轻量方案；部署时 inference prefix 长度可与训练长度解耦，动态权衡成本与效果。
- 训练时用 structured attention mask 强制 query 只能通过选中的 item 表示获取信息，并先做 200 步无压缩 warmup 再激活瓶颈，能稳定收敛；这一 trick 可迁移到需要构造 query-dependent 瓶颈的检索/推荐模型训练。
- 注意该方法收益依赖文档重复使用率：对新闻、实时竞价创意等快速更新 corpus 摊销有限，更适合静态商品库、内容库的离线索引+在线加速。