SproutRAG: Attention-Guided Tree Search with Progressive Embeddings for Long-Document RAG
SproutRAG：注意力引导的树搜索与渐进式嵌入用于长文档RAG
🧭 RAG长文档检索 · 层级树状检索
University of British Columbia · ServiceNow Research
利用学习到的句子间注意力构建二叉分块树，实现无外部LLM调用的多粒度层次检索，平均信息效率提升6.1%
📌 工作参考价值（4 点）
- 对于电商RAG场景（如长商品描述、用户评论聚合），可借鉴其基于句子级注意力自动构建语义树的方法，替代昂贵的LLM分块，降低索引延迟和成本。
- 多粒度beam search在召回侧能同时捕捉细节与上下文，可应用于广告文案生成中的多尺度信息检索，提升信息覆盖度。
- 端到端联合训练embedding与树结构的思想，可迁移到推荐系统的层级user/item表征学习，如构建多粒度的Semantic ID树，提升检索效率与效果。
- 注意力头选择的机制暗示了在特定领域（如商品属性）可预先分析哪些注意力模式更有效，定制化剪枝或微调，避免重复推理。