上下文即基础设施：面向带Harness的Agent系统检索的知识编译
🧭 Agentic RAG 的知识编译与检索纪律 ★ 深度解读
InfiniFlow Inc. · East China Normal University
在Agentic检索中，把文档编译为声明-证据叶子可让命中token省91%、平均省38%，盈亏平衡充分率仅2%
📌 工作参考价值（4 点）
- 在Agentic检索/问答栈中，优先用BM25+grep+LLM harness做检索控制，不必引入向量索引；论文实测加dense leg反而降准确率，可降低系统复杂度和索引成本。
- 对电商商品描述、政策文档、广告素材库等需要精确引用的场景，可仿照claim-evidence编译：用轻量模型抽取“声明+逐字证据span+源偏移”，召回后替换整chunk进上下文；命中节省91% token，未命中仅多1.9%，平均38%，适合token敏感的大规模Agent系统。
- 增加决策gate（轻量决策模型）判断证据充分性，拒绝则丢弃整个块而不是塞入prompt；可显著降低端到端延迟（140s→30s），但token节省以检索轮次为代价，需在延迟和成本间权衡。
- 结构化的RAPTOR/PageIndex/wiki/graph等artifact在强harness下对准确率无增益甚至负收益，不应作为召回卖点；应把它们当作治理/审计/跨源集成工具，用独立ledger（如审计覆盖率、集成成功率）评估，而不是benchmark准确率。
TaskBridge：面向 2026 SIGIR 电商挑战赛的任务型查询改写技术报告
🧭 任务型电商 Query 改写 · Catalog 锚定选词 ★ 深度解读
Shandong University · Harbin Institute of Technology (Shenzhen) · City University of Hong Kong · Southeast University
以目录语义锚定、五候选改写和协议感知选择实现任务型电商查询的 BM25 检索增强，获挑战赛第一
📌 工作参考价值（4 点）
- 构建 catalog 短语词典与 semantic anchors：从商品标题/描述中抽取 n-gram 短语，用 LLM 纯化为 product category/object/accessory 三类可购买实体，过滤品牌、场景噪声，再用 embedding 在线检索语义锚点。这套离线资源可直接用于电商搜索 query 改写、query 推荐、召回阶段的 query 扩展，缓解用户活动型表达与商品标题的词汇鸿沟。
- 多候选改写 + 协议感知选择：生成 raw/feedback/vote/need/prod 五类候选，覆盖保守到激进、意图保护到产品导向的不同改写假设；再以 BM25 top10 的 reranker 分数加 log 折扣作为质量代理，Automatic 选最高分，Interactive 用 weighted Jaccard overlap 做 Pareto 多样性选择。这个选择框架可迁移到多 query 改写、生成式重写、多策略召回合并，控制多样性与质量平衡。
- 无训练 LLM 改写 + 传统 BM25 的轻量架构：整个方案不训练模型，依赖 Qwen3.5-9B 生成改写、embedding/reranker 做选择，最终仍走 BM25 检索。适合需要快速落地、资源有限的业务场景，可先用 LLM 辅以字典约束生成多个候选，再用 reranker 代理选优，降低上线成本。
- 多轮反馈里的 Keep/Add/Drop/Replace 编辑和 margin 接受条件：对 Agent 式 query 优化有直接参考价值，能避免 LLM 在迭代中过度改写造成意图漂移。
混合检索的融合税：稀疏-稠密融合何时有害的诊断分析
🧭 混合检索 · sparse-dense 融合诊断 ★ 深度解读
Independent Researcher, Bothell, WA, USA · Independent Researcher, Issaquah, WA, USA
系统量化 BM25+密集检索融合在单查询上的损失，发现即便平均提升，13-48%查询反受损
📌 工作参考价值（4 点）
- 不要默认 RRF：若目标 domain 的 dense 检索明显强于 BM25，用 dense-heavy score interpolation（α=0.6-0.7）比 RRF 更稳；RRF 只在两路强度接近时更合适。
- 上线前做 per-query fusion 损益审计：统计比单独 dense 差的 query 占比（该论文 8-21%），尤其对风险敏感的商品搜索/广告召回；不要只看平均 nDCG。
- 不要依赖便宜 query 特征做跨 domain 路由：同一特征在不同 sparse-dense 平衡下方向会翻转，跨 dataset AUC 仅 0.59，路由收益不可靠；可考虑更重的 LLM judge 或在线评估。
- 排序第二级 reranker 不一定能修复第一级融合损失：先在目标域确认 reranker 可靠性；若 reranker 可靠，约 71-90% 原受损 query 被修复但会引入新 hurt query，需持续监控。
XViewRank：基于重叠条件的 LLM 增强稀疏检索分数融合
🧭 查询扩展与多视图检索排序融合
School of Computer Science and Technology, Soochow University
提出轻量检索端方法，将 BM25 分数与查询级重叠作为上下文，用小型非线性 scorer 条件融合多查询视图结果
📌 工作参考价值（4 点）
- 电商搜索可参考 LLM 生成 hypothesis / step-back 等多视角 query，配合 BM25 多路召回，避免词汇不匹配；无需重建索引，工程成本低。
- 融合时不要只依赖固定权重的 RRF：可加 query-level overlap 特征（如各路 top-k 结果重合度）和归一化分数据，训练小型非线性 scorer 做条件融合；特征少、可解释性强，容易在线打分。
- 收益主要在视图排名一致性低时出现，可设计动态触发策略：先计算 overlap 或一致性指标，只对低一致性的 query 走融合模型/更复杂的改写，控制延迟与成本。
- 注意论文在 DL20 证据较弱，收益具有数据集敏感性；业务迁移前应做在线 A/B，验证是否比固定融合、单独 LLM 扩展稳定提升。
解释信息检索中查询扩展性能的框架
🧭 QueryRec · 查询扩展可解释性 ★ 深度解读
Indian Statistical Institute · IIT Bombay · IIT Bhilai
提出理想扩展查询与可分性两个视角，系统解释查询扩展性能差异，验证相似度与检索效果正相关
📌 工作参考价值（4 点）
- 可用理想查询作为离线评估扩展质量的参考：若有小规模标注（如电商搜索点击/相关标注），可构造近似理想查询，度量 LLM 生成的扩展词/改写 Query 与理想查询的余弦相似度，作为自动评估指标，避免昂贵的在线实验。
- 使用 separability（Cohen's d）快速评估扩展 Query 质量：在标注子集上计算相关商品与不相关商品得分的分离度，与线上效果相关性高，可用于 A/B 测试前的快速筛选或模型迭代中的监控指标。
- 诊断 LLM 生成查询扩展失败：当 LLM 生成的扩展词效果不好时，检查其是否缺少关键 term 或权重不当；可尝试用 DFO/LS 方法从标注数据中学习理想权重，反过来指导生成或后处理，例如对 LLM 生成的扩展词重新加权。
- 注意负权重处理：LS 理想查询含负权重，但 BM25 优化（如 Lucene）不支持负权重，实际系统中需截断或用支持负权重的检索器。
MERGE：生成式增强的多LLM检索集成
🧭 生成式查询扩展 · 多LLM集成 ★ 深度解读
University of Waterloo · National Taiwan University · Rakuten Group, Inc. · Rakuten Asia Pte. Ltd. · Taiwan Rakuten Ichiba, Inc.
两阶段多LLM查询扩展框架，用任务驱动自动提示优化在BM25上实现最高+14.9 nDCG@10提升
📌 工作参考价值（4 点）
- 电商搜索中，买家口语化 query 与商品标题/属性词之间常有词汇 gap，可借鉴 MERGE 两阶段设计：多个异构小模型各自扩展候选，再用稍大模型融合成一条查询，无需改语料或重建索引，可直接接入现有 BM25/Elasticsearch 流程。
- 用下游检索指标（如 nDCG@10、点击率或相关性人工评估）代替 LLM judge 做 prompt 优化，在 20% dev 子集上跑小 tournament，能自动把「seed prompt 可能削弱检索」转为稳定收益；适合快速迭代新模型或新增 generator 时免去手工 prompt 调优。
- APO 收敛后的 prompt 可能不是自然语言、读起来像 token 包，但它生成的 query 可读性没问题，不影响线上使用；可接受这种 prompt 形态，重点看最终 query 质量。
- 输出是 plain text query，只做一次 BM25/ES 检索，没有 rank fusion 和重索引开销；既能 query-time 在线扩召回，也能离线作为训练数据增强供 dense retriever 使用。
选择是检索，拒绝不是：70个韩英动作的设备端工具路由
🧭 设备端工具路由 · 检索与拒绝分离
Redrob
拆分工具路由中的“选择”与“拒绝”决策，证明选择可用检索器、拒绝需神经编码器，设备端可省去大模型
📌 工作参考价值（4 点）
- 在设备端或低延迟 Agent 场景，把工具选择与“是否拒绝/委托”拆成两阶段：先用轻量检索器（如字符 3-gram BM25）选出候选动作，再用一个冻结编码器（如 multilingual-e5）做 out-of-catalog 判断，避免让大模型同时做两件事带来的延迟和内存开销。
- 如果业务中有“本地动作目录”或固定工具的 Agent 路由，可先基于 lexical overlap 做召回：对于规范表达或关键词命中的请求，BM25 几乎全对；转述/同义表达则丢得较多，可限制候选集到 top-7 再做重排或接一个小型语义判别器，性价比高于直接用大模型。
- 对“是否该本地处理还是委托给远端/大模型”的决策，不要依赖分类器在检索得分特征上做阈值：论文表明这样做 AUC 上限仅 0.697，而冻结编码器的语义得分可达 0.806。建议直接复用轻量 sentence encoder，成本低且能显著减少误委托。
- 工程落地时注意：neural ranker 虽然所有质量指标更好，但常因延迟和内存被拒。若需在端上引入语义模型，优先考虑量化、蒸馏或小模型，并只用于 abstention 阶段，而非全量排序。
基于证据选择的 LLM 查询扩展：多改写器互补文档池与相关性筛选
🧭 LLM 查询扩展 · 证据选择 ★ 深度解读
Toronto Metropolitan University · University of Waterloo · University of Toronto
EviQE 将 LLM 查询扩展重构为文档证据选择问题，聚合多改写器检索结果并筛选后单轮生成，显著提升 TREC DL 与 BEIR 检索效果
📌 工作参考价值（4 点）
- 在电商搜索的 query 改写/扩展场景中，不要只依赖单一改写器或单一检索结果作为生成上下文。用多个改写器（如原始 query、LLM 直改、伪相关反馈、HyDE 等）并行召回文档，合并去重后作为候选池，再让 LLM judge 按与原始 query 的相关性打分选 top-B 篇作为生成 evidence，能显著提升改写 query 的召回质量。
- 证据选择比多轮迭代更划算：EviQE 一轮证据选择即可超过多轮 ThinkQE，且增加迭代会引入噪声。实际线上系统可把计算预算从多轮 RAG 改成“并行多路召回 + 一次性精筛 + 单轮生成”，降低延迟和成本。
- 用 LLM 做 relevance judge 时，建议采用 graded relevance（0-3）并固定 judge 模型，不要用简单的 agreement 或 RRF。论文中 LLM-Score 明显优于 frequency/RRF，且跨 generator 骨干稳定；在商品搜索中可复用类似打分来挑选高质量商品详情段落或用户评论作为改写证据。
- 候选池大小不必盲目扩大：4 个改写源（原始+CSQE+LameR+MuGI）已恢复大部分收益，增加到 11 个提升很小。实际部署可从少量高质量改写器开始。
BIT.UA 在 BioASQ 14B：模块化检索与 Agent 共识答案生成
🧭 多Agent共识生成 · 模块化RAG检索
IEETA/DETI, LASI, University of Aveiro, Aveiro, Portugal · IT, University of Aveiro, Aveiro, Portugal · Aalborg University Business School, Aalborg, Denmark
将 PostgreSQL BM25、Qdrant 稠密检索与多 Agent 辩论共识机制引入生物医学问答，取得竞争性 MAP 排名
📌 工作参考价值（4 点）
- 混合检索架构模块化拆分：BM25 倒排用 PostgreSQL pg_textsearch，稠密向量单独用 Qdrant GPU 索引，各自独立扩展与调优；电商搜索/推荐可以借鉴这种拆分，避免绑定单一检索引擎，降低替换成本。
- HyDE 做 query 扩展：用 LLM 生成假设性文档再检索，缓解 query 与文档词汇不匹配问题；在电商搜索 query 改写或长尾词召回中，可尝试 HyDE 生成伪商品描述，提升稀疏召回覆盖。
- Reranker 训练负采样用 dense retrieval 挖掘难负例：比随机负样本更能提升排序模型判别力；推荐精排阶段的负样本采样可以参照，用当前召回模型检索难负例。
- 多 Agent 共识生成机制：多个不同 prompt 的 agent 辩论并迭代收敛，配合 adaptive document retention 保留相关文档，可迁移到商品推荐理由生成、搜索结果摘要或客服问答，提升生成一致性与事实性。
丰富-检索-排序：超越上下文路由的规模化能力发现
🧭 Agent 能力发现 · 检索-重排 ★ 深度解读
Amazon AGI
将 Agent 能力发现重构为离线丰富+在线检索-重排，在 7,278 个工具上以约一半成本领先 Search&Pick 6.5pp，并比全量上下文便宜 70 倍
📌 工作参考价值（4 点）
- 如果业务里要用 LLM 从上千个 API/agent/tool 中选调用，不要让它读全量 registry：改为 BM25+dense 召回 top-15，再单次 LLM listwise rerank。这样成本与 registry 规模解耦；Nova Micro 扫描显示单阶段全量路由在 N≈500 后崩，可作为架构切换的经验阈值。
- 离线把稀疏的 item/tool 元数据改写成结构化 profile（summary、action-led description、keywords、正/负 usage examples）一次完成，供检索和 reranker 共用。干净公开数据上 enrichment 无收益（甚至 -4.4pp），但元数据只剩 name 时 Match@1 +25.6pp、Recall@15 0.134→0.467；先评估自家商品/工具 metadata 稀疏度再决定是否上。
- 做错误归因：约70%的大规模 miss 在 retrieval，换更强 reranker 只 +3pp。优先提升一阶段召回（hybrid、更好 dense encoder、字段加权）而不是继续优化 reranker prompt。
- 打分信号可设计成可插拔加权：LLM 0.50 + BM25 0.05 + Quality 0.30 + Intent 0.15，字段缺失自动 renormalize；在有 trust/type 元数据时 Quality+Intent 额外 +4.5pp。这种统一配置可以跨 tools/agents/skills 复用，避免每种能力单独调参。
BM25在大规模上获胜：检索增强生成范式的扩展性研究
🧭 检索增强生成扩展性分析 ★ 深度解读
University of Science and Technology of China · Metastone Technology · Beijing Academy of Agriculture and Forestry Sciences
在450倍语料规模扩展实验中，BM25在大约1000万词元后全面超越文件系统Agent和图RAG，成为准确性最高且成本最低的默认检索方案
📌 工作参考价值（4 点）
- 大规模知识库推荐系统检索选型：在电商商品描述、客服知识库等百万级文档场景中，BM25应当被作为默认检索器，而不必盲目追求稠密检索或Agent搜索；BM25无需LLM构建索引，成本极低且准确率在大规模时反而领先。
- 搜索词/问题改写中的成本控制：File-System Agent在小规模（<1000万词元）时可获得最佳准确率，但其顺序探索导致查询成本为BM25的39倍以上；在广告搜索词推荐或用户问题重写中，应先通过全局关键词检索（如BM25）获得候选，再引入Agent推理，而不是全程依赖Agent遍历。
- 图索引构建的门槛评估：GraphRAG（如LightRAG、MS-GraphRAG）在构建阶段消耗极大，LightRAG在300万词元时已无法完成构建，且准确率始终不如BM25；在含有大量噪声、事实冲突的电商评价或客服记录中，图遍历更容易被语义干扰，应谨慎评估ROI。
- 评测设计的借鉴：论文通过固定问答集、固定对抗文档、仅增加背景语料的“嵌套语料梯”设计，可以迁移到搜索推荐系统的离线评估中，用于衡量模型在库存/内容膨胀时的鲁棒性，避免单一体量评估掩盖扩展性问题。
AutoIndex：学习可执行的文档表示程序以优化检索索引
🧭 Agent驱动的检索索引优化 ★ 深度解读
University of Massachusetts Amherst · Databricks Mosaic Research
将文档索引视为可优化程序，用Agent迭代搜索最佳预处理代码，BM25召回提升8.4%+
📌 工作参考价值（4 点）
- 把文档预处理当成可优化程序：不只调chunk大小，而是用Agent搜索对检索最有益的文本变换（抽取、重加权、去噪），商品详情页可自动提炼标题、属性、卖点来提升搜索召回。
- Agent诊断失败案例驱动优化：借鉴双Agent设计——分析Agent检查哪些查询未能召回目标商品，代码Agent生成对应预处理规则；分离关注点，避免上下文过载。
- 离线指标指导迭代选择：固定BM25，用Recall@100作为优化信号，每次迭代重建索引并验证，自动保留有效改进；工程上可集成到索引构建流水线，定期更新表示策略。
- 对BM25的特化技巧可迁移：通过重复重要字段（如电影情节、演员表）模拟字段加权，过滤特定标记（LaTeX）降低噪声，类似方法可用于处理电商文档中的重复广告语、HTML标签等。
流式工具使用何时有效？基于工具意图稳定化的流式 RAG 延迟隐藏分析
🧭 流式 RAG 意图稳定化与延迟优化
SMG Labs
在流式 RAG 中，通过分析工具意图稳定点，量化了可隐藏的延迟比例并揭示了早期意图形成的查询特性
📌 工作参考价值（4 点）
- 搜索自动补全/对话式推荐中，可借鉴投机查询思想：在用户输入进行时并行检索，当意图稳定后利用剩余输入时间隐藏检索延迟。
- 意图稳定点分析可指导何时触发推荐或 query 生成：早期意图稳定（如问题类型）可预测，从而提前启动计算，减少感知延迟。
- 提供的无模型边界 H 可为系统设计提供理论最大延迟隐藏能力，评估不同配置下的收益。
- 对于电商客服机器人，可以预测用户问题类型，在输入早期即发起商品或政策检索，提升响应速度。
STORM：奖励引导束搜索的逐步 token 优化查询扩展
🧭 查询改写与词汇扩展 · 奖励引导束搜索 ★ 深度解读
MILA – Quebec AI Institute & ILLS · Université Paris-Saclay & CentraleSupélec & CNRS · Air Liquide · Sorbonne Université & ISIR & CNRS · Sapienza, University of Rome
将检索奖励转化为 token 级信号，通过奖励引导束搜索训练 LLM 生成高效关键词，在不改变索引下大幅提升 BM25
📌 工作参考价值（4 点）
- 奖励信号粒度下放：将检索质量指标（如 nDCG）转化为 token 级反馈，在生成过程中实时剪枝，解决序列级奖励延迟与稀疏问题。这一思路可直接用于电商搜索/推荐中的 query 改写、标题优化、对话式 Agent 的关键词生成，用业务指标（CTR、转化率）替换 nDCG 即可训练。
- 低成本高效重写：STORM 训练的 LLM 输出短关键词串，推理延迟接近 BM25，适合在线实时场景。电商搜索可部署为轻量级改写模块，不增加检索延迟，却显著提升召回与相关性。
- 自监督训练摆脱人工标注：无需人工改写对，只需相关性判断或近似信号（如点击日志、伪标签）。可借鉴其利用交叉编码器伪标签蒸馏到生成式改写器的方法，在标注稀缺的电商场景快速冷启动。
- 多语言零样本迁移：仅用英文 MS-MARCO 训练，即可迁移到多语言 BM25 索引，效果超越专用多语言稠密检索器。对跨国电商平台，可简化多语 query 改写部署，无需额外训练。
面向 Agentic 搜索构建可交互的检索工作区
🧭 Agentic Search · 检索交互界面设计 ★ 深度解读
将检索角色从片段选择重构为构建代理可通过 shell 工具探索的交互空间，显著降低 agentic 搜索成本并保持稳定性
📌 工作参考价值（4 点）
- 工作区边界代替全量扫描：用 BM25 多查询并集构建问题相关的文件工作区，代理只在该区内执行 grep/read，避免全库扫描，在 1M 语料下精度稳定 (81%) 而纯 DCI 退化到 60%。可直接用于电商搜索代理的场景，如将商品召回列表作为可交互的文件系统，代理用 bash 类工具精细化筛选。
- 离线目录索引降低阅读成本：对文档生成行号目录，代理可跳转到相关段落，避免通读全文。这种轻量预处理（$0.0014/文档）可迁移到电商知识库或商品详情页，让 Agent 快速定位关键信息。
- 多查询并集提升召回：代理一次性下发多个互补子查询，BM25 召回并集作为工作区，既提高覆盖又不增加代理上下文窗口负担。可用于电商长尾查询的意图分解与召回增强。
- 明确的检索输出接口设计：RISE 分离了工作区构建（检索）与验证（shell），可借鉴到生成式推荐的交互设计中，例如将召回物品集合作为 agent 的“玩具沙盘”，供其跨会话操作，而非仅读片段。
潜在词项：密集检索器含有可轻易提取的BM25就绪齐普夫词汇
🧭 密集检索器稀疏词汇抽取与混合检索
Mixedbread AI · National Institute of Informatics · University of Tsukuba
提出Latent Terms，用稀疏自编码器从冻结密集检索器中提取稀疏词汇，直接用于BM25检索，效果匹配或超越原密集模型及SPLADE
📌 工作参考价值（4 点）
- 已有密集检索系统的电商搜索可直接复用：在冻结的双编码器上训练稀疏自编码器，得到BM25兼容的稀疏特征，无需重新训练即可搭建混合检索，提升召回率。
- 该方法无需任何稀疏检索监督或查询扩展目标，适用于商品描述等长文本场景，可利用现有密集模型快速构建倒排索引，降低工程成本。
- 提取出的稀疏词汇呈现齐普夫分布，可解释性强，便于分析模型学到了哪些重要词项，辅助构建更好的 query 理解和同义词表。
- 在 LIMIT 这类单向量检索易失败的任务上，Latent Terms 大幅优于原密集模型，说明其可弥补向量检索的精确匹配短板，适合高精度召回场景。