通过隐式品牌注入刻画对抗性生成引擎优化
🧭 生成式搜索对抗攻击 · 隐式品牌注入 ★ 深度解读
Indian Institute of Science · University of Illinois Urbana-Champaign
提出多代理框架IBI,通过单句隐式品牌注入提升生成式搜索中的品牌可见度,并构建IBIBench基准
📌 工作参考价值(4 点)
- 多代理分工实现最小扰动内容注入:IBI将插入任务拆分为位置规划、句子重写、验证和选择四个子任务,每个代理只负责一部分约束,最终通过确定性校验保证单句修改和品牌出现一次。这套流程可直接迁移到电商商品描述优化、广告文案嵌入或UGC内容改造,确保语义保持和自然度。
- 合成品牌+受控RAG管道评估攻击:使用不存在的品牌避免模型先验偏差,固定文章-品牌配对,严格控制检索和生成参数,这种评估范式可用于在自家系统中测试内容操纵对搜索结果或推荐的影响,提前暴露风险。
- 单一非促销提及即可显著影响生成式搜索:实验显示仅一句话的品牌提及在文章条件查询下Hit@10可达82.2%,下游品牌提及率最高62.7%。这提醒平台需警惕第三方内容中的隐性品牌植入,防御上可考虑来源隔离、多源佐证或对陌生实体降权。
- 区分检索暴露与下游传播的度量体系:论文提出Hit@k、MRR、BMR、BRR和条件传播CP等指标,将攻击效果分解为检索阶段和生成阶段,便于定位瓶颈。从业者可借鉴该分解思路,对生成式推荐链路进行分层监控和优化。
证据引导的自适应图检索 EAGR
🧭 RAG · 证据引导的隐式图多跳检索 ★ 深度解读
IBM
用 VectorDB 元数据中的语义描述符构成隐式图,以积累证据动态选择检索方向,无需显式图或查询改写
📌 工作参考价值(4 点)
- 商品/内容知识库可离线用 LLM 抽取商品属性、卖点、适用人群、实体等作为 metadata 存入现有向量库;共享同一 descriptor 即形成隐式连边,无需构建商品知识图谱或专用 GraphDB。descriptor 必须 grounding 到原文,并做同义/人名归一,能低成本获得图遍历能力。
- 会话式导购/多跳商品搜索中,用「accumulated evidence」选择下一步要扩展的属性或关系,而不是重写整个 query 或遍历所有关联属性:让 LLM 基于已确认的用户约束和商品信息,从当前候选 descriptor 里只挑几个最可能补全信息缺口的方向,可显著节省检索预算。
- 回答/推荐理由生成前增加「充分性校验 + 证据链填空」:让 LLM 写出 (entity, attribute, value) 链,并强制每个 value 必须出现在已检索内容中,能拦截模型用参数记忆胡编,适合电商 QA、卖点解释和售后理由。
- 多跳检索结果按证据链重排,而非仅按 query 相似度:通过关系/属性间接命中的商品或内容,应优先展示能支撑最终结论的节点,可提升 RAG 上下文质量和推荐理由的可信度。
需要搜索时搜索,可靠时继续:面向高效智能搜索的元认知可靠性监督
🧭 Agentic RAG 搜索决策强化学习 ★ 深度解读
Beijing Institute of Technology
用局部结论的序列不确定性估计可靠性,为搜索/不搜索决策构建过程奖励,在 GRPO 中提升搜索效率与准确率
📌 工作参考价值(4 点)
- 将局部结论的 sequence uncertainty 作为可靠性信号,可用于对话推荐/购物助手中判断模型对中间结论的自信程度,决定是否调用商品知识库、搜索或 RAG;无需额外标注,推理时零开销。
- 对“搜索/不搜索”决策分别设计 process reward:不搜索时奖励高于校准阈值的可靠性,搜索时奖励检索前后可靠性的增量,而非只看最终答案是否正确;这能直接迁移到 Agent 工具调用策略的强化学习训练。
- 用 matched probes 估计 counterfactual reliability change,可推广到其他工具调用:固定同一状态,比较有/无工具返回结果的可靠性差异,作为工具价值的无偏监督。
- 实验结果提供可复用结论:该策略在 single-hop 查询上减少约 20.9% 搜索调用,multi-hop 上增加 6.6%,说明可按问题复杂度动态分配检索/工具调用,适合电商搜索中查询类型分流的成本优化。
DeFT-RAG:将多跳问题分解为带可复用答案的自包含子问题
🧭 多跳 RAG 子问题分解与缓存复用
University of Texas at Dallas
DeFT-RAG 用自包含子问题分解、规则化状态跟踪和 QA 缓存复用,提升多跳 RAG 准确率并降低 LLM 调用成本
📌 工作参考价值(3 点)
- 在电商客服或商品知识问答中,把多跳问题拆成“自包含”子问题,每个子问题显式带出所有实体,避免让 LLM 自己规划依赖图;可显著减少状态跟踪和错误传播。
- 将“哪些已答、下一步该问什么”等状态更新从 LLM 中剥离,用规则表维护 QA 状态,再用轻量决策模型做 yes/no 判断,能大幅降低 LLM token 消耗和推理延迟。
- 缓存跨请求的 QA 对,遇到语义相同的子问题直接复用答案,适合推荐系统中用户高频重复的子查询(如商品属性、活动规则),可在不牺牲准确率的前提下减少 12%+ 的 LLM 调用。
分解、估计、选择:面向长文本 RAG 的覆盖感知上下文构建
🧭 RAG 覆盖感知检索与自反馈生成 ★ 深度解读
New York University Shanghai · New York University
提出覆盖感知 RAG 流水线,通过子问题分解、覆盖矩阵估计和贪心选择提升证据覆盖,并发现检索覆盖提升未必带来答案覆盖提升
📌 工作参考价值(4 点)
- 覆盖感知选择层面:在长文本问答/报告生成场景,不要只用相关性排序,可将用户 query 拆成多个子问题,用 cross-encoder 预测文档×子问题覆盖矩阵,再贪心选择最大化覆盖。这种思路可直接迁移到商品详情页摘要、多属性商品推荐理由生成、广告文案多卖点覆盖等任务。
- 自反馈环节:发现检索到的证据覆盖率提高不一定带来答案覆盖提高,瓶颈在生成器的利用。可做“生成→自我 critique→指出未充分利用的文档→在同上下文二次生成”,不增加检索成本就能提升答案完整性。在电商场景可用“第一次生成标题,让模型指出漏掉的卖点,再基于同一商品描述重写”的迭代文案优化。
- 工程权衡:子问题分解用 GPT-4o 比开源 7B 只高 0.027 α-nDCG,成本可控。交叉编码器估计覆盖矩阵是关键瓶颈,估计不准导致性能损失大于子问题分解,建议投入更多数据训练 coverage estimator。
- 评估启示:用 α-nDCG、Vstrict 等覆盖指标区分冗余证据,比单纯 nDCG 更能反映长文本效果。若业务目标是多卖点覆盖(如商品标题需覆盖不同卖点),可引入类似 nugget 的原子事实评估,避免模型重复强调同一卖点。
xPRT:跨段落检索预训练
🧭 无监督检索预训练 · 跨段落对比学习
Microsoft Research
提出无监督跨段落检索预训练框架 xPRT,利用文档内跨段落信号,在 MTEB 上平均超越最强基线 3.2%
📌 工作参考价值(4 点)
- 电商搜索/推荐中的稠密检索模型可用商品详情页、用户评论等长文档内部段落关系构造无监督对比对,无需标注 query-doc 数据,降低训练成本。
- 在已有无监督 checkpoint 上继续预训练时,直接使用常规对比学习目标可能性能回退,xPRT 的跨段落信号能带来互补增益,对检索模型持续预训练有参考价值。
- 工程实现上,可从同一文档内采样正负段落,利用标题、章节、评论段落等结构信息生成难负样本,增强语义区分能力。
- 若业务中已有 RAG 或搜索系统,可将 xPRT 作为额外预训练任务叠加到现有流程,提升检索器在语义匹配任务上的泛化性。
Glance:生成器即重排序器
🧭 生成器内置重排序,共享 prefill
Airun Intelligence Labs
提出 Glance,给生成器加轻量决策适配器和指针头,共享一次 prefill 对候选段落打分,免去独立重排模型
📌 工作参考价值(4 点)
- 若业务中已部署 LLM 作为生成式排序或回答模型,可借鉴 Glance 思路:在同一个 LLM 上挂轻量决策头同时完成相关性打分与生成,避免单独服务 cross-encoder,节省显存和部署成本。
- “共享 prefill + 轻量 probe”技巧:对候选商品/内容批量编码一次,从缓存中分支不同 probe 产生分数,比逐对 prefill 更高效,适合候选量较大的重排场景。
- 激活适配器变体允许生成继续使用原始缓存,可将重排与生成解耦为不同 adapter,按需激活,主干权重不变,便于多技能扩展。
- 注意:论文仅在通用 RAG 数据集上验证,迁移到电商/推荐需自行评估,但“单骨干多技能”的架构思想值得复用。
上下文嵌入:超越单一黄金块的分级蒸馏
🧭 上下文嵌入训练与评测 ★ 深度解读
Perplexity AI · turbopuffer
用查询感知压缩模型蒸馏分级 chunk 相关性替代 gold-chunk 标注,发布 9B/0.6B 模型并刷新多基准 SOTA
📌 工作参考价值(4 点)
- 用 query-aware 压缩模型/reranker 产生 token 级 graded relevance,聚合为任意 chunk 软标签,替代二值 gold chunk;既避免标注绑定分块,又让支撑证据不再被当负样本。电商搜索、长商品详情、合同、政策文档检索可复用这套在线蒸馏链路。
- 文档级检索可采用 multi-vector + MaxSim:每个文档保存多个 chunk embedding,查询-文档相似度用最高 chunk 分数;在 RAG/商品召回中比单向量更细粒度,且不增加 chunk 数存储。
- 评测不要只看单一 gold chunk,应标注 answer groups + evidence groups,并报告 Answer@K、Evidence recall、Tokens to full coverage;这能暴露排序在 aspect coverage 与读取代价上的真实差异。
- 大模型蒸馏小模型保持共享 embedding space,让索引侧用 9B、查询侧用 0.6B,配合 MRL 1024/2048 维度 + int8 量化,可在不同存储/延迟预算下切换。
QESChunker:用问答证据监督统一重叠与非重叠 RAG 分块
🧭 RAG 分块 · 监督式索引构建
Alibaba Group · Taobao (China) Software Co., Ltd.
将 RAG 分块形式化为问答证据效用最大化的监督组合优化,非重叠用 DP 精确解,重叠用贪心近似解
📌 工作参考价值(4 点)
- RAG 知识库/商品文档分块别再只用固定长度或段落:沉淀业务侧 question–evidence pairs(客服问句-答案片段、售后手册标注、商品属性问答),用 QESChunker 思路以“完整证据召回率”为预算约束优化每个文档的 chunk 边界;非重叠版可用 DP 解,适合电商知识库规模。
- 重叠 chunk 的组合优化是 monotone submodular,贪心有 (1-1/√e) 近似,工程上可先用 LLM 生成 question-evidence 对,再做监督式 chunking,不必等真实 query 日志,冷启动友好。
- 论文验证指标是 complete-evidence recall,对应客服/导购 Agent 中“是否一次检索取回完整答案证据”,建议在业务评估里加这个指标,而不只看 top-k 命中。
- 混合 retriever 固定条件下该方法优于 heuristic,可作为 Agent 检索底座预处理:先离线构建 document-specific chunk index,不增加在线复杂度,适合商品手册、店铺政策等更新频率低的语料。
SpectRAG:面向多跳 RAG 的加权块图与 token 预算上下文选择
🧭 RAG · 图检索 · 谱图上下文选择 ★ 深度解读
Mitsubishi Electric US · Mitsubishi Electric Innovation Center (MELIC) · Karabuk University
用加权块图的谱坐标与预算化选择,把 RAG 检索从 top-k 相似改成连通证据集优化,以更低索引成本提升多跳证据召回
📌 工作参考价值(4 点)
- 电商 RAG/购物助手:除文本相似外,把商品同款/互补、类目层级、共同属性、会话共现/共点击、query 改写关系作为边构建商品或内容 chunk 图;用 Laplacian 谱坐标做结构化特征,可在召回阶段纳入连通性,减少相似商品冗余,补回缺失的桥接属性/卖点。
- Token 预算选择直接用于 LLM 推荐解释、Agent 工具/知识上下文化:设定固定 token 预算,做 protected core + tail precision + backfill,而不是固定 top-k;按 token 长度归一化 utility,避免长 chunk 吃光预算。
- 混合种子 + 两跳扩展:用 RRF 融合向量、BM25、历史或生成式问题匹配,再沿图做两跳扩展,可找回多跳证据;适合售后/导购等需要跨产品、跨文档推理的场景。
- 成本与效果:chunk 级稠密图 + 谱特征比实体级 GraphRAG 索引小一个数量级且 recall 更高;生产上可离线缓存图与谱坐标,在线只做轻量扩展/PPR,避免每条 query 都调大模型抽实体。
Tessera:面向 Web RAG 的结构补全证据单元
🧭 RAG 结构化证据交付优化 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · The University of Hong Kong · Beijing University of Posts and Telecommunications
训练无关的证据交付层,将检索页面重建为结构完整的证据单元,文本/截图/Agentic RAG 提升 5-6 点准确率
📌 工作参考价值(4 点)
- 电商详情页/商品参数表在 RAG 中常因提取或固定 chunk 丢失表头、价格、规格等结构化证据。可借鉴 Tessera 在 query-time 从原始 HTML 重建“标题路径+表头+行”的证据单元,用 cross-encoder 选相关行打包进一个 token 槽,保留 top 检索结果中的 prose。
- Agent 多跳搜索(如选品、竞品分析)可在每次 search 工具返回中加入该层:替换最后一个 doc 为结构补全的单元块,不仅提升准确率,还让 agent 少搜索、上下文更短(FRAMES +5.2,搜索次数 2.41→2.19)。
- 对多模态/截图索引同样有效:用 top tiles 定位页面,再从 HTML 构建单元替换最后一个 tile,比单纯增加 tile 数量更省 token 且更准;适合在截图索引上叠加,无需重建索引。
- 工程实现:单元构建可离线缓存 per page,query 时只需解析少量 anchor pages 和 cross-encoder 打分,新增成本低(15ms CPU/页 + 0.2 GPU-s/query);可作为现有 RAG pipeline 的即插即用层,不改变 index/retriever/reader。
记忆税:剖析 Agent 记忆相对直接检索的净价值
🧭 Agent 记忆净价值与记忆税拆解 ★ 深度解读
University of Illinois Urbana Champaign · Tsinghua University · Renmin University of China · Verdent.ai · University of Waterloo
大规模评测发现多数 Agent 记忆系统不如 naive RAG,提出记忆收益与记忆税拆解净价值
📌 工作参考价值(4 点)
- 在电商/推荐 Agent 的用户长期记忆、会话记忆或经验记忆项目中,先把 naive RAG 作为强制 baseline;很多专用记忆在 retrieval-friendly 任务上会被简单 BM25+embedding+rerank 打败,若无法显著超过 RAG,就不值得上复杂记忆架构。
- 保留一条从记忆回到原始日志/会话的“可恢复路径”:构建 memory 时同时从原始历史检索并联合 rerank,能补回构建阶段丢失或模糊的证据;实验中 SimpleMem 加 src-aug 后 LongMemEval-s 准确率从 73.6 提升到 82.8,memory tax 从 12.0 降到 5.2。
- 把“未来查询需求”当作隐式推荐问题:不要 AOT 全量预构建,利用用户历史兴趣/访问模式/偏好作为先验,选择性地对可能被未来 query 需要的信息做抽象与索引;这类似推荐系统中预估 item/信息未来相关性。
- 记忆系统要报告检索成本与原始 RAG 的 headroom;在电商/Agent 检索友好场景下,复杂记忆的增量收益有限,轻量或 JiT memory 可能是更高性价比的选择。
4DMemory:长时程时空记忆基准与 Harness 增强 Agent
🧭 长视频时空记忆评测与 Agent 增强
Nanyang Technological University · Token Foundry, Alibaba · The Chinese University of Hong Kong · Institute of Neuroscience, Chinese Academy of Sciences · University of Chinese Academy of Sciences
发布900小时长视频基准与4DMemory Harness,使13个基础模型长时程时空推理提升超50%
📌 工作参考价值(4 点)
- 用户长期行为序列(浏览/点击视频、直播切片)可借鉴「感知记忆+工具检索」分离:将原始行为编码成可索引的时空片段,按需用专用工具抽取关键事件,避免把所有帧塞进长上下文,降低遗忘与幻觉。
- 4DMemory Harness 的多技能+工具模型编排可迁移到电商多模态 Agent:把商品识别、场景理解、OCR、时序定位拆成小模型/工具,由主 LLM 调度,并通过 model-specific RAG 为不同基底模型定制检索策略,论文中所有模型提升超50%,稳定性可复用。
- 长时程评测设计值得借鉴:构造跨数小时、数天的细粒度问题(例如商品在第几分钟出现、促销文案变化顺序),压测 Agent 长期记忆与召回模块,提前暴露长会话信息丢失问题。
- 如业务含直播回放、商品讲解视频或广告素材库,可复用 LongVideo 构建思路,标注时空问答对,评估多模态检索和推荐理由是否准确引用正确时刻。
ActionRAG:面向 LLM Agent 长期记忆的证据精炼图扩散
🧭 LLM Agent 长期记忆 · 图扩散检索 ★ 深度解读
Actioneer
结合谨慎图索引与查询时接收者归一化图扩散,在 MemoryAgentBench 上以 55.1 平均分刷新检索式记忆 agent 表现
📌 工作参考价值(4 点)
- 查询时把向量召回视为 proposal 而非最终结果:用双通道(实体+三元组)召回后在局部图上做 receiver-normalized diffusion 重排序,能恢复多跳关联且不引入 LLM 调用;适合电商会话中“用户问某商品是否适用于某场景”这类需要跨事实推理的 query。
- 索引阶段做标签调和 + 分层实体消解(精确名+类型匹配优先,模糊匹配仅限唯一候选)能显著降低商品/类目/属性图中的实体碎片,避免后续图检索被重复节点稀释。
- 冲突消解与事实更新:将时间短语归一化为绝对日期并存入事实描述而非节点,保留 source chunk 指针,可支撑价格/优惠/状态变更等需要区分新旧事实的场景。
- seed protection 与 hub-penalized flux 两个参数化 trick 可直接借鉴:保护原始高分证据不被图扩散淹没;对高连接度实体(爆款商品/热门类目)施加惩罚,避免 flux 补全被 hub 主导。
面向多智能体系统的企业 RAG 知识层:先组织后检索
🧭 企业 RAG · 多 Agent 知识组织
Cognizant, Plano, Texas, USA
将本体置于 artifact 层,用元数据注册表与导航超图先组织后检索,实现结构化消歧避免跨服务规则混淆
📌 工作参考价值(4 点)
- 结构化过滤优于向量排序:在电商/广告 RAG 中,同名词如「优惠券」「活动价」在不同业务线含义不同,向量检索容易返回高相似但错误上下文的片段。可先解析查询到 artifact ID 或业务域,用元数据约束候选集,让错误来源的内容不进入排序,而非依赖打分压过。
- 轻量元数据注册表替代重型本体:不要一开始就构建内容级实体关系图,成本高且难以维护。利用生成式语料自带的 provenance(来源服务、组件、域、类型)做稀疏元数据索引,几天内即可上线,适合快速迭代的推荐/广告知识库。
- 超图定义在文档/规则 artifact 而非实体上:跨服务旅程查询(如从商品详情到订单到售后)可以用 artifact 超图导航,先确定相关 artifact 集合,再做向量检索,避免实体链接爆炸。
- 新服务按约定接入:设计一套轻量 schema(服务名、域、类型),新接入业务线只要按约定注册元数据即可扩展,无需重新训练或构建图,适合多业务线快速扩展的 Agent 工作流。
智能体记忆管理:信息检索的下一个前沿
🧭 Agent 记忆管理框架与 IR 融合
Dept. CS&T, Tsinghua University
提出 AMM 框架,将记忆对象分为 constants、functions、operators,并给出 IR 视角研究议程
📌 工作参考价值(4 点)
- 在电商/广告 Agent 中,可按 constants/functions/operators 分类设计记忆层:用户长期偏好(constants)用于召回与排序;可调用的推荐策略/工具(functions)按需检索;总结、遗忘、合并等记忆操作(operators)显式管理,避免把所有上下文塞进 prompt 或向量库。
- 记忆检索不要只做相关性排序,需定义 utility(对下游动作/转化的贡献),可借鉴 learning to rank 或用 LLM 生成候选后重排,对记忆片段做效用打分,提升推荐 Agent 的决策质量。
- 混合参数化与非参数化更新:高频短期信号(点击、会话)写入外部记忆实时检索,低频长期偏好定期用 LoRA 等参数化微调固化,兼顾实时性与成本,适合个性化 Agent 持续学习。
- 评估 Agent 记忆时,借鉴搜索/推荐的离线-在线评估体系,关注任务完成率、记忆更新效率与长期回报,而不是只看单轮 QA 准确率。
真实文档修订下的分块重算:固定、递归与内容定义分块更新成本及检索质量测量
🧭 RAG 文档分块更新成本评估
Anhui University of Technology
在真实维基百科修订对上量化三种分块策略的嵌入重算成本与检索质量,发现更新成本差异显著且检索质量相近
📌 工作参考价值(4 点)
- 对于维护动态知识库(如商品文档、政策页、新闻)的 RAG 系统,分块策略不能只看静态检索指标:固定大小分块在每次更新时重算 57-68% 的嵌入,内容感知分块(递归/内容定义)可降低到 38-56%,但需注意内容定义分块在部分中文文本上失败(4/62),工程上可选择更稳健的递归分块。
- 采用字节相同重用规则:只对内容发生变化的 chunk 重新嵌入,可显著降低更新成本;这要求存储 chunk 的哈希或原始文本,适合增量更新流水线。
- 当检索质量差异很小时(<2 个百分点),优先选择更新成本低的分块策略,尤其在高频更新场景(如价格/库存变化引起的文档编辑)。
- 评估分块器时应同时报告更新成本(重算比例)和检索质量,避免仅依据静态基准选型;参数长度会影响内容感知分块器的成本排名,需针对实际 chunk 长度做网格搜索。
Agentic 检索静默失败:LARA 框架与 Adobe Express 生产证据
🧭 Agentic Retrieval 评估归因 ★ 深度解读
Adobe
提出 LARA 三层评估与四字段血缘 schema,解决 agentic 助手检索归因缺失,并用 Adobe Express 生产数据验证
📌 工作参考价值(4 点)
- 不要用 assistant-wide CTR/reformulation 作为检索指标;只在 retrieval 触发的 turn 上计算,并把 reformulation 拆成 Search Reformulation 与 Downstream Correction,避免把生成润色误判为检索失败。
- 至少先加 returned_asset_ids(检索触发时的完整排序列表),这是解锁 Layer 1 离线评估的最高价值单一字段;再加 retrieval_id / consumed_asset_id / source_retrieval_id 做跨 turn、跨 session 归因,纯日志改动无需新模型。
- 对电商/Agent RAG 场景,显式打 retrieval role tag(direct retrieval、retrieve-then-act、reference input 等),并分开统计 GPR、ACR、ORF、UOR,不要把 UOR 当成成功或放弃。
- 关注 Layer 0 planner routing:如果检索触发率极低,先估算 missed-retrieval rate,用 ground-truth intent 对照 planner 决策;否则再好的 Layer 1 也只覆盖极少流量。
复杂 Agentic Memory 是否总是必要?朴素 RAG 比我们想的更强
🧭 长对话记忆中朴素 RAG 基线对比复杂 Agentic Memory
Xi'an Jiaotong University · Shanghai Jiao Tong University · Zhejiang University · The Chinese University of Hong Kong
在长对话理解中,基于原始历史的朴素 RAG 在多数基准上超越复杂 agentic memory,并揭示保留原始信息的重要性
📌 工作参考价值(4 点)
- 在电商客服、用户 long-term profile、Agent 对话等场景,可以先实现朴素 RAG:直接对原始历史做 dense retrieval + reranking,再交给 LLM 生成回答,工程成本远低于构建复杂记忆系统,却可能获得更高准确率。
- 保留原始交互序列和日志很重要。复杂记忆转换(如 summary、知识图谱、记忆更新)会引入信息损失,导致后续推导所需的依赖路径丢失;在推荐/客服场景应保留 raw evidence 作为检索源。
- 证据覆盖率比单条证据利用率更关键。朴素 RAG 可能检索到更多冗余但相关证据,即使部分证据未被 LLM 充分利用,也能通过提升 recall 来弥补 precision 的不足,因此评估记忆系统时不要只优化 top-k 精度。
- 重排序在 raw-history RAG 中是有效的 trick:先 dense retrieval 提高 recall,再用 reranker 压榨 top-k 质量,可以在低 ingestion 成本下达到甚至超越复杂记忆的表现。
MAPS:宏观自适应并行推理调节 RAG 搜索动量
🧭 迭代式 RAG · 搜索动量调节 ★ 深度解读
Northeastern University, Shenyang, China · Tsinghua University, Beijing, China
提出 search momentum 量化迭代 RAG 中的查询意图漂移,并用轨迹解耦与并行多方向检索缓解漂移
📌 工作参考价值(4 点)
- 用 search momentum 做在线 query 漂移监控:在多轮搜索/Agent 中,记录每步生成 query 的 embedding 位移并加权累积,当 momentum 与原始 query 余弦相似度持续下降时触发校准(重写 query、并行探索或回退原始意图),适合电商搜索 query 改写、对话式推荐中的信息收集。
- 状态管理上把“已获取的知识”和“历史查询轨迹”解耦:只保留知识观察和压缩后的推理状态,不把历史 query 序列塞进 prompt,可避免中间错误查询累积污染后续召回。工程上可用一个 summarizer 将检索到的商品/文档证据压缩成结构化状态,而不是保留完整对话历史。
- 并行生成多个互补检索方向:在 query/关键词扩展时,先让 LLM 提出 N 个互补方向(如类目、属性、风格、价格带),再分别生成 query 并行检索并合并召回结果。这比单纯并行生成多个 query 更可控,消融显示 direction proposal 贡献约 4 个百分点。
- 自适应终止:MAPS 对简单 query 更早终止,复杂 query 多轮继续检索且不丢准确,可用一个 lightweight 判断器基于已收集证据是否足够来决定停止,减少不必要的检索轮次。
RAG预算证据选择的边际视角效用学习
🧭 RAG 预算证据选择 · 边际视角覆盖
Nanyang Technological University · University of Toronto
提出LMVU轻量排序器,按边际视角覆盖增量选择证据,在有限上下文下提升多视角覆盖
📌 工作参考价值(4 点)
- 在电商 RAG 场景(商品问答、评论摘要、多卖点对比)中,上下文预算有限,可借鉴边际视角覆盖思想:优先选择能补充当前已选集合缺失观点的候选,而非单纯按相关性得分截断。
- 训练数据构造:利用已有的观点/标签标注(如评论情感、产品属性、类目标签)作为伪视角,构造同一选择状态下的候选配对,让 ranker 学习增量覆盖价值;推理时迭代选择,类似贪心式集束搜索,开销低。
- 评估指标:用 RVC1/RVC2 度量检索结果的视角覆盖度,可作为多样性/覆盖度补充指标,尤其当业务目标要求搜索结果覆盖不同用户意图或品类时。
- 轻量 ranker 设计可作为在线精排后的二次重排组件,输入包括已选证据集合与候选的交互特征,输出边际增益,适合低延迟的实时检索链路。
推理-搜索增强大语言模型:操作化分类、基准分析与受控证据综合
🧭 Agent 化推理-搜索增强 LLM 架构分类
Texas A&M University, College Station, TX, USA · Texas A&M University–Corpus Christi, Corpus Christi, TX, USA
提出四架构轴+学习信号分类框架,系统梳理推理-搜索Agent设计与消融证据
📌 工作参考价值(4 点)
- 构建电商搜索/客服 Agent 时,把检索从一次性 RAG 上下文改成迭代循环中的动作:显式维护 plan→query→retrieve→verify→stop 状态机,可显著减少无依据答案;在商品知识库、用户评论等多源检索时,按 grounding strictness 分级校验(如硬性要求引用来源 vs 仅启发式)。
- 训练搜索策略时优先用偏好优化或 RL 而非仅 prompt:同一架构下学习信号会显著改变搜索时机、停止条件和最终答案的 groundedness,业务数据允许时直接建模质量-成本 tradeoff。
- 做离线评估不要跨论文直接比较 SOTA:不同 backbone、retriever、corpus 协议不可混用,应关注 controlled within-study ablation;同时把 benchmark 难度与 RSA-loop 需求分开统计,避免简单题目屏蔽搜索行为差异。
- 将检索耦合、控制器、知识源、grounding strictness 作为显式设计维度,便于在电商场景中快速替换组件(如从向量库切到商品图谱)并定位性能瓶颈。
真实 PMID,错误论文:生物医学声明验证代理的 Harness 设计
🧭 Agent 检索 harness 设计与瓶颈分析
Independent Researcher
对照实验表明检索而非推理是医疗文献验证代理的瓶颈,自写查询代理提升召回但预算利用不足
📌 工作参考价值(4 点)
- 在需要检索工具的 LLM 应用(如电商导购、客服问答、商品知识库问答)中,直接用用户原始 query 做单次检索往往不可靠,应让模型自己改写/生成多个查询,或采用 ReAct 式迭代检索,能显著提升召回和最终答案质量。
- 检索质量通常是整体效果的瓶颈,而不是推理能力:即便给予黄金文档,模型准确率仍有较大提升空间,因此应优先投入优化检索/召回环节,而非只调大模型推理。
- 对返回结果进行“存在性检查”不够,必须做相关性校验:模型可能吐出真实存在的商品 ID 或文档 ID,但与问题无关,应增加一个独立的 LLM judge 或相关性过滤步骤。
- 让 agent 具备搜索预算意识:实验发现 agent 只使用了不到一半的搜索预算,可设计显式的预算消耗策略(如强制步数、每次搜索的查询数量限制)以充分探索检索空间。
作者写了什么,Agent 读了什么:企业文档摄取中的静默线索丢失
🧭 企业文档摄取与格式线索保留
Amazon
企业文档摄取层丢失高亮和颜色等视觉格式线索,使 Agent 对关键义务识别 F1 骤降且自信犯错
📌 工作参考价值(4 点)
- 在 RAG/Agent 文档解析链路中优先保留高亮和颜色:实验显示 docling/plain text 格式盲摄取使义务识别 micro F1 从 0.690 降至 0.150/0.075,而高亮贡献 +0.302、颜色 +0.262;建议在 OOXML 解析阶段提取 highlight/color 属性并转为显式标记(如 <highlight>...</highlight> 或文字说明),而不是只输出纯文本。
- 不要过度依赖粗体、斜体等常见格式:本文中 bold/italic/monospace/strikethrough 对义务抽取增益均在 ±0.003 内,真正有效的是高亮和颜色;在合同、政策、促销规则等业务文档中应重新权衡格式线索的优先级。
- 把格式线索显式键入提示比仅隐式保留更强:预注册测试显示额外 +0.085 F1(p=0.049),可在 ingestion 层自动生成“原文中以下内容被高亮/着色,可能为关键义务”的上下文提示,代价低且可量化。
- 用 OOXML 属性做确定性 ground truth 匹配器,无需 LLM 裁判即可监控解析器对格式信息的保真度,适合持续集成评测,避免文档解析中静默退化。
DeclineCraft:联合衡量检索与参数知识的 RAG 弃答基准
🧭 RAG 弃答能力基准与行为分析
Purdue University
提出 DeclineCraft 基准,度量模型在检索与参数知识均不足时正确弃答的能力,揭示迭代 RAG 等增强策略反而降低弃答率。
📌 工作参考价值(4 点)
- 在电商客服/商品咨询等 RAG 场景中,不要盲目堆叠迭代检索、query rewriting、reranking 等“增强”组件:它们可能让模型对无法回答的问题过度自信,降低正确弃答率。对高频未知问题(如新商品属性、未收录政策),应显式加入弃答判定或置信度阈值。
- 单轮检索已能提升正确弃答率(38/40 配置),说明即使检索不到确切答案,提供相关但不完整的上下文也能帮助模型识别知识缺口,而非直接依赖参数记忆编造。在知识截止后新商品/新政策问答中,可先检索同类商品/旧政策作为参照。
- 思考模式(thinking)会显著降低弃答率,但常从“承认不确定”转为“否定前提”,这对安全敏感场景是隐患。实际部署时不宜只用 CoT 自我评估,应设置独立的 abstention 分类器或规则。
- 模型规模与弃答率无显著关联,只与作答准确率正相关。因此不能指望换更大模型解决拒答问题,需针对弃答行为做专门训练或 prompt 设计。
检索增强 LLM 的搜索状态自评估强化学习
🧭 Search Agent 自评估 RL 训练 ★ 深度解读
Korea University · Amazon · AIGEN Sciences · University of Massachusetts Amherst · Meridian Intelligence Global Inc
提出 SARL:训练时自评估搜索轨迹并据此修订,配合双重奖励,无推理开销地内化搜索状态意识
📌 工作参考价值(4 点)
- 训练期自评估、推理期零开销:在训练时给搜索/对话 Agent 增加一个隔离的 self-assessment 阶段,让它反思“已获得哪些证据、还缺什么”,推理时不调用评估器,不增加额外 token 和延迟。适合线上 RAG、商品搜索 query 改写、客服多轮 Agent 直接落地。
- 双重奖励设计可直接迁移到多轮检索/推荐场景:用 answer correctness 的 transition(错→对、对→对、错→错、对→错)给评估动作打分,并用 α^(n-1) 指数惩罚频繁评估。电商搜索中可对“多轮 query 改写是否带来召回/成交提升”设置类似不对称奖励,同时限制重复调用搜索接口,控制成本和时延。
- 把评估与主轨迹解耦,避免长 horizon 训练崩溃:AutoRefine/ReSeek 将反思 inline 写进每一轮,导致上下文膨胀和训练后期分数归零。SARL 将评估放在隔离上下文,只在 INCOMPLETE 时作为 user feedback 注入。做多轮对话/深度研究型推荐 Agent 时,建议将状态评估与生成轨迹分离,可稳定扩展到 32+ turn。
- 无需 SFT warmup、多智能体编排或外部裁判模型:SARL 是 standalone RL 框架,用 GRPO + 自定义奖励即可,工程复杂度低,适合资源有限的业务团队快速实验。
检索增强生成(RAG)的组合性评估
🧭 RAG 流水线组合评估
IBM · Weizmann Institute of Science
系统评估RAG各阶段技术组合,发现孤立增益不可叠加且最优组合随语料规模变化
📌 工作参考价值(4 点)
- 在电商/Agent的RAG知识库或购物问答中,不要只按单模块离线指标选型:三种检索技术孤立预测+47%联合提升,组合后仅+17%,单点提分可能被其他阶段抵消。
- 同时跟踪检索质量(如NDCG@10)和最终忠实度/业务指标;组件对两者增益方向可能相反,避免为召回率牺牲生成质量。
- 语料规模从小规模实验到全量商品库/百万级文档时,必须重新验证最优组合;小语料最优配置不一定在大语料保持,应做分规模子集测试。
- 借鉴LASAGNA思路搭建内部RAG实验框架,固定其他阶段做单变量替换,支持不同语料规模与多指标报告,沉淀可复现的pipeline配置。
HABIT-Bench:评估智能体从长期弱证据中归纳用户习惯
🧭 Agent 记忆评估 · 隐式习惯归纳 ★ 深度解读
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Fudan University
四域基准显示现有 Agent 记忆方法准确率仅约 33%,复杂记忆流程不优于简单检索或历史压缩
📌 工作参考价值(4 点)
- 不要默认复杂记忆 pipeline 更优:在需要跨会话状态重构的长用户轨迹上,BM25/Dense RAG 等简单检索基线与 A-MEM、Mem0、MemOS、Letta 等记忆方法准确率接近,GLM 下 Full Memory 压缩历史甚至达到 41.98%,超过全部记忆方法。业务落地前应先验证 RAG/压缩历史强基线,避免过度设计。
- 区分“证据访问”和“决策正确性”:Oracle Evidence 提供标注证据后准确率仍只有 39.26%–58.25%,而 Oracle Habit State 可达 98%+。意味着即使召回相关行为,模型仍常错误应用习惯。电商/广告中需显式建模行为有效期、例外、边界和用户确认,不能把任意历史点击/对话当长期偏好。
- 记忆构建成本与查询成本高度不对称:A-MEM 构建 54.59 小时、107.80M tokens,查询仅 13.24 分钟、3.39M tokens。工程上要把历史预处理与在线推理分离,按记忆复用频率和更新需求评估 ROI,必要时用增量更新或压缩历史替代全量记忆抽取。
- 可迁移的负样本设计思想:将临时期外、已过期选择、未接受的建议、边界情况作为干扰项,能有效测出模型是否“过度个性化”。推荐系统评估可借鉴四选一 probe,测试模型在 scope、exception、temporal drift 下是否仍正确推荐。
代码技能服务器:面向代码生成技能的大规模搜索引擎
🧭 Agent 技能检索与代码生成增强
Shandong University · Guangzhou University
构建包含 993 个代码生成技能的检索服务器,检索注入可提升 Pass@1 最高 13.91%
📌 工作参考价值(4 点)
- 将可复用能力沉淀为技能库:把营销文案模板、API 调用代码、平台规则等封装成统一 schema 的技能,用 embedding 建立增量索引,Agent 根据 target task 检索注入上下文
- 检索即增强,不依赖微调:实验显示跨模型稳定提升至少 4.21%,可直接将技能检索作为外挂模块,接入现有多模型 pipeline
- 异构来源技能标准化是关键:统一技能描述、触发条件、示例等字段,能提高检索命中率与可复用性
- 评估上关注 Pass@1 提升和跨模型泛化,可作为生成式推荐/Agent 工具检索旁路增强的验证指标
多步 Agent 工具推荐:检索任务所需的每一个工具
🧭 Agent 工具检索与推荐 · 成本优化 ★ 深度解读
Arcade.dev
部署的 Tool Recommendation 系统用固定三工具接口为多步 Agent 提供全目录 8200+ 工具,实现工具链完整性与端到端成本双赢
📌 工作参考价值(4 点)
- 固定接口 + 检索重排替代静态工具列表:当 agent 需要触达大量 API/工具/技能时,不要把所有 schema 塞进 context,而是暴露 SelectTools、UseTool、ListApps 等少数元工具,按需检索并执行;权限过滤放在 gateway 层,保证推荐结果符合用户 scope,可直接迁移到电商导购/客服 agent 管理商品查询、订单、优惠券等海量工具。
- 评估指标用 Completeness@K 而非 Recall@K:多步任务缺一个工具就失败,例如“查库存→比价→下单”三工具缺一不可;在内部工具检索 benchmark 上加入 Completeness 指标,能更好反映端到端成功率,而不是平均召回。
- 成本优化必须看实际账单(含 prompt cache)而非仅输入 token:输入 token 减少不代表账单同比例下降,因为缓存输入便宜得多;应明确 caching 规则、用美元账单对比,并识别静态列表与动态检索的盈亏平衡点(约 25-28 个工具,或搜索频率 >0.63 次/工具调用时静态列表更便宜)。
- 多步 agent 失败主因常是 agent 没发起搜索/任务拆解不清,而非排序错误:可在 prompt 中显式引导 agent 每个任务只搜索一次、一次搜索一个动作,并监控首次推荐覆盖率与未发起搜索占比,针对性迭代提示词。
MuninAI:面向独立研究组的自托管智能体文献问答框架
🧭 Agent 科学文献问答 · RAG 工具编排
Institute for Drug Discovery, Leipzig University Medical School · Institute for Medical Physics and Biophysics, Leipzig University Medical School · Integrative Center for Bioinformatics, Leipzig University · Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) · School of Embedded Composite Artificial Intelligence (SECAI)
开源自托管 Agent 框架将开放权重模型与检索、阅读、计算工具编排,使文献问答准确率翻倍且几乎不产生幻觉
📌 工作参考价值(4 点)
- 工具编排优先于换模型:在商品知识库问答、广告素材核查、客服辅助等场景,先设计 reading/search/computation 工具与 agent harness,而不是直接换更大模型;评测时固定 backbone,对比 naive RAG 与 harness 的差距。
- 引入 citation/relation graph:将商品关系、内容引用、品牌-属性等构建成可检索的 graph,供 agent 多跳导航;要求每个答案声明可溯源,降低生成式推荐中的虚构商品 ID 或属性风险。
- 主动弃权机制:当知识库缺少对应商品、属性、政策时让系统返回“未知/不提供”,避免生成式推荐编造价格、卖点或库存;可设置证据缺失阈值来触发弃权。
- 自托管与单卡基线:对未公开的选品、竞价、用户数据,可选用开源 20B 级模型本地部署;发布一键评测脚本,在自己的语料和模型上重跑,作为上线门槛。
基于随机投影的隐私保护检索增强生成
🧭 隐私保护 RAG · 随机投影
University of Chicago
用随机投影同时处理知识库与查询嵌入,在保持语义相似度的同时缓解数据抽取攻击,优于DP方案
📌 工作参考价值(4 点)
- 在涉及用户/商家敏感数据的 RAG 场景(如客服知识库、内部文档问答)中,可对 datastore embedding 和 query embedding 用同一个随机投影矩阵降维后再做检索;无需复杂 DP 机制,工程实现简单,还能降低向量维度、省存储与计算。
- 随机投影矩阵可以按租户或定期更换,增加攻击者从泄露的投影向量恢复原文的难度;但要注意它不能替代访问控制与审计,对强背景知识的成员推断攻击防护有限。
- 对电商搜索/推荐中跨团队共享商品或用户行为 embedding 的场景,可以先随机投影再共享,在 cosine/点积检索损失较小的前提下减少原始 embedding 泄露风险。
- 论文表明随机投影在检索与生成质量上优于 DP baseline,可作为轻量隐私基线;若业务需要正式合规保障,仍需结合差分隐私或其他审计机制。
检索到但未读:理解搜索增强 LLM 未利用可用证据的原因
🧭 搜索增强 LLM 的证据利用失败分析
Imperial College London
通过时序事实和分层分析,揭示搜索增强 LLM 常“检索到但未读”,即使有新证据仍输出过时答案并给出不忠实引用
📌 工作参考价值(4 点)
- 在电商/Agent 场景中,价格、库存、促销、政策等事实变化频繁,别把“检索到”当“已使用”。应记录 agent 是否打开详情页/全文;若仅读 snippet,可强制要求先展开来源页并基于全文作答,或把全文放入 context,避免 snippet 偏见。
- 引用可信度:对购物助手/客服回答要求逐句引用已打开页面内容;用 citation faithfulness 校验(如 NLI)拦截“答 A 引 B”的回复,尤其对有时效性的事实。
- 内部状态与最终答案不一致:即使模型隐层已表示新证据,最终仍可能偏向旧参数知识。可在 prompt 中显式对比“当前日期/最新数据”与模型先验,要求输出依据;或对关键时效属性做规则/缓存覆盖,不依赖 LLM 自己纠偏。
- 评测方法:构建训练截止后变更的“(实体, 属性, 旧值, 新值, 生效日期)”事实集,模拟商品改价/上下架/政策更新,用于回归测试 agent 的时效性和引用忠实性。
图书管理员智能体:训练LLM预构建预见未来查询的长上下文工作区
🧭 Agent 预构建长上下文记忆工作区 ★ 深度解读
Stanford University · Carnegie Mellon University
将文档语料预构造成分层文件系统工作区,并用RL直接优化下游答题准确率,BrowseComp-Plus提升33个百分点
📌 工作参考价值(4 点)
- 在电商/客服/导购 Agent 中,可将商品库、类目树、活动文档、评论语料预先构建成分层合成文件系统(如类目索引、跨品对比表、活动时间线),回答 agent 走短路径文件即可,不必每次实时跨文档检索;用 RL 直接以“下游转化/回答准确率”作为奖励训练 builder 策略,而不是手工定义抽取规则。
- 利用文件系统作为 LLM 友好的外部记忆接口,比知识图谱更灵活:CreateFile/MergeFiles/Delete/Stop 这四类动作足够构建层级,同时显式保留 provenance/原始文档链接作为 fallback,防止合成摘要丢失关键细节;电商场景中 needle-in-haystack(如某单品具体参数)可回退到原文。
- 工程上可借鉴“预构建一次 + 多次查询”的成本摊销:把昂贵跨文档推理前置,回答阶段只读合成文件;文中给出 break-even 分析(约31个查询/语料时 token 成本优于 base builder),类似商品知识库高频问答适合。
- 密集奖励设计可复用:每 8 步探测 answerability 变化作为密集信号 + 终局正确性,等价于稀疏奖励但训练更稳定;multi-turn GRPO 可用于训练其他文档组织策略。
按需检索有用信息:选择性检索增强机器翻译的智能体强化学习
🧭 选择性检索增强 · 强化学习 ★ 深度解读
The University of Texas at Austin · Amazon
提出 SRAT,将检索作为可学习翻译动作,用 GRPO 与检索器对齐实现选择性检索增强
📌 工作参考价值(4 点)
- 把“是否调用外部知识”变成策略动作:不要固定 always-retrieve 或 never-retrieve,用 GRPO 以最终业务指标(如转化率、用户满意度)为奖励,让模型学习何时检索、生成什么查询。可以用于商品文案生成、客服回复等场景,避免无关知识干扰。
- 检索器要与下游质量对齐,而不是语义相似度:当知识库检索难度高、语义相似度不够时,用翻译/生成质量对比训练检索器,让正样本由“哪个文档能提升最终输出”决定。这可以迁移到推荐解释生成、广告标题生成等任务,直接用最终打分函数提供监督。
- 黑盒模型也能受益:训练一个独立的轻量检索策略(如 Qwen 小模型),用闭源大模型(Claude/GPT)的输出质量作为奖励,不动主模型参数也能提升其生成效果。适合在已有黑盒生成服务之上加一层自适应检索。
- 课程学习避免策略退化:先用高质量检索轨迹做 SFT 初始化,再 RL 时加临时检索惩罚防止模型退化成 never-retrieve。这个 trick 对任何需要学习“何时调用工具”的 Agent 场景都适用。
RCER:为迭代检索增强生成重建跨证据关系
🧭 迭代 RAG · 跨证据关系重建
Xi'an Jiaotong University · Beijing University of Posts and Telecommunications
在迭代 RAG 中重建跨证据实体对应与推理依赖,多跳 QA 平均 EM/F1 提升 2.83/3.06
📌 工作参考价值(4 点)
- 在商品/店铺/活动规则等复杂问答或客服 Agent 中,可把多轮检索到的片段抽象成实体对应关系和推理依赖图,每次新证据加入时增量重建关系,驱动下一轮 query 分解,避免仅靠向量相似度重复召回。
- 把「证据获取」和「推理上下文构建」解耦:先做互补证据联合选择,再基于跨证据推理补齐隐式链条,最后组合关系回答;适合电商场景中跨文档信息拼接,如满减规则+商品类目+用户历史生成答案。
- 工程实现上,RCER 直接利用累积的 source passages,不依赖外部知识图谱或额外训练,可以低成本接入现有 RAG pipeline;在多跳、叙事型、隐式推理问题上收益更明显。
- 若业务问题偏短平快,收益有限;更值得用于导购对比、合规规则问答、售后政策推理等需要链路推理的场景。
复制粘贴语言模型
🧭 LLM 预训练 · 上下文复制机制
Cornell University
在 LM 头旁增加轻量 Copy-Paste 头显式建模上下文复制,提升训练效率与下游表现
📌 工作参考价值(4 点)
- 商品名/品牌词/SKU/Query 需要精确复现:在微调或继续预训练时,可在 LM head 旁加一个 pointer/copy 分支,从输入序列直接复制 token,降低改写错误与幻觉。
- RAG / 长上下文用户行为建模:模型常需从知识库或历史序列中复现实体,CPLM 思路可帮助提升长程复制准确率;可对现有 LLM 做轻量适配,不必重训 backbone。
- Agent 工具调用:API 名、参数、ID 等必须逐字复制,copy head 能增强此类能力;建议在工具选择评测中对比标准 LM head 与 copy 分支。
- 实际成本:增加头参数极少,推理可结合 KV cache 实现高效复制计算,适合对延迟敏感的生产环境。
面向法律推理的可验证检索:结构驱动知识图谱
🧭 RAG · 知识图谱结构化检索
Technische Hochschule Ingolstadt
用结构驱动解析构建法律知识图谱,比较多种 KG 感知分块与检索策略以提升引文检索准确性
📌 工作参考价值(4 点)
- 可将结构驱动解析迁移到电商/广告领域:基于商品类目树、属性 Schema、活动规则等层级结构构建 KG,替代固定长度分块,提升召回语义完整性。
- 在客服导购 Agent 或规则问答系统中,要求输出附带来源证据(如具体条款、商品属性路径),实现可验证引用,降低幻觉风险。
- 混合检索策略可借鉴:先经 KG 导航缩小候选范围,再做向量相似度匹配,平衡精确性与召回率,适合规则密集、文档规模大的场景。
- 对生成式推荐中的可解释性有参考意义:生成 item/文案时绑定结构化来源,便于后续审计与用户信任建立。
PRIME:预检索索引建模与增强结构化文档检索
🧭 索引侧优化 · 层次检索与语义重构 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou)
确定性元数据匹配结构化分块检索质量,嵌入计算降45.8倍,语义重构再提升Answer-F1 13.7%
📌 工作参考价值(4 点)
- 轻量元数据索引替代全量分段嵌入:对商品详情页/活动页等结构化长文档,可仅用标题+类目标签+关键属性词+页面标题树构建元数据向量(如 BGE-small 384 维),配合 BM25 做粗筛,能在保持检索质量的同时把 embedding 计算量和索引向量数降低 1-2 个数量级,适合大规模电商语料成本敏感场景。
- 两阶段层次化检索架构:先用 metadata 粗筛候选(BM25+稠密向量 RRF),再用 cross-encoder 对 section/字段级精排,避免 query 时调用大模型 rerank,且能精确送回 top 相关小节,适合商品详情页/用户手册等多段式文档的 Agent 引用。
- LLM 重写提升上下文密度:SR 的 explication+compression 可提高上下文语义密度,让下游生成用更少 token 达到更高 QA 质量,但会牺牲 BM25 词面匹配;实践中应保留原始文本索引,或做 hybrid 融合,防止 lexical 信号丢失。
- 先做语料结构审计:无稳定标题树/短文本语料(类似 NFCorpus),元数据抽取可能有害;可在全量改造前抽样评估 heading 覆盖、段落长度分布、词面重叠度,决定是否采用索引侧重构。
GeopoliticalQA:情报报告检索与生成基准
🧭 RAG 检索与生成基准评测
Mantis Analytics
构建 415 份情报报告、5,525 条 QA 的地缘政治 RAG 基准,系统评估检索与生成
📌 工作参考价值(4 点)
- 在电商/Agent 知识检索场景中,chunk 级检索质量不必依赖超大 embedding 模型;中等规模开源编码器 bge-m3 可与大 10 倍模型持平且优于商业 API,可先用这类模型做成本可控的域内检索。
- 文档画像先行的问题生成 pipeline 可用于构建电商搜索/推荐领域的合成评测集:先对商品/报告进行结构化画像再生成问题,并配合 LLM-as-judge 做质量过滤,提升训练与评测数据可用性。
- 即使给定黄金证据,复杂推理类问题(对应商品选品、活动归因、风险判断等)仍是生成瓶颈;在 RAG Agent 中应加强多步推理、证据整合与结果校验,而非只优化召回。
- LLM-as-judge 协议验证数据集质量的方法可直接迁移到搜索 query 改写、推荐理由生成等任务的离线评估,减少人工标注成本。
NativeScope:基于正确锚点的原生拓扑关系限定检索
🧭 关系限定检索 · 原生拓扑锚点
用 (A,r,B) 关系范围限定再排序,RAG 召回在文档/记忆上提升 42.75/22.00 个百分点
📌 工作参考价值(4 点)
- 在电商知识库或客服 Agent 中,商品详情页模块、订单时间线、客服会话轮次等原生结构都可以作为 belonging/before/after 的范围过滤信号;先把用户问题中已有的锚点(如商品 ID、会话时间点)转成 scope,再在范围内做语义排序,能显著减少无关 chunk 召回。
- 工程上优先建设结构化范围索引,而不是只优化 query 改写:论文中 NS-FullQ 与短 query 版本差异不显著,说明主要收益来自关系性范围限定,而非排序问题变短,因此应把原生拓扑和过滤算子纳入检索链路。
- 自动锚点定位会带来明显风险:Top-1 自动锚点让记忆召回从 72.50% 跌到 35.50%。业务上应优先使用用户显式选择、稳定记录 ID 或高置信度上游定位器;弱锚点场景需要软约束或回退到全局检索,避免硬范围过滤继承定位错误。
- 可复用的评估思路:把检索评估拆成“给定正确锚点的条件召回”和“自动锚点定位”两部分,能更清楚地区分定位误差与范围检索能力,适合在搜索/推荐/Agent 记忆系统中做模块化归因。
排练一切,记住无物:Attic-KV 只排练将被读取的内容
🧭 LLM 长上下文 KV 缓存压缩 ★ 深度解读
Nanyang Technological University
提出训练无关的 Attic-KV 排练策略,以自生成 QA 与内容自适应锚点取代全文重读,大幅提升极限压缩下的长上下文问答与缓存复用
📌 工作参考价值(4 点)
- 电商商品详情、文档库做预计算 KV 缓存时,可用 LLM 对每个商品/文档生成“读者可能问的问题+原文引用答案”作为 rehearsal,再做 3-5% 预算的 KV 淘汰;比全文重读更能保住属性、价格、政策等答案片段,且 5% keep ratio 可把缓存容量放大 20 倍。
- 选择 rehearsal 长度不要固定比例,按内容稠密自适应:锚点数量=目标 keep ratio,再扩展到包含锚点的句子长度;商品参数表、FAQ、规格列表会被排练更多,营销 prose 少排练,避免预算浪费。
- 可直接替换现有 KVzip/KVgrad/RestoreKV 的 rehearsal,不改变 scoring、不重训;适合已有推理加速链路的团队,先用 KV2+Attic 低成本验证,再决定是否引入 restore tokens。
- 自生成 QA 放在离线/一次性路径,每个商品或文档只生成 6 个 Q&A(≤256 tokens),压缩耗时反而低于全文重读;适合大规模语料缓存、RAG 文档库与 Agent 长对话记忆。
RIT-RAG:检索诱导树在文档语料中导航
🧭 Agentic RAG 树结构导航
IBM · IIT Kharagpur
用检索块位置诱导多文档子树,让 LLM Agent 在结构上导航并选择性阅读,提升复杂文档问答准确率
📌 工作参考价值(4 点)
- 借鉴“检索提出位置、Agent 决定阅读”的分离设计:把检索结果映射到商品文档、帮助中心或政策文档的目录树片段,让 Agent 在局部子树上推理而非直接读 chunk,能更好利用结构信息并控制上下文长度。
- 离线为每个文档/类目构建树索引(TOC、sitemap、商品属性层级),在线用宽召回 chunk 诱导多个候选子树,避免“先选文档后无法纠错”,适合多来源、超长文档库。
- 在客服/售后场景中,Agent 选择性读取节点并改写查询,可以降低 LLM token 消耗,同时提高回答准确率和可溯源能力;可以在现有 RAG pipeline 上增加结构索引层。
- EntQABench 是 284 万级技术文档 QA 基准,可用于评估大规模文档库的检索和 Agent 导航能力,但电商领域还需自建结构评估集。
从分块到功能证据:面向 EDA 文档问答的功能感知检索
🧭 RAG 检索单元重构 · 功能超边
Zhejiang University · Shanghai Innovation Institute
用功能单元(超边)重组多类型文档碎片,训练编码器对齐 query 与功能单元,联合 chunk 检索与统一 reranker,大幅提升 EDA 文档 QA 的 ROUGE-L
📌 工作参考价值(3 点)
- 复杂技术文档、商品详情页、广告投放规则等多类型碎片场景,可借鉴「功能单元」思想:将相关代码块、参数表、图、约束等聚合成检索单元(如商品功能单元、活动规则单元),用超边链接源 chunk,缓解 query 与孤立 chunk 失配问题。
- 检索阶段采用单元检索与直接 chunk 检索并行,再统一 reranker 选证据,比单一 chunk 或纯图检索更稳;在电商知识库 QA、规则问答里可直接复用该混合召回架构。
- 训练一个 encoder 对齐 query 与功能单元表示,而非只训练 chunk encoder,能更好捕获跨模态/跨类型信息之间的耦合关系;业务上可对商品多属性(标题、参数、卖点、图)学习统一功能表示。
文档结构是否提升密集检索?双语料四机制安慰剂对照消融
🧭 RAG 密集检索 · 文档结构消融
Center for Research Computing, University of Notre Dame
在双语料上做安慰剂对照消融,证明结构对齐分块与真实标题路径能小幅但稳定提升稠密检索 nDCG
📌 工作参考价值(4 点)
- 做商品文档/详情页 RAG 时,尽量按标题、段落等结构对齐分块,而不是固定窗口;给 chunk 加真实标题路径可小幅提升检索 nDCG,成本不高。
- 避免把标题路径等元数据当任意 token 前缀:收益来自语义内容,不是文本扰动;打乱或占位符无效,所以要保留真实结构语义。
- 分层两阶段检索在业务里可能不如单阶段,尤其第一阶段 section 召回率是瓶颈;上线前需对比单阶段与两阶段的 recall/nDCG。
- LLM 重建文档结构不一定优于原始结构,Wikipedia 上原始结构更好,QASPER 上无差异;不要盲目用 LLM 诱导结构,按语料做小样本验证。
找到正确平衡:LLM 检索中的相关性与多样性
🧭 RAG 检索多样化自适应策略
Université du Québec à Trois-Rivières
提出基于候选池冗余与查询证据需求的查询自适应规则,选择性启用检索多样化,避免损害相关性与答案质量
📌 工作参考价值(4 点)
- 在电商 RAG/商品问答中不要全局默认启用 MMR 或多样性重排:生产数据若候选池干净,多样化会降低相关性与答案质量;先用已有 embedding 统计 top-k 最近邻中有效 distinct 文档数,再决定是否开启多样性。
- 多证据场景(如从多个商品评价/卖点综合回答)可借鉴 query-adaptive 触发条件:当 top-k 选择的 distinct 文档数低于查询所需证据条数时再触发多样化,否则回退到最近邻;该规则无需额外模型,可跨数据集和 encoder 迁移。
- 当使用重叠 chunking 或商品库中有同款/相似描述时,可通过 RNG-Score 的 margin 检测重复结构,作为降级信号;margin 明显时说明冗余高,适合切换多样化,否则直接保留 NN 结果。
- 工程实现可把“有效不同文档数”做成轻量在线统计特征,与召回/重排解耦,避免因盲目开多样性浪费 context budget 或漏掉关键证据。
自适应证据路由:学习计算正确上下文
🧭 自适应证据路由 · RAG 与计算融合 ★ 深度解读
MIT · Google Research
提出RECAST,将证据构建视为检索与计算操作的序列决策,用轻量RouterLM迭代选择/合成操作,在6个基准上平均准确率达75.6%,超最强基线15.9%
📌 工作参考价值(4 点)
- 把检索和计算统一为证据操作:在电商推荐/搜索场景中,不要只把用户历史或商品池当作检索对象;可把 SQL 聚合、Python 特征计算、代码合成作为等同的“证据获取”原语,让系统从原始数据中派生可用的上下文,而不仅仅是召回已有片段。
- 用轻量 RouterLM 做调度,冻结大模型做编译和回答:业务上可显著降低大模型调用成本;LoRA 微调小模型即可超过更大黑盒模型,适合需要在低延迟下做复杂证据构建的场景。
- SFT+GRPO 训练技巧可复用:从成功轨迹中选 SFT 专家,再用混合成败轨迹做 GRPO,配合 reward shaping(正确性 0.9 + token F1 0.08 + 结构 0.02)和 mixed-outcome filtering,比仅用正确性奖励提升明显,且样本效率更高。
- 规则化预处理 + compact source profile:将异构数据(表、文本、用户画像)统一为 records 并生成紧凑概要,避免把完整 source 塞进 prompt,能降低 token 成本并让路由模型更聚焦于证据需求。
Agentic AutoRAG:推理驱动 Agent 优化 RAG 流水线
🧭 Agent 驱动 RAG 超参优化 ★ 深度解读
ETH Zurich
用 LLM agent 诊断检索/生成失败并借助模型排行榜与价格先验做 RAG 超参 Pareto 优化,样本和成本效率显著提升
📌 工作参考价值(4 点)
- 失败归因驱动调参:搜索/推荐系统中召回和排序通常是两级漏斗,可以从线上 bad case 中区分“召回没召到”和“排序没排好”,把失败归因作为信号指导下一轮配置调整,比只看整体指标更能定位问题。
- 注入先验知识库跳过劣质配置:将模型能力排名和成本信息预先编码进搜索过程(类似模型的 leaderboard 和定价表),可以大幅减少无效试错,尤其适合成本敏感的在线服务,快速找到性价比高的配置。
- 构建可区分性评测集:用 probe-based selection 筛选出对不同配置敏感的评测样本,避免在大量无区分度样本上浪费评估预算;在推荐/搜索的离线评估中也可以借鉴,聚焦于能区分策略优劣的 query 或 item 集合。
- 输出 Pareto 前沿而非单点:多目标优化(准确率/成本)返回 Pareto 前沿,让业务根据预算和效果要求选择配置,而不是只给一个固定最优解。
嵌入空间强化学习检索训练
🧭 RL 后训练 dense retriever ★ 深度解读
Renmin University of China
RELER 将 embedding 视为动作,以 vMF 采样探索,用 RL 直接优化检索/下游奖励,结合 CMP 降方差,后训练提升检索与 RAG
📌 工作参考价值(5 点)
- 在电商/广告检索中,可只对 query encoder 做 RL 微调、冻结文档/商品向量库与 ANN 索引,直接把 nDCG@K、Recall@K、点击率或 GMV 等不可微业务指标作为 reward,无需重建索引即可适配新目标。
- 用 vMF 分布对归一化 query/document embedding 做采样探索,再配合 RLOO 策略梯度,可以把已有双塔模型从对比学习后训练成直接优化业务排序指标,线上推理保持确定性单向量检索,无额外成本。
- Product rollouts 将同一批 query 与 document embeddings 两两配对计算 reward,不增加 encoder 前向,却让每个采样获得更多反馈,适合候选集有限、前向成本敏感的场景。
- CMP 把采样嵌入投影到由策略均值和候选向量张成的低维子空间再算梯度,能在不改变期望梯度的前提下显著降噪;当候选集维度远小于 embedding 维度时尤其值得采用,例如电商候选池通常有限。
- 奖励设计上,分档 nDCG@10 + pairwise 准确率(λ=0.5)优于 binary nDCG/MRR;业务中可类比使用分档排序指标与 pairwise 反馈混合,但 pairwise 权重不宜过大。
UNREAL:用单一模型统一检索与长上下文证据选择
🧭 模型内证据选择统一检索与长上下文 ★ 深度解读
NVIDIA · Technion
冻结LLM内部表征统一语料检索与长上下文去噪,仅训练<500K参数即超SOTA检索器
📌 工作参考价值(4 点)
- 搜索/推荐 RAG 场景可尝试冻结主模型只训练 retrieval tokens 和 layer-mixing 权重,把 embedding/retriever 与生成模型统一,省去独立 embedding 大模型和 reranker,降低跨模型不一致与维护成本。
- 用 LLM 内部中间层 residual stream 做多向量 late-interaction 检索,配合 mean-pool 压缩,可平衡检索效果与索引大小;类似做法可用于商品描述、用户评论、广告素材的 candidate retrieval。
- 长上下文用户行为建模中,可以把长期行为序列或搜索日志分块后用内部 evidence selector 去噪,只喂 top-n chunks 给生成器,避免无关历史干扰并降低 prefill/KV cache 成本;从 32K tokens 起 FLOPs 和 TTFT 优于 full-context。
- 训练用多正例 InfoNCE + hard negatives 而非简单 in-batch negatives;query 侧加入 BM25 初始上下文和 soft prompt tokens,保留检索模式,适合冷启动或小样本微调。局限是当前主要基于 Wikipedia QA,跨域迁移需验证,多向量存储成本较高。
搜索引擎从不说“不”:冻结 Agent 面对检索工具拒答时的反应
🧭 搜索 Agent · 工具侧拒答机制 ★ 深度解读
工具侧返回 NULL 拒答信号,让顺从 Agent 弃答率提升 243%,并给出按 recall 定价的收益曲线
📌 工作参考价值(5 点)
- 在电商搜索/导购 Agent 的检索出口加“拒答门”,不改模型和检索栈:对 Qwen3-8B/32B、Haiku 这类顺从模型,一句 NULL_RESULT + 解释就能把不可答问题的弃答率从 24% 拉到 84%、幻觉率从 65% 降到 10%,且可答准确率不降。
- 拒答 wording 必须放进 observation,不是 system prompt;效果排序 directive > explanation > bare token,soft warning 几乎无效。线上无货/无匹配结果适合写成“没有可靠结果,可能索引没有该信息;请换 query 或回答 unknown”。
- 对闭源强模型(Sonnet/Opus 5.5)工具侧拒答失效,它们更吃 system-prompt 指令(+16 点 vs 工具侧 +2 点)。多模型混合部署时建议按模型家族分别配置拒答策略。
- 真实收益受 miss-detector 的 recall 上限约束:在固定 false-refusal budget 下,弃答收益几乎由触发器 recall 决定。可先用轻量 QPP/交叉编码器,再按 recall-收益曲线判断是否值得上 LLM judge;detector 不行时改 agent 也白搭。
- 用删除黄金段落/答案串构造 index-hole 测试集,比人工标注便宜且边界干净;适合复用到商品知识库 RAG 的不可答样本评估。
MemAdapter:反事实适配缓解记忆诱导谄媚
🧭 LLM Agent 记忆使用校准 · 后检索适配 ★ 深度解读
Jilin University · Xiamen University
提出后检索反事实适配框架,动态校准记忆使用边界,降低 LLM Agent 长期记忆诱导的谄媚偏差
📌 工作参考价值(4 点)
- 在电商导购/个性化推荐 Agent 中,可引入后检索记忆适配层:不修改画像库或召回逻辑,而是在检索到的用户画像/历史偏好进入 prompt 前,用 LLM 为每条记忆生成使用指令(可支持、影响哪些部分、不能 justify 哪些结论),避免画像记忆污染事实性排序或推荐结论。
- 借鉴反事实画像评估:对用户身份、历史偏好等记忆,构造不同决策任务和证据配置,自动沉淀“同一画像何时应个性化、何时不应影响结论”的条件规则,解决特征一刀切导致的过度个性化。
- 显式解耦事实与个性化:在生成推荐理由或导购文案时,采用内部 support trace 机制,要求每个 response span 标注来源(实时商品/证据 vs. 用户画像)和适用的记忆使用指令,生成后校验,降低记忆诱导的错误推荐。
- 工程上该适配位于 retrieval 之后、generation 之前,可跨 backbone 复用;用轻量 self-reflection 输出结构化使用边界即可,对生成式推荐/Agent 业务可低成本验证。
从知识访问到源学习:构建源特化能力
🧭 Agent 长期源能力学习 ★ 深度解读
Georgia Institute of Technology · University of Illinois at Urbana-Champaign · University of California, Los Angeles
提出SourceLearn,用自指导+任务指导学习持续构建可复用源模型,在13/15设置中超越RAG与记忆基线
📌 工作参考价值(4 点)
- 在电商/广告 Agent 中,类目规则、活动规则、API 文档、售后政策等是反复访问的持久权威 source。可以维护一个与实时 RAG 并列的 source model:source model 固化可复用的结构、条件、规则与关系,RAG 继续提供精确证据;任务时按预算激活相关 region,减少每次从零推理。
- 自指导源学习采用 Inspect–Study–Consolidate 的 read-many write-once 模式:先对照现有源模型找出未解释清的机制/条件,再规划有限 DEEPEN/CONNECT 动作,最后才提交一次持久更新。适合离线周期性沉淀业务知识库,避免频繁写坏记忆。
- 任务指导学习不要把失败答案或经验本身存入记忆;只用失败定位源模型缺失的 requirements,然后回到权威 source 做 grounded reconstruction。跨任务可抽象成 representation lesson,只存“应显式区分条件/不要合并/应同置”等表示偏好,再对 source 做 recalibration,能把经验迁移到未见区域。
- 源模型实体槽位可参考 attributes/mechanisms/distinctions/decisive_details,优先结构和条件而非低层事实;论文显示条件显式度从约 30% 升到 65–82%,未来任务覆盖从 23.2% 升到 40.0%,覆盖越高准确率越高。检索失败时,source model 也能单独维持与完整检索 RAG 相当的水平,适合兜底降级。
单语检索增强生成中推理语言对齐的作用研究
🧭 单语RAG推理语言对齐
Johannes Gutenberg University Mainz · University of Colorado Boulder
在德语RAG问答中,对齐推理语言与查询文档语言可提升表现,但无法超越无约束英语推理
📌 工作参考价值(4 点)
- 构建多语言RAG评测集时,可采用小众虚构领域(如特定游戏世界)迫使模型依赖检索而非内部知识,避免记忆污染,验证检索能力。
- 多语言业务(如跨境电商、多语种搜索)中,若需要LLM进行推理回答问题,不强制其推理语言与用户语言一致可能获得最佳性能;但若追求可解释性而强制推理语言,对齐查询/文档语言(如德语对齐德语)优于不对齐的强制语言(如法语),且性能接近无约束英语推理上限。
- 在agentic RAG循环中,使检索上下文更丰富和结构化(如保留文档结构信息)会增强推理语言对齐带来的收益,提示工程中可优先采用结构化文档表示。
- 可复用结论:模型的语言熟练度并非决定RAG性能的唯一因素,语言对齐本身有独立贡献,因此在实际系统中应根据业务需求在可解释性与性能之间权衡,不必盲目强制英语推理。
Mem++:面向组织 LLM Agent 的非破坏性长期记忆
🧭 LLM Agent 长期组织记忆 · 读时检索 ★ 深度解读
The University of Texas at Austin · AIDAChip Inc.
Mem++ 用整文档存储与读时时间过滤+多路检索融合,替代写时蒸馏,在组织记忆基准上大幅领先
📌 工作参考价值(4 点)
- 在电商/广告规则、商品属性、政策文档等需要追溯“某时间点有效版本”的场景,不要写时蒸馏成事实或图谱,保留原始文档并按日期/作者索引,读时按 as-of 时间过滤检索。这样能回答“当时规则是什么”“谁改的”“从哪个版本改成哪个版本”等问题,避免旧版本被覆盖后无法回答。
- 多路检索融合策略可直接复用:lexical(精确 ID/术语)+ semantic(嵌入相似)+ tag(作者/店铺/品类)加权 RRF 融合,并保留 top k-3 融合结果 + 3 个最新日期匹配记录(recency reserve)。在商品搜索、客服知识库、推荐理由生成中能兼顾精确匹配与语义泛化,同时保证时效性。
- 写时零 LLM 调用,只做 embedding 和索引,读时才做选择。对海量商品/文档更新场景,可大幅降低写入延迟和费用;消融显示实体图谱、事实抽取、consolidation 在多个基准上增益有限甚至为负,可优先采用更简单的纯检索方案。
- 多作者冲突版本不删除、由答案模型读时判断,适合多客服、多团队知识库,避免一个模型在写入时错误地覆盖或合并关键信息,保持溯源能力。
SEER:面向时序预测的自进化事件推理与检索
🧭 自进化 Agent · 事件检索增强时序预测 ★ 深度解读
Google Cloud AI Research · University of Virginia
用预测误差驱动检索记忆与因果知识库更新,显著提升事件驱动时序预测的准确性与可解释性
📌 工作参考价值(4 点)
- 在电商需求预测/广告转化预估中,把动态外部事件(价格调整、大促、供应链、热搜)作为可更新的文本上下文,而不是静态特征;用 retrieval memory 生成搜索 query 扩展候选,再用 selection memory 做噪声过滤,两个组件解耦,避免信息过载。
- 闭环反思机制可用于推荐/搜索的在线学习:将预测残差(销量/CTR 偏差)和推荐理由对比,更新「检索记忆」与「因果规则库」,离线回放、线上冻结,避免直接更新模型参数;尤其适合已有 LLM 推荐理由或文案生成场景。
- 严格时间边界与 fact-check 约束对推荐系统外部特征同样关键,确保只用截至请求时刻的商品新闻/库存/价格,防止特征穿越导致线上翻车。
- 蒸馏 IF-THEN 因果规则不仅提升可解释性,还能让 Agent 主动拒答/过滤高噪声样本(如选择性股票预报、选品),提升精度;电商中可迁移到「是否推荐、推什么品类」的不确定性决策。
面向多轮人机交互的轨迹级生成式引擎优化评估框架
🧭 生成式引擎优化 · 多轮轨迹评估
The University of Tokyo · UniConvo Inc. · University of Tsukuba · Hiroshima University · National Institute of Informatics
提出轨迹级多轮评估框架,揭示早期引用带来的会话捕获效应及其对单轮排序的颠覆
📌 工作参考价值(4 点)
- 电商/Agent 搜索助手评估不能只看单轮引用或点击:应构建多轮仿真器,将用户 query operator 与 history-conditioned retrieval 同时纳入。早期曝光的产品或品牌可能形成会话捕获,单轮排名会错估真实长期收益。
- 可借鉴轨迹增益分解:把多轮收益拆为 direct、machine-side feedback、human-side feedback 三项,定位是检索历史偏差还是用户追问/信任带来的增量;在推荐或 Agent 场景能指导 debias、reward shaping 与流量分配。
- 用 Pólya urn / 强化过程做低成本离线消融,替代昂贵用户研究;尤其适合没有全链路线上数据时验证生成式推荐策略的累积效应。
- 关注 compounding ratio 与 capture coefficient:若某商品/内容在对话早期被引用会显著提升后续被引概率,可主动利用该机制做新品冷启动,或反向做曝光公平性控制。
ScholarCatalyst:检索能启发新研究的论文的基准
🧭 科学文献检索基准与Agent评测
Stanford University · Seoul National University · University of Washington · Carnegie Mellon University · Allen Institute for AI
构建207篇论文的作者标注检索基准,揭示Agentic搜索未超越嵌入检索(R@20 0.42 vs 0.48)
📌 工作参考价值(4 点)
- 对搜索/推荐中的复杂长尾查询,不要盲目叠加 Agentic 循环:强嵌入检索 + 合理 rerank 可能已达上限;应优先优化底库 embedding、索引和 query 理解。
- 用“项目完成者回看哪些早期论文真推进了项目”的方式构建评估集,能捕捉比点击/相关性更接近“灵感价值”的主观相关性;电商推荐可借鉴让业务 owner 标注哪些商品/内容真正影响决策。
- 时间切分很重要:论文基准只允许检索项目开始前的文献,对应推荐/搜索中训练与评测需严格按 timestamp 切分,避免未来信息泄漏。
- 自动标注 pipeline 通过 author 标注+理由生成可规模化,可用于构建需要专家判断的检索/排序训练语料,帮助模型学习领域专家直觉。
生成式AI搜索打破信息茧房:多样化集体注意力并提升共享信息消费
🧭 生成式AI搜索与集体注意力多样化
University of Texas at Dallas, Richardson, TX 75080, USA · Boston University, Boston, MA 02215, USA · Faculty of Computing & Data Sciences, Boston University, Boston, MA 02215, USA · American University, Washington, DC 20016, USA · Hong Kong University of Science and Technology, Hong Kong SAR
随机田野实验显示,生成式AI搜索能扩大热门话题触达、增加读者间话题重叠,同时把消费推向冷门话题
📌 工作参考价值(4 点)
- 生成式AI搜索/推荐顶部放置带引用的AI摘要,会改变点击和流量分布:在处理组中,读者从传统结果点击转向引用文章和后续搜索,且引用文章推动冷门消费;电商/广告搜索可以借鉴这一机制,通过有选择地引用长尾商品或新品,调节头部集中度、扶持冷门供给。
- 评估AI搜索/推荐功能时不能只看单次点击或CTR:该实验发现,虽然单次搜索的文章消费下降,但更频繁的搜索抵消了这一下降,带来每人文章消费小幅增加、每分钟信息消费上升。业务上应结合搜索频率、总消费时长、曝光消费等指标综合评估,否则可能误判为负向。
- AI答案可直接满足信息需求,大部分共享信息增长不需要点击文章;在电商场景中,生成式摘要可能降低商品点击,但提升用户信息获取效率和整体互动,需要区分“展示消费”与“点击消费”来度量真实价值。
- 随机田野实验设计值得迁移:两组共用同一底层档案,实验组仅额外获得AI答案,可干净识别AI功能的因果效应;类似方法可用于评估推荐卡片、AI摘要、搜索改版对用户行为和平台生态的净影响。
跟随实体:面向 Agentic Search 的语料地图
🧭 Agent 搜索 · 实体导航层 ★ 深度解读
KAIST · Microsoft
以跨文档实体为锚点构建离线可复用导航层,提升多文档 Agent 搜索证据发现并降低 token 消耗
📌 工作参考价值(4 点)
- 把经常跨文档出现的业务实体(商品、活动、商家、项目)离线解析成 Entity Page,作为 agent 可读文件挂到原语料旁;查询时让 agent 从实体页跳到相关文档,而不是每次都重新 grep/搜索,能稳定节省 34%–57% token。
- 构建实体-文档二部图,而不是树形分类;同一文档可挂在多个实体下,避免 Corpus2Skill 这类层次聚类把相关证据拆散的问题,电商知识库中「活动/商品/商家」多对多关联尤其适合。
- 离线构建可用 GLinker/GLiNER 等无 LLM 方案替代,成本低且可跨 LLM 复用;新增文档时增量更新 registry 并只重渲染受影响 Entity Page,适合持续增长的电商文档/工单/商品库。
- Entity Page 将事实逐条归因到源文档,agent 读取页面后能沿链接打开源文档验证,减少幻觉;也可作为权限/隐私过滤边界,按权限生成分离 map。
重排序与晚期交互驱动检索质量:科学问答 RAG 策略受控对比
🧭 RAG 检索策略对比评测 ★ 深度解读
San Jose State University, Department of Computer Science
在46万篇arXiv语料上系统对比6种RAG检索管线,ColBERT晚期交互与改写加重排效果最好,融合与Agent检索反不及基线
📌 工作参考价值(4 点)
- 电商商品搜索/内容推荐的知识增强检索中,若当前向量召回是单向量池化,可优先评估 ColBERT/PLAID 这类 late-interaction 索引:同语料下 Hit@3 从 47–53% 翻倍到 93–95%,对最终生成质量有直接提升;代价是建索引与检索成本更高,适合高价值 query 或小规模候选集召回。
- LLM 查询改写不能单独上:改写可能让 query 漂移,尤其意图型 query 的 Hit@3 反下降(39.7% vs 46.3%)。实践中若上改写,必须接一个 reranker(listwise LLM rerank 或 cross-encoder),让改写+重排作为整体管线,否则不如直接 raw query 检索。
- 多查询融合 RRF 和 Agentic tool-call 在这些实验里没有带来增益,反而显著低于经典基线;业务引入 agent 自主决定是否检索时需要明确回答率与成本约束,不能因为“更智能”就默认更好。
- 评测设计可复用:固定 generator、prompt、文档池,用配对查询差异(paired delta + 95% CI)而非只看均值;LLM-as-a-judge 用不同模型家族以避免 self-preference;同时报告 answer rate 和 conditional score,避免拒答/零分扭曲结论,并报告 Hit@1/Hit@3/MRR@3 与生成质量的相关性。
ANTMAN:大信息空间多智能体导航的自适应需求追踪
🧭 多智能体协作 · 需求图驱动 ★ 深度解读
University of Illinois Urbana-Champaign
用可修订的未解决需求图替代静态分区,使多智能体协调随查询需求而非信息空间规模增长
📌 工作参考价值(4 点)
- 在电商搜索/推荐中,把用户 query 或会话意图建模为可修订需求图(如类目偏好、属性约束、缺失证据、候选商品集),用该图动态调度召回、排序、解释或 Agent 调用;避免按商品池/内容池大小固定切分 worker,使计算随需求复杂度而非目录规模增长。
- 借鉴 territory + WorkerCard + 两阶段路由:将商品库/内容库/代码库等 substrate 静态划分为 scope-specialized 的 territory,先用轻量检索(稀疏+精确+稠密+RRF)召回少量 WorkerCard,再由 orchestrator 决定是否派遣;比所有 agent 全量参与更省 token,且可跨业务 substrate 复用。
- 每个需求节点显式记录 evidence、attempts、progress,当某条寻证/检索路径 stalled 时,优先做局部 reframe/reroute/fallback,而不是重新规划整个查询;在电商 Agent 场景可减少长流程失败后的整体重试代价。
- 需求驱动的局部搜索规避了超长商品列表/长上下文 prompt 里 lost in the middle 问题;在 push/推荐理由生成或大候选集重排时,可采用类似按需分段检索策略。成本敏感场景还可用小模型做 worker 执行(ANTMAN-H 用 8B worker 保留超过 89% 性能),保留 orchestrator 用大模型。
陈旧文档毒化:过期检索覆盖模型正确答案
🧭 RAG 时间适用性 · 陈旧文档毒化 ★ 深度解读
University of Southern Denmark
发现RAG中过时文档可使模型在原本正确时被翻转,并定位为选择性信任失败
📌 工作参考价值(4 点)
- 在电商/客服 Agent 的 RAG 知识库中,为文档增加生效/失效日期或 supersession 关系,检索后先判断文档是否仍在适用期,而不只是发布时间或相关性。可作为索引字段或后置过滤。
- 提示词里避免全局“遵循检索文档”指令,改为要求模型结合文档的适用期限判断;必要时显式给出“该推荐自 X 日期起失效”,能显著提升大模型对过期内容的抵制。
- 检索侧可加 recency-aware hybrid re-ranker,但必须确保时间元数据可靠;日期缺失或错误时收益消失甚至反转,因此需要元数据治理。
- 评测 RAG 时增加“反向毒化”指标:只统计未检索时答对、检索后答错的样本,观察过期文档是否推翻已有正确知识;同时测试匹配的当前文档是否被遵循,以区分全面失败与选择性信任失败。
评估 KV 缓存重用技术的准确性
🧭 LLM 推理评测与 KV cache 复用
Huawei Technologies Ltd. · Department of Computer Science, ETH Zurich
指出当前 KV 缓存重用评测方法高估效果,提出无歧义精度损失评测法并推出 Boxoffice 生成挑战性数据集
📌 工作参考价值(4 点)
- 若业务中用 RAG 为推荐/广告/搜索文案提供上下文,评估 KV cache 复用方案时必须把「复用带来的精度损失」与「检索质量/模型生成质量」分开测,否则会高估技术收益,建议设置隔离变量实验。
- 位置无关 KV cache 复用比 prefix caching 更灵活,但跨 chunk attention 缺失是主要精度损失来源;落地前应重点验证恢复跨 chunk attention 的 token 数量与位置对下游任务(如用户意图识别、商品描述生成)的实际影响。
- 借鉴 Boxoffice 的程序化生成评测集思路:构造具有不同 chunk 重复频率、乱序、跨 chunk 依赖的查询,模拟真实 RAG 中重叠/交错上下文,提前暴露复用策略在长尾模式下的退化。
- 若在 Agent 多步检索生成中启用 KV cache 复用降低 prefill 延迟,需要同时监控端到端业务指标(如点击率、转化率),因为微小的 token 级精度损失可能在业务链路上被放大。
返回还是修订?学习何时修订能改善检索增强问答
🧭 RAG 答案修订决策
DCS Corp · Air Force Research Laboratory
提出 recoverability 配对效果并训练 scorer,决定 RAG 中是否修订草稿答案,在 9 组设置中优于草稿置信度 scorer
📌 工作参考价值(4 点)
- 在 Agent/RAG 工作流中,不要默认「检索后一定修订」。可离线构造配对数据:用同一 judge 给草稿和修订后的答案打分,训练 recoverability scorer 来决定是否执行修订,避免过度修订带来的时延和成本。
- 评价修订策略时,除了 accuracy,使用 accuracy–revision-rate 曲线和 oracle gap 指标;这能区分「修订有价值」和「修订只是增加调用次数」。
- 如果系统已经有标准 RAG 答案,优先把决策建模成「草稿 vs RAG 答案」的二选一,而不是为复杂的三选一引入候选修订;实验表明增加第三个选项无显著收益,工程实现更简单。
- 对电商客服问答、商品问答等场景,可用业务评判器标注「修订后是否解决、是否引入错误」,训练一个轻量 scorer 控制检索修订的触发,减少不必要的检索和生成开销。
非对称动态路由:平衡超图RAG中的推理深度与计算效率
🧭 查询自适应超图RAG路由
School of Software Engineering, Xi’an Jiaotong University · State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University · EHV Power Transmission Company of China Southern Power Grid Co., Ltd
提出意图条件路由框架ADR,用轻量分类器动态调度三种非对称拓扑遍历算子,减少48.7% token和45.3%延迟
📌 工作参考价值(4 点)
- 在电商知识问答/导购Agent中,对用户query做轻量意图分类:事实型查询(如“某商品材质”)走局部事实锚定,减少全图遍历;对比/推荐理由类查询走自底向上邻接扩散,获取关联实体;策略/选品建议类查询走自顶向下洞察接地,引入高层抽象知识。
- 可复用“非对称遍历算子”设计:不同意图对应不同图计算代价,避免静态RAG对所有查询执行同等深度检索,显著降低prompt token和端到端延迟,适合高并发在线推荐场景。
- 若已有商品知识图谱或用户-商品异构图,可参考ADR的层次路由思路:在召回/排序前置一个轻量分类器,动态决定图扩散深度与方向,平衡效果与算力,尤其利于边缘部署或成本敏感业务。
- 结果表明动态路由能在保持推理质量前提下节省近50% token,对依赖LLM做导购解释、推荐理由生成的业务,可降低API成本并提升响应速度。
基于领域适配检索增强生成的金融合规自动化问答
🧭 RAG 领域适配与忠实性评估
University of Bonn · Lamarr-Institute for Machine Learning and Artificial Intelligence · Universitat Rovira i Virgili · Fraunhofer IAIS
用三阶段领域适配检索器与 RAFT-LoRA 微调紧凑模型,显著提升合规问答召回但暴露 grounding 评估缺口
📌 工作参考价值(4 点)
- 检索器领域适配可采用三阶段训练:entailment tuning 将 question-passage 匹配重构为 premise-hypothesis 重建,再用 in-batch negatives 做对比学习,最后与 BM25 做 score-level fusion,能大幅提升 Recall@10。
- 生成侧用 4-bit 量化的 2B-12B 小模型 + RAFT-LoRA 微调可提升答案质量,且对小模型收益更大;适合对延迟和成本敏感的场景,但需注意 RAFT 需要检索上下文。
- 评估 RAG 生成质量时,RePASs 这类综合分不能证明忠实性:闭卷模型得分与全 pipeline 仅差 0.011,却不引用且误报义务。业务中必须单独设计 grounding/citation 评估,不能只看端到端分数。
- 领域适配后的模型跨域迁移差(文中从 ADGM 规则到澳大利亚判例法失败),若业务要覆盖多法规/多语料,需分别适配或多任务训练。
信任与否:语音检索增强事实核查
🧭 语音事实核查 · RAG+CoT
IISER Bhopal · King's College London · MBZUAI
提出语音事实核查基准 VeriSpeak,揭示文本-语音模态差距,并验证检索+显式推理准确率达86.1%
📌 工作参考价值(4 点)
- 直播/短视频事实审核:在电商直播、短视频带货中,虚假宣传检测可用「语音输入 + 文本检索证据 + 显式推理」管道;仅拼接检索片段容易被模型混淆,应加 CoT 要求先区分“声明”和“证据”再判断。
- 模态差距评估:如果现有文本事实核查/内容安全模型被用于语音转写后的文本,要意识到可能存在系统性能下降;上线前需在真实语音或 TTS 基准上评估,或直接用 LALM 处理音频。
- RAG 防混淆设计:召回证据后,可在 prompt 中用角色/字段显式隔离 claim 与 evidence,并要求模型输出“一致/矛盾/无关”的结构化判断,这比直接给混合上下文更稳。
- 业务基准构建:可参考 VeriSpeak 的 probe 设计,构建电商领域 spoken claims 小样本(如功效、产地、价格承诺),快速对比不同 RAG+推理组合。
查询联盟:学习检索动作
🧭 RAG 检索动作控制 · LoRA 轨迹微调
University of Passau
用 teacher search traces 将 RAG 检索决策建模为 7 路动作预测,LoRA 微调小模型作为控制器,动作 F1 0.6536、端到端 EM 0.7946
📌 工作参考价值(4 点)
- 把 RAG/Agent 中隐式检索决策显式化为结构化动作空间(decompose/search/reformulate/extract/verify/stop),用 teacher trace 构造分类数据,LoRA 蒸馏到 3B 小模型;电商客服、搜索 Agent 需要低延迟可控检索时,可用 action head 替代自由生成,提高稳定性和可观测性。
- LoRA 监督微调小模型从 trajectory state 预测 next action,比 zero-shot prompting 高约 3.7 倍,可作为轻量路由器放在检索前,减少大模型调用;线上先判定动作类型再分发给对应工具,类似 query 改写/意图路由。
- TF-IDF + logistic regression 基线达到 0.5399,说明动作控制任务中词法特征很强;业务数据量小或冷启动阶段,先上线性模型做 sanity check,再逐步上 SLM。
- 单一小模型同时承担 controller 和 generator,端到端效果提升且减少服务编排复杂度;对资源受限、链路长的实时搜索/推荐 Agent,可考虑合并角色降低链式延迟。
计算而非几何:意义同一性是计算产生的,不是嵌入自带
🧭 RAG 语义向量假设的实证挑战
Independent Researcher
系统实证显示同义改写判断依赖句子在同一前向中的联合计算,冻结双塔向量几乎无法读出该关系
📌 工作参考价值(4 点)
- 同义 query 归一化、商品标题同款识别、广告文案去重等任务中,不要依赖双塔向量 cosine 相似度(AUC 仅 0.55-0.65)。直接用 cross-encoder / 联合前向读头,或现成 BGE-reranker-large(AUC 0.94),1.5B 联合 probe 即可达 0.90+,成本可控。
- 搭建召回/检索时,dense 双塔召回对 paraphrase 类语义不够敏感,建议增加 hybrid retrieval,并用联合注意力的 reranker 做第二跳,而不是期望单塔召回解决含义等价问题。
- 若为线上性能必须保留双塔结构,可从联合教师模型(如 BGE-reranker)蒸馏分数到小型联合读头或非线性 pair 模块;但注意 bi-encoder 直接 fine-tune 到 paraphrase benchmark 会显著损失 STS-B/QQP 迁移(Spearman 下降约 0.25),需任务隔离或加通用损失。
- 对 query 改写、push 文案、广告创意等生成后需要判断"是否同一意图/同义"的场景,优先用 LLM/联合编码核对,而不是保存的句子向量比较。
评估土耳其语领域文档中开放权重 LLM 的检索与硬件约束表现
🧭 RAG 评估与本地硬件约束
Edge Hill University, United Kingdom · Ermetal Otomotiv ve Eşya San. Tic. A.Ş., Türkiye
提出证据标注评估协议,分离检索失败与推理失败,发现 4-bit 量化下字符 TF-IDF 检索基线足够强
📌 工作参考价值(4 点)
- 证据标注评估协议可复用:为每个问题标注证据位置,不增加额外模型调用即可把错误拆成「检索没召回」和「模型读到了但答错」。电商/推荐场景做 RAG 或知识库问答评估时,直接照搬这套标注方式,能快速定位是召回侧还是 LLM 生成侧的问题。
- 不要盲目追复杂检索器:7 种 lexical、dense、hybrid 检索配置在统计检验下都没显著超过字符 TF-IDF 基线。业务上如果文档量不大、语言形态丰富(如土耳其语、商品标题/详情),可以先上字符 TF-IDF,再逐步验证 dense/hybrid 的真实增益。
- 4-bit 量化 + 6GB VRAM 本地部署可行:7B-8B 模型在 RTX 3050 上可跑文档问答,端到端准确率 49%-75%。对需要数据隐私或低成本推理的电商客服/选品分析场景,有参考价值;但要注意模型间差异和证据召回饱和现象。
- 统计检验优于看平均分:用 95% Wilson 区间和配对 McNemar 检验比较检索配置,能避免少量样本上的假增益。做策略 AB 测试或检索方案对比时,建议引入同类显著性检验。
双超图索引:桥接知识孤岛以支持 RAG 多跳推理
🧭 RAG 索引 · 超图聚合
School of Software Engineering, Xi'an Jiaotong University · State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, and Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University · EHV Power Transmission Company of China Southern Power Grid Co., Ltd
提出 Dual-Hypergraph Indexing,以双层超图与双路径聚合提升多跳 RAG 的逻辑连贯性与推理能力
📌 工作参考价值(4 点)
- 在商品/内容知识库 RAG 中,可显式分离实体-关系事实层(商品属性、品牌、活动事实)与深层洞察层(增长归因、趋势结论),避免单条事实孤岛导致多跳推理断裂。
- 用 5 维拓扑指标 + adaptive thresholding 做 hub 聚合,可迁移到用户-商品异构图或类目树,自动发现核心类目/品牌/场景簇,提升召回与解释性。
- 对于时效敏感场景(大促、热销榜、活动节奏),采用滑动窗口 + greedy exploration 聚合时间链,让索引保留时序演变,防止旧事实污染新推理。
- 评估多跳 RAG 时,除了单条证据命中,应增加逻辑连贯性、因果链完整性等指标,可设计跨 session/行为链的业务 QA 集。
TEMPS:面向时间信息检索的时间句嵌入模型
🧭 时间感知检索 · 模块化时间分支
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris · Aldebaran Care
在冻结语义检索器上附加时间分支,用时间表达式 grounding 提供监督,提升时间敏感检索
📌 工作参考价值(4 点)
- 可直接复用到电商搜索:商品标题、query 中常含“2023 新款”“夏季促销”“去年款”等时间表达,冻结现有语义双塔模型,增加轻量 temporal branch,解析时间区间并计算 Gaussian-KL 包含度作为时间相似度分数,在召回/排序阶段与语义分数加权融合,无需重新训练主模型。
- 训练 supervision 来自时间表达 grounding,不需要人工标注时间相关性数据,适合业务中大量无标注文本;可在现有商品库/搜索日志上自动构造时间锚点对。
- 时间分数设计为分布包含度量(KL inclusion),适合处理模糊时间词如“近三年”“最近夏天”,比精确日期匹配更鲁棒;可直接用于 RAG 知识库的时效性过滤,避免过期内容被检索。
- 工程实现上 temporal branch 参数少、冻结 backbone,线上推理开销小,可作为排序阶段的一个独立特征接入现有点击/转化模型。
小模型搜索智能体的可验证奖励强化学习
🧭 RLVR小模型搜索Agent训练 ★ 深度解读
Leiden Institute of Advanced Computer Science, Leiden University
在0.8B模型上证明RLVR可训练搜索Agent,且稀疏EM奖励最差,token-F1部分信用奖励带来3.8倍提升
📌 工作参考价值(4 点)
- 在资源有限、用小模型做 agentic search/RAG 时,奖励函数不要直接用 exact match 稀疏奖励。改用 token-F1 部分信用奖励(可加格式地板),避免 GRPO 组内优势因零方差而失效。
- 训练与评估共享同一套 prompt 模板、工具接口和解析器,确保格式分布一致;检索到的 token 必须 mask,防止模型学预测语料。
- 使用模型家族原生工具调用格式(如 Qwen 的 nested-XML)而非自定义标签,能降低冷启动难度;用量化检索索引(IVF+SQ8)替代 flat index,内存从 65GB 降到 16GB 且 recall 基本不降,利于训练时多轮 rollout。
- 若在电商搜索/推荐场景训练 Agent 做多跳查询或商品属性推理,可借鉴隐式长度惩罚:生成上限本身会形成对过长 rollout 的惩罚,但训练 reward 与真实业务指标要区分,格式奖励可能让训练曲线虚高。
复制天花板:本体生成中的输入暴露控制
🧭 RAG 评估 · 输入暴露控制
DreamLab AI
提出曝光记账与复制天花板基线,证明RAG/本体生成增益主要来自上下文复制而非推理,且超出暴露恢复稀少且常为假阳性
📌 工作参考价值(4 点)
- 在构建 RAG / 知识库问答 / 本体驱动对话的评测集时,添加“是否已暴露在输入上下文”字段:统计模型输出中与上下文重叠的 gold item,避免把复制能力当作推理能力。可计算 copy ceiling(直接复制检索块中目标答案的 recall)作为 judge-free 基线,任何 grounding 提升都要报告 signed gain over copy。
- 对生成式推荐/文案生成评估,尤其基于 Semantic ID 或知识图谱的生成,若评测指标依赖目标 ID 或关键词是否出现在输出中,务必检查这些 ID/词是否已在检索上下文或 prompt 中出现;否则会严重高估模型。可通过 rephrasing 系统性问题、避开高频标题词来测试真实泛化。
- 对少量“超出暴露的恢复”保持警惕:自动评分器给出的少量 unexposed credits 很可能为假阳性,需用 stratified audit + 引用验证(quote-gate)复核。电商场景中,模型“举一反三”的推荐解释可借鉴此方法:对声称的推理链路要求引用出处,否则视为无效。
- 阴性对照设计:在 A/B 评估生成质量时,除了对比“无上下文”和“有 scaffold”,还要加入一个“格式良好但与任务无关的语料块”作为对照,否则无法证明特定 scaffold 的内容贡献。这个思路可用于评估推荐理由生成或商品卖点提炼的模型。
知识拉取请求:持续文档编写的可解释更新框架
🧭 RAG 文档维护 · 可解释知识更新
Johns Hopkins University
提出 KPR 框架,将文档更新拆为 Claim Proposal 与 Document Diff,使每次知识变更可审计,并显著提升信息整合与内容保留
📌 工作参考价值(4 点)
- 可以把知识更新与文本改写解耦:类似电商商品详情页、帮助中心、政策文档的持续维护,先产出 Claim Proposal(新增/冲突事实),再产出 Document Diff,让运营/审核先确认“改了什么知识”,再确认“改了什么文字”,降低审核成本。
- Claim 抽取 + 路由到 section 的机制可复用到多来源商品信息整合:例如从不同供应商、不同语言描述中抽取结构化卖点,自动匹配到详情页对应模块,并标记冲突价格、规格、功效等。
- 对 RAG 知识库动态更新有直接参考价值:与其定期全量重建索引,不如维护一套主文档,用 KPR 方式增量合并新来源/新语言信息,同时保留 ChangeLog,便于溯源和回滚。
- 评估中“per token generated 的信息增量”值得借鉴:在生成式推荐/文案场景中,不仅看最终文本质量,还可以追踪每次修改的知识增量,避免大模型冗长改写却未新增有效信息。
文档检索感知分块 D-RAC:通过 PDF 归一化与多模态 Markdown 转换实现通用企业文档摄入
🧭 企业文档 RAG 摄入与分块
AI Research Team, Yellow.ai
D-RAC 将任意文档先归一为 PDF,再用多模态 LLM 转检索优化 Markdown 后按 ID 规划分块,显著降本
📌 工作参考价值(4 点)
- 对电商/广告团队构建产品文档、招商政策、客服知识库等 RAG 时,可先统一归一化为 PDF,再用单个多模态 LLM 转 Markdown,避免为 DOCX/PPTX/XLSX/扫描件分别开发解析器。
- 将表格改写为自包含 prose、保留标题层级,能显著提升商品规格表、价格政策等表格密集文档的 chunk 检索召回。
- 分块规划只在 ID 层级做、不重写文本,既降低 token 成本又避免幻觉,适合离线大批量摄入文档并保持可复现、可审计。
- 报告中 token 减少 95.7%、分块成本降低 77.8%~85.6%、时间降低 75%、线性扩展到 500+ 页,可直接作为内部 RAG 摄入预算与架构选择的参考。
AutoRecLab:描述实验,自动生成推荐系统实验代码
🧭 Agent 自主科研与代码生成
University of Siegen · University of Göttingen
用自然语言提示自动实现推荐系统实验代码,结合RAG、静态类型验证与执行引导树搜索
📌 工作参考价值(4 点)
- 把实验代码生成拆成“需求抽取→原型→验证→迭代扩展”的流水线,可借鉴到内部实验平台:用 LLM 自动将实验配置转成可执行 Python/Java 代码,减少手工编写 baseline 和评估脚本。
- RAG 检索内部 RecSys 框架、数据 API 和实验平台文档,能显著减少 LLM 对私有接口的幻觉;结合静态类型检查(mypy/pyright)和执行反馈(跑测试、捕获报错)作为生成质量门禁,比单纯生成代码更可靠。
- 执行引导的树搜索可复用:对候选代码路径展开、执行、根据结果剪枝,适合离线批量生成多个算法/多数据集实验;文中单次成功运行约 1 美元,说明小规模试跑成本可接受。
- 该演示主要覆盖学术场景的显式→隐式反馈转换实验,业务落地还需补充线上数据 schema、评测指标、版本管理等约束,但可先作为内部实验脚手架或新人 onboarding 工具。
多跳检索可预测失效:分数分布置信度评分与弃权
🧭 RAG 多跳检索 · 置信度评分与弃权 ★ 深度解读
提出基于检索分数分布特征的轻量级置信度评分RCS,实现多跳RAG的校准弃权,降低高置信错误率
📌 工作参考价值(4 点)
- 利用检索分数分布特征(top-k最大分数、margin、lift、top3均值、熵)构建零额外LLM推理的置信度评分RCS,可在电商搜索/推荐召回后实时判断结果可信度(<1ms),对低置信query触发精排兜底或人工介入,避免高置信错误。
- 定义CWAR并采用弃权策略:在覆盖率-准确率曲线上根据业务目标选择阈值,可在规定错误率下最大化自动回答覆盖率,适合电商导购Agent中控制高成本错误。
- 特征互补性结论:不同领域的数据集中主导置信度特征不同(如query长度 vs hop-1分数集中度),提示我们不要依赖单一检索分数阈值,应使用多特征逻辑回归融合,增强跨场景稳健性。
- 跨域迁移性:该置信度模型跨数据集迁移仅损失0.5pp AUC,说明这些结构性特征领域无关,电商多品类场景可通过少量标注数据训练得到通用置信度模型,降低标注成本。
可解释记忆决策控制器:解耦置信度与一致性的三信号互补机制
🧭 Agent 记忆信任决策 · RAG 防幻觉 ★ 深度解读
Tianjin University of Technology
在检索与生成间插入零参数三信号互补编码器,解耦置信度与一致性,将冲突记忆下 RAG 幻觉率降低约 56%,高风险近零
📌 工作参考价值(4 点)
- 在搜索/客服/商品推荐理由生成等 RAG 链路中,检索到的商品属性、用户评价、政策条款常互相冲突。可以借鉴 MDL,在检索后、LLM 生成前插一个零参数决策层,用 relevance(query-记忆相似度)、reliability(记忆间一致性/冲突率)和 task risk(类目风险等级)计算 adopt/abstain,避免把冲突证据注入 prompt。
- 具体工程 trick:将置信度 norm C 和方向一致性 cosine α 解耦,用 C_final = C·(0.3+0.7α) 做 gating;高风险类目(医疗/金融等)可用 sinv_A=1-A 反向编码,强制触发拒绝回答或改用参数知识,实现近零高风险幻觉。
- 该控制器零参数、纯几何运算,单次决策约 0.14ms,比 embedding 检索快约 50 倍,可作为高并发推荐/对话系统的轻量中间件,无需训练和 GPU 成本,且输出可审计的 C/α 标量。
- 注意边界:高风险且高相关(A≥0.70, M≥0.70)时,高相关性会抵消风险抑制,效果下降;需要额外做片段级过滤或对 memory store 本身做清洗,不能只靠决策层。
FootprintRAG:科学文献探索中RAG证据上下文精炼的可视化分析系统
🧭 RAG 证据上下文可视化精炼
Computer Network Information Center, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Hangzhou Institute for Advanced Study, UCAS · University of Technology Sydney · Western Sydney University
将RAG证据上下文显式化为可检查、可修订对象,通过LLM-agent与可视化视图支持多轮检索、证据精炼与溯源摘要生成
📌 工作参考价值(4 点)
- 在商品知识库问答或客服 RAG 场景,把检索到的证据片段(商品属性、用户评论、政策条款)显式呈现为可勾选/排除的候选列表,生成前允许业务人员修正证据上下文,减少隐式过滤导致的错误答案。
- 引入多轮检索轨迹可视化:记录每轮 query 变体、召回、重排和采纳/丢弃状态,便于调试 RAG pipeline,定位漏召回或误排序原因,类似检索评估矩阵。
- 用 LLM-agent 自动化证据评估与补充候选生成:对每条证据打分并基于语料级证据空间推荐 ERS 排名补充候选,可迁移到广告文案生成中的素材/卖点证据挖掘与推荐。
- 摘要生成支持 provenance-aware,每条结论可追溯到来源证据单元,适用于电商导购内容合成或商品推荐理由解释,增强可信度与合规性。
RAFT:面向故障排查 Agent 的有状态检索增强框架
🧭 有状态 RAG 检索层用于故障排查 Agent
Microsoft
将历史案例建模为有向时间线条目链,在条目级检索匹配中间状态,显著提升案例命中率
📌 工作参考价值(5 点)
- 将长流程业务数据(如售后工单、客服会话、广告异常处理)建模为有向时间链条目,用条目级 embedding 检索,能匹配中间状态而非仅整篇相似度,提升问题定位精度。
- 检索时返回锚定在匹配状态的父案例轨迹,而不是完整长文档,可减少无关上下文噪声,降低后续 LLM 推理成本与干扰。
- 利用可配置相似性表示构建案例级图,可连接相似案例用于图检索或辅助导航,适合构建案例库的推荐和聚类功能。
- 只评估检索层(Case Hit)而非整个 Agent 系统,无需生产部署即可快速迭代检索策略;在业务中可先离线验证检索质量,再集成到在线 Agent。
- 合成数据结合真实标签数据(如 Jira duplicate labels)验证迁移性,对有标签的真实业务数据可低成本验证方法有效性。
规范文档问答的版本与适用范围感知系统及生产规模评估
🧭 规范RAG · 版本与范围治理
Beijing Caizhi Technology Co., Ltd. · dknownAI
将显式版本与适用范围规则置于生成前,使规范文档问答得分从88.1提升至97.7
📌 工作参考价值(4 点)
- 对业务知识库问答(平台规则、政策、广告合规)不能只用向量检索 + LLM 生成:必须显式解析文档的生效版本、适用主体/地区/日期,过滤不适用文档后再生成。可直接建模为元数据规则层置于检索与生成之间。
- 生产级评估避免“拿测试集调参”:分层抽样 200 题、每题绑定 gold 源文档、采样规则不读系统输出,能客观对比不同 RAG 架构;建议业务方也公开部分标注与脚本。
- 若托管检索服务作为 baseline 得分 88.1,治理系统提升 9.6 点,说明规则性 scope/version 错误是主要损失,值得优先投入。
- 商业化部署已经验证多租户稳定性(1,126 用户、约 10 万 calls/workday),架构上治理规则应可配置、可追踪,而非写死在 prompt 里。
文档应该存在哪里:上下文、表示还是参数?
🧭 知识注入位置对比 · KV vs LoRA ★ 深度解读
Amazon AGI
系统对比知识注入三种位置,Cartridges(KV)在多文档检索中唯一匹配 ICL,但高压缩下有遗忘
📌 工作参考价值(4 点)
- 电商/搜索的高频文档(商品详情、活动规则、广告素材)可以预计算成 KV-cache adapter(Cartridge)在线复用,避免每次查询重复 prefill 原文;20× 压缩下加载 10 个 adapter 约 30–50ms,10× token 减少约带来 100× prefill FLOPs 下降,适合低延迟在线服务。
- 多文档组合场景下,不要用「每个文档训一个 LoRA 再合并」替代检索,尤其信息密集任务;论文显示一个 distractor 就能让合并效果崩溃(FinQA k=3 时 34.5→4.9)。若必须用参数化方式,joint training 优于 adapter merging,但仍不如可拼接的 KV-cache。
- 训练知识注入 adapter 时,用蒸馏目标(teacher = 原文 in context,student = adapter)比普通 next-token CE 平均高 4 个点,在数值推理/金融类任务上收益更大;可直接迁移到商品属性提取、活动规则问答等场景。
- 上线前要评估通用能力退化:LoRA 低秩约束更稳,full FT 和大 MLP adapter 遗忘严重;如果使用 Cartridge,可考虑用 Compaction 初始化 KV cache 来缓解 HumanEval 类代码能力下降(论文中下降了 16 点)。
CiteGuard-RAG:以验证为中心的证据支撑问答系统
🧭 验证中心RAG架构
Department of Computer Science, Western Michigan University
集成混合检索、引用约束生成、句级grounding验证与单次重生成,在最终交付前决定接受、拒绝或重生成答案
📌 工作参考价值(4 点)
- 在电商客服/商品问答中,可将验证作为独立运行时组件放在检索和最终回答之间,对生成答案做句级引用校验,避免给出无依据的售后政策或参数。
- 混合语义-词汇检索(受控数据集检索准确率99.1%)值得借鉴:商品知识库/店铺政策QA可结合BM25和向量检索,提升证据命中率。
- 单次重生成机制:验证失败时先尝试基于检索证据重新生成,若仍不合格则拒绝回答;适合价格、退换货规则等高合规风险场景,防止误导用户。
- 引用约束生成要求逐句标注来源,便于线上审核和用户信任;可用于广告文案合规检查,确保每句声称都有依据。
CiteShade:多源检索增强生成中的引用洗钱攻击及其反事实防御
🧭 RAG 引用安全与防御
City University of Hong Kong
提出首个 RAG 引用洗钱攻击,展示如何让模型把错误答案归因于可信源,并给出反事实防御。
📌 工作参考价值(4 点)
- 在构建基于 RAG 的搜索/问答/推荐解释系统时,不能默认引用真实可靠:攻击者可通过单一恶意源污染多源上下文,需引入引用链路验证机制,单纯检查答案困惑度或引用支持度不够(本文已证明可被绕过)。
- 借鉴反事实防御思路:在线生成后执行“源删除”或干预测试,观察答案是否改变,以检测哪个来源真正驱动了答案,可作为校验模块部署在生成链路末端。
- 漏洞与模型的引用倾向相关而非模型规模,选型时应实测模型在引用指令下的“易受骗程度”,优先选择引用倾向低或约束引用格式的模型,而不是只看参数规模。
- 在多源外部数据接入(商品描述、用户评论、广告文案)时,建议对来源可信度分级,并对引用来源做隔离或加权,防止低可信来源劫持高可信来源的引用。
量级幻象:重新思考推理密集型检索中的置信度
🧭 RAG 检索置信度与拒答优化
UNSW Sydney · University of Innsbruck
发现相似度分数大小在逻辑/时间推理查询中失效,提出零成本的分数分布信号可显著提升检索拒答 AUROC
📌 工作参考价值(4 点)
- 在电商/客服/广告的 RAG 场景中,不要用原始相似度分数阈值做检索拒答;直接计算 top-1 与 top-k 的 Score Gap(s1 - sk)或 LSMV(局部分数均值与方差),零成本替换 magnitude thresholding。
- 对于需要逻辑/时间约束的查询(如“价格低于500且评分4.5以上的红色连衣裙”),语义相似度分数会误导置信度判断,必须引入分数分布信号,否则拒答策略接近随机。
- 工程实现上,只需在召回后保留 top-k 的分数向量,在线计算 gap / variance,无需额外推理或模型加载;可先离线在 reasoning-intensive 查询集上验证 AUROC,再决定是否上线。
- 评估检索器或 RAG 流水线时,除了 recall/NDCG,建议加入基于分布信号的 abstention AUROC,尤其在逻辑、时间推理类查询上,能暴露 magnitude 指标的盲区。
Top-K 不是混合检索的预算
🧭 RAG 混合检索预算优化
Southwest Jiaotong University
DiBud 以访问预算为输入,增量认证 RRF 排名精确前缀,用更少访问量保留混合检索质量
📌 工作参考价值(4 点)
- 将访问预算作为第一输入替代固定 Top-K 截断:在电商搜索/推荐混合召回中,向量与倒排融合常固定取前 L 条,但长尾查询成本波动大。可借鉴 DiBud,对每次请求设定硬访问预算(如最多读取多少候选),通过选择性访问动态决定每个通道的读取深度,保持延迟稳定。
- 增量认证与预算停止:DiBud 不会一次性计算完整融合,而是逐步输出已确定顺序的 RRF 前缀,预算耗尽即停止。推荐系统可据此实现流式/增量融合,优先保证已认证 top 项的正确性,并设置强制停止点,降低线上最坏延迟。
- 质量保留校准:用 held-out 查询校准预算参数,在满足 95% nDCG 保留的前提下大幅减少访问。可以按不同流量桶/查询类型离线校准预算,线上按查询特征动态选择预算,替代全局统一 Top-K,实现成本与质量的最优折中。
- 长尾成本意识:论文显示完成精确 Top-20 的访问分布长尾,少量高成本查询拖累系统。应监控访问成本分布,对异常高成本查询设置兜底预算。
应用手册任务:揭示语言模型长程程序推理的缺陷
🧭 长程程序推理评测
Manulife
构建 TAM 基准,用两类真实手册任务评估 GPT-5,发现精确匹配仅 1% 和 15.5%
📌 工作参考价值(4 点)
- 业务中高度规则化、需要跨文档查询的任务(广告政策、促销/优惠券规则、售后条款)不要直接交给 GPT-5 端到端生成最终判定;应拆成可校验的子步骤,每步做精确匹配或规则引擎兜底,LLM 只做信息抽取/语义匹配。
- RAG 和 ReAct 在长程手册任务上没解决根本问题,说明长文档检索准确率是瓶颈;可先做语义切分、section-level 索引、规则预先结构化(如将条款转成可执行 DSL/知识图谱),把“翻手册”转化为确定性查表。
- 建立内部评测时,用逐条人工验证的 exact-match 指标,不要只看模型输出“像不像”;TAM 的构建方法可复制到自己的业务手册/政策库上,先测 GPT-5 类模型的基线。
- Agent harness 可能因循环步骤长而累积错误,建议设置中间状态校验点、限制 ReAct 步数,并把高置信度规则提前缓存到上下文。
你的检索器已经知道:面向RAG检索充分性的分布形状QPP
🧭 RAG检索充分性预测 · 分布形状QPP ★ 深度解读
Department of Mathematics, FNSPE CTU in Prague · Institute of Information Theory and Automation, Czech Academy of Sciences
24个分布形状特征2ms预测RAG检索充分性,AUROC 0.856超过LLM judge 0.649
📌 工作参考价值(4 点)
- 在电商/搜索推荐RAG链路中,可以用检索/召回分数向量的分布形状特征(top1-top2 gap、top-10 std、decay slope、bimodal gap、gap concentration等)构造轻量「检索充分性/置信度」模型,判断top-k是否含可回答结果;无需读商品内容或调用LLM,2ms级在线可自动触发query改写、扩大召回或直接生成答案。
- LLM judge不要单独做置信度,把其分数作为额外特征加入小分类器(Logistic/Ridge/MLP)形成hybrid:在安全关键/对抗query上AUROC更高(SÚJB adversarial-detection 0.954),且误答率从12–16%压到6–7%;若LLM推理已在链路中,这种as-feature组合比单独judge更值得用。
- 多领域/多站点迁移建议用lean特征子集:全量24特征LODO从0.856掉到0.706,而13特征S1-Lean(8分布+5query-surface)恢复到0.719并改善校准;跨域部署优先选lean子集而非全量模型。
- 对无答案/对抗query检测,分数分布形状尤其有效:unanswerable query的top-k分数分布平坦,S1在SÚJB对抗检测AUROC 0.934 vs MaxSim 0.489;可作为推荐系统防冷启动、防误导、防幻觉的置信度开关。
RAG-Safety-Bench:检索增强 LLM 安全性的可靠评估
🧭 RAG 安全评估基准
University of Ottawa
提出 RAG-Safety-Bench 基准,用四种条件隔离 RAG 安全退化因素,发现护栏不保证 RAG 安全且良性文档也可能引发不安全生成
📌 工作参考价值(4 点)
- 在企业知识库接入 LLM/RAG 做客服、商品问答或营销文案时,不能只依赖模型自带安全护栏,需对检索文档做安全过滤、冲突检测和输出审核。
- 设计 RAG 评估时,可借鉴论文做法:将检索质量与生成安全性解耦,设置 oracle/相关/随机文档等条件,定位安全退化到底来自检索内容还是模型自身。
- 即使检索文档看似“安全/良性”(如产品描述、用户评价),也可能诱发不安全生成,因此需要额外的输出安全分类器或后处理规则,尤其在面向 C 端的生成式推荐场景。
- 模型选型时注意 trade-off:通用能力越强的开源模型可能越容易在 RAG 条件下被激活不安全能力,需要结合下游任务做安全性压测。
REVA:可复用证据视图聚合实现上下文高效 RAG 服务
🧭 RAG 上下文压缩 · 注意力挖掘与复用 ★ 深度解读
VinUni-Illinois Smart Health Center, VinUniversity, Vietnam · University of Illinois Urbana-Champaign, USA
挖掘历史查询-文档注意力聚合为可复用证据视图,以极低在线开销实现高质量 RAG 上下文压缩
📌 工作参考价值(4 点)
- 电商搜索/推荐 RAG 场景中商品、评论、内容文档重复检索率高,可离线挖掘目标 LLM 对文档的注意力,构建文档级 evidence score store,线上只做轻量视图渲染,将压缩延迟从百 ms 级降到几十 ms。
- 借鉴 word-unit 聚合:不直接存储 token 级分数,而是合并为可读词单元(保护价格、型号、日期等短结构化片段),避免输出碎片化,便于审计与 Debug。
- 采用 budget-agnostic 的 score store:同一份文档分数支持不同 prompt 预算;local 等额配额是默认安全策略,global 按历史效用重分配适合证据分布不均的多跳/对比类场景。
- 注意兼容性 key(generator/tokenizer/template/corpus version),避免跨模型或语料版本错误复用分数;可用异步更新和指数衰减应对 query 分布漂移。
TimelyRAG:面向重叠演化文档的时间敏感混合检索框架
🧭 RAG 时间敏感检索
KAIST · Korea University · University of Vermont
提出 retriever-agnostic 的 TimelyRAG,用时间距离重排解决修订版本文档的时态问答,并发布 TimelyQABench
📌 工作参考价值(4 点)
- 电商/政策类文档常存在修订而非完全替换,如促销规则、商品参数、平台协议;可直接在现有向量检索后加一层 retriever-agnostic 的时间距离重排,无需重训 retriever。
- 将文档生效时间/版本区间与 query 的时间参考(显式或隐式)作为特征,设计 hybrid score = semantic similarity + λ·temporal distance,λ 可按业务数据调优。
- 构建评估集时,不要只用静态 QA 对;应加入同一政策/商品的多个修订版本,并标注 query 的时间锚点,避免语义重叠导致旧版本被误召回。
- 对 Agent 使用 RAG 的场景,建议在检索输入中显式加入当前业务时间或用户询问的时间上下文,防止动态信息(价格、库存、政策)过期。
VikingRAG:结构化文档的高精度低 token 检索增强生成
🧭 结构化文档 RAG · 目录感知存储与经验复用 ★ 深度解读
Renmin University of China · Independent Researcher · Fudan University
目录感知语义存储结合经验边与自适应升级,使结构化文档 RAG 精度持平 SOTA 而 token 降至 5.1%-32.5%
📌 工作参考价值(4 点)
- 将商品/政策/售后文档按目录树 URI 化,构建多粒度摘要(chunk 与 section abstract)的向量索引;语义召回结果带回 URI 路径,后续检索/读取限定在该子树,避免每次把完整目录序列化进 prompt,显著降 token。
- 用 Search/List/Grep/Read 四种工具切分检索动作:先语义粗定位到商品/政策条目,再按 URI scope 做关键词精确匹配,最后只读需要的内容验证证据;适合售后规则问答、广告审核政策、商品属性答疑等易漏召回场景。
- 把多轮 agent 检索成功的轨迹物化为 query-conditioned experience edges,相似 query 直接走边扩展召回,避免重复探索;可借鉴为在线服务中的“会话检索缓存/知识捷径层”,随真实 query 增量更新,降低重复路径 token 与延迟。
- 自适应 escalation:先用一轮 experience-augmented retrieval 生成候选答案,并要求 LLM 先列关键约束再判定证据是否充分,不充分才升级多轮 agent。工程上能把大多数 easy query 留在低成本路径,hard query 才触发高成本 agent。
GANDR:面向可验证法律答案生成的逐条声明审计
🧭 多智能体逐条声明审计与引用验证
William & Mary · Anytime AI
用 Drafter-Critic 双智能体逐条审计引用与声明,严格引用准确率 70.8%,领先最强基线 11.3 点
📌 工作参考价值(4 点)
- 在 RAG 生成文案、推荐理由、广告文案等场景,增加独立 Critic agent 逐条核对事实与引用源,避免整体得分掩盖局部幻觉。
- 引入 protocol-anchored commit:只有 Critic 审计通过才提交答案,否则触发修改;消融显示去掉该规则严格准确率下降 22.7 点,是低成本高收益的工程控制。
- 将引用验证从整体打分改为逐 claim 的 audit trace,便于线上监控、人工复核和 badcase 定位;对生成式推荐解释或选品理由尤其适用。
- 在低风险业务中,可只用审计模型的二分类检测器(支持不足 vs 支持充足)过滤高风险内容,而非依赖四分类标签,实验 F1 可达 0.84。
Glyph:企业数据目录列描述与敏感本体标注的多策略智能体系统
🧭 多智能体数据目录标注与敏感分类
Apple
用协作式 LLM Agent 将列描述生成与 275 类敏感标签分类落地为可审计的生产系统
📌 工作参考价值(4 点)
- 代码而非数据值作为生成依据:Descriptor 通过 active RAG 从 GitHub 检索产生列的上游 pipeline 源码,再生成描述。做电商/推荐特征库、指标口径或广告字段文档时,可以让 Agent 以业务代码/ETL 逻辑为 grounding,避免只看数据值产生幻觉。
- 多策略并行 + RRF 融合:Tagger 同时跑描述打标、业务正则、基于向量库的 metadata tagger,再用 Reciprocal Rank Fusion 合并排序。对大 taxonomy(如 275 类)的商品/内容/广告分类或多标签治理,可复用「语义、规则、精确元数据三路并行 + RRF」的架构,稳定且可解释。
- 小模型对比微调收益显著:用 in-batch contrastive objective 微调 6 层 MiniLM,NDCG@10 从 0.55 提升到 0.92。在标签体系较大、域内文本较短的特征/类目标注任务中,轻量 encoder 微调 + 向量检索是低成本高回报方案。
- 每个标签保留 provenance 与降级路径:系统记录每个 tag 来自哪条策略,并在代码不可取、服务失败时优雅降级。生产 Agent/LLM 系统做治理或推荐元数据标注时,应设计来源审计和 fallback,满足合规与可运维要求。
LiteRAG:高效图检索增强生成方法
🧭 图 RAG 低成本高效检索
Universitat Rovira i Virgili
用查询条件算法探索替代检索时 LLM 控制,显著降低图 RAG 多跳问答延迟与成本
📌 工作参考价值(4 点)
- 在电商知识库/政策规则/商品图谱等多跳问答场景,可把图检索中的在线 LLM 遍历或总结改为查询条件驱动的确定性算法,先做子图探索再构造上下文,避免每 query 调大模型,显著降本。
- 上下文不要塞入整个相关子图,而是按证据链/推理链选择边和节点;用 query-adaptive thresholding 动态控制保留范围,能减少大量无效 token,尤其适合店铺/商品/规则相关问答。
- 对图谱中的高连接度 hub 节点(如平台总则、大品牌/大店铺)做 community-aware 惩罚,降低宽泛上下文对生成的干扰;在电商商品知识图谱或活动规则图谱里可借鉴。
- 对已经上线 GraphRAG 的团队,可先审计在线路径;把 LLM 从 query-time 关键路径移除,换为轻量算法,往往比换生成模型或复杂索引收益更大。
内核管理的共享内存:面向系统级个性化的多智能体基础设施
🧭 多智能体共享记忆与个性化基础设施 ★ 深度解读
Rutgers University
将多智能体个性化记忆的检索、隐私与注入集中到系统内核,以更低延迟和 token 成本获得与全量上下文接近的效果
📌 工作参考价值(5 点)
- 统一记忆管理层:在电商/广告多 Agent 系统(如商品推荐 Agent、用户助手、客服 Agent)中,将用户画像/会话记忆的检索、隐私过滤、格式化与注入上移到中心服务,避免每个 Agent 各自实现导致逻辑重复与隐私漏洞。
- 写屏障保证一致性:当多个 Agent 异步写入用户偏好或任务状态时,用 per-user 序列号 + 等待写确认的机制确保读后写一致,防止推荐/对话中因竞态缺失最新画像。
- 格式化记忆为自然语言:对 7B/8B 小模型,将结构化 JSON 画像转成自然语言语句再注入 prompt,可明显提升利用效果;结构化存储仅用于检索和审计。
- 成本-效果权衡:不要默认拼接全量上下文,而是用检索截断后的精选记忆(top-k + token 预算),在效果接近的情况下延迟可降低 15–61%,适合线上高并发推荐/对话场景。
- 显式身份解析优先级链:多用户并发时按“请求标识 → 最近会话 → 历史注册 → Agent 自身”的顺序解析用户 ID,可有效避免交叉污染,值得在用户画像服务中复用。
在推测式检索增强生成中保证忠实证据提取
🧭 RAG 忠实证据提取与解码约束
Université de Toulouse - IRIT UMR 5505 · Airbus Protect
提出CHyD,将投机解码改造为强制约束解码,保证引用片段逐字来自检索文档,技术领域准确率接近完美
📌 工作参考价值(4 点)
- 在电商/广告合规文案、商品政策解释、客服问答等场景,需要引用原文保证信息准确时,可以使用硬约束解码限制生成内容必须来自检索到的商品详情、条款或文档 span,从机制上避免幻觉。
- 将 speculative decoding 的目标从加速改为 faithfulness 验证,思路可迁移:用草稿模型提出候选 span,再用约束目标模型验证是否逐字匹配,既保留一定效率又保证忠实。
- 对于需要精确抽取的任务(如商品属性提取、广告审核依据、搜索中的摘要引用),优先选择 constrained decoding 而非依赖模型自觉引用,能把抽取准确率从低于 40% 提升到接近 100%,代价是牺牲部分流畅性,适合准确性优先场景。
- 该思路可以用于 Agent 的检索增强工具:当 Agent 需要引用外部知识回答时,约束其输出为检索结果的连续片段,可显著降低事实性错误和不可验证引用。
检索增强生成中用于幻觉检测的证据对齐实体验证
🧭 RAG幻觉检测·实体证据对齐
University of Technology Sydney
提出 EAEV,在实体层面用 RAG 对齐生成与检索证据,结合三维对齐评估和反事实稳定性分析,一致提升 RAG 幻觉检测性能
📌 工作参考价值(4 点)
- 在电商商品文案/搜索结果生成中,可借鉴实体级幻觉检测:将商品属性(品牌、型号、参数)作为实体,逐项验证生成文本与商品知识库/活动规则的证据对齐,比整体一致性打分更细粒度、可定位错误属性。
- 采用多维度对齐信号:可设计“实体是否在证据中出现”“实体上下文是否一致”“实体关系是否冲突”等互补指标,结合轻量规则或分类器进行 RAG 输出校验,适合低延迟的线上 Agent 回复。
- 反事实稳定性分析可迁移为回归测试:对检索到的证据文本做小扰动(替换同义词、增减片段),要求生成关键实体保持稳定,若翻转则标记高风险幻觉,提升对检索噪声的鲁棒性。
- 用 RAG 做幻觉检测而非仅生成,可解决模型参数知识过时的问题,特别适合电商频繁更新的价格、库存、促销等时效性知识。
通过多轮证据消融评估与改进大语言模型事实核查的证据依据性
🧭 RAG 事实核查 · 证据依赖性评估与训练
University of Sheffield
提出 FAE 多轮证据消融评估与 REAL 反事实训练,揭示 LLM 更依赖参数知识并提升证据依赖性
📌 工作参考价值(4 点)
- 在商品/广告审核、评价真实性验证等 LLM-as-verifier 场景,可用 FAE 式多轮证据消融做上线前审计:逐条移除或替换 cited evidence,观察模型预测是否翻转,识别“参数记忆强于上下文”的风险。
- REAL 的反事实证据训练可直接迁移:不只使用完整证据+标签,也构造删除支撑证据、替换为不相关或相反证据的样本,强制模型在证据缺失时改变判断,增强系统对检索质量的敏感性。
- 把“证据依赖度”作为与准确率并行的评测指标,特别适用于广告合规、商品属性校验等高风险任务,避免高准确率但弱 grounding 的 LLM 上线。
- 若在用 LLM 生成推荐理由或搜索解释,可借鉴多轮 evidence ablation 验证解释是否真实来自用户历史/商品信息,而非模型通用说辞。
超越一次性扩展:多跳检索的对比证据探索
🧭 多跳 RAG 检索 · 对比证据探索 ★ 深度解读
Chung-Ang University
训练免的多跳检索框架,通过对比 facet 索引、证据条件探索和覆盖感知重排提升 RAG 证据召回
📌 工作参考价值(4 点)
- 可直接迁移到电商搜索中的复杂意图查询:将原始 query 视为多跳证据链的起点,利用 LLM 基于已检索商品/属性生成下一轮 probe,逐步发现缺失的品类、品牌或属性约束,避免一次性扩展引入噪声。
- 借鉴 passage-specific contrastive facets 思想:为每个商品或知识片段离线生成“区分性问答对”(如“该商品与相似商品的差异点”),在召回阶段作为附加信号,帮助提升稠密检索对相似商品的区分度,避免同款/相似款混淆。
- Coverage-aware 贪心选择可以用于重排:在电商推荐或广告素材排序中,用生成多个 probe 分别代表不同用户意图,通过最大化边际覆盖增益选择集合,保证最终结果覆盖不同意图而非重复满足同一需求。
- 工程上,该框架 training-free,只需复用已有 embedding 和 LLM;但离线对比 facet 构建和在线多轮 LLM 调用成本较高,可以先在小而美的商品知识库上预计算,或者限制邻居数量和轮数来权衡 latency。
看哪里与用什么:面向长期对话记忆问答的检索-定位-生成框架
🧭 长时对话记忆QA · RAG
University of Electronic Science and Technology of China, Chengdu, China · Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China · School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China · MiLM Plus, Xiaomi Inc., China · State Key Laboratory of Internet Architecture, Tsinghua University, Beijing, China
提出MemLoc框架,通过多粒度检索、证据定位与位置ID引导生成,解决长期对话记忆问答中的碎片化与噪声问题
📌 工作参考价值(4 点)
- 借鉴多粒度记忆单元与图路由:在用户长期行为序列建模(如电商会话历史)中,将 session 按不同时间粒度/主题切分为多粒度单元,用图结构建模跨会话依赖,配合熵基粒度选择,可提升对长周期用户兴趣的召回精度,避免只依赖全局 embedding。
- 引入证据定位层压缩上下文:在 RAG 生成前增加一个“定位器”,从检索到的多个文档或历史记录中抽取关键片段并重排,输出轻量位置 ID 而非全文,能显著降低无关噪声干扰,缓解 lost-in-the-middle 效应,可复用于客服对话摘要、用户评论分析等场景。
- SHPO 训练技巧:用“自反思提示策略优化”训练定位器,即让模型生成推理过程并依据反馈调整,可将此方法用于训练业务中的证据提取/重排模块,提升定位精度。
- 工程实现上,位置 ID 作为 grounding 信号比直接拼接原文更省 token,同时保留原文索引方便回溯,适合在低延迟 Agent 系统中部署。
Agent 记忆在模型升级后是否可用:记忆可移植性对照研究
🧭 Agent 记忆可移植性评测
LinkedIn
对照评测四种 Agent 记忆格式在模型升级后的可移植性,证明固定 schema 知识图谱最稳,NOTES 与 RAG 需重建或保留原始历史
📌 工作参考价值(4 点)
- 生产级 Agent 记忆若可能经历模型升级,优先用固定 schema 的 KG 而非自由文本 NOTES;KG-fixed 在 writer swap 下 accuracy 几乎不变,能避免模型耦合导致的隐性遗忘。
- RAG 记忆系统升级 embedding 模型时,不要在同一个索引里混用新旧 embedding:50/50 混合只拿到 4.96pp 增益,会丢掉全量 re-embedding 的 11.90pp 大部分收益。应隔离版本化 embedding 空间,新模型向量写入独立索引。
- 只保留压缩后的 NOTES 不够:模型升级后 store-only repair 在 48 个用例中全都达不到 90% 恢复目标;必须同时保留原始 source history,才能在检索或解读出错时重新构建记忆。
- 记忆迁移评估必须做方向特异性测试:NOTES 迁移出现 +9.91 与 -13.28pp 的非对称变化。训练/评测 pipeline 里不要只测 A→B,要把 B→A 也纳入回归项。
BIT.UA 在 BioASQ 14B:模块化检索与 Agent 共识答案生成
🧭 多Agent共识生成 · 模块化RAG检索
IEETA/DETI, LASI, University of Aveiro, Aveiro, Portugal · IT, University of Aveiro, Aveiro, Portugal · Aalborg University Business School, Aalborg, Denmark
将 PostgreSQL BM25、Qdrant 稠密检索与多 Agent 辩论共识机制引入生物医学问答,取得竞争性 MAP 排名
📌 工作参考价值(4 点)
- 混合检索架构模块化拆分:BM25 倒排用 PostgreSQL pg_textsearch,稠密向量单独用 Qdrant GPU 索引,各自独立扩展与调优;电商搜索/推荐可以借鉴这种拆分,避免绑定单一检索引擎,降低替换成本。
- HyDE 做 query 扩展:用 LLM 生成假设性文档再检索,缓解 query 与文档词汇不匹配问题;在电商搜索 query 改写或长尾词召回中,可尝试 HyDE 生成伪商品描述,提升稀疏召回覆盖。
- Reranker 训练负采样用 dense retrieval 挖掘难负例:比随机负样本更能提升排序模型判别力;推荐精排阶段的负样本采样可以参照,用当前召回模型检索难负例。
- 多 Agent 共识生成机制:多个不同 prompt 的 agent 辩论并迭代收敛,配合 adaptive document retention 保留相关文档,可迁移到商品推荐理由生成、搜索结果摘要或客服问答,提升生成一致性与事实性。
CAGE:检索增强生成中的连贯性感知图编码重排序框架
🧭 RAG 重排序 · 图编码连贯性
Capital One · General Intelligence Company
用异质实体图建模检索块间连贯性,通过图神经网络重排序提升多跳问答上下文质量
📌 工作参考价值(4 点)
- 在搜索/推荐系统的召回后重排阶段,不要只对单个 item 和 query 打分,可以构建 item 之间的实体关系图(如互补、替代、共现),用 GNN 编码集合整体连贯性,提升 top-k 集合的质量。
- 对于电商场景下多跳查询(如“适合油皮的轻薄粉底液”),可以抽取商品属性实体构建图,利用 min-out-degree 重加权突出少连接但关键的事实锚点(如肤质、功效),增强上下文的事实一致性。
- 在 LLM 生成推荐理由或广告文案时,检索出的商品信息可能存在矛盾或冗余,可借鉴 CAGE 的 Noise Resistance 和 Informational Bonding 维度,用图结构过滤噪声、强化信息互补性,减少生成幻觉。
- 部署时可将 CAGE 作为轻量级 reranker 模块叠加在现有检索器后,无需改动生成模型,只需额外构建实体图并做一次图卷积,工程成本可控。
超越无压缩:RAG 软上下文压缩的两阶段训练配方
🧭 RAG 软上下文压缩 · 蒸馏+RL 训练
Shandong University · Bloomberg · Leiden University
用正确样本蒸馏 + 失败样本强化学习两阶段训练,让 16 倍压缩的 RAG 软上下文效果反超无压缩基线
📌 工作参考价值(4 点)
- 若在商品知识问答、客服 RAG、广告文案检索增强等场景用 LLM 消费长文档,可尝试 soft context compression:把 top-N 商品详情/用户评价/知识条目编码成少量 embedding,替代原始文本,换取 4×–24× 的推理提速。
- 训练配方的可迁移点在于:蒸馏时只用教师 RAG 回答正确的样本,避免把无压缩模型的错误模式蒸馏进压缩模型;然后专门在教师失败的 query 上做 RL,让压缩模型学习更适配压缩表示的计算路径,而不是只模仿教师上限。
- 对推荐/搜索中的 LLM ranker 或生成式 item 描述,若需压缩长用户行为序列或 item 文本,可以用类似两阶段:先用正确输出 warm-start,再对 hard case 做策略探索,可能比直接 SFT 或全量蒸馏更稳。
- 评估时值得像论文一样扫不同 retrieval depth(top-5 到 top-30),确认压缩方案在长上下文下是否仍保持收益,而不是只在单点设置上调优。
基于树结构的 RAG 框架:自适应规划与拓扑感知证据收集用于证据密集型 QA
🧭 RAG 结构化推理 · 自适应证据收集
Korea University · Hanyang University · Hyundai Motor Company
提出 APT-RAG,通过自适应规划扩展推理树和拓扑感知证据收集,提升证据密集型问答性能。
📌 工作参考价值(4 点)
- 在复杂查询或商品长尾问答场景中,用树结构动态分解任务并自适应扩展节点,比固定多步流水线更能应对证据分散的需求,可借鉴其节点扩展策略。
- 利用推理树拓扑关系(兄弟节点证据共享、子节点证据聚合)减少重复检索、提升证据覆盖,适用于多文档、跨类目信息整合的推荐解释或客服问答。
- 证据引导的批量答案生成(evidence-guided batched answer generation)可以降低 LLM 推理次数与成本,在高并发搜索或推荐场景中可尝试将多个子问题合并生成。
- 该框架强调证据需求驱动规划,可作为电商 Agent 在商品对比、规则解释等需要多跳信息收集时的设计参考。
利用低层符号能力进行无监督扎根的幻觉检测
🧭 神经符号方法,SQL 落地检测幻觉
Heinrich Heine University Düsseldorf, Germany
让 LLM 用 SQL 构建参考文档数据库,以神经符号方式无监督检测生成响应中的幻觉,无需领域微调
📌 工作参考价值(4 点)
- 在电商/广告生成式推荐中,可将商品知识库、广告素材或用户评价等参考文档预先转换为 SQL 表,然后用 SQL 查询校验 LLM 生成的推荐理由、商品描述或客服回答是否忠于原文,低成本的线上幻觉检测无需标注数据。
- 利用 LLM 的低层符号能力(SQL/JSON 查询)作为 grounding 工具,比直接让 LLM 判断幻觉更可解释、稳定,且不依赖领域微调,适合快速迁移到不同商品类目。
- 神经符号 pipeline 可拆分为「文档→SQL 数据库构建」和「基于 SQL 的声明验证」两步,工程上可以并行或缓存数据库,适用于实时校验。
- 适合对事实一致性要求高的场景,如生成商品参数、价格、促销信息等,可避免编造属性导致的客诉或合规风险。
面向文学知识处理的神经符号时空 GraphRAG 框架
🧭 神经符号时空 GraphRAG 与可验证 QA
Joint Laboratory for Port Big Data and Intelligent Applications, Dalian Ocean University
提出整合时空约束与动态子图检索的 NS-ST-GraphRAG,并发布红楼梦多跳 QA 基准
📌 工作参考价值(4 点)
- 按查询时空范围选择有效图状态:电商/推荐场景中,商品属性、价格、库存、活动规则都有明确时效;可以借鉴论文思路,按时间戳/空间/场景对知识图谱做切片,检索时动态加载匹配版本,避免 RAG 返回过期或冲突信息。
- 本体引导抽取 + 确定性约束检查:在商品知识、活动规则、导购问答等场景,先定义轻量本体(类目、属性、关系、时效),用 LLM 抽取实体关系后,再用规则校验时间范围、数值区间、空间限制等硬约束,降低生成幻觉;适合构建可解释的导购 Agent 或政策问答。
- 可审计的多跳评估方法:论文的机械答案复现、引用忠实度检查、每部分证据跨度设计,可以迁移到内部知识问答或推荐解释评估中;建议对关键业务 QA 采用“规则校验答案 + 独立语义判断”双轨,而不是只依赖 LLM 主观打分。
- 警惕过度设计:实验显示时空 GraphRAG 相比简单窗口基线只有方向性优势但统计不显著;业务上应先用严格 AB 和统计检验验证复杂架构的必要性,避免为了图而图。
规则记忆:对话代理的主动规则归纳与推理
🧭 Agent 长对话记忆规则化推理 ★ 深度解读
Sun Yat-sen University · The Hong Kong University of Science and Technology (Guangzhou) · Shenzhen Institute of Computing Sciences · The Hong Kong Polytechnic University · Tsinghua University
将对话历史归纳为自然语言 Horn 子句规则,用 perplexity 一致性过滤并指导证据召回与推理,显著提升长对话 QA 准确率
📌 工作参考价值(4 点)
- 从用户历史交互中归纳行为规则(如“用户买过 A 后常会买 B”),作为可复用推理模板,可指导召回和排序,缓解语义鸿沟。
- RPC 验证机制可用于任何 LLM 生成的规则/知识,通过 perplexity 降低评估支持度,过滤幻觉和过泛化规则。
- 将 Horn 子句作为推理骨架,与事实分离,可在推荐解释或对话式推荐中提供显式逻辑链,增强可信度。
- 工程上可以将事实存储与规则存储分层,规则层承担“抽象先验”,在查询时先激活规则再召回事实,降低无关噪声。
增强金融问答:银行财报新基准数据集 FinRAG-QA
🧭 金融财报 RAG 基准与组件增益分析
Intesa Sanpaolo Innovation Center · Università degli Studi di Milano-Bicocca · Politecnico di Torino · IMI CIB, Intesa Sanpaolo · University of Bologna
构建跨机构银行财报问答基准 FinRAG-QA,量化 RAG 各组件贡献,检索与上下文增强将 NDCG@10 从 0.322 提至 0.710
📌 工作参考价值(4 点)
- 长文档、跨实体检索可借鉴「上下文 chunk enrichment + 检索优化 embedding」组合,NDCG@10 从 0.322 提到 0.710,适合商品详情、商户证照、政策文档等长文本 FAQ 检索。
- 生成阶段不要默认堆多 chunk:论文显示单个 top-ranked chunk 比更大上下文更准且延迟更低,可在业务 RAG/Agent 中优先精简上下文并做对比验证。
- 首阶段检索已强时,cross-encoder rerank 可能带来负优化;在已有高质量 embedding 和丰富上下文后,应评估是否保留 rerank,以节省 GPU 与延迟。
- 采用 reasoning-optimised 生成器会带来约 20 倍生成延迟,适合高价值、低实时要求场景;搜索/推荐 Agent 中建议按 query 价值做分级或缓存降级。
PACE:面向用户请求中隐藏冲突的识别与证据检索框架
🧭 多智能体协作检索与冲突感知推理 ★ 深度解读
Department of Computer Science and Engineering, POSTECH · Graduate School of Artificial Intelligence, POSTECH
提出 PACE 数据集与 PACEMAKER 多智能体框架,通过冲突感知查询重构、多跳图遍历与证据过滤提升隐式冲突判断能力
📌 工作参考价值(4 点)
- 冲突感知查询重构:不要直接用原始 query 检索,先让 planner 生成可能的冲突维度(时间、个人约束、资源状态),再生成 counter queries 去检索隐式约束。在电商推荐或 Agent 决策中,可主动生成反事实查询(如“用户是否对某成分过敏”“该时段是否有冲突日程”)以覆盖不兼容场景。
- 多跳图遍历 + 加权 RRF 融合:为个性化知识库离线构建 k-NN 文档图,在线检索时先混合 dense+BM25 获取种子,再 BFS 扩展邻居,最后用冲突感知过滤器筛选证据。反事实查询检索结果给予更高权重,有助于发现弱相关但决策关键的证据。
- 证据筛选优于全量上下文:实验显示 Full KB 反而不如精选 top-10 证据,缺失部分 gold facts 会显著降低冲突判断准确率。工程上应避免把整个用户画像或海量行为日志直接塞给 LLM,先检索筛选决策关键证据,尤其对冲突类请求。
- 训练-free 且索引阶段无 LLM 调用:多智能体框架冷启动成本低,适合频繁更新的个性化 KB。可借鉴离线建图 + 在线 agent 检索的架构,降低延迟和成本。
ViSAR:面向视觉文档问答的无训练自适应-k检索
🧭 视觉文档RAG·自适应k检索
INSA Lyon, CNRS, LIRIS UMR 5205 · EPITA Research Laboratory (LRE) · Lowit
在嵌入空间构造查询条件页面级相似度矩阵,动态决定检索页数,降低RAG延迟并保持或提升准确率
📌 工作参考价值(4 点)
- 可借鉴动态 top-k 思想:在电商/广告场景中,为商品详情页、广告落地页或用户评价做 RAG 时,不再固定召回条数,而是根据查询复杂度动态截断,能显著减少输入 LVLM 的 token 数和首字延迟。
- 利用 late-interaction 编码器产生的 page-level 相似度矩阵作为查询语义激活图:该方法无需训练,直接基于 embedding 空间的 MaxSim 等运算,可在现有向量检索链路上快速实现,适合业务侧低成本验证。
- 将相似度矩阵的统计结构(如激活分布、峰值集中度)作为检索质量信号,用于重排或决定是否触发多跳检索/补充上下文,类似于推荐中 uncertainty-aware 的截断策略。
- 论文结果显示自适应检索在多个编码器与 LVLM 组合下最高降低 58.7% 延迟且准确率不降,证明“检索质量感知的上下文裁剪”在视觉富文档问答中有效,对多模态商品理解、店铺资质审核等 RAG 任务有直接迁移价值。
增量池化 LLM 评估:低成本检索模型选择
🧭 检索模型评估 · LLM 评判
JPMorganChase
增量池化 LLM 评估复用已有相关性判断,仅对新系统新增文档做 LLM 评判,大幅降低 RAG 检索模型选型成本
📌 工作参考价值(4 点)
- 在电商搜索/推荐召回模型选型中,用 LLM 做 pooled relevance judgment:维护一个已标注文档池,新召回模型上线前只标注其新增文档,复用旧 qrels 计算完整指标,适合快速迭代。
- 对于有大量召回重叠的候选系统(如不同 embedding、混合检索),池化方案能获得 65-80% 标注复用,等价于数倍评估成本节省,可工程化为自动化评估 pipeline。
- 采用 bootstrap 估计 qrels 不确定性,避免在小样本或 LLM 判断噪声下对模型排序做出错误结论;对比模型时报告置信区间而非单一数值。
- 在 Agent 检索工具选择或多路召回对比中,同样可复用增量池化思路,让 LLM 仅评判增量文档,支撑低成本、持续的多候选评估。
EM^2Mem:面向大语言模型的事件中心多模态记忆
🧭 多模态 RAG · 事件索引
Zhejiang University · South China University of Technology · Lenovo Group Limited
以事件为中心组织多模态记忆,将异构证据绑定到事件锚点,提升长视频 QA 精度并大幅降低推理成本
📌 工作参考价值(3 点)
- 直播/商品视频问答:按业务事件(商品讲解、优惠发放、试用对比)建立事件索引,把对应帧、ASR、OCR、商品卡片绑定到事件 cell;检索时直接返回完整事件单元,避免 agent 在推理时拼接零散多模态片段,降低延迟与 token 开销(论文减少 63.66% tokens、4.67× 延迟)。
- 召回/证据评测:引入 strict event-level Top-K evidence recall,评估检索结果是否覆盖关键事件而非只看最终答案准确率,可用于商品知识库、直播切片或广告素材检索的离线评测。
- 用户行为记忆:将 session 内行为序列按事件(搜索、点击、加购、下单)聚合为 memory cell,绑定跨通道特征、时间与商品关系,为 LLM 推荐/导购 Agent 提供紧凑、可溯源的上下文,减少推理时的对齐成本。
E-SENS:面向负约束检索的排除敏感惩罚方法
🧭 RAG · 负约束检索优化
Independent Researchers
训练无关重排方法 E-SENS,用陷阱查询相似度惩罚排除概念,减少否定敏感检索中的违规召回
📌 工作参考价值(4 点)
- 电商搜索/推荐中用户常含否定词(如“非雪纺”“不含酒精”),现有嵌入召回容易命中否定概念;可借鉴 E-SENS:用 LLM 抽取否定片段生成 trap query,在召回或重排阶段对候选商品做相似度惩罚,无需训练即可上线。
- 广告否定关键词可类似处理:为每个否定词构造排除向量,从广告相关性分数中减去,减少 exclusion 流量上的无效曝光。
- 工程实现上,trap query 应尽量紧凑,避免引入多余语义;惩罚强度作为超参,可在评测集扫描 recall-violation 曲线,取满足召回底线下的最小违规点。
- 在 Agent/RAG 知识召回中,若用户明确排除某类内容,可由 LLM 先提取排除约束并生成 trap query,对召回结果重排过滤,降低后续生成违规风险。
Hi-Q:面向多跳问答的层级证据引导查询细化
🧭 多跳问答的 query 粒度控制 ★ 深度解读
POSTECH
将query粒度作为控制变量,用检索证据支持信号决定是否分解,构建依赖有序的查询树,在全语料多跳QA上显著超过图RAG与迭代检索
📌 工作参考价值(4 点)
- 在电商多跳 query(如“送妈妈生日礼物”)召回中,不要预先固定拆成 N 步;先让 reader 基于召回商品判断当前 query 是否可由证据支持,不可答才触发分解。这种“证据条件触发”比按复杂度静态 Routing 更抗漂移,且无需训练分类器。
- 分解时强制依赖顺序:左分支先解析前提实体/属性(品牌、品类、用户特征),把结果写入 history,再生成右分支 query;工程上用 append-only history 保证下游检索可见前置答案,降低召回干扰。
- 增加一个语义覆盖 verifier:每次二元分解后检查左右子 query 是否完整保留父 query 意图,最多修复一次;在营销活动规则拆解、多条件商品匹配中可减少意图丢失。
- 成本工程:采用短 rationale + 限制递归深度(dmax=1 或 2)的 cost-matched 版本,可在几乎同数量 LLM call 下比迭代检索更准且 API 成本低近一个数量级;优先在 root 节点先试答,可避免大部分不必要展开。
大语言模型的数据引用:一个开放挑战
🧭 数据引用与溯源 · LLM
University of Padua
提出 LLM 数据引用三方向:训练数据归因、推理时数据引用、知识图谱事实引用,与文档级引用 grounding 区分
📌 工作参考价值(3 点)
- 在 RAG 或 Agent 工作流中,引用源不能只给文档块/URL,应设计数据引用层:对商品表、用户行为聚合、知识图谱三元组等结构化/半结构化数据,记录 dataset+subset+query+version+timestamp 等固定性信息,避免引用粒度太粗导致无法复现。
- 训练数据归因(如 influence functions、TRAK)可转化为数据贡献报表,用于合规审计、数据合作方结算;电商推荐模型若用外部数据或用户数据,可借此评估哪些训练集对模型行为影响大,平衡数据收益与版权风险。
- 引用 KG 事实时,要把三元组(s,p,o)作为可引用单元,并沿 provenance 传播 credit:例如商品知识图谱中一个属性值来自某供应商,生成推荐解释时应溯源到具体三元组及其上游来源,增强可解释性和信任。
评估 RAG 中证据感知检索的下游效用
🧭 RAG 检索评估有效性
Missouri University of Science and Technology · University of Calcutta
证据感知检索信号会改变排序,但不总能改进训练、系统选择或答案质量预测
📌 工作参考价值(3 点)
- 在 RAG / Agent 检索链路中,不要把 evidence-aware retrieval 分数直接当作系统选择或生成质量的金标准;排序变化不等于下游效果提升,需要按具体生成器指令和评估器验证。
- 若用 evidence support 信号做检索器训练或证据过滤,收益高度依赖生成器如何使用证据;建议在业务侧做线上 A/B,并统一答案评估口径,避免单一 LLM judge 结论误导决策。
- 电商 / 导购 Agent 若引入证据感知过滤,应同时监控答案侧业务指标(如转化、满意度、人工审核),不能只看证据保留率或检索分数。
ReliableRAG:可靠性引导推理链对抗RAG错误信息
🧭 多跳QA · 细粒度可靠性评估
Jilin University · Dalian University of Technology · National University of Singapore · Zhuhai College of Science and Technology
首个面向多跳QA的可靠性驱动RAG框架,通过细粒度三元组评估与推理链生成对抗欺骗性错误信息
📌 工作参考价值(4 点)
- 借鉴“信息段→结构化三元组→可靠性打分”的管线:在电商商品问答或导购场景中,把商品详情、评论、UGC转为三元组,结合 query 相关性与三元组可信度(来源权威度、事实一致性)过滤不可靠内容,降低错误信息对答案的影响。
- 采用 top-K 非冗余三元组压缩上下文:RAG 检索大量文本易含噪声,先抽取三元组并去冗余,能减少 token 消耗、提高生成准确性,适合实时推荐文案生成或客服Agent场景。
- 自回归构建推理链而非一次性生成:在多跳决策场景(如“为何该商品适合油皮?”需综合成分、评价)中,逐跳纳入可靠三元组,提高推理可解释性与鲁棒性,可参考用于购物决策Agent。
- 显式区分语义相关性与事实可信度:推荐/搜索中只做语义匹配易被“看起来相关但事实错误”的内容误导,建议增加可靠性评估模块(来源权威度、跨源验证等)。
指路藏终点:大规模实用私有密集检索
🧭 隐私保护向量检索 · 深度哈希短列表
The Chinese University of Hong Kong, Shenzhen · State Key Laboratory of Internet Architecture, Tsinghua University · Beijing University of Posts and Telecommunications · The Chinese University of Hong Kong · Institute of Software, Chinese Academy of Sciences
用可学习深度哈希生成短候选列表,结合加密重排与不经意传输,在保持检索质量的同时将全库密码学搜索成本降至可部署水平
📌 工作参考价值(4 点)
- 在需要隐私保护的 RAG 或私有知识库检索中,可将「可学习深度哈希 shortlist」作为预筛层:只对哈希命中的 200-500 个候选做加密重排,避免全库同态计算,检索质量接近全库向量检索。
- 将连续 embedding 映射为二元哈希码后,不再直接暴露原始向量,配合 directional metric DP 可显著降低 embedding inversion / property inference 泄露;对电商用户行为、广告素材、商品描述等敏感语料检索有直接参考价值。
- 工程上可采用两阶段漏斗:哈希粗筛得到短列表,再用 oblivious key transfer 和加密 reranking 保护具体 query 与最终 item 选择;这比单纯用聚类或 LSH 粗扫更贴合私有检索的隐私与质量平衡。
- 在 10Gbps 网络、数百万文档规模下,该协议额外延迟约 0.73s,适合在线 RAG 服务;但需要额外训练/微调深度哈希模型,并接受候选短列表带来的召回上限。
对话式音乐推荐的多模态语义扩展与受限LLM重排
🧭 多模态检索融合与LLM约束重排的对话推荐 ★ 深度解读
National Institute of Technology Kurukshetra · Queen Mary University of London
三阶段多模态检索+轻量重排+LLM persona生成,融合7路embedding与BM25,Blind B综合0.3213,发现LLM注入仅在窄范围有效
📌 工作参考价值(4 点)
- 多召回通道融合:采用加权RRF替代简单线性打分,并用差分进化在验证集上自动搜索权重;本工作MRR +19.5%,且行为/协同信号权重可远高于文本语义信号。电商搜索/推荐可对CF、语义embedding、BM25、属性match分别召回后加权RRF融合,离线调权。
- LLM二次排序/改写采用“保守注入”:仅在正确item已部分出现但排名不足(例如top20内1-5条)时触发LLM干预;本工作无差别注入54会话导致nDCG -18.9%,而仅9会话介入得到+0.8%。工程上应设置严格触发条件并灰度验证。
- 生成阶段用RAG绑定真实候选并强制提及,结合多persona轮转与presence/frequency penalty,可提升Distinct-2和Judge、减少模板重复与幻觉。电商导购/push文案可借鉴:让LLM从检索结果中选2个真实商品解释,并用不同人设轮转。
- 端到端部署一致性:离线验证过的LLM与reranker不要轻易为降本替换;本工作GPT-4.1改GPT-4o-mini使响应质量损失约0.176复合分,省略reranker再损失约0.096。上线前需评估复合指标对组件替换的敏感度。
FashionKG-RAG:知识图谱增强的时尚问答检索增强生成
🧭 知识图谱增强 RAG · 时尚问答
构建领域级时尚知识图谱 FashionEcoKG,并设计训练无关的 PG-RAG 框架,通过双粒度路径重排提升时尚问答准确率
📌 工作参考价值(4 点)
- 构建领域知识图谱时不要止步于物品属性/关系,可借鉴 FashionEcoKG 的 agentic 三阶段管道:从权威教材抽取高保真知识核心,再做跨域增强和生成式扩展,捕获电商领域的完整生态(设计、生产、营销、穿搭等),降低 LLM 幻觉。
- PG-RAG 的 Dual-Granularity Path Re-Ranking 可直接迁移到通用 RAG 检索后排序:先用剪枝后的 query skeleton 提升召回,再用原始完整 query 对候选路径逐条做 agentic 审查,兼顾召回和精确率。
- 训练无关(training-free)框架适合快速落地,无需微调 LLM,只需在检索和重排环节做结构化处理,适合电商搜索推荐团队在现有 RAG 管线上增量部署。
- 对时尚/导购类 Agent,可以将领域 KG 作为工具或知识源,结合 skeleton 提取和路径重排,让 Agent 回答“这件衣服适合什么场合”等知识密集型问题时更有依据。
上下文分配定律:生成式搜索中的因果测量与闭环编排
🧭 生成式搜索 · 推理时上下文编排 ★ 深度解读
Peking University · National Engineering Research Center for Software Engineering, Peking University · Tencent
用因果探针揭示标准相关性代理在困难负样本上失效,并证明窄上下文多轮生成比宽上下文单轮带来16.8-20.5个百分点的组合召回增益
📌 工作参考价值(4 点)
- 借鉴因果归因探针:在电商搜索/RAG 场景中,用 leave-one-out 对数似然下降度量生成结果对每个上下文文档的真实依赖,避免 query-doc 相似度等代理指标在同查询稠密负样本上的失效。工程上可对已生成响应做并行 teacher-forced 前向,绕过解码瓶颈,适合在线监控证据利用率。
- 推理预算分配策略:若有多轮生成场景(如生成多个搜索摘要或推荐理由),优先把相同证据槽位拆成多个窄上下文轮次,而不是一次性塞入宽上下文。实验显示相同 24 个文档预算下,k=2,T=12 比 k=24,T=1 的 portfolio recall 高 0.144(0.397 vs 0.253),且提升在 7B-32B 模型上稳定。
- 反馈驱动的子模调度:在每轮生成后用归因信号标记已消费的知识簇,下一轮通过贪心子模最大化选择未被充分利用的文档;比盲目轮换文档的 ECR 提升显著(0.626 vs 0.375)。该模式可直接用于多轮对话推荐或多样性商品集合生成,避免内容冗余。
- 对比解码增强新鲜证据整合:在生成阶段用公式 ℓ' = ℓ(·|q,C) + α[ℓ(·|q,C\O) - ℓ(·|q,O)] 减去过度使用证据的概率质量,推动模型利用新文档,同时加 plausibility 约束防止幻觉。此 trick 可用于电商推荐理由生成中强制覆盖不同卖点。
WARP:面向群体意见的 Wasserstein 对齐 RAG
🧭 RAG 检索校准 · Wasserstein 对齐意见分布
Amazon.com
用 Wasserstein 距离校准 RAG 检索证据的情感分布,避免少数意见被淹没
📌 工作参考价值(4 点)
- 在电商评论摘要、用户反馈聚合等场景,top-k 检索容易偏向主流意见,可借鉴 WARP 思想:先估计总体意见分布(如情感强度分布),再用 Wasserstein 距离选择文档子集,使检索证据的分布与总体对齐,避免生成有偏的回答。
- 工程实现上,WARP 提供三种变体适应不同候选池规模(稠密/稀疏/可变),亚秒级延迟,可在线作为 RAG 检索后处理模块,与现有向量检索无缝集成。
- 将 Wasserstein 距离作为检索校准的优化目标,比 KL/JS 更合理,因为它保留了情感强度之间的序数关系——强烈负面与强烈正面混淆的代价高于相邻强度混淆。在涉及情感、评分等有序标签的场景中可优先考虑。
- LLM 生成阶段对检索证据分布敏感,WARP 实验表明校准检索能显著提升生成质量(86% 偏好),因此构建“群体意见总结”类 Agent 时,应将检索校准作为生成前必要步骤。
现代RAG管道评估:文本、多模态、稠密与晚交互
🧭 RAG 管道选型与多模态权衡
Özyeğin University, Istanbul, Türkiye
提出数据驱动的RAG管道选择方法,在检索效果与资源约束间权衡
📌 工作参考价值(4 点)
- 电商详情页、广告落地页含大量布局、表格、图片,纯 OCR 文本管道会丢失结构语义;可在 RAG 检索阶段引入 VLM 多模态编码,但需按类目或高价值 query 试点,用延迟与召回指标对比。
- late interaction(如 ColBERT)是稠密检索与多模态之间的实用折中:保留 token 级交互提升细粒度匹配,同时避免每次查询调用 VLM 的高开销,适合低延迟搜索推荐场景。
- 建立管道选型决策表:依据文档类型(文本为主 vs 富媒体)、query 类型、资源预算,用离线 nDCG/recall@k 与在线 p50/p99 延迟、GPU 成本联合选择,避免一刀切。
- 对表格规格、价格/评分等结构化信息,优先用 layout-aware 文本解析或混合表示,减少 VLM 调用次数;可先文本召回再用视觉重排,在成本可控下提升准确率。
面向竞技编程的多专家 LLM 接力系统 MARS
🧭 多智能体接力与专家检索
MIRAI · London Institute for Mathematical Sciences · AXXX
MARS 用主题专家接力+RAG 检索算法理论,在 CodeContests 以 3.3 倍更低成本逼近 CodeSIM
📌 工作参考价值(4 点)
- 在电商/广告 Agent 系统中,把通用 planner/coder/debugger 角色改成按业务域或环节划分的专家(如召回专家、创意生成专家、竞价策略专家),每个专家挂载领域知识库,用检索决定每次任务激活哪些专家。
- 采用 RAG 为专家注入领域理论或历史案例,而不是单纯依赖 LLM 通才能力;在推荐/搜索场景可检索历史成功策略、类目知识或用户画像模板。
- 引入 sandbox 验证环节:每轮让候选方案在业务仿真器或离线评估集上跑分,专家根据结果保留、修复或转交,类似代码沙箱换成广告投放模拟或推荐 A/B 估计器。
- 专家间用结构化 packet 传递候选方案、验证结果、错误信息和下一步期望,降低多 agent 沟通成本;最后设一个固定 infrastructure-fixer pass 统一输出格式,可借鉴到 agent 输出治理。
同一Agent不同答案:RAG中语料引发答案漂移的重复感知审计
🧭 RAG 索引更新答案漂移审计
Carnegie Mellon University
提出Snapshot Compatibility Audit,用同快照重复分歧校正跨快照差异,量化RAG索引更新导致的答案漂移
📌 工作参考价值(4 点)
- 上线前做兼容性回归:每次更新商品知识库、搜索语料或索引版本时,不要只看整体准确率/点击率,用同一批query做快照对比;在每个快照内对同一query重复采样多次,估计生成随机性基线;跨快照不一致减去同快照基线即为索引引起的真实漂移,可避免把LLM随机性误判为更新影响。
- 关注repeat-stable semantic flips:用LLM判断答案语义是否真变化,并筛出重复采样中稳定翻转的query;这些是索引更新真正伤害或改变用户体验的场景,应优先修复或设置告警。同义改写不应算作churn,语义判断能降低误报。
- 聚合指标会掩盖局部恶化:即使整体准确率基本不变甚至上升,仍可能有个别高频或长尾问题答案翻转;建立query/商品粒度的回归测试集,跟踪答案级兼容性指标如excess churn,而不是仅依赖平均指标。
- 成本可控:论文用400题即可统计显著检测到约6-10pp的漂移;在电商客服、商品问答、推荐理由生成等RAG场景中,可以构造几百条核心query做轻量上线前审计。
EnSI-RAG:实体结构索引的长文档问答检索增强框架
🧭 长文档 RAG · 实体结构索引 ★ 深度解读
University of Illinois Urbana-Champaign
用实体中心 passage 和 entity-structure index 做检索句柄,把证据定位与答案生成解耦,提升长文档 QA 精度
📌 工作参考价值(4 点)
- 商品/店铺知识库构建:不要用固定 chunking;对每个商品/SKU/商家建实体中心 passage,抽取 type + property/relation/aspect(如价格、规格参数、店铺关系),用 [entity][type][field:value]→psg_id 建离线索引。线上从原始 passage 生成答案,避免表格拆散、属性与值分离。
- 多跳对比/选购问答:把同类商品对比、品牌关系、优惠条件建模为 relation 或双向 relation(如替代品、配件、belongs_to),保留一对多 set-valued 映射而不是折叠成唯一记录;LLM 只做证据合成,不负责搜索。
- 工程实现:offline LLM 抽取成本高但可摊销;online 只需 1 次 retrieval planning + 1 次 generation,适合高 QPS 场景。对商品 spec 表使用 row-level 而非 table-level 粒度;检索深度未必越大越好,可先从小 k 开始调。
- 属性粒度按域选择:标准化粗粒度属性能减少稀疏性,但法律/精确规格类需保留细粒度;电商可对标准品类用粗粒度类目属性,对参数敏感品类保留原始参数名。
可信 RAG:检测生成式 AI 系统中错误信息与知识中毒的评估代理
🧭 RAG 评估 · 知识中毒检测
Tampere University
用 NLI 与加权中毒信号构建生成前评估代理,Trust Index 在 TruthfulQA 上达 91% 准确率和 100% 精确率
📌 工作参考价值(4 点)
- 在电商/广告/搜索 RAG 场景中,检索到的商品信息、商家文案可能被恶意污染,可把 NLI 事实校验 + 多信号加权评分做成生成前 guardrail,先丢弃低 Trust Index 的检索块,降低事实错误与合规风险。
- 采用中间件/Agent 形式实现,不改 LLM 主干,适合线上生成式推荐/客服 Agent 的风险拦截;但阈值必须按业务领域和生成风格单独校准,不要直接跨域复用,FEVER 结果表明跨数据集泛化需要 domain-specific calibration。
- 对指令注入类攻击,该方案召回高且易阻断;对实体替换、语义弱化等 subtle poisoning 仍难检测,电商场景应额外补充商品属性一致性校验或细粒度事实比对。
- 五信号检测器 + relevance-weighted aggregation + 高污染非线性阻尼可工程化为特征打分模块,适合作为检索后、生成前的风控层,优先处理高风险 query 和长尾商品知识。
RAG 需要索引:摄取时语义编译胜过查询时解释
🧭 RAG · 摄取时语义编译与索引 ★ 深度解读
Endgame Labs, Inc. · Asia AI Institute, Musashino University · Faculty of Data Science, Musashino University · AIx, Inc.
提出摄取时语义编译 ISC,将语料编译为带验证来源的原子声明,查询时读取成本降低约21倍且准确率更高
📌 工作参考价值(4 点)
- 电商知识库/客服对话场景:将商品卖点、用户评价、客服承诺提前编译为原子事实(claim),每条事实携带 verbatim span、说话人、位置;RAG 时直接返回事实而非原始段落,可显著降低读取 token 并提升答案准确率,尤其适合高频查询。
- Agent 记忆/生成式推荐中写入 provenance 门禁:对从评论、对话中提取的每一条声明做精确字符串匹配,无法定位原文 span 的不写入,避免幻觉传播到下游答案或推荐理由。
- 成本模型 R* 指导编译决策:热门商品描述、政策文档、常见问题可提前编译;长尾、易变内容保留查询时解释,不要默认全量编译。
- 索引维护上借鉴增量低秩更新:频繁更新的商品语料不要每次全量重算 embedding,可考虑增量更新;模型升级用 Procrustes 对齐,只重新嵌入少量样本,降低迁移成本。
DeepWeaver:弥合开放问答中的证据合成鸿沟
🧭 RAG 证据合成 · Thought Block Chain ★ 深度解读
Tsinghua University
用 Thought Block Chain 将噪声证据编织成细粒度、带引用的声明,显著提升开放 QA 的证据利用率与引用质量
📌 工作参考价值(4 点)
- 借鉴 TBC 作为生成前中间表示:在电商/推荐场景中,当需要基于大量候选商品、用户评论、内容文档生成推荐理由或商品综述时,可以先用 LLM 抽取结构化的「claim + keywords + salient info + evidence」块,把长上下文压缩为可管理的块链,再逐块生成最终文案,避免直接给 LLM 全量候选导致的信息丢失。
- 迭代式证据补全机制:DeepWeaver 的 subordinate + commit 流程(识别未覆盖证据 → 生成子 TBC → merge/discard)可以直接迁移到商品推荐理由生成或搜索 answer 合成中:先让模型生成初稿,再找出被忽略的用户痛点或商品卖点,补充后合并去重,能大幅提升内容覆盖率和细节保留度。
- 随机采样证据分轮处理:在广告文案、推荐理由等需要引用大量候选的场景,不必一次把所有商品/文档塞进 context,可按轮随机采样子集构造 TBC,多轮后覆盖全量证据,既能降低单次 context 压力,又能保持最终输出的全面性。
- 可解释性与引用对齐:通过把每个 claim 显式链接到证据片段(商品属性、评论、文档段落),可以方便地做归因和后续验证,适合需要高可信度的搜索推荐答案生成,也方便在线上做引用溯源和质量审核。
FinRCA-Bench:面向金融 AI 系统的证据检索与推理基准测试
🧭 RAG 证据检索与推理分离评估
提出 FinRCA-Bench,分离检索失败与推理失败,量化证据检索架构对金融对账根因诊断准确率的影响
📌 工作参考价值(4 点)
- 电商交易纠纷、支付对账、风控诊断等场景中,证据通常分散在订单、支付、履约、客服等多张表且靠事务关系而非文本相似;可借鉴 TPGR 思路,用 Typed Provenance Graph 沿订单号、支付单号等持久化关系做受限遍历,而不是纯语义检索,能显著减少噪声 token、提高必需证据召回。
- 评估系统时不要只看最终答案准确率:把证据召回、证据契约覆盖率与推理正确性分开打点,定位瓶颈。论文发现检索失败远多于推理失败(95 vs 15),业务上应优先优化 retrieval 结构而非反复调 prompt 或换模型。
- 对结构化程度高的问题,Rules/SQL 和经典 ML 仍很强(95.44%),不要盲目上 LLM;LLM 更适合处理规则难覆盖的非结构化和需要解释的场景,结构化部分用确定性规则或 GBDT 等传统模型保证稳定可审计。
- 可复用 evidence contract 评估方法:为每个 case 标注必需的 record 级证据集合,独立评估返回证据的精确性与完整性;对推荐/排序解释、广告归因等需要审计的业务,也可以建立证据契约,避免“正确结论但不可解释”。
更多上下文,相同预算:超越Top-K检索的双界关系召回
🧭 检索上下文分配 · 图关系扩展 ★ 深度解读
Radiant Institute for Manifold Studies (RIMS)
相同检索预算下,用相关性种子加图邻接扩展比平铺top-k多恢复23.8个百分点的完整支持证据
📌 工作参考价值(5 点)
- 在RAG/搜索上下文中,不要把上下文窗口只当Top-K分数填充:可以预留一部分预算给与已选高相关实体有边关系的邻居(知识图谱、共现、商品关系等),这对需要多跳证据的查询尤其有效。实验证明相同token/对象预算下,图邻接扩展比继续下钻排名多恢复24%的完整证据集。
- 评估检索不要只看单条hit rate或recall@k:改用「完整支持集恢复」这类集合级指标,才暴露出平铺top-k在组合证据上的短板。电商导购中一个答案往往需要多个商品/属性共同支撑,单条命中掩盖了证据不完整问题。
- 问题类型决定策略:桥接类/多跳查询从关系扩展中获益巨大(+28.7pp),比较类查询几乎不获益(+4.2pp)。先做查询类型识别,再有条件触发关系扩展,能集中预算、减少对平铺场景的伤害。
- 关系质量必须用真实业务图谱:随机邻居和度保持打乱图都显著弱于真实关系图,说明不能只靠粗略共现或结构相似,要构建和维护语义准确的知识图谱。
- 注意伤害案例:关系扩展替换掉了192个问题本可恢复的平铺项,并非单调有益。部署时应学习一个选择器或价值模型,在扩展和继续下钻之间做期望收益判断。
自适应记忆与反思多智能体系统用于医学问答
🧭 多智能体协作与记忆反思机制
提出医学问答多智能体框架,通过智能体专属记忆、反思反馈与复杂度路由提升答案质量
📌 工作参考价值(4 点)
- 复杂度评估与工作流路由:电商/搜索推荐中可参考“复杂度评估器”,根据用户 query 或上下文难度,将任务路由到 solo、collaborative 或 escalated 工作流——简单查询走轻量单智能体,复杂需求触发多智能体协作或人工升级,平衡效果与成本。
- 智能体专属记忆与反思:为不同智能体(如意图识别、商品召回、排序、文案生成)维护独立记忆和反思缓存,记录历史失败案例与反馈,让后续推理更少犯同类错误;这与用户长期偏好记忆类似,但更强调任务级错误纠正。
- 共识与伦理监督模块:在生成推荐理由、广告文案或客服回答时,引入多个智能体输出共识和合规审查,能减少事实性错误、品牌风险,尤其适用于医疗、金融等需要强监管的场景;电商大促文案也可以借鉴此类多角度审核。
- 外部检索与记忆结合:AMR 将外部 RAG 与历史对话/案例记忆有效结合,对电商问答或生成式推荐有借鉴意义——既要有实时商品知识检索,也要沉淀用户交互记忆与反思,提升生成稳定性和个性化。
成本随变化缩放而非语料大小:增量维护演化语义基底
🧭 增量语义基底维护 · RAG 成本优化
Asia AI Institute · Musashino University · Endgame Labs, Inc.
增量低秩更新替代全量 SVD,使语义基底维护成本随变化量而非语料规模增长
📌 工作参考价值(4 点)
- 电商商品库/内容库频繁上新时,可用增量低秩更新维护语义索引(LSI/SVD),单次更新成本与新增变更量成正比,替代周期性全量重建,适合高动态场景。
- 切换 embedding 模型或版本时,不必全量重新嵌入所有商品/文档;用 orthogonal Procrustes 对齐新旧嵌入空间,只需重嵌约 10% 代表性样本校准虚拟轴,可恢复 0.95 平均余弦相似度,大幅降低迁移成本。
- 增量 SVD 维护的子空间与全量 SVD 接近一致(recall@10=1.0),可作为动态语义召回或 RAG 索引的底层机制,支持低延迟 ingestion 和稳定检索质量。
- 可推广到用户/商品向量索引(如 ANN)的更新策略:用增量更新 + 漂移校准代替定期全量重建,减少离线计算资源消耗。
复杂分块何时值得?大规模分块方法多目标评估
🧭 RAG 密集检索 · 分块多目标评估
University of Passau · Interdisciplinary Transformation University Linz
8种分块策略的规模化评测表明复杂分块很少一致优于简单分块,最佳选择高度依赖模型、数据和规模,且成本差异显著
📌 工作参考价值(4 点)
- 在电商 RAG 场景(商品文档/评价/客服知识库)中,先以固定长度或递归分块作为 baseline,不必一上来用 Proposition/语义分块等复杂方法:它们往往只带来微小或不一致提升,但索引与维护成本更高。
- 选型分块时把索引吞吐、查询延迟、向量库内存纳入评估,而不只看 nDCG/Recall;相同检索指标下,优先选择 chunk 数量少、平均长度小的策略,可显著降低线上召回和存储成本。
- 分块效果与 embedding model 和 corpus size 存在交互,没有 universal best;上线前应在自己模型与目标语料规模下做小规模多目标 ablation,并分别报告 Recall@k 与 nDCG@k,因为结论可能随目标指标不同而翻转。
- 对于长文档召回,采用“更细分块 + MaxP/段落级聚合”常是一个稳的起点;复杂分块若不能在同一模型/数据上稳定提升,不建议为微弱效果付出工程复杂度。
工具技能检索失败:可执行能力检索中的源风格坍缩
🧭 Agent 工具检索的源风格坍缩与路由 ★ 深度解读
University of Manchester · University of Sheffield · Shanghai University of Finance and Economics
固定工具库下 dense retriever 会因 query 源风格偏移而覆盖崩溃,TF-IDF 路由+少样本修复可显著恢复覆盖。
📌 工作参考价值(4 点)
- 在多源工具库/API 注册中心上线前,用 query-side TF-IDF 质心距离对流量做源风格监控,设置 safe/unsafe band 做路由护栏,成本极低且能避免线上 candidate coverage 崩溃。
- 不要用 naive 混合训练或平衡重加权来解决多源 drift,它会损害原本匹配源的覆盖;更划算的做法是保留多个 retriever checkpoint,做 source-aware routing,并对 mismatched 流量用 20 条左右 matched examples 做短时继续微调。
- 检索层是 agent 执行链路的入口,评估时优先看 coverage 或 coverage-weighted top-1 proxy,而不是只看 covered query 上的 reranker 精度;未覆盖 query 必须直接记为失败,否则会掩盖系统风险。
- 把工具/API 重渲染成标准化 skill card 并不能消除源风格坍缩,说明问题在 query-tool pairing 习惯和措辞分布,而不只是 schema 格式;做 skill 库时不要把格式归一化当成语义漂移修复。
RegulaRAG:基于LLM的法规合规场景生成(以UN第152号法规为例)
🧭 RAG 检索增强生成优化
RegulaRAG结合SmartChunking、图遍历参考感知增强与Smart Retrieve & Rerank,在法规场景生成中Meta-Score 82.99,领先43%
📌 工作参考价值(4 点)
- 结构感知切片(SmartChunking):对法规、商品说明书、活动规则等长文档RAG,保留标题/章节/条款层级,避免简单固定长度切片导致上下文断裂,可显著提升LLM回答准确性。
- 参考感知增强:通过图遍历自动关联段落与表格(例如电商SKU参数表与正文描述),解决表格信息在RAG中检索不到或割裂的问题,可直接用于商品详情页问答、售后政策查询。
- 三步渐进式参数搜索:不依赖暴力网格搜索,快速找到chunk大小、top-k等检索参数,降低调参成本,适合快速迭代的电商RAG系统。
- 鲁棒性压力测试:用干扰文档扩充语料库评估RAG稳定性,可作为上线前评测标准,防止因知识库膨胀导致检索质量急剧下降。
Noesis:双向图 RAG 与自适应并行及跨知识库语义发现
🧭 Graph-RAG 架构 · 多跳推理与跨知识库路由
Alpha Cogs
提出解耦 Graph-RAG 架构,结合双向图遍历、AIMD 并发控制、MoE 量化与跨 KB 路由,HotpotQA 超 GraphRAG +27.8 EM
📌 工作参考价值(4 点)
- 知识图谱构建时参考双向遍历 + 带记忆衰减的 context resolver,可改善电商场景中商品详情、用户评价、售后政策等长文本的跨段落关系抽取,尤其适合“多商品对比”“政策条款与商品页关联”等需要跨 chunk 因果链的任务。
- 借鉴 AIMD 并发控制器:将文档 ingestion 或模型服务的并发从固定线程改为类似 TCP 的加性增/乘性减自适应策略,能自动跑满硬件且避免 OOM,适合大促前全量商品知识库刷新。
- MoE 模型上线采用领域感知选择性量化而非全局量化:对高频/关键专家保持高精度,对冷门专家激进量化,可在 12GB 消费级 GPU 部署大模型,降低电商 RAG assistant 或投放助手的推理成本。
- Mesh 的跨 KB 语义路由可直接迁移:多个业务知识库(商品、活动、广告、客服)不必合并成单一大图;路由层做运行时结构发现与自适应阈值切分,让一个较小模型完成跨域多跳推理,适合构建统一购物助手或广告投放问答系统。
检索冗余与多样性如何影响 RAG 生成正确性
🧭 RAG 检索多样性对生成器的影响 ★ 深度解读
The University of Queensland · CSIRO
在虚构 QA 上证明重复/改写文档几乎无益,跨体裁多样文档可提升 RAG 正确性 17%–47%
📌 工作参考价值(4 点)
- RAG 检索/重排不要只取 similarity top-k,必须引入来源/视角多样性:可复用 MMR、coverage-aware rerank,或在结合商品知识、用户评论、官方说明时显式跨体裁采样,让生成器获得多角度证据。
- 对同义改写、伪文档扩展要谨慎:LLM 改写同一份 anchor 并不能稳定提升事实型 QA 正确性,不必在推理侧做同质数据扩增;省下来的上下文预算换成异质来源。
- 在商品问答、推荐理由生成、广告文案等 RAG 场景中,文档体裁/来源可信度可能比单纯相关性更影响生成;可考虑对百科型或权威结构化内容加权,压制低质社媒文本。
- 评估检索质量时,传统去冗余假设对生成器不一定成立:面向生成器的评估要看最终答案正确性,并控制参数知识和答案字符串匹配,否则容易误判多样性收益。
多轮RAG何时停止?Search-R1中结构化停止判断与检索削减
🧭 多轮RAG自适应停止策略
Unaffiliated
在冻结的Search-R1框架上训练S2G风格结构化judge,用第一STOP决策减少3.7%检索调用,EM仅降0.625个百分点
📌 工作参考价值(4 点)
- 冻结主流程、只训停止judge:在电商搜索/Agent的多轮RAG场景,可以保持线上reasoner、retriever、prompt不动,只在小模型judge上做结构化停止判断,降低切换风险。
- 用“充分性+缺口”双标签替代二分类:让judge同时预测当前证据是否足够、缺失信息是什么,能提供更可解释的停止信号,后续可直接用缺口引导下一轮query改写或检索。
- 把序列决策当成first STOP选择问题:部署时轨迹由第一个STOP决定,因此评估时应按整条轨迹的最终效果而非单状态分类准确率来选阈值,建议用grouped validation避免同题多状态之间的泄漏。
- 注意成本口径:论文明确即使检索次数减少,judge推理也可能增加总耗时;业务上要单独核算端到端latency/cost,不能只报检索调用下降。
HybridRAG-BN:面向孟加拉语KBQA的检索增强与微调验证框架
🧭 低资源语言KBQA · 混合检索+验证精炼
Chittagong University of Engineering & Technology
混合稀疏/稠密检索与LoRA验证、后处理兜底的Bangla KBQA方案,竞赛双榜F1最高0.729
📌 工作参考价值(4 点)
- 在跨境电商/多语言客服KBQA中可复用“BM25+BGE-M3”混合召回:BM25卡精确词,BGE-M3补跨语言语义,减轻低资源语言形态变化对召回的冲击;工程上可离线建倒排+向量双索引。
- 生成器+LoRA验证器双模型范式:先用大模型生成候选答案,再用同一底座LoRA微调做验证与精炼,可嵌入客服回复、商品问答、Agent工具调用结果的质量把关环节,降低不可靠输出。
- 兜底后处理:对低置信度或未解析case,用fallback规则+外部搜索(如DuckDuckGo)二次检索,适合商品知识库覆盖不全时的实时兜底,避免Agent空答或乱答。
- GGUF量化部署Gemma-4-31B,在有限GPU下也能跑生成+验证两个模型;低资源业务可借鉴量化+LoRA节省成本。
RAGSieve:检索增强生成中知识投毒的自引用局部对比检测
🧭 RAG安全 · 自引用局部对比检测
Nanjing University of Information Science and Technology · Meituan
提出自引用局部对比检测框架,在查询时和语料入库时无需投毒标签识别RAG投毒文档
📌 工作参考价值(4 点)
- 在RAG检索后、生成前增加轻量检测层:对同一次检索的 top-5 与 rank 6-20 候选做分布对比(如相似度集中度、排名跃迁),发现异常文档直接过滤,不需要全局阈值,适合多品类电商检索结果分布差异大的场景。
- 语料入库阶段构建文档局部邻域图,检测与语义相似但词法不同邻居的密度异常,可提前拦截协同注入的商品描述、评论或UGC内容,降低在线风险。
- 方法无需投毒标注或可信参考语料,适合业务冷启动或无标注数据时快速上线防御。
- 联合部署查询时和入库时检测,攻击成功率从67.4%降至14.0%,且对干净检索F1影响有限,可作为RAG安全模块直接嵌入现有pipeline。
谁发言重要:面向意大利议会记录的权威感知多视角RAG
🧭 权威感知的多视角 RAG 专家检索
University of Milano-Bicocca, Milan, Italy
以查询依赖的说话者权威模型驱动多视角摘要,在议会语料上实现高引文忠实度与政治团体覆盖
📌 工作参考价值(4 点)
- 在电商评价、内容导购或专家问答中,可对 UGC 作者/KOL 构建查询依赖的权威度特征(职业、历史发言、主题相关度),而非仅按点赞量或影响力加权,降低头部作者主导。
- 多视角摘要可迁移到商品评论区、直播切片观点提取:先检索相关 chunk,再识别跨立场的领域专家,最后生成综合摘要并强制附带原文引用,配合 faithfulness 校验降低错误归因。
- 可借鉴政治团体覆盖度指标,在推荐或内容聚合场景衡量不同品牌/品类/观点群体的覆盖,防止少数头部主导曝光,提升多样性。
- 架构上将「检索 → 专家识别 → 综合生成」解耦,便于在 Agent 系统中替换各模块(如专家知识图谱、引用验证器)。
向量数据库近似最近邻搜索综合评测:性能、质量与资源权衡
🧭 向量数据库 ANNS 基准评测
University of Kelaniya
在6个数据集上评测7个向量数据库,揭示FAISS吞吐最高、Weaviate召回最好、Qdrant延迟最低,并开源框架
📌 工作参考价值(4 点)
- 在电商/RAG/推荐系统中,向量检索是高频依赖,选型时可参考评测结论:追求极致吞吐选 FAISS(但需自建数据库管理);需要开箱即用高召回选 Weaviate;对延迟敏感选 Qdrant;快速冷启动/索引构建选 LanceDB。
- 作者开源了基准测试框架,可将自家业务数据集和查询负载直接套用,横向对比候选向量库在真实 query 分布下的 Recall@K、P99 延迟、内存/存储占用,避免盲目选型。
- 关注 cold-start latency(首次查询或容器冷启动)指标,对在线服务弹性扩缩容和 serverless 部署有实际参考价值;评测显示部分系统冷启动开销差异大。
- 结合资源消耗(索引构建时间、内存、存储)与查询性能做权衡:LanceDB 通过牺牲召回换取极快索引构建,适合频繁重建索引或数据快速流入的场景,如实时用户行为 embedding 更新。
证据引导的多跳图检索查询重构
🧭 RAG · 多跳图检索查询重构
Nanjing University of Information Science and Technology · Meituan
利用已检索证据生成残差查询,分离查询重构与图证据聚合,提升多跳检索 Recall@5 与 F1
📌 工作参考价值(4 点)
- 多跳检索中引入残差查询:在商品图谱问答或客服 RAG 中,初始 query 往往只指向第一跳实体,后续证据需要新查询补充。可仿照 EviReform,用已命中的商品/属性片段生成 residual query,针对尚未解决的信息需求定向检索,避免把所有证据混在一个 query 向量里。
- 分离查询修正与图聚合:不要每拿到新证据就重新编码整个 query 或图。工程上可以并行计算原始 query 和多个残差 query 的检索分数,分别归一化后加权融合,再在实体/商品关系图上传播。这样既保留原意图,又能灵活吸收中途证据。
- 利用语义证据引导图遍历:在商品知识图谱或内容关系图中,边权重可以结合当前已观察到的实体语义相似度,而非仅依赖静态关系。例如用户问“A 品牌手机续航如何”,先用 A 品牌手机命中节点,再根据该节点生成“电池容量/快充”残差查询,补充商品属性节点。
- 评估指标与成本意识:论文中 Recall@5 最高提升 5.59 点,说明少量残差查询即可带来显著收益。在业务中可控制每轮残差查询数量(如 1-3 个),平衡检索延迟与召回提升。
LODESTAR:可信熵是导航而非测量——强化极化器防止冻结 LLM 被错误证据自信误导
🧭 RAG 答案选择 · RL 训练提示干预
Research Center for Information Technology Innovation, Academia Sinica, Taiwan
用 RL 训练固定 prompt 干预串,提升冻结 LLM 在 RAG 答案选择中对误导证据的鲁棒性
📌 工作参考价值(4 点)
- 生成式推荐/搜索候选重排:用 frozen LLM 的预测熵筛选候选时,注意低熵可能因上下文误导而不可靠。可在 prompt 前加一个固定的“polarizer”提示串(如“请先检查证据可信度”类),用离线 RL 训练,不改模型权重,在线零成本提高鲁棒性。
- 训练技巧:RL 奖励可来自 gold 标签与 LLM judge 组合,离线构建标签,推理时不依赖 judge。适合业务中无实时标注但离线有部分人工/gold 数据的场景。
- 架构选择:保持 LLM 冻结,只优化一个短的自然语言干预,比 fine-tune LLM 成本低且易于 A/B 测试;推荐系统可对不同候选池/域分别训练 polarizer 字符串。
- Agent 检索后答案融合:在 Agent 的 retrieve-then-answer 流程中,对多个检索证据采用基于熵的选择时,可引入干预提升对误导证据的韧性;消融实验证明能降低误导段落被读取概率。
语料特定的临床 RAG 系统在 HealthBench 上匹敌或超越新前沿 LLM
🧭 领域特定 RAG 系统评估
领域特定 RAG 通过定制语料在开放基准上与最新前沿 LLM 打平或领先,验证语料特异性对 grounding 的作用
📌 工作参考价值(4 点)
- 电商/客服领域 RAG 可借鉴「语料特异性」:把平台规则、商品政策、本地化约束、用户历史上下文等做成强约束检索源,能提升事实 grounding,不一定需要最大模型;具体做法是让检索 top-k 覆盖业务规则和场景化文档,并在 prompt 中显式要求优先依据检索证据回答。
- 评估模型和 judge 最好不共享家族/血缘,否则分数会系统性高估;可以用中立开源模型(如不同厂商模型)做第二评判,看结论是否稳健,尤其关注「准确性」「完整性」和「沟通分数」的分维度变化,避免只看总分。
- 当业务知识库足够垂直时,专用 RAG + 中等生成模型可对标甚至压过通用大模型,但会牺牲表达流畅度;产品上可以用 RAG 保证准确,再用后处理或改写模型补偿沟通体验。
- 消融「语料范围」是个高价值实验:把知识库从通用语料换成店铺/行业/活动强相关语料,观察同一 LLM 的准确率变化,即可量化语料特异性收益。
不回滚:面向流式对话摘要的缺失证据记忆
🧭 流式对话摘要 · 缺失证据记忆
KAIST
提出缺失证据记忆框架 ReMEMBER,在固定预算下针对当前窗口未解决依赖检索并提炼证据,提升流式对话摘要的缺口补全
📌 工作参考价值(4 点)
- 在电商客服/导购 Agent 中,多轮对话当前轮常含指代或隐含前提,直接总结或回答会丢失 grounding。可借鉴 ReMEMBER:先识别当前窗口的未解决依赖,再按依赖检索证据,而非按语义相似度盲目取 top-k;检索到的片段做证据密度提炼,在固定 token 预算下提升回答/摘要的事实一致性。
- 对推荐系统长序列用户行为建模,类似流式窗口总结:每次只处理最近一段 session,但长期偏好需从历史检索。可将当前目标视为带依赖的 query,先抽取缺失证据(早期点击、属性变化)再生成紧凑记忆;这比简单截断历史或普通 RAG top-k 更有效。
- 工程上,评估 RAG/记忆模块不要只看生成文本质量,应拆分 memory recall 和 gap-resolution completeness 等诊断指标,便于定位是检索没召回还是生成没利用,直接用于调试检索 Augmented 流水线。
- 若要用 LLM 记忆服务在线低延迟场景,固定预算下先检索后压缩的 evidence-dense memory 思路,适合做 prompt 压缩或 KV cache 精简,减少无效历史对注意力的干扰。
无需固定截断深度的精确自适应混合检索
🧭 自适应混合检索 · 精确Top-K无截断
Southwest Jiaotong University
提出可按需继续的精确稠密-稀疏融合方法,保证完全列表Top-K一致且避免固定截断,平均加速23-30倍
📌 工作参考价值(4 点)
- 多路召回免截断融合:电商/推荐场景中,embedding 召回与倒排召回融合时,可借鉴 EAHR 的按需增量获取机制,不再硬性固定每条通道的截断数,避免截断过小丢失关键文档或过大引入冗余计算。
- 可恢复的精确排序:使用 PVS 量化向量索引 + PBM 块最大索引,支持随时恢复并继续拉取下一个未读高分项,工程上可设计成流式/游标式接口,方便在多路融合中按需拉取。
- 边界裁剪节省算力:计算未读候选的融合分数上界,仅当上界可能挤入当前 Top-K 时才继续请求,多数 easy query 可提前终止,大幅降低平均延迟(实测加速 23-30 倍),同时保证融合结果与完整列表完全一致。
- 无需依赖历史查询调参:实验证明固定深度无法从历史查询可靠迁移,EAHR 的自适应策略省去了繁重的离线参数调优,更适合动态语料与长尾查询。
修辞角色感知的领域RAG:面向印度最高法院判决的法律问答
🧭 领域增强RAG · 修辞角色分块
National Institute of Technology, Tiruchirappalli · National Institute of Karnataka, Surathkal
提出修辞角色分块、混合检索与查询改写的领域RAG框架,提升法律多轮问答的上下文召回与答案相关性
📌 工作参考价值(4 点)
- 修辞角色分块可迁移至电商内容理解:对商品标题、详情、评论按修辞角色(属性、评价、场景)分块,提升检索与生成相关性。
- 多轮查询改写增强对话Agent:利用历史与意图分类进行查询改写,可解决电商导购、客服场景中的指代消解与意图漂移。
- 结构感知提升专业领域检索:提取文档中的实体(如法官姓名)类似电商中的品牌、规格,可作为稀疏特征加入检索或重排序。
- 混合检索与交叉编码器重排序:在商品搜索或推荐Agent中直接复用,融合稠密与稀疏检索信号,再用交叉编码器精排,成本可控且效果提升明显。
超越Top-K:用可解释Agent操作替代黑盒检索
🧭 Agent驱动的结构化文档免嵌入检索
Indian Institute of Technology Patna · TwoSpoon
提出READ,一种免嵌入的agentic检索方法,在表格密集文档上准确率远超密集检索且可审计
📌 工作参考价值(4 点)
- 对于包含大量表格/结构化字段的长文档(如商品参数、金融报告),分块嵌入检索常会破坏数值与单位/上下文的关联,可改用Agent按需读取原始文档,通过归一化词法搜索和结构导航确保精确提取。
- 在检索环节中,嵌入并非万能:实验表明BM25与READ效果相当,因此对于数值密集场景,优先考虑强词法匹配而非密集向量。
- 将检索接口设计为可审计的步骤序列(如MCP暴露工具),便于调试和信任,尤其适合高风险业务场景(如合规、财务审查)。
- 若业务中需构建问答系统处理半结构化长文本,可借鉴READ的“保持文档完整、让Agent选择读哪里”的理念,避免提前分块带来的信息断裂。
M³Prune:面向多模态多智能体 RAG 的分层通信剪枝
🧭 多智能体协作效率优化 ★ 深度解读
Hefei University of Technology · East China Normal University · China University of Petroleum · Guangdong University of Finance and Economics · Alibaba Group
通过分层学习稀疏通信拓扑剪枝多智能体冗余交互,在提升多模态 RAG 准确率的同时大幅降低 token 开销
📌 工作参考价值(4 点)
- 在多智能体推荐或对话系统中,可直接引入可学习的软邻接矩阵(Gumbel-Softmax)对 Agent 间的通信权重建模,用策略梯度在训练时自动发现关键通信链路,替代固定拓扑。
- 分层剪枝策略(先剪模态内冗余,再剪模态间冗余)可迁移至多源信息(如商品图文、评论)的智能体协作,减少跨模态噪声,提升决策效率。
- 渐进式剪枝中的退化剪枝率 \(p^{(t)} = p^{(t-1)} \cdot \exp(-t/T)\) 和核范数正则项可作为通信成本控制模板,直接用于生产级多 Agent 系统的持续优化,避免一次性剪枝带来的不稳定。
- 模态对齐损失 \(L_{align}\) 可借鉴于推荐中多模态特征融合的对齐训练,显式保持图文 Agent 间语义一致性,防止因剪枝导致的协同失效。
神经符号检索增强生成用于可解释问答
🧭 神经符号RAG · 可解释推理
Data Science Group, Heidelberg University, Germany
将检索文本块合成为可归因的Prolog模块并引入知识缺口检测,实现透明可溯源的RAG推理
📌 工作参考价值(4 点)
- 在对话式推荐或客服Agent中,可将检索到的商品知识/政策文本转化为Prolog谓词,实现决策步骤的可追溯和确定性验证,提升用户信任。
- 知识缺口检测机制可移植到个性化推荐:当用户上下文不完整时(如未提供偏好尺寸、预算),系统主动追问,改善冷启动和动态探索。
- 利用LLM从非结构化语料(商品描述、活动规则)自动抽取结构化规则(布尔断言),与推荐引擎结合,构建可解释的过滤/排序逻辑。
- 在Agent关键推理节点,嵌入神经符号混合策略:用LLM完成灵活的语言理解,用符号执行保障逻辑一致性,平衡泛化与可靠性。
通过合成查询探测映射不同嵌入模型的相似度空间
🧭 嵌入向量相似度跨模型校准
Pegasystems · Leiden University
提出无参考合成查询探测方法,学习分数映射使不同嵌入模型的相似度可比,提升阈值可迁移性
📌 工作参考价值(4 点)
- 模型迁移时的阈值复用:当切换或升级嵌入模型时,利用 isotonic 回归学习旧的相似度分数到新模型分数的单调映射,可直接复用原有检索阈值,避免重做大量 A/B 测试或人工调参。
- 无标注的快速校准:Synthetic Query Probing 通过从文档自动生成查询(如用 LLM 生成)构建配对数据,无需人工标注,可在分钟级完成一次跨模型分数校准,适合频繁迭代模型的场景。
- 多路召回分数融合:在推荐或广告系统的多路召回中,不同路可能使用不同嵌入模型,先对各路分数进行跨模型校准再融合,可提升融合排序的合理性,避免因分数分布差异导致某一路被系统性压制。
- 线上阈值自适应:新模型上线时,仅需少量查询-文档校准对即可在线学习一个轻量映射函数,实现动态阈值调整,降低线上实验风险。
训练后适应技术的六维分类法及其AI治理应用
🧭 训练后适应技术分类与治理
Karolinska Institutet · Karolinska University Hospital · University of Borås · KTH Royal Institute of Technology
提出统一六维分类法,区分微调、RAG等训练后适应技术,支持模型变更治理
📌 工作参考价值(3 点)
- 模型迭代治理:可借鉴其六维分类(机制、目标、数据需求、持久性、结构范围、模型类型)建立模型变更日志,便于在推荐系统频繁微调、RAG更新等场景下合规审计。
- 适应技术选择:通过持久性维度区分一次性微调与持续推理时适应(如RAG、动态提示),指导电商搜索/推荐系统在候选生成、重排序阶段的工程架构选型。
- 技术栈梳理:论文梳理的继承、取代、混合等关系可帮助团队理清模型更新技术栈,避免重复或冲突。
教Nemotron希腊语:专业领域现代希腊语RAG全流程构建
🧭 低资源语言RAG全栈适配 · 领域检索增强生成
Sophea AI, KIEFER SA, Athens, Greece
为低资源语言从头搭建检索增强生成系统,合成监督、微调嵌入与重排、适配生成,并发布基准HERA。
📌 工作参考价值(4 点)
- 不要迷信多语言密集检索:在特定领域(如电商商品描述、客服文档),先跑一个BM25作为基线,很可能强过通用多语言嵌入模型,尤其在低资源语言场景。
- 小规模领域检索对微调有大收益:仅用6.5万合成希腊语检索对微调1B嵌入模型,nDCG@10从0.362涨到0.835。在电商垂直领域,可以自动构建(query, 商品/文档)对来微调嵌入模型,成本低但效果显著。
- 重排器也需要领域适配:现成跨编码器重排器在不同领域表现不一致,用领域数据微调后能变成稳定增益。构建RAG系统时,别忽略重排环节的定制训练。
- LoRA微调MoE阅读器大幅提升答案质量:仅LoRA调优30B-A3B的MoE模型,答案正确率从29.4%升至66.9%,且忠实性和引用质量显著改善。对于需要从长文档中提取证据的场景(如电商说明书、政策文档),用LoRA高效地让大模型接地气。
SciRet:面向科学RAG的检索与重排序计算感知实证研究
🧭 科学RAG检索与重排序实证分析
Laurentian University · North South University
在科学问答RAG中,混合检索更鲁棒,跨域重排序可能有害,且生成忠实度随语料规模增大而提升。
📌 工作参考价值(4 点)
- 电商搜索/推荐场景的 RAG 系统应优先采用混合检索(稀疏 BM25 + 稠密向量),它在不同索引规模下均更鲁棒,可避免单一方式在长尾或新类目上的性能塌陷。
- 重排序模型必须使用领域内数据微调;直接使用通用 Web 数据(如 MS MARCO)训练的 cross-encoder 会因领域不匹配而损伤检索精度,建议用业务日志中的点击/转化数据构建正负例进行微调。
- 随索引语料规模增大,生成回答的忠实度(faithfulness)可能自然提升,但需权衡计算成本;在工程上可考虑分层检索或动态调整检索深度。
- 句子窗口分块策略简单有效,适用于商品描述、用户评论等长文本场景,可作为 baseline 快速验证。
用搜索评分标准训练文档重排序器以支持深度研究智能体
🧭 搜索评分标准引导的文档重排序器训练 ★ 深度解读
中国人民大学 · 腾讯
提出层级式搜索评分标准,指导文档重排序器训练,提升智能体检索质量并减少搜索调用次数
📌 工作参考价值(4 点)
- 搜索评分标准可迁移至电商/推荐场景:借鉴层级式评估(集合级:相关性、简洁性、一致性;文档级:来源权威性、时效性),为商品搜索词或推荐候选集设计 query-specific 质量 rubrics,直接用于训练重排模型或构造奖励函数。
- 两阶段训练范式可直接复用:先用教师模型(如强 LLM)按 rubrics 生成伪标签做 SFT 冷启动,再用 GRPO 搭配 rubrics 加权奖励做 RL 微调,这一范式适合商品列表、广告创意列表等需要集合整体优化的排序任务。
- rubric 构造方法可提升评估与训练信号质量:用强 LLM 先合成高质量答案,再扩展出细粒度、带权重的评分标准,能够更精准地捕捉集合级别的信息需求(如多样性、覆盖度),这个方法可直接嫁接于推荐系统的离线评估或 RL reward 设计。
- 文档集级别重排思想可直接用于电商搜索/RAG 系统:不按单个文档相关性排序,而是直接输出一个满足整体质量要求的子集,能够减少冗余、提升证据充分性,可降低后续 Agent 或 LLM 生成回答时所需的搜索步数,改善时延。
边缘语言模型的结构化记忆:O(1) SSM 状态注入实现持久上下文与语料检索
🧭 SSM 状态注入实现 O(1) RAG
BrainChip Inc.
利用 SSM 固定大小隐藏状态实现 O(1) 预填充的语料检索与记忆巩固,在边缘设备上实现 4500 倍加速
📌 工作参考价值(4 点)
- 高并发低延迟场景可直接复用:将商品/广告语料库离线预编码为 SSM 隐藏状态,线上查询时注入匹配状态,跳过在线重编码,显著降低首 token 延迟
- 多 Agent 协作中共享记忆体:各 Agent 可维护各自的结构化记忆,查询时动态融合检索到的语料状态与自身瞬时状态,实现 O(1) 会话初始化
- 用户长期偏好建模:借鉴 SMC 分层记忆机制,将短期交互序列浓缩为固定大小语义状态,持久化存储,与新检索上下文状态直接融合,无需重新处理历史
- 轻量级边缘推荐:在手机或 IoT 设备上部署小型 SSM,预编码推荐知识库作为隐藏状态,实现端侧零上下文实时推荐
桥接 RAG 中问答鸿沟的假设提示嵌入
🧭 RAG 检索优化 · 假设嵌入
University of Primorska, Faculty of Mathematics, Natural Sciences and Information Technologies · InnoRenew CoE · Research Centre of the Slovenian Academy of Sciences and Arts, The Fran Ramovš Institute
将假设内容生成从查询时移至索引阶段,用预计算的假设提示嵌入将检索变成问题-问题匹配
📌 工作参考价值(4 点)
- 预计算假设查询嵌入,替换在线 HyDE:在电商搜索或客服 RAG 中,可将每个商品详情页、政策文档预先用 LLM 生成多个可能用户会问的问题(hypothetical prompts),用这些问题嵌入直接建索引,在线时用户查询嵌入直接与问题嵌入匹配,完全消除查询时调用 LLM 的延迟和成本。
- 多假设覆盖长尾查询:每个 chunk 生成 5-10 种不同表述的假设问题,能覆盖更广泛的用户表达习惯,尤其适合电商搜索中同义但非规范表达的查询,提升召回率和上下文精度。
- 与重排序、多向量检索等兼容:HyPE 仅改变索引构建方式,不影响线上检索架构,可直接叠加现有的粗排-精排流水线、多向量延迟交互模型(如 ColBERT)或查询分解,适合渐进式落地。
- 监控与质量保障:生成假设问题时需要控制幻觉,可先用小模型生成再过滤,或结合类目体系约束生成范围,保证问题与文档内容一致,这比 HyDE 在线生成更容易审计和修复。
EMBL AI 图书馆员:面向 AI 代理的生命科学文献知识层
🧭 面向 AI 代理的文献检索 · 证据提取
EMBL Rome, European Molecular Biology Laboratory · European Bioinformatics Institute (EMBL-EBI) · Sapienza University of Rome · Uppsala University · Heidelberg University
将结构化文献搜索升级为自然语言证据检索层,大幅提升科学代理的问答、验证与综合性能
📌 工作参考价值(4 点)
- 领域知识层架构可迁移至电商导购 Agent:将核心思想——用 LLM 将自然语言问题分解为互补子查询,对接现有搜索引擎 API,并以“证据”而非整篇文档返回——直接用于构建商品知识检索层,为电商对话推荐 Agent 提供精准的商品属性、评价摘要或政策依据。
- 子查询规划与合并策略:借鉴其 LLM 动态生成多个子查询、去重并汇聚证据的方式,可用于复杂推荐解释或多条件检索场景,避免 Agent 硬编码搜索语法,提升召回覆盖率和信息密度。
- 评估方法启发:论文使用的 Citation F1 指标可用于推荐系统生成解释时的引用准确率评估,尤其适合需要引用原文(如用户评价)的场景,可设计类似的证据覆盖度与精确度指标。
- 实时检索与证据定位流水线:该工作结合了现有搜索引擎的实时检索与 LLM 的精读定位,方案轻量且无需重新索引,电商领域可直接套用此模式,将商品搜索 API 与 LLM 结合,为 Agent 提供“事实性回答”能力,降低幻觉风险。
面向知识图谱的图语言模型增强检索生成
🧭 图增强检索生成 · 多跳推理
Institute of Computational Linguistics, Heidelberg University · Aleph Alpha Research
微调图语言模型检索器在多跳知识图谱RAG中取得跨领域SOTA,泛化性优于GNN和向量检索
📌 工作参考价值(4 点)
- 图增强召回:在商品知识图谱上构建GLM检索器,将商品、属性、类目作为节点,微调后可直接用于多跳推理类推荐(如“适合露营的防晒帐篷”),提升跨品类泛化。
- 检索器架构选择:单跳场景优先用高效向量检索(如双塔);涉及多关系推理时改用GLM或GNN检索器,并关注图覆盖度与推理深度的权衡。
- 跨域迁移能力:若业务需快速扩展到新领域(如从服装到美妆),可利用GLM检索器的语言理解优势做zero/few-shot迁移,减少重新标注成本。
- 训练效率与覆盖的平衡:GNN检索器能用更少训练资源达到更高图覆盖率,适合冷启动或图谱频繁更新的场景;GLM检索器在充足数据下随参数量增大性能提升明显,适合主赛道长期投入。
AskChem:以声明为中心的化学文献合成基础设施
🧭 声明为中心的科学文献RAG基础设施
New York University · Matterstack, Inc.
将文献检索单元从论文改为携带出处的原子声明,构建分面分类与证据图,提升AI代理答案可追溯性
📌 工作参考价值(4 点)
- 将商品详情、用户评论等非结构化内容拆分为原子事实声明,携带来源ID(如评论锚点),构建可溯源的“商品知识库”,AI导购或客服可直接引用出处,增强可解释性与信任感。
- 建立商品证据图(如用户反馈 ↔ 产品参数声明),当用户查询“哪些手机在弱光下拍照好”时,系统检索相关声明并聚合显示,而非仅返回商品列表,提升多跳推理问答能力。
- 利用分面分类法动态组织商品属性(品牌、价格、材质等),支持层级浏览与过滤,类似电商导航栏的自动生成,方便探索式购物。
- 借鉴MCP接口设计,将内部搜索/推荐系统封装为Agent可调用的工具,使第三方AI Agent能直接访问结构化声明数据,实现跨平台智能助手的快速集成。
BM25在大规模上获胜:检索增强生成范式的扩展性研究
🧭 检索增强生成扩展性分析 ★ 深度解读
University of Science and Technology of China · Metastone Technology · Beijing Academy of Agriculture and Forestry Sciences
在450倍语料规模扩展实验中,BM25在大约1000万词元后全面超越文件系统Agent和图RAG,成为准确性最高且成本最低的默认检索方案
📌 工作参考价值(4 点)
- 大规模知识库推荐系统检索选型:在电商商品描述、客服知识库等百万级文档场景中,BM25应当被作为默认检索器,而不必盲目追求稠密检索或Agent搜索;BM25无需LLM构建索引,成本极低且准确率在大规模时反而领先。
- 搜索词/问题改写中的成本控制:File-System Agent在小规模(<1000万词元)时可获得最佳准确率,但其顺序探索导致查询成本为BM25的39倍以上;在广告搜索词推荐或用户问题重写中,应先通过全局关键词检索(如BM25)获得候选,再引入Agent推理,而不是全程依赖Agent遍历。
- 图索引构建的门槛评估:GraphRAG(如LightRAG、MS-GraphRAG)在构建阶段消耗极大,LightRAG在300万词元时已无法完成构建,且准确率始终不如BM25;在含有大量噪声、事实冲突的电商评价或客服记录中,图遍历更容易被语义干扰,应谨慎评估ROI。
- 评测设计的借鉴:论文通过固定问答集、固定对抗文档、仅增加背景语料的“嵌套语料梯”设计,可以迁移到搜索推荐系统的离线评估中,用于衡量模型在库存/内容膨胀时的鲁棒性,避免单一体量评估掩盖扩展性问题。
面向大规模金融文档的层级重排序RAG系统
🧭 RAG 层级重排序与长上下文处理
Financial Security Institute · Hanyang University
通过预检索优化、两阶段层级重排序与自适应长上下文管理,显著提升金融RAG的检索精度与事实一致性
📌 工作参考价值(4 点)
- 预检索优化可复制:归一化、关键词扩展与表格转换等轻量级预处理,可直接用于电商搜索或推荐系统的查询理解模块,提升召回阶段的命中率,尤其适合含表格的产品描述。
- 两阶段重排序架构:先粗排后精排的思路在推荐系统中已成熟,本文的层级重排序强调利用不同粒度证据进行递进式匹配,可将类似思路用于多路召回后的融合排序,比如先用稀疏特征粗排,再用cross-encoder精排,降低精排计算压力。
- 长上下文的切片与融合机制:对于需要处理用户长期行为序列或长文档描述的推荐场景,自适应分区和证据融合方法可以避免上下文截断带来的信息丢失,保持长序列推理的连贯性,可迁移至用户长历史建模或多轮对话Agent的记忆管理。
- 事实一致性校验的启发:文中强调生成结果的事实一致性,电商生成式推荐(如AI文案、评论总结)同样面临幻觉问题,可借鉴其在RAG管道中加入事实核对步骤,对生成内容与检索证据进行交叉验证。
面向知识对齐的多跳检索增强生成
🧭 知识图谱多跳检索与对齐学习
The Pennsylvania State University · University at Albany, State University of New York · Stony Brook University, State University of New York
区分锚点与链接三元组,通过全局召回与局部扩展提升图多跳检索的证据完整性
📌 工作参考价值(3 点)
- 知识图谱驱动的商品多跳问答:在电商场景构建商品-属性-类目等知识图谱后,可借鉴 KAMR 的“先全局检索锚点三元组,再沿图局部扩展收集弱相关证据”的两阶段策略,解决复杂查询(如“适合油皮的平价控油粉底液有何副作用?”)需要组合多条知识才能回答的问题。
- 弱对齐事实的补救机制:采用对比学习 pair-level 与 element-level 匹配,配合 LLM 掩码生成部分对齐数据的训练方式,能有效召回语义上弱相关但结构必要的三元组,适合推荐系统中低频长尾属性(如冷门成分)的补全。
- 支持 Agent 的推理链路构建:在 Agent 需调用知识库进行多步推理时,该检索方法可输出有序的证据链,增强答案的可解释性,尤其适用于合规审查、导购解释等场景。
引诱LLM触礁:基于PAIR的Web-RAG推荐器偏好操纵
🧭 对抗攻击与排名操纵 · RAG安全
The University of Queensland · Curtin University
使用PAIR自动攻击框架,通过固定检索源下的内容投毒迭代,将目标实体推至LLM推荐排名第一
📌 工作参考价值(4 点)
- 评估RAG推荐系统安全:借鉴SIREN的自动化测试框架,用固定源回放平台隔离内容影响,检测模型是否易受类似排名投毒攻击。
- 防御过滤:在检索文档进入LLM上下文前,清洗掉声明性排名主张(“最好”“第一”)和植入列表,它们比指令注入更有效,需重点防御。
- 攻击手法洞察:实验中“在列表首位列出目标”等简单编辑就十分有效,提示我们在电商搜索中须警惕对手通过修改商品描述或评论操纵排名。
- 工程实现:论文的Custom-RAG replay平台思路可直接迁移,用于复现和压测自家推荐链路的鲁棒性,分离检索与内容影响。
GRADRAG:跨组件提示自适应实现多智能体RAG协同优化
🧭 RAG多智能体协同优化
Bloomberg
将RAG管线建模为计算图,通过评估反馈反向传播优化上游Agent提示,取得12-15pp偏好提升
📌 工作参考价值(4 点)
- 在搭建电商搜索/问答的Agent管线(检索→证据整理→答案生成→校验)时,可借鉴GRADRAG的图结构建模与反馈传播思路:设计一个Evaluator对最终答案和中间证据打分,将结构化反馈反向发送给上游Agent(如检索改写、图谱构建),用少量迭代联合优化全链路,避免各环节独立调优导致的误差累积。
- 两阶段自适应提示机制可直接落地:先让Evaluator输出简短评判(太模糊/证据不足),再据此生成具体改进指令,带动检索和生成prompt的自动更新,降低人工设计prompt的成本。
- 早停策略对成本敏感的场景很有价值:Evaluator判断答案质量达标即可终止迭代,避免无效重试,平衡效果与推理开销。
- 该方法与底层检索范式解耦,支持chunk-based和graph-based两种模式,因此无论团队当前用的是语义分块检索还是知识图谱增强,都能叠加GRADRAG提升多步推理效果,适配迁移成本低。
LAMAR:开放的语言感知多语言对齐重排序器
🧭 多语言RAG重排序 · 语言感知对齐
Korea University
提出语言感知多语言重排序器LAMAR,通过英语锚定蒸馏和偏好对齐,同时优化语义相关性和语言一致性。
📌 工作参考价值(4 点)
- 在电商搜索重排序中引入语言偏好特征,优先展示与查询语言一致的商品描述,可提升多语言用户体验和转化率。
- 使用英语作为锚定语言进行跨语言相关性蒸馏,统一多语言语义评分,可直接复用至多语言召回/排序的 teacher 模型构建。
- 偏好对齐(如 DPO)可显式控制排序中的语言一致性,结合点击/转化等业务信号微调,比规则加权更精细。
- 多语言 RAG 场景下,重排序考虑语言一致性可减少下游生成的语言混淆,对多语言客服 Agent 或知识库问答有直接帮助。
面向文档集整体质量:从评估基准到无训练优化
🧭 文档集评估与选择 · 面向 RAG 闭环
Tencent Yuanbao AI Search · University of Science and Technology of China · University of Chinese Academy of Sciences · Shandong University
提出文档集评估基准 SetwiseEvalKit 和无训练选择方法 Rubric4Setwise,以更少文档提升 RAG 生成质量
📌 工作参考价值(4 点)
- 电商 RAG 场景(智能客服、AI 导购)中,可借鉴 Rubric4Setwise:定义业务准则(如覆盖产品属性、避免矛盾),利用 LLM 将准则转化为文档选择信号,以更少文档提升答案完整性与准确性。
- 用 SetwiseEvalKit 的多维指标(冗余、冲突、互补)诊断多路召回融合后的文档集质量,指导重排序策略优化,弥补传统逐条相关性指标的局限。
- 无训练方法适合快速迭代和冷启动,无需专门训练文档集选择模型,直接复用现有 LLM 的评估能力。
- 开源基准与工具可直接用于线下评测不同 reranker 的文档集层面效果,为选型提供依据。
FinanceComplexQA:面向工业级金融文档的代理推理基准
🧭 Agent 评估基准 · 金融文档 QA
Beihang University · Microsoft, China · Multilingual-Multimodal-NLP · Langboat Technology · Shenzhen Intelligent Strong Technology Co.,Ltd.
提出一个包含2026道深度研究题、2000份合成专业文档的金融文档QA基准,用于评测Agent与RAG系统的复杂推理能力
📌 工作参考价值(4 点)
- 复杂场景评测构建:可借鉴其基于领域专家知识合成高难度文档与QA对的流水线,为电商搜索推荐中的Agent评测构建真实、多维度的测试集,尤其关注多跳推理、数值计算和业务分析能力。
- Agent-as-a-Judge自动化评估:对于电商Agent的开放式生成输出(如推荐理由、用户洞察),可直接复用其多维指标+LLM评判方式,替代昂贵的人工标注。
- 复杂布局处理:论文对表格、图文混排等复杂文档的解析与推理评估,提醒我们在商品详情页、用户评论等非纯文本场景的RAG系统需强化布局感知能力。
- 失败案例分析驱动迭代:借鉴其按能力维度(数值、多跳等)归类失败案例的方法,系统性地定位推荐Agent的短板,指导架构优化。
基于强化知识图谱探索的分解学习框架用于事实核查
🧭 推理增强 · 强化知识图谱检索
University of Louisville · Denison University
将声明分解为多个查询,用强化学习优化知识图谱探索策略,事实核查 F1 提升 10–15%
📌 工作参考价值(4 点)
- 复杂查询的分解与推理:电商搜索中用户长尾/多条件意图,可借鉴 Planner LLM 将 query 分解为子问题,再到结构化 KG(商品属性、品牌关系)中检索证据,提升复杂 query 的召回精度和可解释性。
- 用 GRPO 优化检索策略:若需训练 query 改写或检索路径选择模型,可采用 Group Relative Policy Optimization,以最终结果准确性+检索多样性为奖励,避免传统监督信号昂贵的问题,适合在线上持续优化搜索或推荐 agent。
- 知识图谱替代纯文本检索:在 RAG 管线中,用 KG 存储商品/用户结构化信息,由分解后的子查询定向抽取子图,可有效减少 LLM 幻觉,适合需要事实级准确性的场景(如营养成分、尺码对比推荐)。
- 多样性与可审计的设计:奖励中加入结构多样性,能防止检索结果单一化,同时 KG 路径可天然提供审计链,这对电商合规和用户信任构建有直接价值。
DeepStress:深度搜索代理的压力测试
🧭 搜索代理鲁棒性评估与压力测试
Orange Research · Aix-Marseille Univ. · CNRS
提出DeepStress框架,通过控制检索证据的可信度、相关性和事实性来测试搜索代理对低质量信息的鲁棒性
📌 工作参考价值(4 点)
- 搜索/推荐Agent评估中,可构建类似DeepStress的合成检索环境,注入不同比例的不可靠文档(如虚假产品描述、无关广告),提前暴露模型脆弱点
- 评估指标不应仅看最终答案/推荐准确率,需引入指标量化参数知识与检索知识的冲突情况,区分“被误导”与“合理拒绝”
- 在电商Agent中,可借鉴三个扰动维度:可信度(用户评论真实性)、相关性(搜索召回噪声)、事实性(商品属性错误),针对性设计鲁棒性提升策略
- 对于生成式推荐(如Semantic ID),当检索到的item表示被污染时,可模仿本文方法测试生成结果的偏离程度,指导训练或后处理逻辑
科学问答中引用完整性与事实基础的校正管道
🧭 RAG 可信评估与校正
Georgia Institute of Technology
前沿模型即使不使用检索文档也能高相关性回答,校正管道小幅提升引用忠实度,强调评估需奖励严格答案根基
📌 工作参考价值(4 点)
- 构建电商RAG问答/推荐解释时,传统相关性和流畅性指标会掩盖模型是否真正引用检索文档,需增加引用忠实度或答案根基性指标。
- 可采用预生成前CRAG过滤不相关块+后生成CiteFix强制对齐的校正管道,提升生成文本的引用完整性,适用于电商客服、搜索解释等场景。
- LLM-as-judge诊断可检测模型虽识别相关文档却未使用其内容,用于验证RAG系统是否真正依赖检索信息,对可解释推荐和对话式agent至关重要。
- 设计Agent的RAG生成模块时,加入后验步骤强制每个声明有出处,能提高可信度,尤其适合电商中需要验证的推荐理由或产品问答。
生成式引擎可见性优化(GEO)批判性综述:2023-2026
🧭 生成式引擎优化方法论综述
Sciences Po
系统拆解生成式引擎优化全流程,揭示现有技术仅作用于已检索内容,缺乏可复现的有机发现与长期效果证据
📌 工作参考价值(3 点)
- 在 RAG 驱动的推荐/回答 Agent 中,可借鉴 visibility vector 拆解“被检索 → 被引用 → 被采用”的多阶段指标,单独优化内容格式(如加粗摘要、结构化列表)往往只能提升短期引用率,对真实语料库的发现性帮助有限。
- 采用该综述提出的重复测量、释义对照与多源干扰控制实验设计,能更可靠地评估知识库内容在 LLM 回答中的可见性,避免将随机波动误判为优化效果。
- 电商搜索/广告文案生成场景中,若依赖生成式引擎曝光,需警惕通用启发式技巧(如关键词堆砌)跨平台迁移失效,以及竞争者文案优化可能稀释自身流量,应优先保证论域相关性而非盲目套用 citation hack。
多域检索中无标签逐域污染控制及共形风险保证
🧭 共形风险控制 · 多域检索污染保证
Electric Power Research Institute (EPRI)
提出 C3R,一种即插即用的共形控制层,无标签情况下逐域认证污染预算,在最难域上保证污染降低。
📌 工作参考价值(4 点)
- 无标签域污染控制:无需查询时域标注,仅用推断的域后验即可逐域设定污染预算,适合电商多源检索(商品、评价、攻略)中低成本抑制错误域文档。
- 可认证的风险保证:提供有限样本下逐域污染上界的严格证书,且在最差域上保证污染降低而非仅边际平均,适合对权威性/安全性要求高的金融、法规等场景。
- 软降级优于硬级联:软降级策略在相同认证污染水平下比传统校准级联保留更多召回,可直接作为检索后安全层,不破坏原有排序。
- 堆栈冻结与重排器无关:C3R 作为外挂控制层,不改动现有检索和重排模型,迁移成本极低,适合现有搜索推荐系统快速落地。
布尔查询就够了吗?LLM代理结合布尔检索的探索
🧭 LLM Agent 自动布尔查询生成与检索
University of Waterloo
LLM搜索代理自动生成布尔查询,基于子串匹配密度无监督排序,NDCG@10=0.6863超越主流稠密/稀疏检索器
📌 工作参考价值(4 点)
- 无监督检索替代方案:电商搜索或广告匹配中,可使用LLM将用户query改写为多条件布尔查询,结合商品属性词库进行精确匹配,无需训练稠密或稀疏模型,适合冷启动或快节奏场景。
- 多轮交互式检索:在Agent框架内,用少量模型调用(≤100次/主题)迭代优化布尔查询,可低成本实现高精度检索,可借鉴到对话式导购系统。
- 匹配密度评分:仅基于匹配子串的数量和长度计算相关度,实现简单,可解释性强,适合要求透明排序的业务(如合规广告召回)。
- 数据泄露警惕:由于测试集可能包含在LLM训练数据中,实际迁移时应避免直接使用公开基准,需在业务特有数据集上验证效果。
通过人类反馈增强LLM:迈向自我改进之路
🧭 人类反馈驱动的RAG自我改进
Intel Corporation
用辅助RAG系统收集并整合详细人工反馈,驱动主RAG回答的自我优化
📌 工作参考价值(4 点)
- 在推荐或问答系统中,收集用户明确纠正的文本反馈(如“我要的不是XX,而是YY”),比隐式二元信号更能精准定位检索和生成缺陷
- 可构建一个轻量的辅助RAG模块,专门处理用户反馈,动态修正知识库的检索权重或生成策略,而无需频繁重训大模型
- 引入人类在环的持续反馈循环,将新反馈逐步纳入实时推理,适合线上快速迭代的电商搜索或客服场景
- 利用LLM-as-a-Judge自动化评估反馈对系统改进的效果,降低人工评估成本,适合快速实验和上线
AgentKGV:双阶段训练优化知识图谱事实验证的 Agentic RAG 框架
🧭 Agent 动态检索 · 知识图谱事实核查
SungKyunKwan University · NAVER
结合动态路由、迭代查询改写与双阶段训练,提升 KG 事实核查准确率并大幅降低检索成本
📌 工作参考价值(4 点)
- 电商商品知识图谱质检:可将该框架用于自动校验商品属性、品牌等三元组事实性,及时发现错误信息。
- 检索成本敏感场景的 Agent 设计:借鉴 GRPO 轨迹级优化策略,训练搜索策略模型减少不必要的检索轮次,直接降低线上 API 调用成本。
- 小模型推理稳定性:采用蒸馏 SFT 将大模型推理能力迁移至小模型,用于查询改写与路由,可在资源受限环境保持稳定的 Agent 行为。
- 动态路由与查询改写模块可拆解复用:在推荐系统的 RAG 检索链路中,当用户查询与文档库存在表面形式不匹配时,可嵌入类似的多轮迭代改写机制。
DocMaster:层次结构感知的文档分析系统
🧭 结构感知文档索引与多模态分析
The Chinese University of Hong Kong, Shenzhen · The Chinese University of Hong Kong · OceanBase, AntGroup
保留文档层次结构,构建结构感知语义索引,提升复杂文档过滤与问答性能
📌 工作参考价值(4 点)
- 电商商品搜索中,可借鉴文档树解析商品详情页,保留标题、属性、图片的层次结构,构建多粒度索引,提高长尾查询的召回精度。
- 多视图语义索引策略可应用于商品评论和描述的分离索引,支持自然语言条件过滤(如“有赠品的商品”),增强可解释性过滤能力。
- 先过滤后问答的 workflow 可迁移至智能客服:先基于层次化结构筛选相关商品/政策文档,再做精准回答,降低 token 消耗并提高准确率。
- 树形结构语义索引的设计思路可复用到商品类目体系,结合 LLM 进行类目感知的个性化推荐,保持层次约束。
历史档案对话检索与即时图知识建模系统
🧭 RAG + 图记忆的对话式知识检索
Computer Vision Center, Universitat Autònoma de Barcelona
在图结构上动态建模专家知识,充当LLM记忆实现跨文档推理与对话式检索
📌 工作参考价值(4 点)
- 将领域专家知识构建为图索引,作为LLM的外部记忆,在RAG过程中优先检索此类已建模知识,能显著提升问答深度与一致性,特别适合电商商品知识库、政策QA等场景
- 允许业务专家即时向图中添加/更新事实(如新品属性、促销规则),系统无需重新训练即可动态扩展知识,适合快速变化的电商运营环境
- 图结构天然支持多跳推理和链接发现,可解决“相似商品对比”“历史订单关联查询”等跨文档复杂问题,弥补纯向量检索的局限
- 对话中既检索原始文档又检索提炼后的图知识,形成记忆增强的生成流水线,可迁移至客服系统或Agent的长期记忆模块
ProjAgent:基于过程相似检索的仓库级代码生成
🧭 Agent 工作流与检索增强代码生成
University of California, Irvine
提出程序化相似性作为显式检索信号,结合 Agent 工作流与静态分析反馈,提升仓库级代码生成效果
📌 工作参考价值(4 点)
- 过程相似检索思路可迁移:将任务分解为子步骤,为每个子步骤检索历史上相似的“过程序列”(如策略、操作链),而不仅依赖语义或字面匹配,适合推荐解释生成、多步推荐策略选择等场景。
- Agent 工作流与校验反馈循环:使用静态分析反馈迭代修复代码,类似推荐系统中利用规则或业务逻辑对推荐结果进行事后校验与修正,可设计保守的反馈回路提升生成质量。
- 混合相似度检索策略:将程序化相似度与传统语义相似度融合,构建更丰富的上下文,可借鉴用于推荐系统的多路召回或特征融合,例如同时考虑行为序列相似和内容语义相似。
- 上下文动态构建:Agent 在每步按需检索相关代码片段,可类比为推荐 Agent 在不同决策阶段动态检索不同知识库,提升生成结果与项目级约束的一致性。
上下文访问鸿沟:交互级架构作为AI Agent不平等的补充维度
🧭 Agent 交互架构与知识访问不平等
Kansai University
提出“上下文访问鸿沟”概念,揭示动态检索与手动附加上下文在知识工作中的任务成功概率差异
📌 工作参考价值(4 点)
- 设计知识密集型Agent时,优先采用动态上下文检索(RAG)架构,避免让用户手动选择并附加文档,降低认知负担,防止任务成功率随知识库规模扩大而崩溃。
- 在电商运营、广告创意等需要处理大量多源文档的场景中,集成MCP(Model Context Protocol),让Agent自主从用户知识库中检索相关上下文,提升任务完成效率。
- 在Agent产品需求定义阶段,量化评估上下文访问模式的影响,参考论文中“语料规模×任务接合性”的风险公式,为不同用户规模设计合适的检索粒度与上下文窗口。
- 警惕“手动上下文依赖”造成的隐形能力分层,在平台治理时监控用户实际上下文集成方式,避免因架构差异导致部分用户AI效用显著受损,形成新的数字鸿沟。
面向可解释 QA 的自适应检索与推理不确定性框架
🧭 不确定性估计 · 自适应检索与推理
University of Glasgow
利用 LLM 隐藏状态分解不确定性,以单次前向高效估计,按信号自适应触发 RAG 或推理
📌 工作参考价值(4 点)
- 对话式推荐/客服中的自适应检索:根据用户查询的模型内部不确定性,自动判断是知识不足(触发商品知识库 RAG)还是模糊冲突(启动推理链澄清),避免盲目调用。
- 低延迟在线服务:从隐藏状态单次前向计算不确定性,比多步提示或自一致性方法更轻量,适合高并发推荐问答场景。
- 多策略稳健响应:区分知识缺失与知识冲突,设计不同分支处理(如“查商品” vs “反问用户”),提升 agent 回答的可靠性。
- 用户可感知的置信度:显式的不确定性信号可转化为界面提示(如“正在为你搜索准确信息”),增强用户信任与体验。
检索集合而非独立段落:集合级兼容性学习实现高效集合探索
🧭 集合级检索 · 多跳推理
Seoul National University
将多跳检索建模为查询-集合兼容性评分,用轻量自注意力和交叉编码器联合学习集合兼容性
📌 工作参考价值(4 点)
- 组合证据检索思路:在需要多个协同信息源的任务(如电商问答、客服多轮、Agent 工具调用)中,不要独立对每个文档/物品打分,而应评估集合级别的兼容性,避免局部最优导致的冲突或冗余。可借鉴 ParaSet 的轻量集合打分方式,在 bi-encoder 编码的向量上引入自注意力,高效评估候选集合的整体相干性。
- 训练目标迁移:将“完整兼容集合 > 残缺/噪音集合”的排序损失引入学习排序(LTR),可用于搭配推荐(如服装组合)、多创意组合评估等场景,让模型学会全局最优组合而非单物品最优。
- 异构检索器互补:ParaSet(快速探索)与 SetCE(精确重排)的组合效果优于单一检索器的更多召回,启发我们在多路召回融合中,有意识设计互补的检索器(如语义匹配 vs. 协同过滤),通过合并输出而非简单增加单个检索器的数量来提升效果。
- 工程实现参考:ParaSet 在预计算好的段落向量上做自注意力,无需重新编码,非常适合对延迟敏感的在线集合探索;类似思路可用于实时推荐中,对召回的物品集合基于已缓存 embedding 做兼容性快速打分。
上下文多模态文档检索:联合编码+对比学习
🧭 多模态检索 · 上下文文档嵌入
NTT Human Informatics Laboratories, NTT, Inc., Tokyo, Japan
提出首个要求跨页上下文建模的多模态文档检索基准与嵌入框架CMDR-Embed,结合CMCL对比学习显著提升跨页查询性能
📌 工作参考价值(4 点)
- 商品详情页跨图检索:可借鉴联合编码多页/多图的上下文嵌入思路,处理商品描述分布在多张细节图或PDF说明书中的场景,提升需要综合多图信息的查询召回率。
- 多模态对比学习训练 trick:CMCL平衡上下文建模与页面区分性的损失设计,可直接用于训练电商多模态检索模型,尤其适合“店铺主页多图组合匹配用户风格查询”等任务。
- RAG 中的多模态文档检索增强:在电商客服或搜索总结系统里,用CMDR-Embed替换现有文档嵌入,能让检索到的页面片段保留更完整的上下文,提高生成答案的事实一致性。
- 构建检索基准的方法论:可参照CMDR-Bench设计面向业务的跨页/跨图上下文检索评测集,衡量排序模型对“浏览型查询”(如“适合搭配这个包的上衣”)的上下文理解能力。
注入还是导航?交易法律文档LLM分析的令牌高效检索
🧭 RAG检索策略比较与效率优化
Syntheia Pty Ltd
比较全量注入、嵌入检索与LLM导航索引,证明检索可大幅降低token消耗且质量不降
📌 工作参考价值(4 点)
- 结构感知分块(structure-aware chunking):对电商中的长文档(商品说明书、合同、政策)进行结构分块,避免全文注入,大幅降低推理成本,可迁移到产品FAQ或合规文档问答。
- 嵌入检索+重排序管道:嵌入检索(NAVEMBED)配合重排序能在长文档QA中达到与全量注入几乎相当的质量,同时输入token减少17⁻30倍,适合构建低延迟、低成本的商品知识库检索。
- 紧凑结构化索引与LLM导航:对于成本敏感的Query改写或推荐解释生成,借用LLM导航结构化索引(NAVINDEX)的思路,用极轻量的索引替代大段文本,使回答上下文减少约56倍,成本降低25%。
- 缓存交叉规则:论文导出的封闭解可用于决策何时缓存全量文档更划算,可借鉴到广告素材库或推荐理由生成等有固定语料的场景,指导缓存策略以优化总成本。
MIRAGE:无需训练的模型无关防御,抵抗检索增强生成中的错误信息污染
🧭 RAG 错误信息防御与事实性恢复
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) · INSAIT, Sofia University “St. Kliment Ohridski”
提出一种训练无关、模型无关的防御方法,通过跨文档声明图和多源一致性门控恢复RAG事实性
📌 工作参考价值(4 点)
- 在电商搜索/推荐系统里,若用 RAG 增强物品描述或评论摘要,可借鉴 MIRAGE 的多源一致性验证:对多路召回(不同数据库、不同站点)抽取原子声明,用 NLI 构建声明图,仅保留多文档支持的声明,减少单品描述中的虚假信息。
- 面向 Agent 系统中检索知识冲突的应对:当检索到的证据相互矛盾时,可以设置“防御门”退回参数化回答或拒答,避免 Agent 被污染信息误导,提升决策可靠性。
- 污染检测的工程化思路:定义最小编辑的污染类型(如明确错误、矛盾、误导、捏造),可用于线上 A/B 测试或离线评测,量化检索或生成环节对输入噪声的鲁棒性。
- 无需训练、模型无关的设计使其能即插即用到现有 RAG pipeline,适合快速迭代的工业场景,无需重训练或更换生成模型。
自主信息寻求:Agentic 推荐系统的路线图
🧭 Agent 推荐系统自主性等级与范式综述 ★ 深度解读
National University of Singapore · Polytechnic University of Bari · Renmin University of China · University of Science and Technology of China
提出融合自主性等级与三种代理范式的统一分类法,系统梳理 LLM 代理如何改造推荐系统
📌 工作参考价值(4 点)
- 用 LoA 定位架构取舍:把自家系统映射到 L0–L5 谱系,明确当前痛点是工具调用(L3)、单 Agent 规划(L4)还是多 Agent 协同(L5),避免一上来就堆多 Agent。
- Agent 辅助而非替代:多数业务不需要 Agent 端到端取代原有推荐 pipeline。借鉴 L2–L3 的检索增强与工具驱动辅助模式,用 LLM Agent 做意图理解、约束推理、解释生成,保持原有召回/排序的稳定性。
- Memory 设计三件套:采纳 working/episodic/semantic memory 的分层设计,用短期对话摘要、跨 session 偏好记忆、语义知识库支撑个性化决策,在电商中可对应“购物车-历史订单-品类偏好”记忆体系。
- 多 Agent 协作的通信成本:从 manager–worker、debate–judge 等协作协议中选型时,优先用结构化工具调用管道而非自由对话,降低长链路中的 token 消耗与错误累积,并提前设计轨迹级评估指标。
候选约束检索增强生成系统:LongEval-RAG 的设计与实证
🧭 候选约束 RAG 流水线设计与多指标评估
在候选约束 RAG 中,规则分块配合句子级神经选择优于复杂语义分块,获得多项指标最优
📌 工作参考价值(4 点)
- 在候选集受限的检索任务(如给定商品列表的搜索或推荐理由生成)中,分块策略优先采用简单规则(固定句子/段落切分),将语义理解后置到句子级神经重排,避免复杂分块带来的不稳定性。
- 伪相关反馈(PRF)和倒数秩融合(RRF)可作为轻量级召回增强手段,在不明显增加延迟的情况下提升检索精度,适合线上服务。
- 需要引用证据的生成场景(如推荐解释或搜索摘要),可引入引用先验(citation prior),强制生成模型关注已选证据的来源,提高生成内容的可信度。
- 离线评估应采用多指标(如 BERTScore、检索精度、nugget 覆盖、平均等级)和多评判方式(金标准、LLM judge),避免单一指标产生的误导,指导系统迭代。
库存感知的RAG生成式AI模型实现搜索广告查询改写
🧭 查询改写与广告库存对齐 ★ 深度解读
Walmart AdTech
通过实时库存感知的RAG+LLM查询改写,将无广告填充的搜索比例从13%大幅降低,填充率提升68%
📌 工作参考价值(4 点)
- 零填充查询改写策略:可借鉴「识别→检索→改写→混合」流程,先通过规则分类器识别低效查询,再基于库存感知的RAG生成候选改写,最后混合历史高点击查询,直接复用至电商广告系统的查询召回阶段。
- 两塔BERT + LoRA LLM 的架构组合:用双塔模型做语义检索得到 Top-N 商品,将其属性拼入 prompt 作为上下文,再用 LoRA 微调的 Llama2 生成改写查询,这种轻量微调方式适合业务快速迭代。
- 离线评测设计:刻意选取历史零填充查询作为测试集,直接衡量改写模型的填补能力,同时用 NDCG@8 评估相关性,可作为广告改写效果的兜底指标。
- 动态库存感知的即时性:实时检索向量数据库中的可用广告库存并考虑预算,生成与可投放商品绑定的查询,避免改写后仍然无广告可投的尴尬。
CheckRLM:检索增强推理中有效的知识与思维一致性检查
🧭 检索增强推理 · 知识一致性检查
Beijing Normal University · Chinese Academy of Sciences · University of Chinese Academy of Sciences · Tsinghua University · Northeastern University
提出 CheckRLM 框架,在推理过程中实时提取事实声明并利用外部知识进行错误检测与最小代价修正,显著缓解长链条推理的错误累积。
📌 工作参考价值(4 点)
- 在电商/Agent 的多步推理链(如推荐解释、对话决策)中,可借鉴事实声明提取与外部知识校验机制,实时拦截幻觉,提升最终推荐可信度。
- 最小代价修正策略(仅针对错误事实局部改写)能降低 token 开销,适合在线高并发场景的推理成本控制。
- 知识-思维一致性检查模块可作为独立插件嵌入现有 LLM 推理流程,无需重新训练模型,便于业务快速实验与迭代。
- 长推荐会话或用户意图推理中易出现错误累积,该方法提供的及时纠错可防止下游决策偏离,增强整体链路的鲁棒性。
学术文本 RAG 分块策略评估:聚类语义分块未优于固定/递归分块
🧭 RAG 分块策略对比评估
Deggendorf Institute of Technology
在结构化学术长文档上,聚类 semantic chunking 的检索与答案质量未能超越固定大小和递归分块
📌 工作参考价值(4 点)
- 在结构化文档(如商品详情、政策文件)的 RAG 场景中,优先使用固定大小或递归分块,避免为语义分块付出额外计算成本,本次实验未观察到增益。
- RAGAs 框架的 faithfulness 指标在评价长文档 RAG 时可靠性存疑,业务评估应结合人工校验或更稳定的自动指标(如 retrieval precision)。
- 针对固定问题(如摘要类)与文档特定问题(如细粒度事实)的性能差异显著,实际部署时需为不同问题类型设计不同的分块与检索策略,例如对细粒度问题保留更细粒度 chunk 或添加元数据。
- 文档预处理(格式清洗、结构提取)对性能影响较大,在导入向量库前可强化对标题、段落的语义保留处理。
当RAG遇上查询规划:用逻辑查询树解决探索性推理问题
🧭 复杂查询规划 · 逻辑查询树
School of Data Science, Fudan University · College of Computer Science and Artificial Intelligence, Fudan University · United Automotive Electronic Systems
将探索性推理问题建模为逻辑查询树,通过动态规划与成本模型优化多步检索与推理
📌 工作参考价值(4 点)
- 电商搜索中,用户意图模糊的复杂查询(如“适合敏感肌的平价抗老面霜”)可借鉴PlanRAG的分解与重组逻辑:将原始查询拆分为原子子查询(如“敏感肌适用”、“抗老”、“平价”),通过成本模型决定检索顺序与合并方式,减少无效检索。
- 成本模型的多维评估(如相关性、覆盖度、语义连贯性)可直接迁移到推荐系统的多路召回融合阶段,替代简单加权,动态规划出最优融合计划。
- 树状执行结构与并行节点处理机制适用于Agent工作流:不同子任务可并行检索知识库,再逐步聚合生成最终答案,低延迟场景下可开启多线程加速。
- 动态改写中间结果(rewriting)的思路可用于对话式推荐:对中间检索到的商品列表进行总结与再查询,逐步精炼用户需求。
预算受限多跳RAG的诊断指标与子模证据打包增益条件
🧭 预算受限多跳RAG证据选择
Ahsanullah University of Science and Technology
提出 answer-in-context 诊断,并揭示子模证据打包仅在弱 reader、多跳互补结构下有效
📌 工作参考价值(4 点)
- 离线评估指标:在上下文窗口局限时,用 answer-in-context(答案是否作为连续片段出现在最终上下文)替代传统文档召回率评估打包质量,与下游 F1 相关性更高。
- 证据打包策略:当使用弱 reader(<7B)且面临多跳互补证据时,将上下文构建建模为预算约束的子模最大化,同时优化相关性、查询覆盖、代表性和多样性,可获得明显提升(最高 +5.1 F1)。
- 适用条件判断:该打包收益仅在四种条件同时满足时成立:多跳互补结构、检索已召回证据、严格但非极端预算、reader 能力不足。若使用 7B+ 模型,优势消失甚至反转为负,应切换为简单截断或启发式。
- RAG Agent 工具:在为搜索推荐系统构建 RAG Agent 时,可部署轻量级子模打包模块,针对弱基座模型在预算敏感场景(如商品知识问答、个性化推荐解释生成)中提升证据密度,但需持续监测 reader 规模边界。
一次检索覆盖全会话:面向会话级RAG的共现感知知识库重组
🧭 RAG知识库重组与检索策略优化
University of Southern California
通过共现聚类重组知识库,单次检索会话覆盖率从41%提升至58%,同时压缩KB至20%
📌 工作参考价值(4 点)
- 会话级覆盖率作为评估指标:在电商客服、推荐对话等多意图场景中,直接采用session-level coverage替代单query召回率,更能反映用户完整信息需求的满足程度,可指导检索系统优化。
- 离线知识库重组方法:利用历史问答会话中的文档共现关系构建图,通过聚类将相关文档预先分到同一簇。线上检索时,不仅返回top-k文档,还扩展至同簇其他文档,一次检索覆盖多个潜在意图。可借鉴到商品推荐:根据用户会话中共同点击/购买的物品,构建物品簇,实现“一揽子”推荐。
- 检索效率与压缩:通过簇合并将KB压缩至20%,大幅减少索引大小,适合大规模电商知识库。用更少的索引即可达到较高覆盖率,降低线上延迟。
- 跨模型与跨领域一致性:方法对多种嵌入模型和功能领域稳定有效,表明聚类模式基于共现而非特定编码器,迁移到不同业务数据时无需重新调参,易于落地。
ARMOR:低资源电信问答的自适应检索器优化
🧭 检索增强生成 · 自适应检索器优化
Rensselaer Polytechnic Institute · Cornell University · Samsung Research America
冻结生成器,仅微调查询编码器,联合 RAG 似然与 InfoNCE 并学习各自温度,提升低资源 RAG 效果
📌 工作参考价值(4 点)
- 低资源检索适配策略:当类目冷启或新业务标注稀疏时,可冻结下游生成/推荐模型,仅微调查询编码器,避免生成模型过拟合并保持通用能力,适合电商搜索中的长尾 query 优化。
- 多目标联合训练与可学温度:将 RAG 生成质量信号(如点击/转化)与 InfoNCE 对比损失结合,为两个 softmax 分布分别学习温度参数,自动调节分布尖锐度,可迁移到推荐系统中平衡语义相关性与业务指标。
- 正则化防遗忘:微调查询编码器时加入与冻结基编码器的距离正则化,类似持续学习,适合在电商搜索中持续引入新知识而不破坏已有检索能力。
- 温度分离控制:在检索和对比学习中采用独立的可学温度,可解决电商搜索不同场景(导航 query vs 宽泛 query)对检索精细度的不同需求。
获取前须知:检索增强生成中校准的检索预算分配
🧭 自适应检索预算分配 · RAG 校准
University of Maine at Presque Isle · Stanford University · Independent Researcher
为 RAG 提出校准概率接口,依置信度分配检索预算(闭卷/紧凑/完整/弃答),实现延迟与准确率权衡
📌 工作参考价值(4 点)
- 在检索增强的推荐或搜索系统中,可以根据模型置信度自适应调整检索深度(如仅用闭卷回答或检索少量文档),节省计算资源并减少延迟。
- 将序列对数概率等不确定性信号校准为正确性概率,用于选择性召回或拒绝回答,避免低质量输出影响用户体验,尤其适合高可靠性要求的排序或问答环节。
- 提供校准后的概率接口,允许系统在延迟和准确率之间显式权衡,可通过设置不同阈值适应不同场景(如高吞吐的广告检索与低延迟的在线推荐)。
- 离线校准步骤(如 Platt scaling)能大幅降低预期校准误差(ECE),直接移植到电商 RAG 管道中,提升检索决策的可靠性。
基于 Token 共现图的轻量高效 GraphRAG 框架
🧭 Token 共现图高效 GraphRAG
Università Politecnica delle Marche, Ancona, Italy · Università di Modena e Reggio Emilia, Modena, Italy
用 token 滑动窗口共现构造 KG 取代 LLM 抽取,实现多跳推理 RAG 的索引与推理开销大幅降低
📌 工作参考价值(4 点)
- 电商搜索查询扩展:用滑动窗口统计商品标题或查询日志的 token 共现,低成本构建词项联系图,辅助召回阶段的 query 扩展或相关性特征,替代繁重的实体识别链路。
- 多轮交互式推荐:迭代实体驱动的检索策略可迁移至多轮对话推荐,从已召回商品或上下文抽取桥接属性(类目、品牌等)逐步精炼检索,提升复杂需求满足率。
- 长尾知识构建:在攻略、搭配推荐等场景,需要从多篇内容拼接证据,可借鉴无 LLM 的共现图快速索引文档段落,通过神经重排序确保证据链准确,同时控制在线推理延迟。
- 工程落地降本:方法省去了 LLM 抽取实体和关系的高频调用,索引时间、推理延迟和 prompt 长度显著降低,适合对成本和延迟敏感的生产环境直接复用。
时序多信号融合的Token级幻觉检测
🧭 LLM 幻觉检测 · 多信号时序融合
Independent Researcher
用 BiGRU 序列标注融合文本统计、NLI 蕴含与 LM surprisal,在 RAGTruth 上幻觉检测 AUC 达 0.840,比独立基线高 11 点
📌 工作参考价值(4 点)
- 在电商 RAG 或 Agent 生成商品描述、推荐理由、客服回答时,可加一个轻量 Token 级幻觉检测器:只用生成文本 + 外部信号(文本统计、NLI entailment、LM surprisal),不需要模型内部 logits,适合闭源 LLM(如 GPT-4、Kimi)接入。
- 把幻觉检测从独立 token 分类改为序列标注:用 BiGRU 对 token 序列建模,证据能从高置信位置传播到邻近模糊 token,明显优于逐 token 独立打分。业务上可对生成的推荐文案逐 span 判断可信度,而不是只给句子级分数。
- 特征集可复用:文本统计 + NLI entailment + LM surprisal 的 33 维特征,实现简单、成本低,可快速在自有 RAG 场景验证。作者发现架构(BiGRU/Mamba/Attention)不是瓶颈,特征集才是天花板(AUC ≈0.845),提醒我们优先投入特征工程。
- 跨模型泛化好:在未见过的生成模型上 AUC 损失 <4%,意味着训练一个检测器可以覆盖多个上游 LLM,适合业务中多模型并存的场景,减少重复标注。
覆盖未见信息:面向RAG的信息需求覆盖优化
🧭 RAG 上下文选择覆盖优化
University of Shanghai for Science and Technology · Singapore Management University
将RAG上下文选择建模为信息需求覆盖优化,通过子查询和Sinkhorn-Wasserstein实现多维需求平衡覆盖
📌 工作参考价值(4 点)
- 复杂查询的多维覆盖:对于电商搜索中的多意图查询(如“高性价比户外便携蓝牙音箱”),可借鉴生成多样化的子查询(“防水”、“长续航”、“轻便”、“音质好”),并加权,以确保召回的商品列表覆盖所有关键属性,避免 top-k 相似度排序导致的单一维度过拟合。
- 即插即用的上下文选择层:方法无监督、无需训练,且与检索器无关,可直接嵌入现有的 RAG pipeline(如客服问答、推荐理由生成),在检索后增加一个覆盖优化步骤,用次模函数选择互补的文档组,提升答案的全面性。
- 利用次模函数平衡覆盖:采用需求加权的设施选址目标,借助贪心算法(1-1/e 近似)选择上下文,工程实现可参考 Sinkhorn-Wasserstein 距离作为边际增益的快速近似,计算开销可控,适合在线服务。
- 结构性限制的揭示:证明单点查询邻近性评分器无法覆盖多模态需求,这提醒从业者在复杂查询场景下(如 Agent 的多步推理、多面商品推荐),不应仅依赖向量相似度排序,而需引入覆盖多样性的选择机制。
RAG上下文增强的分解:元数据、结构与检索策略对齐
🧭 RAG上下文增强与模型能力对齐
University of Passau · Interdisciplinary Transformation University Austria
控制实验揭示大多数RAG上下文增强反而降低准确率,模型-上下文对齐比元数据堆砌更重要
📌 工作参考价值(5 点)
- 在电商搜索/推荐的 RAG 场景中,避免盲目添加置信度、时间戳等元数据,应先在目标模型上测试该元数据是否提升下游准确率。
- 提示词微调时,若显式要求模型利用某类元数据(如分数),需警惕模型“遵从但答错”的现象,可通过 ablation 实验验证元数据的实际效用。
- 元数据格式选择应与模型的预训练特性对齐:若模型在预训练时少见结构化记录,可能无法有效利用,反而可改用简单自然语言描述。
- 多跳检索策略需谨慎:复杂证据链可能引入噪声,仅在模型能力足够时采用,且可通过早期停止或置信度筛选控制上下文质量。
- 小模型在元数据-任务对齐时可超过大模型,在资源受限的线上推理中,优先考虑选择与上下文格式兼容的轻量模型,而非一味堆参数。
小模型大作为:探索紧凑语言模型在 RAG 生成阶段的潜力
🧭 小型语言模型 RAG 生成器基准与设备端部署
Siberian Neuronets LLC, Novosibirsk, Russia
系统评估小型语言模型在 RAG 生成器的表现,证明其可在无 GPU 的设备端合理时间运行
📌 工作参考价值(4 点)
- 低成本 / 边缘端 RAG 部署:在电商客服、商品问答等场景,可用 SLM 替代 LLM 作为生成器,直接运行在智能终端或本地服务器,避免 GPU 成本,保障数据隐私。
- 生成器选型 benchmark 方法:复用其多数据集(开放/专有、不同主题与问题类型)评估框架,为业务中的 RAG pipeline 快速筛选合适的轻量生成模型。
- 延迟优化参考:论文验证了 SLM 在无 GPU 硬件下的推理时间仍在可接受范围,可指导搜索推荐系统中实时类 RAG 应用(如解释性生成)的时延可行性评估。
- 检索与生成能力解耦测试:聚焦仅更换生成器模型的效果,类似思路可应用到推荐理由生成、广告文案自动改写等模块,独立评估不同 SLM 的文本生成质量。
缓解检索增强生成中知识冲突的门控调制激活引导方法
🧭 门控机制自适应调节激活以解决知识冲突
Northeastern University · Tsinghua University
提出 SHIFT,用可学习门控模块替代神经元编辑,自适应调节激活,以低于 0.01% 参数解决 RAG 知识冲突
📌 工作参考价值(4 点)
- 可借鉴轻量门控模块(训练参数 <0.01%)插件式插入 LLM,冻结骨干,在不损害通用能力的前提下提升 RAG 冲突场景下的上下文遵循度,适合低资源快速适配。
- 门控调制激活的方式比神经元定位和层固定规则更灵活,可在电商搜索推荐中的商品知识增强、客服问答等 RAG 场景使用,避免因知识冲突产生错误推荐。
- 该方法属于参数高效微调,可与现有 PEFT 方案(如 LoRA)叠加,工程实现成本低,可直接嵌入到已有 RAG 管线。
- 论文在多个数据集上验证,开源代码可直接复用,适合业务团队快速验证门控激活引导在自身场景的效果。
位置偏见修正不足以替代迭代注意力排序
🧭 RAG 上下文重排中的位置偏失去偏 ★ 深度解读
Analemma
去偏单次注意力排序在高偏置模型上可小幅提升,但仍远不及迭代排序,仅弥补 37% 的精度差距
📌 工作参考价值(4 点)
- 轻量级文档重排 trick:在长上下文 RAG(如多文档问答)中,仅用一次 decode 的注意力权重即可对文档排序,计算代价极小,可作为生成前的轻量重排模块,且效果接近单次注意力排序基线。
- 提示级位置偏曲线估计:利用同一 prompt 中低注意力文档(剔除 top-α)分箱聚合(中位数或均值)来估计位置偏置曲线,再用减法或除法校正原始注意力分数。这一思路可直接迁移到需要对抗位置偏见的生成式推荐或搜索摘要场景,无需额外训练或外部数据。
- 迭代 vs 单次的取舍:结果表明,对于位置偏置不严重的模型(如 LLaMA‑2‑32K‑Instruct),单次注意力排序已足够,迭代排序带来的增益极小(0.6pp 以内),可节省多轮生成的计算开销;对偏置严重的模型(如 YaRN),仍需要迭代排序才能获得较大收益,但可先尝试去偏一次排序,若效果不足再增加迭代。
- 注意力排序的部署成本控制:若业务对延迟敏感(如实时推荐搜索)且使用偏置较弱的模型,可直接用单次排序(1 sort+1 gen),仅需一次前向和一次生成,大幅降低延迟,避免 5 次 sort‑and‑generate 的代价。
记忆如何塑造对话智能体:评估不同记忆角色的影响
🧭 RAG对话系统 · 记忆角色评估
Dartmouth College · Microsoft
探究不同类型对话记忆对RAG智能体回复的多维影响,提出用户中心评估,证实澄清记忆提升事实准确性与约束意识,不相关记忆有害
📌 工作参考价值(4 点)
- 记忆角色分类与选择性注入:在电商导购/客服对话系统中,可对用户历史行为、偏好约束等记忆打上角色标签(澄清、约束、事实、不相关等),检索时优先注入澄清型和约束相关记忆,抑制不相关记忆,提升回复的准确性和个性化。
- 用户中心评估框架:参考本文模拟用户偏好的评估维度(事实准确性、话题相关性、约束意识等),替代单一参考指标,可更细粒度诊断推荐对话系统的回复质量,尤其适合评估个性化解释、导购话术的合理性。
- 记忆类型与响应行为联动:观察到不相关记忆降低约束意识,这提示我们在多轮推荐中,若记忆检索带入了用户无关历史(如已购品类),可能导致当前推荐脱离用户约束;可据此设计记忆过滤或加权机制。
- 前光线LLM下的记忆控制:即使能力强的大模型,记忆质量仍显著影响回复,因此工程上在RAG管线上增加记忆质量判别模块(如用轻量模型判断记忆相关性)是低成本提升效果的有效手段。
基于令牌影响归因检测RAG中毒攻击并追踪目标答案
🧭 RAG安全性 · 令牌影响归因
National Yang Ming Chiao Tung University · IBM Research · Hon Hai Research Institute
TRACE利用令牌影响归因轻量检测RAG语料中毒,同时还原攻击者预设的错误答案
📌 工作参考价值(4 点)
- 电商客服或知识库RAG场景中,可将TRACE作为轻量安全层,无需额外LLM校验,仅通过高频高影响关键词检测中毒文档,降低计算开销和延迟。
- 方法依赖的令牌影响归因(如梯度×嵌入)可直接集成到现有RAG推理流程,对检索到的文档进行实时评分,用于过滤可疑内容。
- 论文揭示中毒文档中反复出现的高影响令牌会泄露攻击者预设的错误答案,这一特性可用于安全审计:通过追踪此类关键词发现攻击意图和候选恶意文档。
- 在推荐系统的评论问答或商品描述生成中,若使用RAG,同理可借鉴TRACE防止恶意语料篡改生成结果,提升系统鲁棒性。
ProvenAI:生成答案中证据的来源原生追踪
🧭 RAG归因 · 多跳问答透明度
University of Arizona
提出三层透明度框架,独立测量答案正确性、引用忠实度与文档影响力,揭示引用-影响差距
📌 工作参考价值(4 点)
- 推荐解释的可信度评估:借鉴 leave-one-resource-out 消融方法,量化推荐理由(如商品评论、属性)对最终推荐的实际影响,避免“引用了但没起作用”的虚假解释。
- Agent 多步推理审计:在多步搜索或决策 Agent 中,对每步检索结果进行消融,度量每条知识对最终动作的因果贡献,构建真正可追溯的决策链。
- 引用忠实度作为线上指标:设计答案与引用内容的一致性得分,作为 RAG 系统生成质量的持续监控指标,及时捕捉生成幻觉或引用虚标。
- 多层透明度框架迁移:将透明度拆分为结果质量、解释正确性和信息实际影响力三个独立维度,分别测量,可用于电商搜索排序的解释面板或 Agent 调试工具。
基于多智能体语义重写的隐私保护RAG
🧭 多Agent语义重写实现隐私保护RAG
North China Electric Power University · University of Florida · University of Macau · Macau Millennium College
通过多Agent协作语义重写去除检索内容中的隐私,将LLaMA-3-8B信息泄露从144例降至1例,且离线预处理无在线延迟
📌 工作参考价值(4 点)
- 电商/推荐系统若用RAG检索含用户隐私的文档,可借鉴多Agent语义重写,在构建商品描述或用户画像时去除PII,平衡隐私与语义保真度。
- 异步预处理模块的设计不影响在线服务延迟,适合集成到数据ETL管道中,对实时推荐系统友好。
- 隐私提取-语义分析-重构的三Agent协作模式可复用到内容安全审核,多个代理协同检测并改写敏感信息。
- 对生成式推荐模型,在生成item文案时可用类似方法防止模型泄露训练数据中的隐私信息。
TailorMind:面向偏好对齐的多模态内容生成
🧭 生成式推荐 · 多模态内容生成
South China University of Technology · Harbin Institute of Technology, Shenzhen
链接协同偏好建模与可控多模态生成,实现个性化多模态内容创建
📌 工作参考价值(5 点)
- 用户行为→文本偏好:利用超图协同过滤从稀疏交互中提炼文本用户画像,可直接迁移到商品描述/广告文案的个性化生成,作为 prompt 输入。
- 文本梯度下降优化:用排序误差反馈迭代更新用户画像,类似思路可用于优化推荐解释或搜索 query 的文本生成,使输出更贴近真实偏好。
- RAG 风格控制:检索真实 UGC 作为风格参考,能避免生成内容失真,适用于电商场景中保持品牌调性或社区风格统一。
- 跨模态一致性反思:通过图文相似度比对减少语义漂移,启发构建多模态内容审核或一致性校验模块。
- TailorBench 评估维度:连贯性/新颖性/美学/幻觉/画像匹配,可作为生成式推荐效果评估的参考框架。
HAKARI-Bench:统一条件下对比检索架构与效率设置的轻量级基准
🧭 轻量级检索基准 · 效率与质量权衡
构建轻量级检索基准,高保真复现大规模排名,支持快速模型选择与效率权衡分析
📌 工作参考价值(4 点)
- 覆盖 BM25、稠密、稀疏、后期交互、重排序等多种检索家族及量化/降维等效率变体,可直接用于推荐系统检索模块的快速选型和配置对比,避免每次全量评估。
- Nano-sets 轻量数据集重构方法(保留排名一致性且规模仅 20%~50%)可借鉴到电商搜索/推荐场景,构建离线快速实验评估集,加速模型迭代。
- 统一格式与固定候选集实现模型无关评估,并绘制质量-效率帕累托前沿,可指导线上模型压缩与加速策略,平衡推理成本与效果。
- 多语言检索任务(43 种语言)可测试跨语言搜索推荐场景,评估模型在多语言电商或内容推荐中的泛化能力。
智能体人工智能全面指南:从基础到系统实现
🧭 Agent 构建 · RL 训练 · RAG 与记忆系统 ★ 深度解读
覆盖 LLM 基础、RL 对齐、Agent 训练、RAG、记忆与推理的工程实践手册
📌 工作参考价值(4 点)
- Agent 训练完整配方:第12章提供轨迹缓冲区、多目标奖励设计、课程学习等细节,可直接用于对话式推荐 Agent 的强化学习训练
- GRPO 与 Agent 优化:详解 GRPO 及其变体(Dr. GRPO、SAPO 等),可迁移到电商 Agent 多轮交互策略的在线优化
- Agentic RAG 模式:查询变换、自我反思、多源路由等模式可直接用于电商搜索中的多步检索与问题解答 Agent
- 记忆系统设计:用户建模、会话连续性、层次化记忆管理器等方案,可落地实现个性化推荐 Agent 的长期记忆管理
EvoEmbedding:可进化的表示模型,解决长上下文检索与Agent记忆动态匹配
🧭 可进化嵌入 · 长上下文检索与Agent记忆 ★ 深度解读
Nanjing University
通过FIFO潜在记忆队列实现可进化的上下文感知嵌入,在长上下文检索和Agent记忆任务上大幅超越静态大模型
📌 工作参考价值(4 点)
- 用户行为序列的动态嵌入:电商场景中,同一用户在不同时段对同一query的意图不同(如“耳机”先浏览后比价),EvoEmbedding的可进化表示可压缩历史上下文,使召回/排序阶段感知时序变化,避免检索过时信息。可直接用其FIFO潜在记忆队列增量更新用户状态,嵌入维度仅1024,开销低。
- 多LoRA解耦训练与无损切换:将记忆更新和表示生成拆分为两个LoRA适配器,基座LLM参数冻结,既避免了灾难性遗忘,又可在推理时按需激活。业务中可借鉴为同一个基座模型同时具备记忆压缩和检索嵌入能力,省去额外部署专用嵌入模型。
- 长度加权对比损失:对于电商长序列(如用户全生命周期行为),正负样本数量差异极大且长度悬殊。论文的log(N+1)自适应校准因子可稳定训练,避免模型偏向短序列,值得直接移植到用户长序列表示学习。
- Segment-Batching加速技巧:将多个连续片段拼接后并行编码,训练提速3.8倍且性能小幅提升。在处理用户流水数据时,可按时间窗口并行化,平衡效率与效果。
Stellar:面向自然语言查询的可扩展多模态文档检索
🧭 多模态检索 · 高效延迟交互
通过词法过滤与磁盘驻留延迟交互,将多模态检索的内存和延迟降低1-2个数量级且效果不降。
📌 工作参考价值(4 点)
- 词法表示过滤(LRF):微调多模态大模型作为稀疏编码器生成高质量词法表示,可用于商品搜索的第一阶段候选过滤,大幅减少需深度计算的候选集。
- 磁盘支持的延迟交互(DLI):将商品/文档的多向量 token 级 embedding 存于磁盘,按需动态加载,可有效降低内存占用,适合百亿级商品索引。
- 平衡聚类的存储布局:根据负载模式设计磁盘存储结构,可借鉴到推荐模型的大规模稀疏特征存储,减少随机 I/O。
- 成本模型驱动加载:通过简单代价模型选择必要的 token embedding 参与最终评分,在实时推荐中可用于选择性计算用户与物品的细粒度交互特征。
MCompassRAG:话题元数据作为段落级检索的语义指南针
🧭 RAG 检索优化 · 话题元数据引导
University of British Columbia · University of Salerno · ServiceNow Research
用话题元数据增强段落嵌入并通过LLM蒸馏训练轻量检索器,实现高效、精确的话题感知检索
📌 工作参考价值(4 点)
- 电商搜索/推荐场景的文档切分优化:商品描述、评论往往混合多主题,直接使用粗粒度段落会引入语义噪声。可借鉴用商品类目、属性等元数据增强段落embedding,让检索结果更精准。
- 低延迟检索器蒸馏:用LLM作为教师蒸馏一个轻量双编码器,推理时无需调用LLM,显著降低线上检索延迟和成本,适合高并发实时推荐系统。
- 话题感知的Agent检索:在多跳推理或Agent工作流中,当需要从大规模非结构化文档中提取证据时,可引入话题元数据引导检索,减少无关片段干扰,提升事实准确性。
- 工程实现简单:只需在现有dense retriever基础上注入话题embedding,无需改动索引结构,易于迁移到商品库、帮助中心文档等场景。
RSRank:从表示偏移中学习相关性用于重排序
🧭 重排序 · 表示偏移 · 零阈值过滤
Adobe Research
利用查询在文档条件下的表示偏移作为相关性信号,零阈值过滤,克服启发式阈值依赖
📌 工作参考价值(4 点)
- 将 RS 信号用于电商搜索重排序:在精排阶段,用用户查询在商品描述条件下的 hidden state 变化量作为特征,代替传统 logit 或人工特征,可能捕捉更细腻的相关性,尤其适合语义模糊的长尾 query。
- 零阈值过滤简化工程阈值:RS 信号经投影后,不相关文档得分天然接近 0,可省去离线调阈值的麻烦,线上直接截断即可;在推荐系统召回后过滤粗糙结果时,能减少人工维护阈值的工作量。
- 轻量训练框架便于部署:只需在预训练 LLM 顶层加一个投影头,训练成本低,适合在已有 RAG 或搜索管道中快速实验;电商 Agent 生成推荐理由时,可用此方法对候选知识片段做即插即用的相关性过滤。
- 对齐 Oracle 文档集的思路可迁移:如果业务中存在高相关“理想文档”集合(如人工标注的金牌结果),可以计算候选文档与 Oracle 文档集产生的 RS 相似度作为弱监督信号,用于训练推荐排序模型。
SproutRAG:注意力引导的树搜索与渐进式嵌入用于长文档RAG
🧭 RAG长文档检索 · 层级树状检索
University of British Columbia · ServiceNow Research
利用学习到的句子间注意力构建二叉分块树,实现无外部LLM调用的多粒度层次检索,平均信息效率提升6.1%
📌 工作参考价值(4 点)
- 对于电商RAG场景(如长商品描述、用户评论聚合),可借鉴其基于句子级注意力自动构建语义树的方法,替代昂贵的LLM分块,降低索引延迟和成本。
- 多粒度beam search在召回侧能同时捕捉细节与上下文,可应用于广告文案生成中的多尺度信息检索,提升信息覆盖度。
- 端到端联合训练embedding与树结构的思想,可迁移到推荐系统的层级user/item表征学习,如构建多粒度的Semantic ID树,提升检索效率与效果。
- 注意力头选择的机制暗示了在特定领域(如商品属性)可预先分析哪些注意力模式更有效,定制化剪枝或微调,避免重复推理。
理解环境感知信息检索的行为
🧭 RL驱动的查询改写自适应检索器
Fudan University · Alibaba DAMO Academy · Chinese University of Hong Kong · Stanford University · Shanghai University of Finance and Economics
首次用强化学习使LLM学会为不同检索器自适应生成查询风格,并揭示各检索器最优查询风格差异显著
📌 工作参考价值(4 点)
- 电商搜索常混合使用倒排索引与向量检索器,可借鉴 RL 训练查询改写模型,使其根据后台检索器类型动态调整 query 风格(如对 BM25 生成关键词式,对向量检索器生成描述性文本),提升召回相关性。
- 多步检索场景中,可利用论文提出的分支 rollout 技术稳定训练改写策略,避免长轨迹的奖励震荡,适用于需要多轮交互的 Agent 搜索链。
- 揭示的检索器偏好差异(Contriever 偏好文档段落式查询,BM25 偏好精确关键词)可直接指导搜索系统的预处理或 prompt 设计:根据检索器类型设定不同的改写模板或约束。
- 引入检索器特有的人类先验作为辅助奖励,可加速 RL 训练并注入业务知识,类似推荐系统中利用人工规则冷启动生成式模型。
RL-Index:用强化学习优化索引推理的检索增强框架
🧭 索引侧推理优化 · RAG 性能提升
University of Oregon · Adobe Research
将检索推理从查询时移到索引阶段,用 GRPO 优化文档的理由生成,提升检索效果并降低在线延迟
📌 工作参考价值(4 点)
- 离线预计算理由,降低在线延迟:在商品搜索或推荐系统的索引构建中,可预先为每个文档/商品生成推理性的文本描述(rationale),将复杂推理从查询时转移到离线阶段,显著减少线上推理耗时。
- 利用 GRPO 优化索引策略:借鉴 RL-Index 使用 Group Relative Policy Optimization 直接以检索相似度作为奖励信号的方式,对商品内容生成模型进行策略优化,无需人工标注,自动提升召回或排序效果。
- 即插即用,跨检索器泛化:该方法生成的文档增强理由适用于多种 dense/sparse 检索器及生成模型,可作为一套标准化索引流程引入现有搜索/推荐系统,无需大幅改造原有架构。
- 可解决复杂意图匹配:对于电商中需逻辑推导的查询(如“送长辈的保健礼品”),可通过预先生成涵盖场景、知识点的理由,增强文档的语义覆盖,提升长尾查询的检索精度。
SCAR:语义连续性感知的检索策略实现RAG高效上下文扩展
🧭 语义连续性感知的自适应上下文扩展
Horizon Flow
提出自适应扩展相邻块的检索策略,以更少的块数达到高召回并减少 token 开销
📌 工作参考价值(4 点)
- 在电商知识库、客服RAG中,可借鉴SCAR的自适应扩展逻辑,通过权衡查询相关性与结构连续性,避免静态窗口造成的token浪费,用更少的上下文块保持高召回。
- 方法对嵌入模型具有尺度不变性,同一超参数可直接跨模型迁移,减少多业务场景下的调参成本,适合快速部署。
- 对于需要跨段落重组证据的长文档(如产品规格书、法律条款),SCAR可提升边界分割后的证据链完整性,避免人工调整分块策略。
- 在Agent的记忆检索或工具调用文档检索中,引入结构连续性惩罚项,能有效缓解因固定分块带来的信息碎片化,提升下游生成质量。
ScoreGate: 双分数统计融合的自适应块选择
🧭 RAG 自适应检索块选择 ★ 深度解读
HighLevel, Inc.
利用 bi-encoder 和 cross-encoder 双分数四分区自适应决定 RAG 块数量,无额外推理开销
📌 工作参考价值(4 点)
- 在电商 RAG 场景(客服问答、商品推荐解释)中可直接复用:利用已有的 bi-encoder 和 cross-encoder 输出分数,按四分区规则自动决定传给 LLM 的上下文块数量,降低无关信息干扰和 token 开销。
- 借鉴不对称阈值设计:对 cross-encoder 高、bi-encoder 低的分区(如不同术语但高度相关的商品描述)采用更低保留阈值,可显著提升词汇不匹配场景的召回,减少 LLM 过滤器造成的假阴性。
- 阈值可通过生产日志一次性校准(归一化分位点+网格搜索),无需模型重训练,计算增加仅 31 ms,适合实时在线服务。
- 固定 MAX-K 护盾机制防止上下文窗口溢出,可结合业务设置上限,避免极端安全风险。
CQC-RAG:通过跨查询一致性实现鲁棒检索增强生成
🧭 RAG 鲁棒性 · 交叉查询一致性
University of Electronic Science and Technology of China
提出跨查询一致性假说,通过生成多样等价查询并评估答案信心稳定性来过滤幻觉,无需外部监督即可提升 RAG 鲁棒性
📌 工作参考价值(4 点)
- 查询变体注入与一致性筛选:在 RAG 管道中,对同一用户意图生成多个语义等价但句法不同的查询,通过对比各查询下答案的置信度稳定性,可以自动过滤噪声导致的幻觉,直接提升问答或知识检索的可靠性,无需额外标注数据。
- 证据-答案配对自评估协议:将答案与支撑其的证据片段强绑定,要求模型同时输出答案和对应证据,再利用跨查询稳定性筛选,这种方法可迁移到 Agent 的多步推理或工具调用验证环节,用于剔除不可靠的中间结果。
- 共享文档池与重排序策略:不依赖扩大检索覆盖,而是先召回一个共享候选文档集合,再针对每个查询变体重新排列文档顺序,构建差异化的推理上下文,在有限检索计算下实现多样化证据视角,适合低延迟、资源受限的业务场景。
- 生成式推荐的鲁棒性借鉴:当用户 query 或产品描述存在多种表达方式时,可通过生成多个语义等价变体、分别生成推荐理由或纠偏候选,再依据一致性选出最稳定的推荐,减少因表述差异导致的推荐结果波动。
面向长文档 RAG 的不确定性感知多粒度混合检索框架
🧭 检索增强生成 · 多粒度混合检索与不确定性估计 ★ 深度解读
Purdue University
提出无需训练的 UMG-RAG,利用检索得分分布的熵动态估计各检索源与粒度的置信度,并通过父块提升生成连贯的紧凑上下文。
📌 工作参考价值(4 点)
- 多路召回动态融合:借鉴基于熵的置信度估计,电商搜索/推荐的多路召回(如语义向量 + BM25)可以不再使用固定权重融合,而是根据查询的得分分布“锐度”自适应分配权重,提升不同类型 query 的召回质量。
- 细粒度定位 + 父块返回:在商品描述或用户评价的长文本检索中,可用句子级精准召回证据,再通过 parent promotion 返回段落级上下文,保持生成理由或答案的局部连贯性,同时用重叠去重避免冗余。
- 零训练即插即用:整个方法不修改现有检索器和生成器,只做检索后处理,可以极低成本集成到现有 RAG 管线中,适合快速验证和上线。
- 长度惩罚控制上下文体积:通过长度惩罚(除以 sqrt(token 数))在最终排序中倾向紧凑 chunk,能缓解大模型“lost-in-the-middle”问题,减少生成延迟和内存占用,对实时性要求高的推荐文案生成场景尤其有用。
RAG基准应细化到何种程度?一种合成问题生成的层次化框架
🧭 RAG评估粒度优化
Emory University
提出HieraRAG层次化框架,通过判别力和一致性比率确定RAG评测的最佳粒度
📌 工作参考价值(4 点)
- 构建内部RAG评估集时,可借鉴层次化粒度框架,在不同问题维度(如复杂度、答案类型)上计算判别力,选取最大化类别间生成质量标准差的粒度,避免过分细分或过粗。
- 一致性比率(Coherence Ratio)可作为维度细分有效性的诊断指标,评估子类别是否继承父类特征,指导电商搜索或Agent问答基准的类别体系设计。
- 合成QA对的生成流程可用于低资源场景,例如从商品说明或客服对话日志中自动生成评估样本,但需结合人工校验确保质量。
- 整个框架可移植,可直接应用到电商RAG、多智体协作等场景,根据自身配置(检索器、生成器)重新测定最佳粒度,降低盲目套用通用基准的风险。
TASR:迭代检索的无训练自适应停止规则
🧭 迭代RAG · 无训练停止策略
San Diego State University · James Silberrad Brown Center for AI · Stanford University · Google DeepMind
提出一个固定的停止谓词,通过重复答案和校准后的logit margin阈值,无需训练就能减少RAG中不必要的检索轮次
📌 工作参考价值(4 点)
- 可直接在现有RAG管线中插入一行代码作为停止条件:重复前轮归一化答案且 isotonically calibrated logit margin > 0.25。对电商问答、多跳商品查询等场景,能在不损失太多精度的情况下大幅降低检索调用次数。
- 发现RLHF调优模型的verbalized置信度极度塌缩(96.5%输出最高分),而logit margin具有44倍的类条件分离度,这提示在依赖LLM自信度进行决策(如Agent中断、推荐解释可信度)时,应避免使用提示词直接索取的置信度分数,转向logit-level信号。
- 通过固定阈值实现跨模型、检索器、语料库的零次迁移,无需针对每个新模型或任务重新训练停止策略,降低了维护成本。对于多智体框架中调用外部工具的轮次控制,可以借鉴这种简单启发式规则作为默认基线。
- 论文从381个候选规则中筛选出Pareto最优规则,这种穷举评估再选择的范式,可以用来为其他agent决策点(如何时触发重排序、何时退出对话)设计低成本、可解释的启发式策略。
通过检索增强强化微调学习类比推理
🧭 检索增强的强化微调与推理效用学习 ★ 深度解读
Meta Superintelligence Labs · Rice University
提出 RA-RFT,用推理效用蒸馏检索器,并在强化微调中注入类比演示,大幅提升数学推理性能
📌 工作参考价值(4 点)
- 检索应面向任务效用而非表面相似:在电商推荐中,传统的语义相似召回可能带不来转化或点击,可用 judge 模型离线蒸馏“转化效用”标签,训练检索器优先召回能提升下游任务(如购买)的 item,而不只是语义相关。
- 强化学习训练时可注入类比案例:在对话 Agent、多智体协作等 RL 训练中,可将历史成功轨迹作为演示(类比),以少量上下文形式注入,提高奖励信号密度,加速策略学习,方法可套用 RA-RFT 的"检索-蒸馏-注入"流程。
- 多向量检索更适合结构级匹配:使用 ColBERT 等 late-interaction 模型捕捉推理结构或交互模式,适用于需要挖掘行为序列相似性的场景,如推荐中的 session 匹配、用户轨迹类比。
- 训练目标决定检索增益:仅做 SFT 时检索增益微弱,须配合让模型主动探索并选择性利用外部信息的训练范式(如 RLVR),这提示在将 RAG 融入推荐 agent 训练时,要用生成式奖励而非固定目标的监督学习。
尾部感知自适应k:查询自适应的RAG上下文选择
🧭 RAG · 自适应上下文选择
AI Lab, 37 Interactive Entertainment · School of Computer Science, Wuhan University
利用排序相似度曲线陡-平-陡模式进行拐点检测,结合局部极值理论检验,实现高效、查询自适应的检索截断,近似oracle质量
📌 工作参考价值(4 点)
- 在RAG pipeline中,可利用相似度曲线的几何特征(陡-平-陡)进行拐点检测,动态决定检索文档数量,避免固定k带来的噪声或遗漏,提升面向电商问答、知识检索的生成质量。
- 推荐系统中,向量召回后的结果截断可借鉴该方法:根据item相似度分布自动确定top-k,替代人工经验调参,降低粗排/精排计算量,尤其在长尾查询下稳定。
- Agent系统需要从工具或知识库中动态选取上下文时,TAA-k提供了一种无训练、低计算开销的自适应截断策略,适合线上实时决策。
- 方法对嵌入模型和压缩维度鲁棒,可跨业务场景复用,无需重新训练或校准。
更多文档如何伤害 RAG:领域限定检索缓解向量搜索稀释
🧭 RAG 检索增强生成 · 向量搜索稀释与领域限定检索 ★ 深度解读
University of Wyoming
发现大规模异质文档库中的向量搜索稀释问题,提出基于元数据的领域限定检索显著提升精度,指出多智体编排存在精度-忠实性悖论。
📌 工作参考价值(4 点)
- 利用业务元数据做检索范围限定:当知识库规模大、类别多(如商品文档、售后手册、政策库混合),可借鉴文档类型、类目等现有元数据在查询时过滤索引,能避开密集检索的区分力下降,提升召回精度。工程上轻量级,直接复用已有的字段,不用重新标注。
- 路由模块实用设计:先正则快速匹配,失败再调用 LLM 零样本分类;进一步可训练一个轻量分类器(如 BGE-M3 + 线性层)替代 LLM 路由,在准确性(+28pt)和成本上更优。对于电商搜索或 Agent 工具选择,这种容错路由策略可直接复用。
- 多智体编排小心“忠实度陷阱”:在商业 API 模型上多工具调用可能导致生成忠实度急剧下降(如 Claude 0.25→0.01),优先使用单次检索+单次生成的架构,仅当领域间强隔离且使用开源模型(如 Qwen、DeepSeek)时才考虑多轮调度,否则得不偿失。
- 评测体系需同时关注检索与生成:单看检索精度(P@10)提升可能掩盖生成忠实度退化,需同时监控 RAGAS faithfulness。对于电商问答、产品推荐文案生成等场景,这一点可避免上线后隐式错误。
每个多模态证据一个Token:面向资源受限问答的潜在记忆
🧭 潜在记忆表示 · 多模态RAG效率优化 ★ 深度解读
National University of Singapore
提出 Latent Memory,将多模态证据压缩为单潜在Token进行检索与生成,以3-10倍更少生成Token达到竞争性能。
📌 工作参考价值(4 点)
- 多模态商品/内容压缩:在电商搜索或推荐中,将商品图文、详情页等证据压缩为单个潜在Token,存储和生成成本大幅降低,同时通过联合训练保留检索和生成所需的信息。
- Agent记忆管理:借鉴 Latent Memory 将Agent交互历史、工具返回等多模态证据压缩为潜在Token库,支持高速相似性检索和直接注入生成,适合资源敏感的端侧Agent。
- 三目标训练范式:重建(保持内容)+ 对比(对齐查询与证据)+ 蒸馏(适配冻结生成器)的联合优化,可迁移至其他需要连续表示与检索的场景,如对话状态压缩、用户行为建模。
- 跨域泛化:在 HotpotQA 训练的压缩器直接用于多领域QA,表明压缩出的潜在Token具有良好迁移性,可借鉴以降低电商跨品类/跨场景的重复训练成本。
信任边际:大语言模型中参数记忆与检索证据的无训练仲裁
🧭 训练无关的RAG答案仲裁 · 参数记忆与检索置信度权衡
DCST, Peking University
提出TrustMargin,一种无训练即插即用的仲裁层,利用模型自身似然评分选择直接生成或RAG答案
📌 工作参考价值(4 点)
- 在电商问答或商品知识查询中,可利用似然比(TrustMargin)自动判断直接回答与检索增强回答的置信度,无需额外训练,即插即用。
- “参数先验边际”思想可迁移到推荐解释生成:检测模型对检索到的商品属性是否“熟悉”,避免将不常见的属性强行加入解释。
- “证据绑定边际”提供了一种无监督的问题-证据相关性度量,可用于过滤噪声检索结果,提升 RAG 在电商客服、商品描述生成中的可靠性。
- 该方法不依赖特定检索器,可集成到现有 RAG 流水线中,对生成式推荐的答案选择、多路召回结果仲裁具有参考价值。
FLOWREADER:用最小费用流优化多模态长文档问答的证据组装
🧭 多模态RAG · 图优化证据路由
Ca' Foscari University of Venice
将多模态文档的证据组装建模为最小费用流问题,统一控制评分、路由、选择和自适应计算
📌 工作参考价值(4 点)
- 证据组装的图建模思路可迁移到电商多模态信息聚合:将商品标题、详情图、表格参数、用户评价等视为异构节点,用最小费用流从碎片化来源中筛选最优证据组合,代替简单的 Top-K 检索,提升回答或推荐理由的完整性。
- 统一评分向量h控制多目标:通过一个共享的评分向量同时驱动 MMR 去重、相关性筛选和长度感知的可回答性评估,可用于 Agent 的任务规划中,动态权衡信息收集的多样性、可靠性与成本。
- 熵正则化复制者动态(replicator dynamics)用于紧凑子集选择:在 Agent 多智体场景下,从多个候选证据路径中选出无冗余的紧凑集合,可避免信息重复,提升 RAG 或决策模块的效率。
- 双过程门控与自适应 System-2 精炼:当生成一致性低或流图容量紧张时触发二次精炼,电商 Agent 可借鉴这种「成本感知的浅层回答 + 条件化深层推理」模式,优化 API 调用开销与回答质量。
MolE-RAG:面向化学的分子结构增强检索增强生成
🧭 RAG · 化学分子性质预测
University of Illinois Urbana-Champaign · University of California, San Diego
无训练的分子中心RAG框架,集成多种化学上下文,大幅提升LLM分子性质预测性能。
📌 工作参考价值(4 点)
- 多源上下文注入思路可迁移:为每件商品提供属性、评论摘要、相似商品等多源信息,提升LLM推荐解释或预测。
- 无需微调的推理时增强:直接检索注入知识,适合迭代快的电商业务场景,降低模型更新成本。
- 结构相似性检索:利用商品结构化特征(类目、品牌、价格)计算相似度,检索相似商品信息作为prompt,增强模型理解。
- 根据任务和模型选择上下文源:不同LLM偏好不同来源,可消融实验确定最优组合,避免信息冗余。
智能体编排的自适应 RAG:结构化与多跳检索对比研究
🧭 RAG 自适应编排与多跳检索对比
University of Toledo
提出 Agent 编排的自适应 RAG 框架,发现动态分解与反思并非普适,需根据查询和领域选择性使用。
📌 工作参考价值(4 点)
- 按查询类型自适应路由:电商 RAG 系统中,简单事实查询避免过度分解,多跳推理查询才启动迭代检索,避免统一处理带来的精度损失。
- 引用准确性增强可参考反思机制:在答案生成后增加轻量级自检(如检查引用是否支持声明),能明显提升可信度,但需控制延迟,可只在高风险场景(如售后纠纷、合规问答)开启。
- 结构化领域优先采用查询分解:对于商品说明书、运维手册等结构清晰的语料,动态分解能提升检索覆盖率和排序精度(MRR +0.17),可直接复用。
- 成本感知的编排框架设计:根据延迟预算和查询复杂度动态调节 agent 行为,避免“最强即最好”的暴力策略,对工程落地很有价值。
智能体记忆:长时状态工作负载的特性与系统启示
🧭 智能体记忆系统设计与部署特征分析 ★ 深度解读
Stanford University · Independent Researcher · MICAS, KU Leuven · Massachusetts Institute of Technology
首次系统表征智能体记忆工作负载,揭示构建成本主导生命周期,并提出面向部署的十项建议。
📌 工作参考价值(5 点)
- 业务选型时不能只看准确率,需将构建成本、查询延迟、存储增长、能耗等系统指标纳入决策。
- 将记忆构建作为后台批处理任务,与在线查询分离调度,避免抢占GPU资源影响延迟;根据范式选择合适的批大小。
- 长生命周期智能体必须引入主动裁剪/遗忘策略,否则存储和token成本会非线性增长;使用合并式记忆系统可抑制膨胀。
- 根据业务场景的查询频率和历史稳定程度选择记忆范式:高查询率、稳定历史选重构建轻查询系统(如Mem0);持续流入、低查询率选轻构建系统(如BM25)。
- 部署LLM控制流的记忆系统时,必须设置最大工具调用轮次或超时,防止检索/构建尾部延迟不可控。
Archi:面向 CMS 实验的智能代理操作框架
🧭 Agent 系统 · 科学数据协作
Massachusetts Institute of Technology · CMS Collaboration, CERN · University of Wisconsin-Madison · Fermi National Accelerator Laboratory · Brown University
开源端到端框架 Archi 将异构数据源与可配置私有代理结合,在 CERN CMS 实验中为技术操作提供检索分析支持,证明开源模型在私有部署下效果优秀。
📌 工作参考价值(4 点)
- 异构数据源的统一 RAG 范式:将文档、历史数据、实时监控系统等多种来源系统化摄入和组织,可迁移到电商场景,例如整合商品描述、用户行为日志、客服对话与实时库存数据,构建统一的知识问答或运维 Agent。
- 私有化部署开源模型的可行性:实验证明本地部署的 open-weight 模型在专业领域问答中能与商业模型竞争,对注重数据隐私的电商企业(如用户行为分析、内部运维排障)提供了低成本、高可控的 Agent 方案。
- 可扩展的 Agent 架构设计:框架支持配置和扩展不同的 agent 与数据源,可应用于电商中需要动态接入多个推荐模型、召回源或业务数据流的 Agent 场景,实现模块化扩展。
- 真实生产环境下的评估方法:基于实际 operator 的问题集和人工+自动评估,为电商 Agent 系统提供了从开发到上线后持续优化的评估流程参考。
ForeSci:评估LLM智能体前瞻性AI研究判断的时序基准
🧭 Agent 前瞻性判断评估基准
Southeast University · Beijing Zhongguancun Academy · Duke Kunshan University
构建时间屏蔽的基准,揭示LLM代理在做前瞻研究决策时证据组织提升可追溯性但存在证据-决策脱节问题
📌 工作参考价值(4 点)
- 时间屏蔽的离线知识库构建:在电商推荐场景中,可借鉴其按时间切割数据的方式,构建严格避免未来信息泄露的离线评估集,评估模型对用户未来兴趣的预测能力。
- 显式证据组织提升可解释性:论文表明让Agent显式组织证据(如引用历史论文片段)能增强事实支撑,可迁移到电商Agent的决策链设计,例如要求推荐Agent在输出商品列表前必须引用用户历史行为证据,提升可追溯性。
- 证据-决策对齐校验:发现的脱节问题(证据相关但预测错误)提示在实际Agent部署中应引入一致性校验模块,比如在营销决策Agent生成文案时,自动比对引用的数据点是否真正支持结论,防止“合理却错误”的输出。
- 任务设计避免随机猜测:通过预截止分类线索和证据信号衍生任务,而非直接预测特定事件,该设计思路可复用于构建多决策类型的推荐Agent评测(如选品、定价、引流策略),使评测更具可控性。
近似最近邻搜索:召回并非一切,距离比才是关键
🧭 ANN 检索质量评估:从重叠度到距离比
University of Ioannina & Archimedes, Athena RC
提出用逆近似比 1/Ratio@k 替代 Recall@k 评估 ANN 质量,更真实反映下游效用且节省计算
📌 工作参考价值(4 点)
- 在生产 ANN 召回评估中,用 1/Ratio@k 代替 Recall@k 调优索引参数,可在下游分类或 RAG 效果不降的前提下大幅提升 QPS 或降低计算成本。
- 推荐系统和 Agent 检索链路中,当业务指标对检索噪声不敏感时,可主动降低对 Recall@k 的要求,转而监控距离比,以换取更高吞吐和更低延迟。
- 离线基准测试或 CI/CD 流程中,1/Ratio@k 无需人工标注、仅依赖查询向量和距离,易于工程化实现,可作为自动化质量关卡。
- 选型 ANN 算法时,关注不同索引在相同 1/Ratio@k 下的吞吐差异,能更直接地预测线上真实性价比,避免为虚高的 Recall 浪费资源。
QO-Bench:诊断类型化事件元组检索中的查询操作符保持
🧭 检索增强生成 · 操作符保持诊断基准
Asian Institute of Digital Finance, National University of Singapore
提出QO-Bench基准,揭示现有RAG系统因丢失类型化值而无法正确执行数据库风格查询操作,核心瓶颈在操作符执行而非检索
📌 工作参考价值(4 点)
- 在电商RAG/Agent中处理“同时满足A和B的商品”等结构化查询时,应向显式抽取-执行管道(IE-to-SQL)倾斜,避免端到端LLM直接输出答案,以可靠支持join、intersection等操作符。
- 检索评估不能只看语义相关性,需验证答案是否精确命中所要求的全部实体;可借鉴QO-Bench的精确匹配与召回设计,构建离线算子级诊断,尤其对计数、交集场景更有必要。
- 即使将相关段落全部提供给长上下文模型,操作符执行准确率仍远未饱和,说明不能高估LLM推理能力;复杂结构化操作应卸载到确定性执行引擎,Agent工作流中可将LLM作为抽取器而非执行器。
- 对于实时性要求高的推荐或搜索场景,索引时预先抽取、存储类型化元组(如事件属性、数值),查询时直接执行算子,可大幅降低在线推理延迟并避免信息丢弃。
十位头痛专家与AI的临床文献总结评估与比较
🧭 临床RAG Agent与人类总结的盲评对比
Stanford University · Mayo Clinic · Harvard Medical School · Thomas Jefferson University · Dalhousie University
专家盲评对比RAG Agent与人类专家撰写的临床总结,发现专家总结仍占优但人机区分困难。
📌 工作参考价值(4 点)
- Agentic RAG pipeline 可复用:论文构建的 RAG agentic 框架(检索+生成+工具调用)可直接迁移到电商场景,用于自动化生成商品优缺点总结、用户评论摘要、竞品分析报告,降低人工撰写成本。
- 多维专家评估方法:采用正确性、完整性、简洁性和临床实用性四维评分+偏好排序+人机辨别实验,这套评估体系可移植到推荐系统生成的推荐理由、搜索摘要、营销文案的质量评测上,尤其适合需专业领域知识的场景。
- 人类与AI生成内容的区分度洞察:专家难以可靠识别人机来源,提示在部署AI生成的用户界面文本时,可无需刻意标注机器生成;但必要时应加入可解释性信号(如引用来源)以增强信任。
- 专家偏好的特征提炼:研究识别出专家看重的关键特征(如证据权重、语境适配),可指导提示工程和微调目标,优化电商推荐中的自然语言生成,使其更贴近人工撰写的高质量内容。
面向相机卷的个人AI视觉问答助手
🧭 个人视觉记忆Agent与分层检索 ★ 深度解读
University of Wisconsin-Madison · Korea University · Adobe Research
提出个人相机卷VQA基准与分层记忆AI Agent,揭示长程个性化视觉理解的挑战
📌 工作参考价值(4 点)
- 分层记忆结构可直接复用到用户行为流:三层金字塔(原始行为→个性化摘要→事件/会话摘要)可对电商用户的浏览、加购、下单序列建模,O(1)双向链接支持快速回溯,适合构建「我上次买这类商品后还看了什么」之类的查询。
- 两轴工具设计是工程化检索的轻量范本:将检索接口按“范式(语义/词法/过滤)”和“深度(预览/全文/原始数据)”分解为5个原子工具,既控制token预算又保持灵活性,适合在推荐解释或对话推荐中按需调用不同粒度的信息。
- 事件分段方法可用于会话/场景切分:用MLLM以增量的方式判断行为属于延续、更新还是新事件,无需离线全量重处理,适合实时流式场景,如电商平台中将用户连续行为自动聚合为“选购某品类”“犹豫比较”等有语义的单元。
- 预算感知的Agent设计值得借鉴:显式给出剩余步骤数和工具配额,促使Agent在粗筛和精查之间做权衡,可在多步推荐推理中防止过度消耗资源,同时失败分析显示需针对记忆-行动循环做专项后训练,而非仅依赖通用能力。
面向分块文档RAG的自条件位置HNSW及其工业证据质量审计
🧭 RAG · 重叠感知检索 · 位置编码 ★ 深度解读
eBay Inc.
通过向分块嵌入追加位置编码并设计自条件双阶段查询,在不改动HNSW图结构的前提下缓解重叠区块检索冗余,并引入大规模人工审计评估证据质量
📌 工作参考价值(4 点)
- 位置编码轻量注入HNSW索引:在现有HNSW索引基础上仅扩展2维(半周期sin/cos位置码),不需要改图构建或遍历逻辑,适合在已有向量检索系统上低成本实施。
- 双阶段自条件查询降低冗余:第一轮纯语义检索估计 query 在文档中的大致位置,第二轮用估计的位置先验修正检索方向;此思路也可用于电商客服证据生成等场景,避免同一对话片段反复占据上下文窗口。
- 可审计的最小索引间隔选择器:引入参数 g 保证选入上下文的 chunk 索引差不小于 g,用简单规则通杀相邻重叠,工程实现十分轻量,且 g 值可解释、可审计。
- 人工审计框架直接参考:770条文本证据评分 + 70个OCR用例的多评估者校准方式(加权 Cohen’s κ、Fleiss’ κ)可直接复制到电商问答、商品描述生成的质量评估流程。
基于数据驱动编译的金融问答数值幻觉消除框架
🧭 金融问答 · 数据为中心编译 · 数值推理Agent
Shenzhen Technology University · FiT, Tencent · South China University of Technology · The Hong Kong University of Science and Technology · Huazhong University of Science and Technology
提出数据为中心的推理编译器,通过对抗训练与编译执行消除金融QA中的数值幻觉
📌 工作参考价值(4 点)
- 对抗数据构造:在训练数据中注入可控噪声,可借鉴到电商问答Agent中提升对检索错误或无关文档的鲁棒性,减少商品价格、参数等数值误读。
- 编译-执行推理范式:将自然语言查询与检索文档转换为可执行程序(如SQL/Python),确保计算逻辑透明且可审计,适用于电商中的优惠叠加计算、库存统计等场景。
- 数据结构化代理训练:分阶段培养Agent的证据审计与程序合成能力,这种课程学习思路可用于训练电商推荐Agent的多步推理(如用户条件过滤、偏好权重计算)。
- 数据为中心优化:强调从数据构造端解决幻觉问题,启发我们构建面向电商任务的对抗性训练集,让Agent学会处理表格、图表等结构化文档中的噪音。
检索增强生成中内容表示如何影响答案保留与生成准确性
🧭 RAG 检索内容表示对 LLM 生成的影响
The University of Queensland · CSIRO
在RAG中,答案保留是决定生成器准确性的主导因素,其他表示属性影响有限
📌 工作参考价值(4 点)
- 在电商搜索/推荐RAG场景中,优先保证检索片段经压缩或改写后仍 保留答案关键信息(如产品属性、参数),而非盲目追求简练或语义对齐。
- 引入 答案保留 作为离线评估指标,可快速筛选文档处理策略,避免每次变更都需昂贵生成评估。
- 实验中的13种转换(选择、摘要、重写等)可作为多臂老虎机策略的候选臂,但对每种臂需监控保留率,当保留率低于阈值时自动回退到原始表示。
- 对于多轮Agent对话中上下文有限的情形,采用保留率高的 选择关键句 策略比单纯生成摘要更稳定,能减少幻觉并提升工具调用准确性。
个人视觉记忆:从显式与隐式证据中学习
🧭 多模态记忆 · Agent 长期记忆评估 ★ 深度解读
Johns Hopkins University · University of Wisconsin-Madison · Adobe Research
提出首个面向个性化AI助手的视觉记忆基准,并设计混合视觉-文本记忆架构显式保留身份与所有权
📌 工作参考价值(4 点)
- 图片记忆不应沦为caption:现有记忆系统将图像转为文本描述,丢失身份、所有权等关键视觉信息。你的电商/Agent场景若涉及用户上传图片(如服装、家居),应保留结构化视觉特征,而非仅存文本摘要。
- 延迟提交机制值得工程化:当图像信息不足以立即判断时,不急于提取结构化记忆,而是暂存pending状态,待后续多张图像累积证据后再统一解析。这一trick可迁移到用户多轮上传图片的商品识别、搭配推荐等场景。
- 结构化视觉记忆的模块设计:将记忆拆成relationship、entity、fact三个层级,分别存储社交关系、物体/宠物实例、持久化用户事实,按需路由。电商场景可类似设计:从用户晒图中抽取拥有的商品、偏好风格(实体/事实),而非仅用文本embedding。
- 利用合成数据构建视觉记忆评估管线:论文用一致化角色-场景-物体图像生成pipeline构建有多distractor的长会话,可借鉴用于Agent记忆能力的离线评测,避免隐私风险。
同一问题,不同来源,不同答案:审计医疗多源RAG中的源依赖性
🧭 多源RAG评估 · 源依赖性审计
Carnegie Mellon University
将RAG评估从单答案正确性转向源间关系审计,揭示多源异质性被严重低估
📌 工作参考价值(4 点)
- 多源RAG审计框架可直接迁移至电商问答:当知识库包含不同商家政策、商品描述时,检测答案源依赖性,避免单一来源给出误导性高置信回复。
- HERO-QA层次化检索和结构化输出judge的设计可复用于多源知识库冲突检测,在电商产品推荐解释、政策问答中自动标注答案一致/矛盾关系。
- 5标签源间关系分类法(一致/互补/部分重叠/矛盾等)适合作为Agent或推荐系统多路召回融合的后处理标准,用于冲突消解或多角度信息呈现。
- 启示:更好的检索会暴露更多分歧,业务中盲目提升召回而不审计源依赖性可能放大风险,需建立持续监控体系。
检索增强与分层推理的语义相关性校准框架
🧭 检索增强的语义相关性判断 ★ 深度解读
Alibaba Qwen Applications Business Group
通过知识注入、分层推理对齐和偏好校准三阶段提升搜索相关性判断
📌 工作参考价值(4 点)
- 用检索生成伪文档做知识注入预训练:对无标注查询,先检索 top-k 证据并合成回答文档,再用 query-to-synthesized-document 生成任务做继续预训练。电商搜索中可直接复用,将商品描述、属性、用户评论作为知识库,让模型学习 query 到最相关商品知识的映射,改善冷启动和长尾查询。
- 分层推理模板设计:将相关性判断拆成 Knowledge-Infused Grounding + Holistic Multi-Dimensional Alignment 两个阶段。电商场景中可类比:先让模型基于查询和检索知识总结用户意图、关键属性约束,再从意图一致性、实体匹配、属性完备性等维度评判候选商品,提升可解释性和准确性。
- 用 相邻等级偏好优化 修正系统性高估:发现 LLM 微调后容易打高相关性分数,可针对人类标注数据构造 adjacent-label 偏好对,使用 DPO 训练让模型倾向于正确标签。电商搜索中常见的“Good vs Fair”容易混淆,可借鉴此方法在少量标注上做边界校准,降低误判率。
- 不依赖在线 RAG 推理:知识注入仅在训练阶段通过伪文档完成,推理时无需拼接检索结果,减少延迟和上下文窗口消耗。对时延敏感的生产排序系统很实用。
STREAM:基于流媒体挖掘高价值任务型对话的数据中心框架
🧭 任务型对话数据合成 · 流媒体挖掘 ★ 深度解读
Harbin Institute of Technology · Byering Technology
从公开直播/短视频中提取真实交互信号,合成大规模富含策略的任务型对话数据StreamDial
📌 工作参考价值(4 点)
- 利用公开流媒体替代人工标注:直播、短视频中的客服咨询与用户弹幕可提取为(问、答、策略)三元组,低成本构建垂直领域对话语料。
- 对话蓝图(Conversational Blueprint)显式规划对话节奏:将对话阶段、关键节点、应对策略结构化,可借鉴到电商售前咨询场景,提升多轮谈判、需求挖掘的连贯性。
- RAG增强的对话生成模式:结合知识库与历史对话样本检索,生成知识密集型回复,适用于商品推荐、库存查询等需实时信息注入的对话。
- 四元组数据格式提供丰富监督信号:<用户人设,客服人设,对话蓝图,历史>的结构可同时训练角色扮演和策略跟随能力,有利于构建可控的对话推荐Agent。
Google Embeddings 2 与开源模型的多语言稠密检索及 RAG 系统基准评测
🧭 多语言稠密检索模型评测 ★ 深度解读
University of Salerno · University of Bari
系统对比 GE2 与 5 款开源嵌入模型,揭示 GE2 质量最优但延迟高,mE5-L 在短文本几乎持平,LaBSE 完全不适合检索。
📌 工作参考价值(4 点)
- 绝对不要用 LaBSE 做检索:它的训练目标是跨语言句子对齐,与 top-k 相关性排序天然不兼容,BEIR 上 nDCG@10 仅 0.188,FiQA 上低至 0.069,比随机还差。当前仍有很多教程将其用作多语言检索 backbone,应立即替换为 mE5-L 或 GE2。
- 短文本、单语场景优先用 mE5-L:在意大利语短篇章(平均 60 token)上,mE5-L 的 nDCG@10=0.279,与 GE2 的 0.282 几乎无差异,但延迟仅 31 ms,比 GE2 快 7.5 倍,适合对 <100ms SLA 敏感的实时检索或在线推荐服务。
- 长文档或 query–doc 严重不匹配时切换 GE2:对于法律文本、医疗文献等长篇幅内容,GE2 的 2048 token 上下文窗口避免了 BERT 系模型的截断损失;其RETRIEVAL_QUERY/RETRIEVAL_DOCUMENT 的非对称条件编码能系统性地处理 query 与文档的词汇风格差异,在 TREC-COVID 等任务上优势明显(0.799 vs 0.702)。
- 分块策略可大幅简化:在短篇章体裁(平均 60 token)中,所有模型在 32 token 即达性能饱和,进一步增大分块无增益;可优先使用固定 256-512 token 的窗口,仅在 token 极度受限(16 token)时语义分块才有效果。这可以将分块调优成本降为零。
BeLink:生物医学实体链接中的生成式重排序
🧭 生成式重排序 · 生物医学实体链接
University of Milan · University of Chicago
用指令微调的开源生成模型在重排序阶段实现集合式候选选择,准确率提升3-24%,推理更快。
📌 工作参考价值(4 点)
- 电商商品实体链接(如商品名→标准SPU)可直接复用该方法:用指令微调的开源LLM替代传统BERT交叉编码器做候选重排序,尤其适合冷门实体。
- 集合式指令格式:一次性输入多个候选,要求模型输出最佳匹配,减少推理轮次,降低在线延迟,适合高QPS场景。
- 模块化检索-重排序架构:可灵活插拔不同检索器(稀疏/稠密),业务侧能快速验证不同召回策略与重排序器的组合。
- 低成本部署:微调7B级模型即可达到甚至超越大模型效果,平衡准确率与推理成本,便于在资源受限的工业环境中落地。
评估商用AI聊天机器人作为新闻中介
🧭 商业聊天机器人多语言新闻检索评估
对六款商用聊天机器人进行多语言实时新闻问答评估,揭示高准确率背后的区域不平等与检索依赖问题
📌 工作参考价值(4 点)
- 多语言检索系统需警惕语种偏见:在电商问答或智能客服中,非英语查询可能触发英语知识库,导致回答与本地事实脱节。可通过混合召回、多语言索引或动态语言检测缓解。
- 检索失败是RAG系统的主要瓶颈(非推理),工程上应优先优化检索管道:引入多路召回、重排序、时效性权重等,而非仅提升生成模型。
- 对抗性输入(如虚假前提问题)会使系统性能骤降,在Agent或推荐场景中需前置事实核查模块,或在对话中主动澄清用户假设。
- 评估不能只看整体平均,要分语言/区域切片,否则高准确率会掩盖系统性的区域不平等,这在全球化业务中可能导致用户体验与品牌风险。
CALMem:对话 AI 的应用层双内存架构
🧭 应用层记忆架构 · 情景与语义双检索 ★ 深度解读
Infosys Limited
纯应用层双内存(情景+语义)实现无模型改动的近乎无限上下文,并通过 token 自适应注入恢复会话连续性。
📌 工作参考价值(4 点)
- 在客服 agent 或购物助手中,可借鉴语义记忆显式存储用户偏好、情景记忆基于向量检索历史交互,二者互补恢复上下文。
- 采用 token 预算自适应注入,按上下文填充率动态控制注入量,避免记忆注入反而加速窗口溢出,适合长会话电商场景。
- 嵌入搜索使用内存缓存(Vec)减少 I/O,毫秒级延迟可忽略,适合需要低延迟的实时对话推荐系统。
- 纯应用层实现,不改模型、零回归开关,方便在现有 LLM 产品中渐进式迭代和灰度实验。
BiRD:基于双向排序的检索增强生成防御机制
🧭 RAG安全 · 双向排序信号
Wuhan University · Naval University of Engineering · Xi’an Jiaotong-Liverpool University
发现毒化文档的双向排名对齐特征,提出结合前向与后向排名的双信号防御框架,兼顾效率与鲁棒性
📌 工作参考价值(4 点)
- 电商 RAG 系统可借鉴双向排名一致性检查作为轻量级毒化检测:在检索后计算查询到文档的前向排名和文档到查询的后向排名的一致性分值,筛选异常文档,额外延迟 < 1s,适合在线服务。
- 双向排名信号不依赖特定 LLM 或检索器,可嵌入现有检索管道作为插件式过滤器,迁移成本低。
- 该发现启示在推荐/广告系统反作弊中,可分析用户与物品的双向近邻关系来检测异常交互,例如刷单用户的邻居行为异常。
- 实验证明该方法在强攻击下仍有效,可应用于电商问答系统防投毒,提升生成答案的可靠性和任务准确率。
向量RAG与LLM编译Wiki在小规模多领域研究语料上的预注册对比
🧭 RAG架构对比与知识合成优化
AI for Altruism (A4A)
首次定量对比发现Wiki在跨论文合成与引用支持上优于RAG,但成本高;分解式RAG可低成本恢复部分优势
📌 工作参考价值(4 点)
- 在电商知识库问答中,若需跨商品/多源信息合成(如对比评测),可借鉴Wiki预编译思路构建内部知识图,但需权衡高昂的查询token成本与构建开销。
- 对成本敏感的业务,优先考虑分解式RAG(将问题拆解为子问题分别检索),既能提升跨文档合成效果又保持较低LLM调用成本,适合部署在实时客服或推荐解释生成中。
- 引用的精确性评价不可只看整体有据性,需引入逐项引用检查机制,确保每一条声明都精准对应来源,这对电商合规回答至关重要。
- 架构选择无银弹,应针对业务侧重点(证据组织、引用支撑、查询成本)做有针对性地选型,可设计混合式系统动态路由。
LERA:面向生成式聊天的两阶段LLM增强RAG广告拍卖
🧭 生成式推荐 · 广告拍卖机制设计 ★ 深度解读
Peking University · Alibaba Group · Shandong University
先由关键词嵌入粗筛,再用LLM logits精排,并以临界值支付保证激励相容,实现高效精准的聊天广告插入。
📌 工作参考价值(4 点)
- 两阶段LLM排序可用于电商推荐/广告:先用轻量检索(如关键词嵌入)粗筛Top-K,再调用LLM logits精排。既保持效率,又能捕获复杂意图,尤其适合高并发在线服务。
- 用logits而非文本输出做排序:在SGLang等推理引擎中,可通过并行pre-filling提取候选标签的log概率,比文本生成更稳定、可解耦,方便与出价等数值信号融合,适合实时竞价。
- 临界值支付规则适配多阶段筛选:胜出者支付两阶段门槛的最大值,可移植到带粗排-精排的推荐广告混排系统,保证广告主真实报价,降低经济设计风险。
- 多广告插入的段落化生成策略:在长回复或对话中分段重新拍卖,利用KV-cache重用控制延迟,可应用于多轮对话广告位、直播带货字幕广告等场景。
X-SYNTH:基于人类注意力的企业上下文合成框架
🧭 人类注意力驱动的企业上下文合成 · 行为序列学习 ★ 深度解读
Workfabric AI
将员工数字行为序列作为隐式相关信号,在销售线索识别中将真线索率从 9.5% 提至 61.9%,假线索率降至 18.8%。
📌 工作参考价值(4 点)
- 隐式行为信号作为相关性金标准:无需人工标注,利用员工在邮件、Slack、CRM中的操作序列和驻留时间等隐式反馈,直接训练相关模型,可迁移至电商搜索/推荐中的用户行为建模。
- 个人行为基线建模(DTS):为每个用户构建包含域注意力、节奏、短长期偏差等维度的滚动数字孪生签名,可检测异常兴趣漂移,适用于个性化重排序或异常检测。
- 多过滤器软路由机制:根据查询和用户DTS通过轻量MLP动态选择七种注意力过滤器(比例、反向、差分等),类似MoE但条件于用户状态,可用于多策略检索或推荐融合。
- 管线级反馈归因:分解终端反馈至各阶段(范围确定、模态选择、检索、合成),仅更新被归因失败的阶段,避免错误信号污染,适合多阶段Agent系统优化。
基于确定性Agentic Workflow的HS关税分类:多维规则推理与可解释决策
🧭 Agent ★ 深度解读
上海交通大学 · 中国海关总署 · 南京极云信息技术有限公司
通过固定控制流的多阶段LLM流水线实现HS分类的多维规则推理,输出可审计决策且开源模型性能接近前沿模型
MeMo:将记忆建模为可插拔的专用模型
🧭 LLM ★ 深度解读
National University of Singapore · MIT · A*STAR · University of Tokyo · Liquid AI
一种模块化框架,通过训练小型记忆模型并采用结构化多轮查询协议,无需修改LLM即可融入新知识,同时捕获跨文档关系并抵抗检索噪声
情感参与状态记忆:面向大规模超个性化的架构
🧭 LLM ★ 深度解读
divAIne Research
引入情感索引记忆与意图推理的状态化LLM架构,在30个对话场景中全面超越无状态基线,记忆接地提升95%
停止过度思考:以最简推理解锁高效列表重排序
🧭 RAG ★ 深度解读
Beijing Institute of Technology
提出长度正则化自蒸馏,剪枝冗余推理,在保持排序效果的同时减少 34–37% 的推理 token
MemLens:大视觉语言模型多模态长时记忆基准测试
🧭 Eval ★ 深度解读
HKUST · CUHK · OmniMemory · NVIDIA
首个统一长度控制下的多模态对话记忆基准,对比长上下文与记忆增强两类方案,揭示视觉证据检索为瓶颈
面向风险投资尽职调查的多智能体编排框架
🧭 Agent ★ 深度解读
Athens University of Economics and Business
事件驱动多智能体系统自动整合实时网络检索与官方注册文档解析,并通过结构化回退机制消除金融幻觉
面向算法教学意图感知的检索增强辅导系统
🧭 RAG ★ 深度解读
North Carolina State University · University of Pittsburgh · University of California, Berkeley · Aalto University
结合多模态检索与苏格拉底式反馈,为算法追踪与问题求解提供课程对齐的AI辅导
前瞻性引导的记忆检索:语言模型的前瞻思考
🧭 RAG ★ 深度解读
University of Washington · Microsoft Research
提出前瞻性引导检索(PGR),通过模拟未来场景触发相关记忆,解耦存储与检索,大幅提升长期个性化助手的召回率
RAG 增强的大语言模型用于 Web 搜索中的动态内容过期预测
🧭 Reasoning ★ 深度解读
Baidu Inc.
利用 LLM 对查询意图和文档时间上下文进行语义推理,动态判定内容有效期,取代静态时间窗口规则