通过跨 harness 适配的检索增强技能优化
🧭 Agent 技能优化 · 跨 harness 检索适配 ★ 深度解读
Korea University · KAIST · Meta AI
检索外部技能语料并用 Cross-Harness Adaptation 适配到目标任务与执行环境,同时强化技能初始化和失败驱动更新
📌 工作参考价值(5 点)
- 构建内部“技能/策略语料库”(如大促玩法 SOP、不同平台投放经验、query 改写案例),按 heading 切成段落级索引;检索时用 BM25 返回 top-K=5,避免整篇文档带来的无关信息,K 再增大会引入噪声。
- 借鉴 Cross-Harness Adaptation:把外部知识/代码片段转成目标系统的对象、命令、单位,做三件事——删 source-specific 名词、只保留当前 requirement 相关、工具参数行为必须被目标 harness 描述确认;这在多平台/多渠道(Web vs App vs 小程序、不同广告 API)迁移 SOP 时尤其实用。
- 用 RASI 做零 rollout 冷启动:新任务或新 agent 先由 LLM 从 task/harness 描述生成 requirement-query 对,检索并适配成 lessons 后直接合成 skill,避免昂贵试错;实验显示即使只开放 1% 语料也有明显收益。
- 更新阶段不要只依赖 rollout 文本梯度:从失败轨迹反推“缺失知识”并生成检索 query,用外部知识补充参数知识,候选 skill 必须过验证集才接受;在成本上可做到与 TextGrad/WikiSkill 同等 rollout 数,甚至 API 成本更低。
- 生产落地注意 benchmark 泄漏:按仓库级别把已知任务/数据集相关技能加入 blocklist,防止检索到作弊或过拟合片段。
RATL:检索历史残差用于鲁棒多变量时间序列预测
🧭 检索增强 · 残差反馈修正
Department of Automation, Tsinghua University · State Key Laboratory of Hydroscience and Engineering, Tsinghua University
将 RAG 思想用于连续预测:冻结基座模型,检索相似历史残差并路由融合以纠偏
📌 工作参考价值(4 点)
- 电商销量/流量/广告消耗等多变量预测场景,可维护基座模型的历史残差记忆库,上线后检索相似上下文残差做轻量级后处理纠偏,无需重训基座。
- 冻结已部署的预测模型,只额外训练残差检索与融合模块,降低迭代成本与上线风险,适合工程化快速验证。
- 利用验证集自动选择 correction strength 控制残差注入幅度,防止过度修正导致线上指标波动,该机制可迁移到任何 additive correction 的预估模型。
- set-aware router 按 forecast block 和 variable 维度选择残差,可借鉴到多指标联合预测(如 GMV、订单量、转化率),让不同指标学习不同的融合权重。
自刷新检索驱动的实时电商目录对话推荐
🧭 实时电商目录增量检索对话推荐 ★ 深度解读
Infobip
提出自刷新检索器,用stable ID与双哈希只重嵌入新增/语义变化商品,将实时目录增量同步到向量索引,支撑低成本WhatsApp对话购物助手
📌 工作参考价值(4 点)
- 增量索引可直接落地电商搜索/推荐:用 stable product ID + full hash + semantic hash 对商品变化分类,只重嵌入新增/语义变化商品,价格库存等 metadata-only 只更新过滤字段。这样可以在高频变动的促销/库存场景中保持向量索引实时性,避免全量重建的成本。
- LLM 使用做减法:对话侧只让 LLM 做意图分类和偏好引导,检索/重排/多样性走专用函数。生成路径 free 让成本、延迟可预测,适合大规模线上 QPS;换成小模型或规则也不会影响核心推荐效果。
- 同步安全机制值得抄:拒绝空/不完整快照防止误删;先准备 embedding 再写,先 upsert/metadata update 再 deletion;非事务写需加 staging/rollback 和异常 delta 监控。这些是生产上目录刷新容易踩的坑。
- 架构解耦便于多商户/多渠道扩展:VectorStore interface + 单一 model proxy,使商品 feed 接入、embedding 模型、前端渠道可替换;语言检测后英文检索本地语言回复可降低多语言 embedding 成本。
工具自适应大语言模型重排序器
🧭 点式重排序 · 自适应工具路由 ★ 深度解读
Carnegie Mellon University · Huazhong University of Science and Technology
将点式重排序建模为 Agent MDP,通过成本感知强化学习动态调用工具,平衡精度与效率
📌 工作参考价值(4 点)
- 动态工具调用机制:对于冷门商品、长尾查询或实时性要求高的推荐(如促销、库存变化),可训练重排序模型自行判断是否需要查询外部知识库(商品属性、实时价格、知识图谱),避免对所有请求都进行昂贵的外部检索,保持低延迟。
- 两阶段训练范式:利用 KL 散度正则化防止 LLM 在微调判别性任务时丧失原生生成能力(灾难性遗忘),随后用 GRPO 优化延迟与准确性的权衡;这一方法可直接迁移到现有基于 LLM 的评分模型训练中。
- 非对称成本感知奖励:设计奖励函数时,对高置信度错误且未调用工具给予严厉惩罚(-1.0),对正确回答且绕过工具给予高奖励,迫使模型只在必要时调用工具;可应用于构建自适应推理链路的 Agent 系统中。
- 提示模板与推理流程:论文提供了最小化工具调用的系统指令和严格输出格式,以及基于 token 拦截的 MDP 推理 Algorithm 1,对实现类似的 Agentic Reranker 具有直接参考价值。
知识与视觉问答基准的陷阱识别与修复:审计、修正与增强
🧭 知识增强多模态评测审计与修正
Rensselaer Polytechnic Institute · AT&T Chief Data Office
系统审计KB-VQA基准,揭示答案可推导性、问题约束和视觉设定上的缺陷,并引入修复与多实体增强协议,纠正模型评价偏差。
📌 工作参考价值(4 点)
- 在电商多模态知识增强场景(如商品问答、属性校验)中,应审计知识库覆盖率与答案可推导性,避免模型利用图像或语言捷径获得高准确率。
- 引入多实体同框的视觉歧义样本(如多商品对比图),迫使模型执行显式的视觉-知识对齐,而非简单匹配单个显著实体。
- 评估指标不能仅依赖端到端答案匹配,需设计中间过程验证(如检索证据、推理步骤)来衡量真实推理能力,模仿“审计-修复”流程。
- 构建知识增强推荐或Agent时,用受控的困难样本集进行诊断测试,发现模型在通道、推理上的薄弱环节。
渐进式多模态搜索 Agent 用于知识型视觉问答
🧭 Agent 自适应多模态检索
OPPO AI Center · Tsinghua University · Nanyang Technological University
提出自适应调用图文检索的 Agent,并通过长度与深度归一化的 RL 优化搜索策略
📌 工作参考价值(4 点)
- 自适应检索流程:Agent 迭代选择图像搜索、文本搜索或停止,带工具调用预算和去重。在电商商品搜索中,可构建类似 Agent,根据用户意图动态决定查询商品图库还是文本描述库,避免固定 top-k 带来冗余。
- 序列级 RL 训练归一化:TN-GSPO 根据生成长度与工具交互深度归一化更新,缓解冗长交互被过度惩罚的问题。训练推荐对话 Agent 时,可借鉴此目标,平衡回答质量与多轮交互开销。
- 两阶段训练范式:先拒绝采样 SFT 学习合法工具调用格式,再 RL 优化。对落地 Agent 很有参考意义:先用人工或规则筛选合法 action 轨迹微调,再线上 RL 提升策略。
- 去重机制:对已检索内容去重,避免重复调用工具。在召回或多路检索场景中,可加入类似历史感知的去重,减少无效请求,提升效率。
DR-DCI:通过动态工作空间扩展实现可伸缩直接语料交互
🧭 Agent 搜索接口 · 检索与直接语料交互结合 ★ 深度解读
University of Toronto · Texas A&M University · University of Waterloo · UC San Diego · Verdent AI
将检索重塑为 Agent 可调用的 pull 动作以扩展本地工作空间,使 DCI 终端操作仅作用于已拉取文档,平衡大规模语料探索与细粒度证据验证。
📌 工作参考价值(4 点)
- 检索即工作空间动作:在商品搜索/推荐 Agent 中,可将检索接口设计为 pull(query, topK),根据推理中间状态动态拉取候选,而非固定一次性检索,适应多轮证据收集。
- 预览 + 本地 DCI 双阶段设计:拉取后返回 ranked preview 供 Agent 快速定位,同时保留 grep/read 等终端式命令在已拉取文档内进行跨文档比较与验证,可迁移到需多商品对比或约束过滤的场景。
- 工程化工作空间管理:拉取的文档存储为扁平目录、唯一文件名并提供统计信息,避免路径混乱和重复,降低 Agent 误操作;可利用现有 BM25 等轻量检索器作为后端,降低建设成本。
- 失败恢复机制:低置信度 + 显式 abstain 时,保留工作空间但重置推理上下文进行二次验证,能以极低成本($4.44 恢复 17/49 个错误)提升准确率,适合高价值决策场景。
文本知何事,表格知何时:检索增强多模态对齐实现临床时间线重建
🧭 检索增强多模态对齐 · 时间线重建
Carnegie Mellon University
用检索到的结构化EHR表格校准临床文本时间线,多模态对齐提升绝对时间精度并发现34.8%事件仅存于文本。
📌 工作参考价值(4 点)
- 检索增强校准的思路可迁移至电商用户行为时间线构建:将非结构化评论/日志中的事件与结构化交易时间戳对齐,提升用户旅程建模精度。
- 图结构多步流程(锚事件骨架→非中心事件相对放置→外部证据校准)可泛化为通用多模态融合范式,适用于推荐系统中异构数据的时间对齐。
- AULTC(绝对时间标签准确度)指标可直接用于评估推荐场景下用户行为序列的时间预测质量。
- 发现大量文本事件缺失于结构化记录,提示在生成式推荐中需重视非结构化信号的独立价值,避免仅依赖结构化数据遗漏关键行为。