多奖励 RL 的逐奖励 Token 级信用分配
🧭 多奖励 RL 令牌级信用分配 ★ 深度解读
University of Minnesota · National University of Singapore · University of Illinois Urbana-Champaign · University of Southern California · University of Pennsylvania
用 verifier 信息 self-replay 定位每个 reward 的相关 token，把 advantage 按相关性重分配，加速并提升多奖励 RL
📌 工作参考价值（4 点）
- 对电商/Agent 里带多个可验证约束的生成任务（商品文案、广告标题、工具调用、SQL/API 生成），把每个 reward 的 advantage 按 self-replay 的相关性分配到 token，而不是整段均匀；尤其格式类 reward 只落在标签/keyword/CTA 等少数 token，能显著加快收敛。
- 若 verifier 有可文本化信息（参考 query、执行 error、约束条件），可直接复用 MRTPO 的 leave-one-out replay：同一条 response 在 P_all 和 P_\k 各 forward 一次，用 next-token 分布的 JS 距离得到 token 权重；无需额外模型或标注，成本只比 GDPO 多 10–20%，且只在 reward 组内有方差时 replay。
- β=0.5 是不错的默认值，前 10 步 smoothstep warmup；保留 1−β 的均匀份额避免重分配过激，并可对 reallocated part 做二阶矩约束。这个方法正交于 SAW/DVAO 等 response 级 reward reweighting，可以叠加。
- 做 prompt 约束（如“必须包含关键词、以某句结尾、加双引号”）时，直接去掉单个约束 replay 能定位到 checker 实际读取的 token；对 IFBench 这类未见约束泛化提升最明显，适合冷启动或模板频繁变化的场景。
EliteReplay：质量多样性搜索保留 RL 后训练中的多样解
🧭 LLM RL 后训练多样性保持
The Ohio State University
用质量多样性搜索构建精英解档案并与 GRPO 结合回放，提升准确率同时保留 LLM 解多样性
📌 工作参考价值（4 点）
- 在 RL 微调用于搜索排序、query 改写或商品文案生成时，可引入精英档案回放：先用冻结模型采样多样正确解建立档案，训练中与策略梯度损失共同优化，避免模型只集中在少数高奖励行为，保持生成模式的多样性。
- 将质量多样性搜索作为通用记忆库机制，在 RL 训练中周期性回放高质量多样样本，可缓解模式坍缩与灾难性遗忘，适用于需要多策略并存的推荐或 Agent 协作场景。
- 评测中除了准确率，加入 pass@k 和 U@k（distinct correct strategies） 两类指标，能更全面反映模型在多解场景下的能力；在搜索建议、歧义 query 改写等业务中，覆盖多个正确意图比单一 top-1 更重要。
- 对歧义 query（如 AmbiQT）的覆盖能力可以直接迁移到电商搜索/推荐：用多样性保持的后训练模型同时召回多个可能的商品意图或生成多个改写 query，提升用户体验与召回覆盖。
HarnessSQL：真实数据库环境中 SQL Agent 的 Harness 原生训练
🧭 SQL Agent 原生训练 · 执行奖励 RL
Hong Kong University of Science and Technology · Microsoft Research · Tsinghua University · University of Macau
提出 HarnessSQL 训练框架，在 SFT 和 RL 中保留完整 SQL 交互结构，大幅提升小模型在真实数据库任务中的执行准确率
📌 工作参考价值（4 点）
- 借鉴 harness-native 训练思想：在电商搜索/推荐 agent 训练时，让模型直接调用线上同构工具（商品检索 API、数据库查询、排序服务），保留完整交互轨迹做 SFT，而不是只输入问题输出答案，缩小训练与线上推理差距。
- 使用 execution-reward RL：以可验证的结果（如商品是否被正确召回、SQL 是否返回正确结果、用户是否点击）作为奖励信号，只对最终成功轨迹给予正奖励，能有效提升长程 agent 任务表现，且无需逐步骤标注。
- 引入 hidden oracle 自动过滤高质量轨迹：在业务中可构建规则或脚本验证任务完成情况，从海量交互日志中筛选成功样本用于训练，降低人工标注成本。
- 隔离可执行沙箱环境：在离线训练时为 agent 提供稳定、可控的数据库/服务沙箱，避免真实环境波动导致训练不稳定；同时可模拟错误注入，增强错误恢复能力。
JOINGR：学习遍历连接图进行表检索
🧭 Text-to-SQL 表检索 · 连接图遍历
Arizona State University · Adobe Research, India
将数据库连接图作为检索空间，用查询条件化评分器遍历边来提升多跳表检索召回
📌 工作参考价值（4 点）
- 商品/内容图谱检索可借鉴：先选语义相似锚点，再用轻量边评分器沿关系边遍历，提升多跳关联实体的召回。
- Text-to-SQL 或对话式 BI 场景中，把 schema 连成图，用 query-conditioned connector 代替独立的表打分，能缓解 LLM 幻觉和 schema 错选。
- 冻结 embedding + 轻量 MLP 边评分器的方式训练成本低、易于线上部署，适合推荐系统中召回阶段的图遍历增强。
- 跨域迁移实验表明学到的遍历策略是可复用的，类似电商场景下训练好的商品关系遍历模型可能跨品类复用。
Argo-Bench：评估企业级工作流中的数据智能体
🧭 数据智能体评估 · 企业级数据工作流
TextQL
构建企业级数据智能体评估基准，模拟纽约外卖平台，要求跨235表分析并采取行动，最强模型均分仅59.5
📌 工作参考价值（4 点）
- 评估 Agent 时不要只看 SQL 正确率，可以引入“动作后果评分”：在电商/推荐场景中构造仿真环境（如用户响应模型、市场模拟器）对调价、选品、发券等决策进行闭环评估
- 复杂 schema 导航是实际瓶颈：可构建内部数据仓库查询基准，覆盖多表 join 和业务语义，并用可执行参考解保证可解性，避免错误答案误导模型评估
- 最强模型在长链路、多表、需行动的任务上平均分仍低，说明工程上需要为 Agent 增加 schema 检索、知识图谱、规划模块或领域微调，而非仅依赖 prompt
- 参考解设计可迁移：为每个任务提供端到端可执行方案，便于诊断 Agent 失败在导航、SQL、分析还是行动阶段，支撑针对性优化
用记忆替代训练：Text-to-SQL 的列表式选择
🧭 LLM 候选选择免微调 · Memory 检索
IPAI, Seoul National University · KAIST
免微调列表式选择器，用结构化记忆作为决策标准并多排列聚合缓解位置偏差，BIRD-dev 准确率提升 2.02 且 tokens 减 2.92x
📌 工作参考价值（3 点）
- 可借鉴其 structured memory bank：把自然语言到业务实体/操作/期望输出的映射事先蒸馏成可检索片段，作为候选排序的显式标准，避免对选择器微调；在电商 query 改写、广告文案候选选择中可构建 query→商品属性/类目意图/文案风格的 memory，推理时检索作为评分依据。
- 借鉴 多排列聚合 + 执行结果/pointwise 预筛 的推理成本优化：先用轻量打分或可执行性检查过滤多数候选，只对 top-k 做多顺序的 listwise 比较，再聚合排名，能降低 LLM 调用 tokens 和位置偏差。
- 位置偏差缓解可以做成推理时策略而非训练策略，兼容已有 LLM；在搜索推荐 Agent 的多个工具/候选结果重排序环节，可直接插入多排列投票逻辑，无需额外训练。
DexterSQL：深度 Schema 探索与规则修正的 Text-to-SQL 生成
🧭 Text-to-SQL · 深度Schema探索与规则修正
New Jersey Institute of Technology · Virginia Tech
用深度 schema 探索、数据库无关规则修正与多路径生成提升 Text-to-SQL 准确率
📌 工作参考价值（4 点）
- Schema 细粒度探查可迁移到指标/取数场景：对电商数据仓库中易混淆列（如“下单金额”vs“支付金额”）做单列+联合分布分析，自动发现区分性特征，注入 prompt 可降低 LLM 列选择歧义。
- 用训练集错误挖掘数据库无关修正规则：把线上 Text-to-SQL 或 NL 查询解析的 badcase 回流，提炼成与具体库无关的纠错规则（如“时间条件不可省略”），可跨库持续累积并降低重复错误。
- 依赖树骨架分解对复杂分析查询有用：在生成 SQL 前先依据问句句法结构构建 dependency tree，拆成 SQL skeleton，能有效缓解条件遗漏/错放问题；电商运营复杂报表查询可直接借鉴该中间表示。
- 非微调方案接入成本低：整体基于 prompting，不改变 LLM 参数，适合快速迭代并叠加在已有 LLM API 上，适合业务初期验证。
因果情节记忆：基于反馈的代理修复
🧭 Agent 反馈驱动修复 · 因果记忆
Mohamed bin Zayed University of Artificial Intelligence · Ho Chi Minh City University of Technology (HCMUT)
利用双极性因果记忆与类型条件检索，使冻结LLM在修复时复用过往成功修正，提升Text-to-SQL准确率
📌 工作参考价值（4 点）
- 电商对话代理或搜索助手可将每次修复后的最终成功方案存入正例记忆，同时记录曾尝试但无效的修改方向作为负例，后续相似问题直接检索复用，避免重复推理。
- 在推荐系统的生成式修复（如商品推荐查询改写、筛选条件修正）中，可引入粗粒度失败类型分类器（如“意图理解错误”、“约束冲突”），据此条件化检索历史案例，提升修正速度与准确率。
- 采用混合检索（BM25词汇匹配+稠密向量相似）来召回相关历史经验，既能捕捉表层词重叠，又能挖掘语义相近的跨场景模式，适用于电商Agent的案例库构建。
- 无需模型更新，仅靠记忆即插即用，适合快速迭代的线上代理系统，特别适合在推荐对话、售后引导等需持续从错误中学习的场景部署。
TAHOE：基于经验自动化提示优化的文本到 SQL 系统
🧭 Text-to-SQL · 持久化提示管理 ★ 深度解读
ByteDance Inc. · Georgia Institute of Technology
将提示优化重构为持久化的数据管理问题，通过错误驱动的提示学习构建结构化提示库，实现高效、可迁移的 Text-to-SQL 生成。
📌 工作参考价值（4 点）
- 错误驱动的结构化记忆范式：在电商搜索、推荐查询改写等场景，可将编译/执行/用户反馈提炼为可复用的提示规则，避免每次重复试错，显著降低线上推理延迟和成本。
- 冲突策略显式建模：面对多义的用户意图（如“爆款”需包含并列），将不同解释存储为同一触发词下的竞争策略，并用成功/有害/惰性统计做运行时排序，这直接可迁移至生成式推荐中的目标锚定与意图消歧。
- 语法与语义解耦 + 分层作用域：在跨业务（多国多语言）的电商平台上，可分离通用逻辑与特定数据库/用户偏好，实现模型无关的热更新，无需微调即可适应新方言或新用户习惯。
- 两阶段推理（逻辑规划 + SQL 合成）：可借鉴到复杂生成任务中，先利用轻量检索整理冲突策略、形成连贯逻辑方案，再生成最终输出，有效缓解大型 prompt 的上下文噪声和注意力衰减问题。