SPADE：面向本地搜索的时空偏好对齐与多样性增强框架
🧭 生成式 Query 推荐 · 本地搜索时空建模 ★ 深度解读
Meituan · Independent
联合优化词表、时空编码、DPO 对齐与解码多样性，显著提升本地生活 query 推荐
📌 工作参考价值（4 点）
- OA-BPE 可直接迁移到生成式 item/Semantic ID/query 模型：用 CTR、CVR、曝光归一化作为 BPE merge 权重，替代纯频次统计，给高价值长尾实体更短 token 化，训练前就注入业务先验，几乎无额外成本。
- STAR 的连续多尺度正弦编码 + 零初始化软门控注入，适合需要 GPS/时段信号的 LLM 推荐或 Agent 工具调用；比离散 city/geohash token 更细粒度，且不破坏预训练表示。
- MARS-DPO 是低成本生产对齐方案：直接复用线上 impression-click 列表构造偏好对，复合 reward 融合 rank/LLM 可执行性/距离，自适应选 hard negative，再加 SFT anchor 和分反馈权重，能避免 DPO 概率坍塌。
- SDBS 做 top-K 多样性比 Diverse Beam Search 更稳：只给低 rank beam 加 sigmoid bonus，top beam 不动，复杂度 O(B)，几乎不掉 HR；适合短候选 slate 需要去重又保召回的场景。
从出行行为挖掘隐式意图的跨域 POI 推荐 MILES-Rec
🧭 生成式 query 推荐 · LLM 跨域意图推理 ★ 深度解读
AMAP, Alibaba Group
用 LLM 将地图出行行为与画像推理为有序自然语言 query，再用 GRPO 双层 credit assignment 对齐后续服务交互
📌 工作参考价值（5 点）
- 跨域推荐可用「自然语言 query 列表」作为语义桥：当行为域与商品/服务域无直接 ID 重叠时，不直接预测 item，而让 LLM 先输出多条有序意图 query（primary/expansion），再复用现有检索/召回。可迁移到从站内浏览、搜索、收藏、加购等异质行为生成导购 query，接商品/POI 检索。
- 两阶段训练可落地：先用大模型+人工校验合成三段式推理 SFT 数据（situation understanding → intent expansion → query prioritization），要求证据引用并去重；再用后续点击/下单做 GRPO。相比直接 SFT，能显著提升下游 Hit/NDCG，冷启与稀疏历史也受益。
- 奖励设计值得复用：用后验交互按细类聚合后，计算 query-category 匹配概率 × query-目标内容 embedding 相似度，one-to-one 最大权匹配 + rank discount 量化列表覆盖；重复 query 和超长惩罚可抑制冗余。适合只有隐式反馈、无逐 query 标签的列表生成任务。
- two-level credit assignment 是关键 trick：list-level advantage 管整体覆盖，query-specific advantage 只加在对应 query token 上，不能广播到所有 query；这能同时优化单 query 相关性和列表多样性。在生成广告文案、搜索推荐词、多意图 query 时可直接借鉴。
- 完整 60 天历史好过 7 天窗口；画像在行为稀疏时更补益。实际系统可将轨迹/行为窗口放大，并对冷启动保留画像与城市上下文。
R2QRec：从检索反馈中学习推荐查询
🧭 生成式推荐 · 检索反馈强化学习 ★ 深度解读
快手科技 · 香港浸会大学
用固定检索器构造可检索 query 监督，并以 RRF 融合排名反馈优化 query 生成器
📌 工作参考价值（4 点）
- 可借鉴 retrieval-verified SFT 做 query/文案生成：在无法标注“正确 query”的场景，先用 LLM 生成候选 query，再用固定 retriever 对 target item 的命中 rank 过滤，只保留能检索到 target 的表达作为 SFT 数据；比直接拟合商品/内容标题更贴合线上检索行为。
- 用固定检索器 + RRF 融合后 target rank 作为奖励，可在电商/广告搜索推荐中直接复用：让线上 ES/向量召回服务执行当前 policy 的 query set，取 target item 在融合列表中的 rank，奖励设为 -log(1+rank)，再接 GRPO，无需单独训练 reward model。
- 工程实现上只训练 LoRA，冻结 LLM backbone、retriever 和 item index；query generator 不枚举 item，推理成本主要在生成，检索可走预计算 item embedding + 近似索引，适合大 catalog 冷启动和线上迭代。
- 多 query + RRF 是轻量但有效的召回融合方式；query 数 K 可以推理期灵活调整而不改变 checkpoint。该方法还显示 query generator 的跨域迁移能力，新域/冷启动时可直接用其他域训练好的 generator，比重新训练 ID 类模型更易复用。
WeFair：短视频搜索个性化查询改写的保真度感知对齐
🧭 个性化查询改写 · 保真度感知 RLHF ★ 深度解读
Weixin Group, Tencent · East China Normal University
用保真度分级的 SFT-DPO-GRPO 对齐人类反馈，训练紧凑个性化 query 改写模型并显著缓解意图漂移
📌 工作参考价值（4 点）
- 对于 query 改写/生成式推荐，建议把真实 session 中相邻 query 改写对和“不需要改写”保留样本同时纳入 SFT，并用 LLM 多裁判筛选，能显著提升改写决策准确率和降低 intent drift。
- 三阶段对齐可复用：SFT 课程用低精度宽覆盖数据打底，DPO 用点击/消费偏好做相对排序，最后 GRPO 奖励只给与真实用户改写或保留完全匹配的目标；避免使用相似度/retrieval/RM 等辅助奖励，它们会降低 advantage purity 和最终准确率。
- 线上部署采用 direct 输出 + 用首个 token 的保留概率做 gating，决定是否只用原 query 做检索排序；这是低成本集成改写的方式。2B 模型 7.6 tokens、0.316s 足够支撑百万级日请求。
- 若要评估改写质量，可定义 Consistent Recall/Precision、Intent Drift Rate、Hallucination Rate 和 Preservation Decision Recall，结合 LLM judge 与人工标注；该指标组合更适合搜索会话中的意图保真评估。
TaskBridge：面向 2026 SIGIR 电商挑战赛的任务型查询改写技术报告
🧭 任务型电商 Query 改写 · Catalog 锚定选词 ★ 深度解读
Shandong University · Harbin Institute of Technology (Shenzhen) · City University of Hong Kong · Southeast University
以目录语义锚定、五候选改写和协议感知选择实现任务型电商查询的 BM25 检索增强，获挑战赛第一
📌 工作参考价值（4 点）
- 构建 catalog 短语词典与 semantic anchors：从商品标题/描述中抽取 n-gram 短语，用 LLM 纯化为 product category/object/accessory 三类可购买实体，过滤品牌、场景噪声，再用 embedding 在线检索语义锚点。这套离线资源可直接用于电商搜索 query 改写、query 推荐、召回阶段的 query 扩展，缓解用户活动型表达与商品标题的词汇鸿沟。
- 多候选改写 + 协议感知选择：生成 raw/feedback/vote/need/prod 五类候选，覆盖保守到激进、意图保护到产品导向的不同改写假设；再以 BM25 top10 的 reranker 分数加 log 折扣作为质量代理，Automatic 选最高分，Interactive 用 weighted Jaccard overlap 做 Pareto 多样性选择。这个选择框架可迁移到多 query 改写、生成式重写、多策略召回合并，控制多样性与质量平衡。
- 无训练 LLM 改写 + 传统 BM25 的轻量架构：整个方案不训练模型，依赖 Qwen3.5-9B 生成改写、embedding/reranker 做选择，最终仍走 BM25 检索。适合需要快速落地、资源有限的业务场景，可先用 LLM 辅以字典约束生成多个候选，再用 reranker 代理选优，降低上线成本。
- 多轮反馈里的 Keep/Add/Drop/Replace 编辑和 margin 接受条件：对 Agent 式 query 优化有直接参考价值，能避免 LLM 在迭代中过度改写造成意图漂移。
人物画像条件化电商搜索合成查询：有用多样性与幻觉式多样性
🧭 合成查询生成 · 语义解析 ★ 深度解读
Manchester Metropolitan University · Autotrader UK
用4轴persona prompt生成11.8万合成查询，Big Five人格稳定提parser F1且低幻觉，句法轴贴真实流量但牺牲约束保真
📌 工作参考价值（4 点）
- 冷启动 NL 搜索解析器时，把 Big Five 人格线索加入生成 prompt（如 conscientiousness 明确标记约束、neuroticism 添加犹豫）作为默认，可稳定提升下游 tuple F1；不要用 prompt 删 function word / stopword，因为电商约束字段的 operator 词（under/within/from）承担语义，删掉会导致 dropped constraints。可加后处理校验 operator 是否保留。
- 评估合成训练数据质量时，不要只看 Distinct-n / Self-BLEU，它们与下游效用无关；用 embedding 云拟合 vMF 分布并计算与 held-out 人工参考的 sKL，可无标签代理 parser F1（ρ=-0.917）。生产环境若无标注，可用真实 query 流量分布做 realism 监控。
- 对“所有模型都解析失败”的困难样本做 LLM 委员会审计，能分类幻觉类型（dropped constraint / unsupported addition / direction reversal）。工程上可写自动规则检查价格/里程/半径等 operator 和方向，上线前过滤或修复。
- 多 generator 风格差异很大，某些 LLM 会把 persona 中的城市/价格偏好泄漏进 query；要按 generator 审计。混合多个 prompt 家族均匀采样训练的 mixed corpus 与最佳单 prompt 统计无差，可直接采用降低选型成本。
Lean Finder V2：面向 Mathlib 的语义搜索与查询消歧
🧭 语义搜索 · 查询改写与消歧
Simon Fraser University · Rice University · University of Pittsburgh
用对抗训练生成大规模短歧义查询，结合模型微调与输入层改写，在 MathlibQR 上至少相对提升 11%
📌 工作参考价值（4 点）
- 用对抗训练补足“短歧义 query”数据：电商搜索里“苹果”“nike 卫衣”等短查询经常缺 context；可仿照用生成模型 + 判别器迭代生成大量带标签的歧义 query，而不是只靠真实日志，显著扩充训练集，解决数据稀疏。
- 模型层 + 输入层双层消歧：同时 fine-tune 检索模型（增强对短 query 的鲁棒性）并在检索前对 query 做改写/补全（如加类目、属性、别名），两者互补；在商品搜索或 Agent 工具检索中可分开评估增量，避免只做单一层。
- 面向真实短查询做人类评估基准：构建少量人工标注的短 query benchmark，用 unlabeled 真实 human/agent 交互做 ranking 评估，比离线 dense retrieval 指标更贴近线上体验。
- 检索质量直接挂钩下游 agent 任务成功率：与 Claude Code 集成后证明 proof success 提升，说明 Agent 工具检索/商品召回改善能直接转化为任务成功；建议将检索召回作为 Agent 流程中的关键优化点。
稠密检索中方向性后验反馈融合的查询改写
🧭 查询改写 · 稠密检索向量融合 ★ 深度解读
Tsinghua University · Renmin University of China
把反馈向量转为原查询切空间上的方向性约束并做后验融合，训练无关地提升稠密检索查询改写
📌 工作参考价值（4 点）
- 可直接作为线上零训练后处理：对已有 query embedding 和 top-K 召回/LLM 生成反馈 embedding，只做切空间方向提取 + 闭式融合，不 fine-tune 编码器，也不改文档索引。
- 反馈置信度用两层控制：局部用 query-feedback similarity 的 MAD 鲁棒归一化再 sigmoid；集合级用证据向量均值强度 S 与方差 V 算 coherence，并乘以平均局部质量，可避免噪音 PRF 或 LLM 生成反馈带偏改写。
- 更新幅度用最大转角 θ_up 和集合置信度 g 做 cap：q' = cosφ q + sinφ δ/||δ||；对电商搜索中短 query、歧义 query，可限制最大转角在 10-30° 量级，避免改写过于激进。
- 复杂度 O(K²D+K³)，实际 K=5 较稳；PRF 下 K 太大会噪声变大，GRF 下可适当增大，做实验时按反馈质量分别调 K。
CASI：基于集合干预的 Agentic 检索信用分配
🧭 LLM 多 query 联合生成与信用分配 ★ 深度解读
Xiaohongshu Inc.
用快照集合干预构造反事实子集价值，Shapley 聚合加有界零和优势整形，实现多检索动作的上下文相关信用分配，线上广告主价值提升 3.51%
📌 工作参考价值（4 点）
- 在多 query/多策略并行召回或 rewrite 场景，不要直接 broadcast set-level reward；可复用「一次生成+一次检索，缓存各 action 结果，只改 coalition 组合，用冻结 evaluator 批量打分」的做法，不增加线上生成/检索成本。
- m≥4 时 singleton、leave-one-out、full-set 不能唯一确定 Shapley 分配；业务里如果 action 数≥4，仅按单 action 或 leave-one-out 赋 reward 会丢中间 coalition 信息。additive 价值下三者等价，所以先判断是否真的需要中间 coalition 查询。
- 有界零和 advantage shaping 值得直接抄：对 credit 先 within-rollout center，再用 group-level 共享 scale 归一化，最后投影到 sum=0、∞≤κ 的 box；避免独立 clip 破坏零和导致 advantage 漂移。token 级 implementation 把 action 内 token 赋 action advantage，shared token 保持 base。
- 训练用 surrogate evaluator 替代线上 auction replay：m=5 时 31 个 coalition 打分不是 31 次 auction replay；但上线前必须审计训练 evaluator 与 replay/production 的 size-resolved sign agreement，否则 CASI 可能不优于 Singleton。
XViewRank：基于重叠条件的 LLM 增强稀疏检索分数融合
🧭 查询扩展与多视图检索排序融合
School of Computer Science and Technology, Soochow University
提出轻量检索端方法，将 BM25 分数与查询级重叠作为上下文，用小型非线性 scorer 条件融合多查询视图结果
📌 工作参考价值（4 点）
- 电商搜索可参考 LLM 生成 hypothesis / step-back 等多视角 query，配合 BM25 多路召回，避免词汇不匹配；无需重建索引，工程成本低。
- 融合时不要只依赖固定权重的 RRF：可加 query-level overlap 特征（如各路 top-k 结果重合度）和归一化分数据，训练小型非线性 scorer 做条件融合；特征少、可解释性强，容易在线打分。
- 收益主要在视图排名一致性低时出现，可设计动态触发策略：先计算 overlap 或一致性指标，只对低一致性的 query 走融合模型/更复杂的改写，控制延迟与成本。
- 注意论文在 DL20 证据较弱，收益具有数据集敏感性；业务迁移前应做在线 A/B，验证是否比固定融合、单独 LLM 扩展稳定提升。
基于子序列关联过滤与广度感知选择的LLM查询扩展幻觉词抑制
🧭 LLM查询扩展幻觉过滤 ★ 深度解读
Indian Institute of Technology (BHU), Varanasi, India · University College London, London, UK · Halmstad University, Halmstad, Sweden
用跨上下文可再现性与语料支撑度识别幻觉term，在nDCG@10无损下将注入query的无支撑词减少85%-93%
📌 工作参考价值（5 点）
- 可直接复用 SAFE-QE 的过滤评分：对 LLM 生成的候选扩展词/phrase，用「随机扰动 prompt 后的重现率 ρ(t)」+「与 top-k 相关文档的最大支持度 γ(t)」做加权，公式 s(t)=γ(t)-λρ(t)(1-γ(t))+μfreq(t)。在电商搜索 query 改写、广告关键词扩展中，能有效识别并降权「无论上下文都被生成但无商品/文档支撑」的幻觉词。
- 词选择不要固定 top-k，改为带 grounding 约束的 budget 最大覆盖问题：用贪心近似（1-1/e）从候选词里选最多覆盖伪相关文档/商品 faceting 的子集，避免多个高分词重复覆盖同一意图。电商多意图 query（如“苹果”）尤其需要这种 breadth-aware selection。
- 稳定性过滤很便宜：对 LLM 采样 N 次，只保留 freq(t)≥θ 的稳定 term，能额外过滤掉少量采样中出现的幻觉词。工程上可简单并行多次采样，几乎不增加线上复杂度。
- 建立 HETR 监控指标：在业务评估里同时看「幻觉率」和「幻觉负载＝HETR×注入词数」，不要只看率；强 retriever / dense retrieval 下生成式扩展收益小，但幻觉过滤的收益最大，这时候尤其值得上线。
- 结论可迁移：一个 0.5B 小生成器 + 过滤器，faithfulness 可以超过 9B HyDE，说明过滤机制比生成器规模更重要；训练无关、检索器无关，适合低成本接入已有 generate-then-expand 流程。但注意 grounding 阈值 τg 需要按 retriever 分别标定（SPLADE 下的伪相关集合会让更多候选通过阈值）。
基于语料反馈的多步对话查询改写
🧭 对话查询改写 · 检索反馈 ★ 深度解读
INESC-ID · Carnegie Mellon University · Amazon
将对话查询改写重构为多步检索过程，Agent 通过检索反馈依次执行意图消解、词汇改写和伪文档生成，仅用检索奖励训练即超过单步改写基线
📌 工作参考价值（4 点）
- 把 query 改写/扩写从单步改为多步，动作类型化为 intent、rephrase、HyDE、stop，并让后续动作显式看到前一步 top-k 结果。可直接套在电商搜索的 query 改写、广告选词、push 文案生成，尤其适合需要反复试探语料分布的召回场景。
- 不需要人工 rewrite 标注，仅用检索指标（如 rank-based reward、nDCG）做强化学习，就能让策略自动学会“先消歧、再词汇对齐、最后做伪文档匹配”的步骤顺序；可以降低标注成本，并更容易与已有召回器对齐。
- 伪文档动作不是简单复制检索结果，而是吸收已检索 passage 的词表；8-gram 复制检测和 unigram Jaccard 可用于线上安全/去重审计。推理成本要按场景估算，设置 max steps 和早停可控制 token 开销。
- 在 BM25 上训练的改写策略可零样本迁移到 dense retriever（尤其强的 embedding model），意味着可以用廉价稀疏检索离线训练、线上换更强的向量召回，或反向验证鲁棒性。
解释信息检索中查询扩展性能的框架
🧭 QueryRec · 查询扩展可解释性 ★ 深度解读
Indian Statistical Institute · IIT Bombay · IIT Bhilai
提出理想扩展查询与可分性两个视角，系统解释查询扩展性能差异，验证相似度与检索效果正相关
📌 工作参考价值（4 点）
- 可用理想查询作为离线评估扩展质量的参考：若有小规模标注（如电商搜索点击/相关标注），可构造近似理想查询，度量 LLM 生成的扩展词/改写 Query 与理想查询的余弦相似度，作为自动评估指标，避免昂贵的在线实验。
- 使用 separability（Cohen's d）快速评估扩展 Query 质量：在标注子集上计算相关商品与不相关商品得分的分离度，与线上效果相关性高，可用于 A/B 测试前的快速筛选或模型迭代中的监控指标。
- 诊断 LLM 生成查询扩展失败：当 LLM 生成的扩展词效果不好时，检查其是否缺少关键 term 或权重不当；可尝试用 DFO/LS 方法从标注数据中学习理想权重，反过来指导生成或后处理，例如对 LLM 生成的扩展词重新加权。
- 注意负权重处理：LS 理想查询含负权重，但 BM25 优化（如 Lucene）不支持负权重，实际系统中需截断或用支持负权重的检索器。
供给感知的旅行搜索冷启动主动查询建议框架 SCOUT
🧭 生成式 Query 建议 · 供给感知 RL ★ 深度解读
Airbnb, Inc.
用搜索重排分作免费 RL 奖励，GRPO 把供给感知压进 LLM，零推理成本追平 best-of-8
📌 工作参考价值（4 点）
- 可直接复用「用生产重排器 query-listing 匹配分作为 RL 奖励」：相比在线跑 best-of-N 或 LLM judge，重排分在 serving 路径本来就会算，奖励零额外推理；电商搜索/推荐可把现有 ranking model 的 relevance score 拆出来当密集奖励，降低训练成本。
- 冷启动无点击日志时，可用历史结构化请求（目的地/日期/人群等筛选条件）作为 context 主动生成 query，并用当前 catalog 检索 top K 后做离线 inventory/diversity 评估；这对新入口、新场景的无样本 bootstrapping 很实用。
- 若用 DPO 做生成式 query 对齐，注意 diversity collapse 风险；本文中 DPO 的 distinct%@0.9 掉到 11.07，RPO 加辅助 SFT loss 能恢复，GRPO 则天然更稳。业务里偏好优化建议优先 GRPO 或 RPO，而不是裸 DPO。
- 把 serve-time best-of-N 的验证成本「一次性摊销进模型权重」可成为部署架构：训练时用 search engine 做 environment 在线 rollout，线上不再多次检索；对 latency 敏感、库存/广告供给受限的搜索推荐链路很有借鉴意义。
电商搜索文档扩展中基于 DPO 的查询生成 QGDPO
🧭 生成式查询扩展 · DPO 偏好对齐 ★ 深度解读
Walmart Global Technology
用相关模型构造偏好对做 DPO，再将生成 query 过相关过滤，显著减少 Doc2Query 幻觉并提升线上搜索相关性与加购率
📌 工作参考价值（4 点）
- 可直接复用「相关模型自动构造 DPO 偏好对」：用已有的三分类相关模型 exact/substitute/irrelevant 对 SFT 生成的 query 打分，按 exact 和 irrelevant 自动配对，省去人工偏好标注；DPO 学习率用 1e-6（远低于 SFT 的 1e-4），β 取 0.1，能明显压住幻觉。
- SFT + DPO 之后再接 relevance filter，两个增益相互独立、可叠加；过滤阈值选 95% recall，既能保持较高 precision（0.866），又不过度牺牲生成的新 token 数量，适合商品文档扩展场景。
- Query 生成式检索里，beam search（beam=10，no repeat ngram=2）比 top-k / top-k+top-p 更稳定，exact 率更高、irrelevant 率更低；如果业务追求线上检索结果稳定可复现，优先用 beam search。
- 用 Mistral-7B + LoRA（rank=256, alpha=64）替代 T5-base 做 Doc2Query，在媒体、玩具等依赖世界知识的商品上能生成更多有用新 token，但需离线批量推理并权衡成本；可以只对长尾或特殊品类启用 LLM 版本。
MERGE：生成式增强的多LLM检索集成
🧭 生成式查询扩展 · 多LLM集成 ★ 深度解读
University of Waterloo · National Taiwan University · Rakuten Group, Inc. · Rakuten Asia Pte. Ltd. · Taiwan Rakuten Ichiba, Inc.
两阶段多LLM查询扩展框架，用任务驱动自动提示优化在BM25上实现最高+14.9 nDCG@10提升
📌 工作参考价值（4 点）
- 电商搜索中，买家口语化 query 与商品标题/属性词之间常有词汇 gap，可借鉴 MERGE 两阶段设计：多个异构小模型各自扩展候选，再用稍大模型融合成一条查询，无需改语料或重建索引，可直接接入现有 BM25/Elasticsearch 流程。
- 用下游检索指标（如 nDCG@10、点击率或相关性人工评估）代替 LLM judge 做 prompt 优化，在 20% dev 子集上跑小 tournament，能自动把「seed prompt 可能削弱检索」转为稳定收益；适合快速迭代新模型或新增 generator 时免去手工 prompt 调优。
- APO 收敛后的 prompt 可能不是自然语言、读起来像 token 包，但它生成的 query 可读性没问题，不影响线上使用；可接受这种 prompt 形态，重点看最终 query 质量。
- 输出是 plain text query，只做一次 BM25/ES 检索，没有 rank fusion 和重索引开销；既能 query-time 在线扩召回，也能离线作为训练数据增强供 dense retriever 使用。
搜索感知 RL 优化 Roblox 多组件查询理解
🧭 生成式Query理解·搜索感知RL ★ 深度解读
Emory University · Roblox Corporation
蒸馏+搜索感知RL，按查询组件给 live search reward，2B/4B小模型超过大模型教师并提升下游搜索
📌 工作参考价值（4 点）
- 对电商/广告搜索 query 理解，可直接复用「一个生成模型输出多组件 JSON 计划 + 每个组件按线上搜索反馈单独给 reward」的框架；SFT 先用大模型蒸馏保证 schema 正确，再上 RL，能训出满足线上延迟的小模型。
- 用于 query 扩展/改写：给每个 fanout query 单独跑线上检索，计算 LLM-judged NDCG，并加搜索重叠 + 词面重叠惩罚，能有效抑制冗余扩召回；这个打分公式可直接迁移到电商搜索的 query expansion / 推荐 query 生成。
- 多 reward 场景优先用 offline groupwise preference（GR-DPO），而不是 on-policy GRPO；因为组件 reward 存在可逃逸的 N/A（intent=none、不生成 fanout），on-policy 会学歪，而固定池 offline 更稳定。若必须 on-policy，需加最低生成约束或强制覆盖。
- 不需要人工标注的 reward 全部来自 live 引擎 + LLM judge，但 train/eval 要用不同 version judge，避免过拟合 judge；线上 shadow 部署后可用行为 GT 持续评估。
下一步应该问什么？部分证据下的检索感知问题学习
🧭 检索感知的提问策略学习 · RL ★ 深度解读
Sichuan University · University of California, Berkeley
通过在线 RL 直接从检索排名反馈优化提问策略，替代离线 QA 排序模仿，五轮 R@1 提升 5.79 个点
📌 工作参考价值（4 点）
- 用检索结果变化（如 reciprocal-rank gain 或业务指标）作为 reward 在线优化 Agent 的澄清提问/query 生成策略，不要依赖人工标注的问题质量或静态候选区分度；GRPO 可稳定训练，且训练好的策略可跨 retriever 迁移。
- 将当前 Top-K 候选项直接作为多模态上下文输入给策略模型，去掉 selector 等中间组件，让策略直接学习如何利用候选差异；在电商对话式搜索中可让 Agent 直接观察当前召回 Top-N 商品图像/标题来生成澄清问题。
- 实现一个 validity gate 约束生成，过滤掉候选索引引用、请求泄露记忆、重复提问等，防止 RL 策略走捷径；在训练和推理都使用，可大幅减少无效动作并避免策略崩溃。
- 分析显示局部开放属性问题（如“什么颜色/材质”）比 yes/no 问题带来更大的检索增益，策略会自发将预算分配给这类问题；可参考该结论引导电商对话式搜索中的问题类型分配，优先问具体属性而非泛泛确认。
基于证据选择的 LLM 查询扩展：多改写器互补文档池与相关性筛选
🧭 LLM 查询扩展 · 证据选择 ★ 深度解读
Toronto Metropolitan University · University of Waterloo · University of Toronto
EviQE 将 LLM 查询扩展重构为文档证据选择问题，聚合多改写器检索结果并筛选后单轮生成，显著提升 TREC DL 与 BEIR 检索效果
📌 工作参考价值（4 点）
- 在电商搜索的 query 改写/扩展场景中，不要只依赖单一改写器或单一检索结果作为生成上下文。用多个改写器（如原始 query、LLM 直改、伪相关反馈、HyDE 等）并行召回文档，合并去重后作为候选池，再让 LLM judge 按与原始 query 的相关性打分选 top-B 篇作为生成 evidence，能显著提升改写 query 的召回质量。
- 证据选择比多轮迭代更划算：EviQE 一轮证据选择即可超过多轮 ThinkQE，且增加迭代会引入噪声。实际线上系统可把计算预算从多轮 RAG 改成“并行多路召回 + 一次性精筛 + 单轮生成”，降低延迟和成本。
- 用 LLM 做 relevance judge 时，建议采用 graded relevance（0-3）并固定 judge 模型，不要用简单的 agreement 或 RRF。论文中 LLM-Score 明显优于 frequency/RRF，且跨 generator 骨干稳定；在商品搜索中可复用类似打分来挑选高质量商品详情段落或用户评论作为改写证据。
- 候选池大小不必盲目扩大：4 个改写源（原始+CSQE+LameR+MuGI）已恢复大部分收益，增加到 11 个提升很小。实际部署可从少量高质量改写器开始。
QueryRoute：查询改写选择的标准化评测基准
🧭 查询改写选择 / Query Routing 基准 ★ 深度解读
Toronto Metropolitan University · University of California, Berkeley · University of Waterloo · Mila - Quebec AI Institute · University of Toronto
冻结查询改写候选池与检索结果，系统评估改写选择器在跨检索器/领域下的上限与差距
📌 工作参考价值（4 点）
- 线上如果有多个查询改写/扩展策略（LLM prompt 变体、伪文档、关键词扩展），不要只按平均 A/B 选一个固定策略；应按 query 路由，且先离线构建候选池 + 各改写召回结果，复用 QueryRoute 的 action–outcome matrix 思路，把路由评估变成只读决策问题。
- LLM-as-judge 在 BM25 稀疏检索上最强，但在 BGE/SPLADE 等更强检索器下，没有任何学习型 selector 超过固定最优改写；说明稠密检索已经吃掉改写收益时，业务应优先投入检索器质量或相关性精排，而不是改写路由。
- 评估 selector 时，均值 nDCG 会掩盖 query 级路由行为；建议同时加 near-oracle rate、help/hurt rate、regret、selection entropy 等决策质量指标，否则两个均值接近的方法可能一个靠少数 query 拉高、另一个稳定性更好。
- 工程实现可参考：离线落 query 原词、候选改写、多 retriever 召回列表和 retrieval score；用 QPP/embedding similarity router 做低成本冷启动，LLM-as-judge 做高成本兜底，按 retriever 类型分别评估。
EAGER：电商搜索点击商品到查询的生成式推荐两阶段框架
🧭 生成式查询推荐 · GRPO 对齐 ★ 深度解读
Alibaba International Digital Commerce Group
两阶段生成式 I2Q 框架：SFT 课程+自蒸馏扩意图覆盖，GRPO 混合奖励对齐点击与业务规则
📌 工作参考价值（4 点）
- 多源 intent-ordered 监督构造：把点击 query、post-click search query、LLM 扩展 query 拼成弱有序 label，并用同一个 PARM 给 LLM query 打分排序；可复用到电商搜索、push 文案等数据稀疏但需要覆盖多意图的生成任务。
- 课程学习拆法值得抄：I2Q → Enhanced I2Q（加 rationale）→ UI2Q → Enhanced UI2Q。论文里 rationale 最大提升 APD（多样性），用户上下文最大提升 SoftHR@1（相关性），业务上可据此分配数据/训练资源，而不是混训。
- GRPO hybrid reward：规则 reward 管格式、数量、流畅、重叠、安全黑名单；PARM 用生成式 yes/no 的 1-p(no) 作为点击偏好 reward。PARM 同时用于离线数据筛选和 RL reward，保持训练一致，且 position-aware 采样去掉位置偏差；这套可直接迁移到生成式 query suggestion / 广告文案 RL。
- 部署上作为第三条召回通道，与 log-based、dense retrieval 共用 ranker，长尾补覆盖、头部同台竞争；vLLM 独立多采样生成 10 条，VRAM 压力低于 beam search。
LLM4AIGQ：面向多兴趣挖掘的AI引导查询生成框架
🧭 生成式query推荐 · 多兴趣LLM ★ 深度解读
Huazhong University of Science and Technology · Alibaba Group · Nankai University
用SFT-RL-DPO三阶段训练LLM，从多行为序列中分解多兴趣并生成高价值引导query，线上nearline生成+在线检索
📌 工作参考价值（4 点）
- 用教师模型（更大LLM）对历史行为序列做兴趣分割并生成引导query，再让小模型SFT学习单兴趣风格，避免直接多兴趣SFT导致的模式坍缩；可迁移到电商搜索词推荐、push文案生成等场景。
- RL多层级奖励设计：将think过程匹配、query长度与商业价值（judge模型S/A/B评级）、兴趣内语义与风格多样性、兴趣间内容多样性分开奖励，用GRPO优化；这种细粒度奖励拆解适合多目标生成式推荐任务。
- DPO蒸馏推理能力：用RL checkpoint的think输出作为正样本，非think输出作为负样本，并过滤语义相似度高的pair，实现非think模式下的推理能力迁移，大幅减少线上推理token，降低延迟。
- 工程部署：nearline生成+在线检索映射表，每N次交互触发LLM生成query写入表，在线直接检索；同时用LLM对item标题做短标题压缩，输入token减少26.8%，RT降低10.7%，值得在LLM serving中复用。
Hi-Q：面向多跳问答的层级证据引导查询细化
🧭 多跳问答的 query 粒度控制 ★ 深度解读
POSTECH
将query粒度作为控制变量，用检索证据支持信号决定是否分解，构建依赖有序的查询树，在全语料多跳QA上显著超过图RAG与迭代检索
📌 工作参考价值（4 点）
- 在电商多跳 query（如“送妈妈生日礼物”）召回中，不要预先固定拆成 N 步；先让 reader 基于召回商品判断当前 query 是否可由证据支持，不可答才触发分解。这种“证据条件触发”比按复杂度静态 Routing 更抗漂移，且无需训练分类器。
- 分解时强制依赖顺序：左分支先解析前提实体/属性（品牌、品类、用户特征），把结果写入 history，再生成右分支 query；工程上用 append-only history 保证下游检索可见前置答案，降低召回干扰。
- 增加一个语义覆盖 verifier：每次二元分解后检查左右子 query 是否完整保留父 query 意图，最多修复一次；在营销活动规则拆解、多条件商品匹配中可减少意图丢失。
- 成本工程：采用短 rationale + 限制递归深度（dmax=1 或 2）的 cost-matched 版本，可在几乎同数量 LLM call 下比迭代检索更准且 API 成本低近一个数量级；优先在 root 节点先试答，可避免大部分不必要展开。
ProRetrieval：通过可执行程序合成学习编排混合检索
🧭 LLM检索编排 · 可执行程序合成 ★ 深度解读
East China Normal University · New York University · Matter Innovation Inc. · ThinRedLine · Shandong University of Science and Technology
将LLM训练为检索编排器，生成SQL+向量原语的DSL程序，4B模型在电商/邮件Hit@1超越GPT-5.5
📌 工作参考价值（4 点）
- 用 SQL 作为混合检索的融合骨架：让模型输出 sql + retrieval_list，向量检索 top-K 候选集通过 id IN <text_0>/<image_0> 占位符注入 SQL，天然支持 AND/OR/NOT 和嵌套。电商搜索/广告召回里，可以用同一套 DSL 统一编排品牌、价格、类目等结构化过滤与文本/图片向量召回，替代硬编码 RRF 或只支持 AND 的 self-query retriever。
- 小模型 + RL 比 few-shot 大模型更划算：Qwen3-4B 经 SFT + GRPO/DAPO 训练后在 DSL 检索编排上超过 GPT-5.5，执行成功 >99%，单 query 推理约 50ms。适合需要低延迟、低成本但复杂查询解析的线上检索服务，4B 部署在单张 RTX 4090 即可。
- 复杂动作空间下 SFT 存在多任务干扰，RL 是解锁多模态的关键：全 DSL SFT 反而不如只保留 SQL+text 的受限 DSL，但 RL 能让图片检索 Hit@1 从 0.323 提升到 0.716。如果业务只做结构化+文本检索，先上受限 DSL 的 SFT 即可；要加入图片召回，建议走 SFT→RL 路径。
- 分层奖励与 DAPO 稳定性值得复用：format→execution→result→length 的奖励设计天然形成隐式优先级，可以让小模型快速学会可执行程序格式；DAPO 非对称裁剪比 GRPO 更稳定，生产部署优先选 DAPO。工程上注意 SQL 转义问题（如品牌名含撇号）并加执行失败 fallback。
查询扩展不只是生成：通过更好的集成改进稠密检索
🧭 LLM 查询扩展与稠密检索向量集成 ★ 深度解读
University of Arizona
将原查询与 LLM 扩展分别编码后做向量插值，并用无监督前缀估计扩展信任度，单向量提升稠密检索
📌 工作参考价值（4 点）
- 在搜索/推荐中如果使用 LLM 生成 query 改写、语义扩展或类目词，不要直接拼接进 embedding 或仅用扩展文本检索；把原始 query 和扩展分别过 query encoder，再做归一化向量插值，权重 α 显式控制扩展贡献，可避免 token 截断、attention 纠缠带来的退化。
- 无监督在线校准 α：用流量前 8-16 个无标注 query 估计 stream-level α，按 r_top1 × r_sup 计算，即扩展自身检索强度 × 与原始 query top10 证据一致度；电商搜索流或推荐 query 流可零标注启动，之后冻结为单向量服务。
- 工程架构上，如果只需同一 dense space 的线性融合，用单向量 AnchorQE 等价加权 CombSUM，一次 ANN 检索即可，不要做 N+1 路融合；但混合 sparse/dense 或非线性融合不适用。
- 扩展质量仍是上限：集成只能控制影响，不能修复 LLM 生成的无关内容；生成质量差时应优先优化 prompt 或过滤，而不是只调 α。
RecGPT-Mobile-V2 技术报告：端侧个性化 Query 预测的质效联合优化
🧭 个性化 Query 预测 · 端侧 LLM 自适应推理 ★ 深度解读
Alibaba
面向端侧个性化 Query 预测，提出质量门控自适应推理与压缩部署的端到端框架。
📌 工作参考价值（4 点）
- 行为轨迹压缩可先做确定性工程再上模型：按“搜索/购买>加购/收藏>点击/内容种子>曝光/页面噪声”分层，去爆、去重、语义富化、分段序列化，将 ~300 原始事件压到 100-300 token 的 LLM 可读上下文；电商推荐/搜索场景下，这是低成本、可审计的输入治理方式。
- 训练顺序建议 PT→SFT→RL：先用 domain CPT 注入层级 Semantic ID、共现/互补/替代关系和购后转移，再通过 SFT 固定输出契约（单 Query、独立 rationale 区域、禁止解释和候选列表），最后才做 RL；业务迁移时先确保基座懂领域和输出格式合法。
- RL 奖励设计不要用全局长度惩罚，而是质量门控：分组 rollout 中仅对质量合格且长度可比的轨迹计算输入分位数预算，采用 one-sided 超额成本 + 乘法折扣 Q*exp(-λC)，并保留 rank protection；这能避免模型刷短 query 或牺牲 grounding。
- 端侧部署可分离 teacher 显式 CoT 与 student 隐式 latent 推理：teacher 保留完整 rationale 用于监督/审计，student 只输出最终 Query；结合 INT8/INT4 量化、结构化剪枝、蒸馏和端云路由，适合移动端低延迟场景。
Think-to-Personalize：统一推理与检索的用户中心个性化密集检索
🧭 LLM 推理驱动的个性化查询改写与密集检索 ★ 深度解读
University of Science and Technology of China · Meituan
提出 TTP 框架，用 LLM 显式推理用户历史生成意图增强查询，并与密集检索端到端联合训练，线上订单量提升 0.46%
📌 工作参考价值（4 点）
- 端到端联合优于解耦流水线：把 LLM 生成的 intent-enhanced query 与共享检索编码器联合训练，比独立 rewrite-then-retrieve（Decoupled-Stage）在 General 上 Recall@20 高 1.63 个点，Broad 上高 3.66 个点；电商搜索/召回链路若已有 LLM 改写模块，可尝试将其嵌入检索塔共同优化。
- 意图增强数据构造可复用：用大模型按偏好抽取、意图消歧、查询纠正三类进行改写，生成 5 候选，再用 reranker 按 ground-truth 成交商品过滤并采样 top3，同时保留不改写样本防止过度个性化；这套流程可直接迁移到搜索 query 改写、搜索建议或 push 文案生成。
- RL 对齐的两个关键 trick：GRPO 中用冻结 SFT 模型计算检索奖励，避免 reward hacking（unfrozen reward model 导致平均 R@20 从 44.97 暴跌到 29.53）；奖励用 ΔS_pos + ΔS_margin 两项，并动态选择奖励最大的 rollout 作为对比正样本，显著稳定训练。
- 在线效率方案：head query 走离线个性化 cache（覆盖 10.59% QV），miss 用蒸馏 305M 双塔实时服务，蒸馏时加入 <q_r, p+> 和 <q, q_r> 目标，保留大部分效果（平均 R@20 43.10 vs 教师 44.97），端到端延迟仅增 0.15ms，适合大规模部署。
文档嵌入保持调优：统一查询扩展与检索
🧭 LLM 统一查询扩展与稠密检索 ★ 深度解读
Beihang University
通过文档嵌入保持、白化、在线硬负样本与直通解码，实现 LLM 在统一查询扩展与稠密检索中的稳定端到端训练
📌 工作参考价值（4 点）
- 在电商搜索 query 改写/扩展中，可借鉴 DEPT 思路：用同一 LLM 做改写和向量编码，但保持文档侧嵌入稳定，避免频繁重建全库向量索引；工程上可先缓存文档嵌入，微调时只更新 query 侧，上线时直接复用原有向量库，节省推理与索引成本。
- 采用固定白化（whitening）预处理向量空间，缓解 LLM 原始嵌入的各向异性，提升 cosine 检索效果；实践中可以基于已有文档向量估计白化矩阵，训练时保持文档分布稳定，该矩阵可持续有效。
- 直通解码（straight-through）将检索排序损失直接传到生成 logits，可用来优化 query 生成策略，让生成式改写直接以召回/排序指标为学习信号，而非仅文本相关；在线硬负样本挖掘能提供与当前 query 行为匹配的难负样本，提升训练效率。
- 短扩展变体（DEPT-K）用关键词式 prompt 控制生成极短扩展（~9 tokens），在几乎不增加线上延迟的情况下达到接近长扩展效果，适合电商搜索高并发低延迟场景。
基于图骨架证据支撑的个性化深度研究查询细化
🧭 个性化查询细化 · 意图引出图 · 澄清策略
Yonsei University
利用意图引出图学习澄清策略，在平衡目标覆盖与证据成本下生成个性化查询，用户提问减少三分之二
📌 工作参考价值（4 点）
- 在对话式推荐/搜索中，可借鉴意图引出图建模用户意图间的依赖关系，自动决定何时澄清、调用用户画像或记忆，避免低效反问。
- 澄清策略训练可基于图结构轨迹，模拟不同依赖与证据条件，学习最优的问询次数与顺序，平衡个性化增益与交互成本。
- 对于黑盒生成式 Agent（如商品文案、搜索 query 改写），可通过优化输入 query 实现个性化，无需侵入内部 pipeline，降低工程耦合。
- 证据条件判断（已有上下文是否足够）可直接用于多轮对话中判断是否需要召回外部知识或用户历史，减少无效检索。
SPEAR: 社区搜索中端到端自适应改写与检索的防短路框架
🧭 端到端查询改写与检索联合优化 ★ 深度解读
National University of Singapore · Shanghai Dewu Information Group Co., Ltd.
通过梯度隔离双嵌入、乘性门控和动态选择器，解决改写-检索错位与通用词主导效应，点击召回@10提升99.5%
📌 工作参考价值（4 点）
- 在多路召回改写系统中，可用乘法门控替代加法路径评分（如 Softplus 保证非负后加权），强制改写贡献需同时满足高置信与高 item 相关，直接消除高频通用词的分数膨胀问题。
- 若模型同时服务召回和排序任务，采用双嵌入分支 + stop-gradient 隔离梯度，保护召回语义不被 CTR 优化扭曲，工程上仅需增加少量投影 MLP，易于部署。
- 动态生成样本级的 scale/bias 参数（由用户和 query 表征共同决定），使改写权重与匹配分数能随请求自适应校准，比固定超参更具个性化性。
- 离线评估改写模型时，可同时关注 Exposure Recall、Click Recall 和 Semantic Similarity 三个指标，分别衡量检索覆盖、点击恢复和意图保真，避免单一语义相似度的片面性。
视觉对齐的图像编辑跟随建议：三阶段学习框架
🧭 多模态 query 推荐 · RL 对齐 ★ 深度解读
Alibaba Qwen Business Unit · Southeast University
三阶段框架结合人工意图、点击偏好与源-目标视觉验证，将视觉不一致率从3.7%降至0.9%，在线CTR提升32.70%
📌 工作参考价值（4 点）
- 位置感知点击偏好对：利用点击建议仅与上方未点击建议配对，减少展示位置偏差，适合任何有曝光顺序的推荐场景（如电商搜索推荐）。
- 多目标GRPO优化：组合点击偏好、格式有效性、PPL、内容感知长度、列表内多样性五维奖励，使用动态文本侧权重调整长度与多样性压力，可迁移至生成式推荐列表的强化对齐。
- 图像优先源-目标验证：将编辑指令拆解为所需源（必须存在）与目标（不应已满足），分步检查视觉条件，可作为多模态Agent的动作校验器，避免幻觉推荐。
- SFT数据构建流水线：从真实会话与人工意图表中用大模型生成候选，再经多级验证形成监督信号，解决了缺乏推荐标签时的冷启动问题。
通过隐含意图生成提升电商搜索物品可发现性
🧭 搜索 · 意图生成 · 发现增强 ★ 深度解读
Instacart
用 LLM 生成替代/补充/主题意图扩展召回，通过两阶段架构在头部用闭源模型缓存、尾部用蒸馏 SLM 覆盖，将流量覆盖率从 60% 提升至 80% 且成本仅 30%
📌 工作参考价值（4 点）
- 意图驱动的召回扩展：定义替代、补充、主题三类隐含意图，用 LLM 生成“轮播标题 + 意图词列表”来扩大候选池，可直接改造搜索底纹中的“发现式”模块，解决精确匹配造成的长尾冷启动曝光不足。
- 两阶段成本与覆盖权衡：头条查询离线缓存闭源 LLM（GPT-3.5 Turbo）结果，长尾查询在线用 LoRA 微调的 30B SLM 推理，使用 teacher-student 蒸馏，最终以约 30% 推理成本达到 80% 流量覆盖，特别适合类目众多、长尾严重的电商搜索。
- 评估体系设计：构建 session 级共购数据集评估端到端召回，排除完全匹配和 top-10 商品，提取用户未被当前检索满足的隐性需求信号；同时用 LLM-as-judge 衡量生成标题和意图的相关性、多样性、新颖性，并通过人工验证，可作为业务中评估类似生成任务的标准范式。
- 蒸馏工程细节：教师模型在蒸馏时使用了丰富的上下文元数据（品牌、属性、历史购买），为避免学生模型在线上缺少这些特征时质量下降，蒸馏数据中混入部分剥离元数据的样本，训练学生不依赖额外 payload；另外将生成与检索解耦，LLM 不进入在线热点路径，便于缓存、降级和 AB 部署。
回答重建搜索密度：量化对话式答案的查询与来源压缩工作量
🧭 对话搜索评估 · 查询压缩度量
Aiso, Tel Aviv, Israel
提出 ARSD 度量，用最小查询次数覆盖答案信息单元，量化对话系统对搜索工作的压缩程度
📌 工作参考价值（4 点）
- 在电商对话Agent中，可用类似集合覆盖度量评估生成答案的信息密度，判断一次回答替代了多少次传统搜索，指导摘要长度与粒度优化。
- 对RAG生成的商品对比或推荐理由，可定义可检索信息单元，计算所需最少查询数，作为回答效率KPI，嵌入A/B测试。
- 查询分解策略设计时，可将ARSD作为奖励信号，训练模型用更少子查询覆盖关键信息，降低下游检索成本。
- 页面密度指标可分离查询压缩与来源压缩效应，帮助定位是提问不够聚焦还是答案引用冗余，指导改写或结果聚合模块的迭代。
解释伪相关反馈何时失效：面向选择性查询扩展的参与式审计
🧭 查询扩展·选择性PRF·LLM审计
通过用户审计量化PRF的损害并优先避免，用LLM重排序器自动预测选择性决策并给出可解释证据
📌 工作参考价值（4 点）
- 在搜索/广告/推荐场景的查询扩展模块中，可引入参与式审计（小规模用户测评）来标定真实体验风险，发现哪些查询因扩展导致漂移，量化避免损害的价值
- 用LLM重排序器作为选择性查询扩展的决策器：输入原始查询和候选扩展词，让LLM基于文档证据预测用户偏好（受益或受损），并提供可检查的文本解释，实现审计自动化
- 架构上采用「先审计后自动化」两阶段：先用用户标签构建偏好数据集，再训练或微调LLM预测器，让系统决策与用户感知对齐，而非仅依赖QPP统计量
- 业务中面对高风险查询（如品牌词、长尾精确词），优先遵循「避免伤害」原则，在扩展收益不确定时保守处理，将拦截损害的价值置于放大成功之上
库存感知的RAG生成式AI模型实现搜索广告查询改写
🧭 查询改写与广告库存对齐 ★ 深度解读
Walmart AdTech
通过实时库存感知的RAG+LLM查询改写，将无广告填充的搜索比例从13%大幅降低，填充率提升68%
📌 工作参考价值（4 点）
- 零填充查询改写策略：可借鉴「识别→检索→改写→混合」流程，先通过规则分类器识别低效查询，再基于库存感知的RAG生成候选改写，最后混合历史高点击查询，直接复用至电商广告系统的查询召回阶段。
- 两塔BERT + LoRA LLM 的架构组合：用双塔模型做语义检索得到 Top-N 商品，将其属性拼入 prompt 作为上下文，再用 LoRA 微调的 Llama2 生成改写查询，这种轻量微调方式适合业务快速迭代。
- 离线评测设计：刻意选取历史零填充查询作为测试集，直接衡量改写模型的填补能力，同时用 NDCG@8 评估相关性，可作为广告改写效果的兜底指标。
- 动态库存感知的即时性：实时检索向量数据库中的可用广告库存并考虑预算，生成与可投放商品绑定的查询，避免改写后仍然无广告可投的尴尬。
IntentTune：利用用户需求与个性化解决电商搜索中模糊查询意图未知问题
🧭 个性化查询意图解析 ★ 深度解读
eBay Inc., USA
通过融合用户历史查询等行为信号，用LLM推断模糊查询的性别、年龄、尺寸等意图，显著优于仅用总体需求或静态画像
📌 工作参考价值（4 点）
- 意图推断模块设计：当基线意图模型输出 “unspecified” 时，路由到 LLM 进行个性化推断。可参考 IntentTune 架构，单独构建一个服务或模型，用近期高置信度用户查询（如性别置信度>0.8、年龄置信度>0.9）作为上下文，输出细化的性别、年龄、类目甚至尺寸意图，直接接入检索排序通路。
- 用户信号选择：历史查询行为远优于用户画像属性（如注册时填写的年龄、性别）和总体需求分布。实际系统中应优先利用短期搜索历史，提取其中意图明确的查询作为 prompting 素材，而不是依赖静态标签。
- 类目粒度优化：对于模糊查询，先将类目预测模型给出的候选类目列表提供给 LLM，让 LLM 根据用户历史行为选择或收缩正确类目，可有效减少下游检索的候选空间，同时保持正确性，类似 “后验类目精排” 思路。
- 冷启动与冲突处理：当历史查询不足时可回退到需求模式（利用类目预测模型最高置信度类目推断意图），但尺寸意图不适用此方法。多重信号冲突时，需要设计置信度投票或加权机制，避免直接采信单一来源。
可移植查询生成的奖励信号设计：工业语义职位搜索案例研究
🧭 生成式查询推荐 · 奖励工程
LinkedIn Corporation
在RL查询生成中，奖励塑造远比优化器选择关键，规则奖励底线可抑制GRPO的奖励黑客行为
📌 工作参考价值（4 点）
- 奖励塑造优先于算法选择：在电商搜索/广告文案生成等RL微调场景，即便用GRPO/PPO等先进算法，若奖励信号不鲁棒，模型仍会走捷径（如抄袭输入）。应把主要精力放在设计抗黑客的奖励函数上，算法选择相对次要。
- GRPO的组归一化脆弱性：GRPO由于使用组内相对优势，更容易被虚假奖励信号利用。若业务使用GRPO训练查询/文案生成，务必监控模型是否退化为逐字复制，可通过规则底线奖励（如检测抄袭时给予低分）来纠正。
- 推荐使用critic-free优化器：RLOO、REINFORCE++等无critic方法天然抵抗奖励黑客，在难以精确建模价值函数时更安全，可直接上线尝试。
- 评估时独立于训练奖励模型：训练阶段奖励模型会夸大性能（本案例中2.4倍），部署前必须用独立的、跨家族的裁判模型或人工评估来测量真实质量增益。
理解环境感知信息检索的行为
🧭 RL驱动的查询改写自适应检索器
Fudan University · Alibaba DAMO Academy · Chinese University of Hong Kong · Stanford University · Shanghai University of Finance and Economics
首次用强化学习使LLM学会为不同检索器自适应生成查询风格，并揭示各检索器最优查询风格差异显著
📌 工作参考价值（4 点）
- 电商搜索常混合使用倒排索引与向量检索器，可借鉴 RL 训练查询改写模型，使其根据后台检索器类型动态调整 query 风格（如对 BM25 生成关键词式，对向量检索器生成描述性文本），提升召回相关性。
- 多步检索场景中，可利用论文提出的分支 rollout 技术稳定训练改写策略，避免长轨迹的奖励震荡，适用于需要多轮交互的 Agent 搜索链。
- 揭示的检索器偏好差异（Contriever 偏好文档段落式查询，BM25 偏好精确关键词）可直接指导搜索系统的预处理或 prompt 设计：根据检索器类型设定不同的改写模板或约束。
- 引入检索器特有的人类先验作为辅助奖励，可加速 RL 训练并注入业务知识，类似推荐系统中利用人工规则冷启动生成式模型。
OneBar：电商视频流中内容驱动的端到端生成式查询推荐
🧭 生成式查询推荐 · 内容grounding与on-policy蒸馏 ★ 深度解读
Zhejiang University · Kuaishou Technology
端到端生成式框架，融合多模态意图grounding与偏好内化蒸馏，实时推荐搜索词，曝光+16.91%，GMV+21.67%
📌 工作参考价值（4 点）
- 在延迟敏感的推荐场景，将多阶段级联压缩为单模型生成，并使用 [SEP] 分隔的紧凑 evidence 序列，离线缓存多模态与协同特征，可实现在 20-30ms 内在线 serving。
- 噪声内容 grounding：构造包含清理文本、多模态摘要、协同行为锚点和过滤后用户历史的 evidence schema，能有效对抗弱元数据下的意图漂移，对生成式推荐应对噪声输入有直接借鉴意义。
- PIOPD 训练范式：用带后验点击 query 的教师模型对学生 on-policy 轨迹做 token 级双向 KL 蒸馏（FKL+RKL+熵正则），无需单独奖励模型，可避免 reward hacking，并与 list-wise 偏好对齐组合使用，适合工业界偏好优化。
- 内建安全拒绝：在 SFT 阶段加入 [REJECT] 训练样本，使模型学会对风险内容拒止生成，减少线上风控坏例，这种机制可推广到其他生成式推荐系统。
CoRe：面向短视频搜索的持续奖励微调 LLM 查询重写器
🧭 LLM 查询重写 · 持续偏好优化 ★ 深度解读
ByteDance / TikTok
以线上多模态相关性模型为奖励源、乘性奖励对齐排序融合，结合半在线 MPO 与稳定性门控实现每周持续重写
📌 工作参考价值（4 点）
- 奖励设计对齐线上融合公式：乘法形式的奖励 \(r_{\text{base}} = (S_{\text{pos}}^{1+\gamma} / S_{\text{neg}}) \cdot (S_{\text{pos}} / S_{\text{rand}})^{\alpha_R}\) 直接镜像了线上排序的融合代数，避免训练-线上信号不一致。在电商搜索中，可将精排模型的分数组合方式直接写进 reward，让查询重写或生成式召回的训练梯度与线上排序目标保持一致。
- 半在线 MPO 降低大模型迭代成本：每阶段只采样一次并仅对 top-k vs bottom-k 偏好对计算梯度，将参数同步和 reward 调用批量化到阶段边界。对于需要高频迭代但推理成本高的多智能体或 LLM 组件，这种梯度节约和调度解耦可直接复用。
- 双族指标自动晋升门控：用奖励类指标 (rmain, Spos, rrand) 和稳定性指标 (熵、perplexity、长度、截断率) 联合判断候选模型。在 Agent 或多步推理的强化学习任务中，补充稳定性指标可提前捕捉模式坍塌或奖励黑客，已证明比纯奖励门控更可靠。
- 增量并行路径消费，控制爆炸半径：重写信号作为 recall、rawrank、finerank 各阶段的附加特征，失败时自动降级到原始链路。为在推荐/搜索系统里引入 LLM 组件提供了安全落地模式——先叠加再逐步替代，避免一次性切换风险。
ADORE：检索反馈驱动的迭代查询扩展
🧭 检索增强的迭代查询改写 ★ 深度解读
University of Waterloo · Mila – Quebec AI Institute · University of Toronto · University of California, Berkeley
将检索结果转化为结构化相关性反馈，在迭代中不断纠正扩展方向，显著提升查询扩展的检索效果
📌 工作参考价值（4 点）
- 检索结果作为显式反馈信号：不直接把召回文档喂给生成器，而是让 LLM 先对文档做分级相关性评估（0-3 分），再将正负例中的有效词汇和噪声词汇显式告诉模型，指导下一轮生成。电商搜索或推荐场景中的 query 改写、自动补全可借鉴此范式，用点击/转化信号自动生成结构化反馈。
- 分级反馈池与词汇锚定：从高分文档中提取 named entity、数字、单位等“词汇锚点”，在下一轮伪文档生成时要求模型原样复用，避免同义词置换导致匹配失败。该 trick 可直接用于电商商品搜索的 query 扩展，确保扩展词与库存索引的精确匹配，减少召回漂移。
- 自适应终止策略：通过质量饱和（所有 top-10 已获最高分）和覆盖率饱和（连续两轮新文档数低于阈值）自动停止迭代，避免固定轮次浪费算力。Agent 或多步推理系统中可复用此思想，在规划或检索循环中设置早期停止条件，平衡效果与延迟。
- 解耦生成与评估：将 reformulator 和 relevance assessor 角色分离，并使用同一 LLM 但不同 prompt，即使换用开源模型也能保持稳定。推荐系统中可借鉴此分离设计，用单独的评估模块对生成的推荐理由或扩展 query 打分，提升可控性和可解释性。
STORM：奖励引导束搜索的逐步 token 优化查询扩展
🧭 查询改写与词汇扩展 · 奖励引导束搜索 ★ 深度解读
MILA – Quebec AI Institute & ILLS · Université Paris-Saclay & CentraleSupélec & CNRS · Air Liquide · Sorbonne Université & ISIR & CNRS · Sapienza, University of Rome
将检索奖励转化为 token 级信号，通过奖励引导束搜索训练 LLM 生成高效关键词，在不改变索引下大幅提升 BM25
📌 工作参考价值（4 点）
- 奖励信号粒度下放：将检索质量指标（如 nDCG）转化为 token 级反馈，在生成过程中实时剪枝，解决序列级奖励延迟与稀疏问题。这一思路可直接用于电商搜索/推荐中的 query 改写、标题优化、对话式 Agent 的关键词生成，用业务指标（CTR、转化率）替换 nDCG 即可训练。
- 低成本高效重写：STORM 训练的 LLM 输出短关键词串，推理延迟接近 BM25，适合在线实时场景。电商搜索可部署为轻量级改写模块，不增加检索延迟，却显著提升召回与相关性。
- 自监督训练摆脱人工标注：无需人工改写对，只需相关性判断或近似信号（如点击日志、伪标签）。可借鉴其利用交叉编码器伪标签蒸馏到生成式改写器的方法，在标注稀缺的电商场景快速冷启动。
- 多语言零样本迁移：仅用英文 MS-MARCO 训练，即可迁移到多语言 BM25 索引，效果超越专用多语言稠密检索器。对跨国电商平台，可简化多语 query 改写部署，无需额外训练。
ToolRec：面向设备助手的校准偏好对齐查询推荐
🧭 查询推荐 · 偏好对齐 · 点击率优化
Huazhong University of Science and Technology · OPPO AI Center
提出双层校准机制与加权KTO，在OPPO小布上显著提升工具调用查询的CTR和总点击量
📌 工作参考价值（4 点）
- 双层点击校准可迁移至电商行为建模：根据用户活跃度（浏览/加购/购买频次）分桶校准点击权重，减少沉默用户噪声；同时对工具型行为（如领券、收藏、直达搜索）提权，强化可执行动作的引导，提升转化率。
- 样本级加权KTO简化偏好对齐：无需构造正负样本对，直接利用隐式反馈（点击/未点击）和校准权重优化LLM，适合电商推荐中大量单点隐式反馈的排序或查询生成场景。
- 工具检索增强的查询生成范式：预先构建系统工具库（如加购、下单、查物流），在生成推荐查询或广告文案时，通过检索确保可执行性，避免“不可点击”的无效推荐，可直接嵌入对话Agent或多任务推荐系统。
- 在线A/B验证的实用迭代思路：工作已在亿级月活平台验证，证明在校准后的偏好信号上做对齐，能同时提升CTR和总点击量，为相关业务提供了可直接参考的离在线优化路径。
提升对话搜索中LLM知识蒸馏的效率与效果
🧭 对话搜索 · LLM知识蒸馏 · 稀疏检索效率优化 ★ 深度解读
University of Amsterdam
通过引入加权对比损失、优化负采样策略和强正则化，在稀疏检索中平衡效果与推理效率
📌 工作参考价值（4 点）
- 蒸馏损失中加入小权重对比项：在电商搜索的 query 重写或对话式推荐场景，若使用 KL 散度蒸馏（如 DiSCo），可混入 5%-20% 的 InfoNCE 损失，不增加推理开销，就能稳定提升 MRR 和 nDCG—直接替换损失函数即可。
- 负采样数量需要谨慎选择：虽然理论上更多负样本能逼近真实 KL 期望，但在做检索相似度蒸馏时，正样本容易被大量负样本“淹没”，造成梯度分散。实验表明 16 个负样本是平衡点（TopiOCQA 上），这一结论可迁移到商品搜索的稀疏蒸馏中，避免盲目增加 batch 内负例。
- 利用 KL 蒸馏的松弛特性做强力稀疏正则化：KL 损失对表示空间的约束比 MSE 更松，因此可以加大 L1 或 FLOPS 正则化强度，将推理 FLOPS 降低 50% 以上，而召回率下跌 <2%。这对有延迟要求的电商搜索尤为实用，可快速压缩稀疏索引模型。
- 长会话中特别注意稀疏退化并提供解决方案：对话轮次增加会导致激活维度急剧膨胀（L0 分数恶化），强力正则化能有效抑制这一趋势，使长对话仍保持高度稀疏，适合部署在客服 Agent 或多轮对话推荐等场景。