#GSPO

3 篇

T-Search: An Open Agentic Retriever and Playground for Hard Multi-Step Search

T-Search：面向困难多步搜索的开源 Agentic 检索器与实验平台

🧭 Agentic 多步搜索与检索器训练 ★ 深度解读

T-Tech

开源权重 Agentic 检索器，以多轮短上下文搜索返回证据块，平均 Recall@10 达 56.0 并超越更大模型

📌 工作参考价值（4 点）

检索与生成解耦：把 agentic retriever 独立成服务，只返回证据块而非最终答案，下游生成器可替换；在电商搜索/推荐中，可拆分为召回证据 Agent + 答案/推荐生成模型，便于独立迭代与后端切换。
短上下文轮次 + 显式记忆：每轮 32k token 上限，丢弃前一完整 transcript，只保留 saved chunks、round summary、coverage、next goal，避免 context rot 影响判断；适用于电商多轮会话/Agent 工具调用，防止长工具输出堆积。
合成任务对抗过滤 + recall 奖励：训练数据通过整问检索、闭卷可解、支撑必要性等 shortcut 测试过滤，仅保留难任务；RL 以 chunk identifier 的 Recall 作为奖励，无需 LLM judge，适合商品/内容证据召回目标，奖励直接对齐最终 Recall。
后端可插拔与多 rollout 融合：模型只通过 search_corpus 工具访问文档，支持 dense/BM25/rerank 同 checkpoint 切换；3 个 rollout 用 RRF 融合可提升召回（55.96→61.33），适合广告候选生成等高召回场景，代价是 3 倍推理。

RAG | 2026-10-05 | cs.CL | score 9/10

生成探索、选择利用：对齐 LLM 标题生成与个性化推荐

🧭 生成式推荐 · 个性化标题生成 ★ 深度解读

Baidu Inc., Beijing, China

用 GSPO 训练 LLM 一次生成多样标题候选，再由实时反馈选择器做个性化利用，CTR 提升 2.57%

📌 工作参考价值（4 点）

把“生成”与“选择”解耦：不要让 LLM 做最终排序，而是让它生成 5-10 条语义多样的候选标题/文案；再用轻量实时 ranker 根据用户即时行为、兴趣标签、上下文选择最优。这种架构能有效对抗用户画像噪声与 LLM 模式坍塌，电商标题、广告文案、push 文案均可复用。
用 GSPO 组内相对优势替代 DPO/PPO 的绝对奖励：组内归一化迫使候选差异化，避免生成重复安全文案；同时可让 LLM 单次推理生成整个候选集，显著降低推理成本。若在业务中做生成式推荐，可优先考虑组内对比训练，而非简单 SFT 或逐样本 RLHF。
分层奖励设计：把 CTR 预测、faithfulness（质量模型/NLI）、novelty（编辑距离）、set diversity（IoU）拆开加权。质量护栏防止 reward hacking 生成 clickbait；电商内容信任度要求高，这点尤其关键，建议显式加入事实一致性与安全约束。
在线冷启动用 Confidence-Aware Thompson Sampling + 统计终止：给新候选 Beta 先验，只有在小样本或高置信时才继续探索，并设置 τ_max 安全预算；成熟后切到深度 ranker 融合用户画像、实时兴趣标签和语义嵌入，兼顾探索效率与长期收益。

GenRec | 2026-09-14 | cs.IR | score 9/10

组自适应裁剪策略优化（GAPO）

🧭 RLVR 训练 · 自适应裁剪 ★ 深度解读

University of Toronto · Amazon

将 RLVR 中固定裁剪上界改为按组内正确数 c 闭式缩放，保护稀有正确 rollouts 的探索信号

📌 工作参考价值（4 点）

在电商/搜索/对话式推荐中用 GRPO/GSPO 做 LLM 微调时，可以直接把固定 clip 上界换成 GAPO 的闭式自适应上界：epsilon_hi(c) = epsilon_lo + (epsilon_max - epsilon_lo) * (k-c)/(k-1)，只需根据当前 prompt 的 group 内正确样本数 c 调整 clip，几乎不增加超参数，且无需 reward shaping。
注意 advantage 归一化：不要对 group 内 reward 做 std normalize，否则会放大全对/全错组的权重，稀释稀有正确样本的学习信号；保留原始 advantage 更利于探索，这一结论可以直接迁移到 query 生成或商品文案生成的 RLVR 训练。
当发现模型 pass@1 尚可但 pass@k 多样性下降、困难 query 覆盖变差时，优先检查 clip fraction 是否对低 c rollouts 过高，尝试把固定上界改为按 c 线性插值，成本极低，能有效保留困难 query 上的正确生成模式。
若条件允许，尽量使用 sequence-level IS 而非 token-level IS；论文中 sequence-level 变体在数学基准上 pass@1 更高，且在相同 clip range 下比 token-level 更稳定，可作为架构选择参考。

Training | 2026-08-30 | HF Daily | score 8/10