#exploration

3 篇

Boosting LLM Exploration via Weak-Model Guidance in RLVR

弱模型引导提升 RLVR 中 LLM 探索

🧭 LLM 强化学习 · 探索增强

Wangxuan Institute of Computer Technology, Peking University · National Engineering Research Center of New Electronic Publishing Technologies

用弱模型生成部分推理前缀，强制主模型续写陌生路径，缓解 RLVR 熵坍塌并提升 pass@k

📌 工作参考价值（4 点）

在搜索/推荐场景用 RLVR 微调 LLM（如 query 改写、商品文案生成、可验证奖励排序决策）时，可引入弱模型前缀：用轻量模型生成部分推理或候选文本，由主模型续写，以提升生成多样性，适合需要多个候选解的生成式推荐与 Agent 决策。
对 pass@k 有要求的生成管道（多路 query 建议、多候选推荐解释），熵保持比单条平均奖励更重要；该方法无需额外 SFT 或复杂奖励设计，可直接复用现有粗排/轻量模型，工程成本低，作为训练阶段的即插即用探索增强。
多模型协同（粗排-精排、teacher-student、Agent 层级）可借鉴跨模型扰动思路：刻意用弱模型产生分布不一致的前缀，让强模型适应陌生输入，提高策略鲁棒性；需注意差异过大可能引入噪声，应调节前缀长度或来源模型。
若 RLVR 奖励可验证（点击、转化等），可设计外部前缀机制，避免主策略在高奖励模板上过拟合，扩大覆盖的推理路径。

Training | 2026-08-27 | cs.CL | score 7/10

Pinterest全漏斗内容冷启动探索与去偏系统PinEqualizer

🧭 全漏斗冷启动探索与去偏 ★ 深度解读

Pinterest, Inc.

提出覆盖语料、召回、排序的全漏斗冷启动解决方案，通过去偏与探索结合高效测量框架显著提升新鲜内容分发与用户参与

📌 工作参考价值（4 点）

特征工程去偏：使用内容唯一依赖的Embedding（VLM/CLIP）避免图Embedding对新鲜内容的偏倚；对历史互动特征做Individual Dropout，迫使模型更依赖内容信号；通过DCNv2交叉内容年龄、内容特征与互动特征，让模型动态调整偏好。
低成本的探索策略：在效用层加入基于实时印象数的简单UCB奖励（UCB = α / sqrt(1+β·impressions)），无需方差估计即可有效提升未探索内容分发；Neural Linear UCB精度更高但可解释性差，适合在最终精排中使用。
快速实验与测量：使用“未探索内容互动量”作为用户A/B实验的代理指标，与长期留存强相关且无内容泄露问题，可大幅加速迭代；长期新鲜内容Holdout实验测量增量价值，证明探索的长期收益大于短期成本。
全漏斗瓶颈分析：对各阶段新鲜内容的输入占比与输出存活率进行分析，识别瓶颈（如召回不足或排序打压），从而优先投入ROI最高的环节；为搜索表面单独提升相关性权重，保证探索不牺牲语义相关性。

RecSys | 2026-07-24 | cs.IR | score 9/10

策略引导探索：用轻量级提示提升RLVR探索效率

🧭 强化学习探索 · 策略级上下文 ★ 深度解读

KAIST · DeepAuto.ai

提出 NudgeRL，通过策略级上下文进行结构化探索，在仅 8 次采样下超 8 倍采样 GRPO

📌 工作参考价值（4 点）

低成本探索增强：使用轻量级 LLM（如 gpt-4o-mini）离线生成策略级关键词（如数学定理名），在训练时随机采样并拼入 prompt，即可大幅提升采样多样性。电商推荐场景可类比生成“商品类别/用户意图”等标签作为上下文，引导 Agent 探索不同推荐路径，无需昂贵 oracle 标注。
上下文控制优势估计：Inter-Intra Group Advantage 将奖励分解为组内与组间信号，λ 参数可调节探索-利用倾向（λ>1 倾向可靠上下文，λ<1 鼓励探索新上下文）。在 Agent 多策略协作中，可对不同的策略组分配不同 λ，动态平衡已知高转化策略与新策略尝试。
知识蒸馏回基础策略：通过优势加权蒸馏，将上下文条件下发现的有效轨迹迁移回原始无上下文的策略，使推理时无需外部提示。在多智能体系统中，可将智能体在辅助信号下学到的技能蒸馏至主策略，避免上线时的输入依赖。
采样效率提升的工程启示：论文证明结构化探索可以显著减少所需采样数（8 次 vs 32 次 GRPO），且 pdrop=0.5 随机丢弃上下文能保持稳定训练。在生成式推荐中，若用类似方式对候选生成过程注入多样性（如不同 decoding 技巧或 prompt 模板），可降低大规模采样的计算开销。

Training | 2026-05-14 | HF Daily | score 8/10