多样教师在线策略蒸馏用于生成式推荐
🧭 生成式推荐 · On-Policy Distillation 消偏 ★ 深度解读
University of Science and Technology of China · National University of Singapore · Alibaba Group
提出 HERO，通过异构教师路由和多样性物品 rollout 缓解生成式推荐中 on-policy distillation 的流行度偏差
📌 工作参考价值（4 点）
- 在生成式推荐做蒸馏时，不要用单一教师，可以按物品流行度分组训练两个专家教师（head/tail），训练样本根据 ground-truth item 的流行度路由到对应教师，能有效缓解头部偏差。
- 在 on-policy 训练中，学生生成的路径容易偏向头部物品，导致冷门 SID 路径很少被监督。可额外将冷门物品的真实 SID 前缀加入蒸馏损失（tail-path GT-KL），提高尾部路径的覆盖率。
- 该方法只更新学生模型，教师冻结，推理时仅用学生，不增加在线推理成本，工程实现简单，适合快速上线验证。
- 评估生成式推荐时不要只看整体 Hit，应同时关注 DTR（需求-曝光比）和 ORR（头部重复推荐占比），避免准确率提升掩盖流行度偏差的加剧。
找到正确平衡：LLM 检索中的相关性与多样性
🧭 RAG 检索多样化自适应策略
Université du Québec à Trois-Rivières
提出基于候选池冗余与查询证据需求的查询自适应规则，选择性启用检索多样化，避免损害相关性与答案质量
📌 工作参考价值（4 点）
- 在电商 RAG/商品问答中不要全局默认启用 MMR 或多样性重排：生产数据若候选池干净，多样化会降低相关性与答案质量；先用已有 embedding 统计 top-k 最近邻中有效 distinct 文档数，再决定是否开启多样性。
- 多证据场景（如从多个商品评价/卖点综合回答）可借鉴 query-adaptive 触发条件：当 top-k 选择的 distinct 文档数低于查询所需证据条数时再触发多样化，否则回退到最近邻；该规则无需额外模型，可跨数据集和 encoder 迁移。
- 当使用重叠 chunking 或商品库中有同款/相似描述时，可通过 RNG-Score 的 margin 检测重复结构，作为降级信号；margin 明显时说明冗余高，适合切换多样化，否则直接保留 NN 结果。
- 工程实现可把“有效不同文档数”做成轻量在线统计特征，与召回/重排解耦，避免因盲目开多样性浪费 context budget 或漏掉关键证据。
基于强化学习与保形动作集的序列推荐
🧭 RL + Online Conformal 动态候选集 ★ 深度解读
University of Pennsylvania · Washington State University
用 critic gap 打分和在线保形阈值动态裁剪候选集，在不增大 set size 下提升 catalog diversity，并给出有限会话价值界
📌 工作参考价值（4 点）
- 把固定 top-M slate 换成 critic gap 打分 + 在线阈值裁剪：在粗排/召回到精排链路中，用\( g_\theta(s,a)=\max_b \hat Q_\theta(s,b)-\hat Q_\theta(s,a) \) 和阈值 \(\tau_t\) 动态决定候选集，同样 size cap 下能显著提升 catalog diversity 和 ILD，适合新品/长尾曝光和多样性约束场景。
- 阈值更新只需要 binary miss 信号：\( e_t=1\{C_t\cap \tilde A_{\varepsilon,t}=\emptyset\} \)，然后 \(\tau_{t+1}=\tau_t+\eta_t(e_t-\alpha)\)。实现简单、不需要真实 \(Q^*\)，可做成精排后的动态截断层，阈值快更新、critic 慢更新。
- 把“候选集是否包含好 item”和“下游 selector 是否选中好 item”解耦，对应 filtering loss 与 selection loss。业务中不要只看召回命中率；若重排/用户选择会选差，retention 保证没有意义，应分别优化覆盖与选择策略。
- 注意 item-level MDP 条件：如果 reward、退场或 position bias 依赖整个 slate/collection，则必须把 collection 当 action；click/like reward 也不直接等价 session depth。此方法收益主要是曝光多样性提升，不是点击/LTV 全面大幅提升。
无需模型：文本熵率过滤缓解迭代微调崩溃
🧭 迭代微调多样性维护与数据过滤
Adelaide Data Science Centre, University of Adelaide · School of Mathematical Sciences, University of Adelaide
提出基于 Kontoyiannis 熵率估计器的纯文本过滤器，在不访问模型的情况下有效提升迭代微调多样性
📌 工作参考价值（4 点）
- 合成数据微调管道可直接引入熵率过滤：在生成式商品描述、搜索 query 或广告文案的迭代训练中，用 Kontoyiannis 熵率估计器对合成样本打分，过滤低多样性样本，避免模型输出重复化；无需调用模型 API 或持有 logprob，工程开销低，适合无模型推理权限的场景。
- 多 Agent 系统多样性监控：将文本熵率作为多智能体生成内容的实时监控指标，当熵率持续下降时触发干预（如提高采样温度或注入新提示），防止 Agent 间输出趋同。
- 替代传统 logprob-based 过滤：论文显示 logprob 过滤在该任务上无显著收益，业务中若已使用 perplexity 等模型依赖的过滤，可尝试替换为纯文本熵率过滤，可能获得更好的多样性且更轻量。
- 少样本验证结论：熵率估计器跨域适用，可作为生成式推荐模型微调时的通用质量代理，用于快速评估数据集的多样性是否充足。
生成探索、选择利用：对齐 LLM 标题生成与个性化推荐
🧭 生成式推荐 · 个性化标题生成 ★ 深度解读
Baidu Inc., Beijing, China
用 GSPO 训练 LLM 一次生成多样标题候选，再由实时反馈选择器做个性化利用，CTR 提升 2.57%
📌 工作参考价值（4 点）
- 把“生成”与“选择”解耦：不要让 LLM 做最终排序，而是让它生成 5-10 条语义多样的候选标题/文案；再用轻量实时 ranker 根据用户即时行为、兴趣标签、上下文选择最优。这种架构能有效对抗用户画像噪声与 LLM 模式坍塌，电商标题、广告文案、push 文案均可复用。
- 用 GSPO 组内相对优势替代 DPO/PPO 的绝对奖励：组内归一化迫使候选差异化，避免生成重复安全文案；同时可让 LLM 单次推理生成整个候选集，显著降低推理成本。若在业务中做生成式推荐，可优先考虑组内对比训练，而非简单 SFT 或逐样本 RLHF。
- 分层奖励设计：把 CTR 预测、faithfulness（质量模型/NLI）、novelty（编辑距离）、set diversity（IoU）拆开加权。质量护栏防止 reward hacking 生成 clickbait；电商内容信任度要求高，这点尤其关键，建议显式加入事实一致性与安全约束。
- 在线冷启动用 Confidence-Aware Thompson Sampling + 统计终止：给新候选 Beta 先验，只有在小样本或高置信时才继续探索，并设置 τ_max 安全预算；成熟后切到深度 ranker 融合用户画像、实时兴趣标签和语义嵌入，兼顾探索效率与长期收益。
超越 Top-k 技能检索：面向 LLM Agent 的多样性感知技能路由
🧭 LLM Agent 技能路由 · 多样性子集选择 ★ 深度解读
Virginia Tech · University of Southern California · Adobe Research · Dolby Labs · Texas A&M University
用 DPP 多样性选择与 query-residual 核，在技能路由中平衡相关性与非冗余，提升多技能任务覆盖
📌 工作参考价值（4 点）
- 在电商/广告 Agent 需要从大型技能/工具库中为复杂 query 选择多个互补技能时，不要只用 pointwise top-k；可加 DPP 选择步骤，用质量分 × 相似度核构造行列式点过程，平衡相关性与非冗余。
- 构造 DPP 相似度核时，先从技能 embedding 中减去 query 对齐分量（residual），避免惩罚因共享 query 相关性而相似的互补技能；对多技能任务尤其有效，可减少有用技能被误杀。
- 工程实现上，仅对检索到的 top-M 候选（如 50）做贪心 MAP，配合 incremental Cholesky 更新，开销小，适合线上 Agent 路由；候选集大小 M 和 residual 混合系数 λ 可调。
- 该方法对搜索/推荐中的多样性重排、多模型路由、多工具组合选择也有直接借鉴意义：在相关性分数基础上增加 query-conditioned 多样性约束，能提升列表对复杂意图的覆盖度。
为测试访谈对话系统生成多样化用户模拟器画像
🧭 用户模拟器 persona 多样性生成
C4A Research Institute, Inc. · SANKEN, University of Osaka · Musashi University
用 LLM 自动生成带沟通风格人格特质的用户画像，提升访谈对话系统测试中用户模拟器的行为多样性
📌 工作参考价值（3 点）
- 在构建 Agent 用户模拟器做评测或数据合成时，可复用「LLM 生成 persona + 显式注入沟通风格人格特质」的方法，低成本扩大用户行为覆盖面，避免人工构造 personas 的瓶颈。
- 对于需要模拟多样化用户场景（如访谈、客服、搜索会话）的评测，可先定义人格特质维度（如沟通风格），再让 LLM 根据特质生成 personas，从而控制多样性。
- 如果要为推荐/搜索 Agent 做模拟评测，可以用类似思路生成不同背景、偏好、表达习惯的用户，帮助发现 Agent 对长尾用户行为的鲁棒性。
CreativeInstruct：可扩展地教大语言模型平衡质量、创意与多样性
🧭 可控创意指令微调 · 特殊令牌注入
Columbia · UNC Chapel Hill · University of Texas at Austin
通过在指令微调中引入 [StartCreativity] 令牌，使 LLM 在保持后训练质量的同时恢复基模型的创意多样性
📌 工作参考价值（4 点）
- 在电商推荐文案、对话式推荐等需要创意和多样性的场景，可通过插入类似 [StartCreativity] 的特殊 token 控制生成风格，在不牺牲质量的前提下提升多样性。
- 图编辑距离的结构多样性指标可以用于评估推荐理由、产品描述或 push 消息的叙事结构多样性，弥补纯词汇或语义指标的不足。
- 在 RL 训练前先用 CreativeInstruct 增强基模型的创造性，能显著提升后续 RL 的效果，这对用 RL 优化推荐策略或对话 Agent 的探索能力有直接借鉴。
- 单一模型即可平衡质量与创意，避免部署多个模型或蒸馏带来的推理开销，适合线上低延迟生成任务。
多样化多项Logit上下文Bandit算法
🧭 推荐多样性 · 上下文Bandit ★ 深度解读
Seoul National University
将多样性作为子模函数直接嵌入MNL选择概率，利用无黑箱oracle的UCB算法实现近似最优的集合推荐
📌 工作参考价值（4 点）
- 多样性直接参数化选择模型：不同于事后加权或规则注入，把多样性作为影响用户点击/购买概率的隐性参数，可借鉴到电商商品集合推荐、搜索结果的多样性建模中，用可学习的 λ 自动平衡相关性与多样性，避免人工调权。
- 项目式贪婪构造近似最优集合：用逐项边际增益最大化方式构造推荐集合（复杂度 O(NK)），并提供理论近似比 (1 − 1/(e+1))，可替代全枚举或黑箱优化，大幅降低在线推理计算开销。
- 在无项目级反馈下学习多样性：模型仅收到集合整体反馈（如点击或购买），无须每个位置或项目的边际奖励信号，这与推荐列表的线上观测场景一致，可利用 UCB 联合估计相关性和多样性参数，实现子线性后悔。
- 子模多样性函数的选用与 strict submodularity 条件：工程实现时可采用满足 strict submodularity 的多样性度量（如基于类目覆盖的指数衰减函数），以保证乐观奖励函数保持子模性，从而保证贪婪构造的逼近效果。
带采样示例的在线策略自蒸馏降低输出多样性
🧭 LLM 训练 · 自蒸馏与多样性偏差
揭示在线自蒸馏因条件于采样示例而放大模型偏差，导致输出多样性锐减和 pass@k 性能饱和
📌 工作参考价值（4 点）
- 监控 pass@k 与多样性指标：在电商文案生成、搜索查询扩展等实际 LLM 应用中，若使用在线自蒸馏（如 SDPO、SDFT），必须同时监控 distinct-n、pass@k 等指标，避免模型陷入单一高置信模式，失去从多样生成中获益的可能。
- 引入多样性正则化或温度调节：可在自蒸馏损失中加入基于熵的正则项，或适当调高采样温度，以保持策略的概率质量不过度集中，有助于在推荐理由生成、对话式推荐等场景保留多样性。
- Agent 规划中慎用纯自蒸馏微调：在需要多种推理路径或工具调用策略的 Agent 系统中，单纯依赖在线自蒸馏可能导致策略趋同，降低对分布外场景的适应力；可结合 RL 或增加策略蒸馏的多样性约束。
- 用互信息视角诊断模式坍塌：论文给出的理论工具——条件互信息倾斜——可用于分析其他蒸馏范式下的多样性损失，为设计新的训练算法提供方向。
自演化的视觉提问者
🧭 自监督问题生成 · 视觉提问
University of Maryland, College Park · University of California, Los Angeles · Peking University · Arena · MBZUAI
让VLM通过自我生成与过滤，逐步产出更困难、更多样化的视觉问题，无需外部监督
📌 工作参考价值（4 点）
- 搜索/推荐场景下，可用类似 self-evolving 范式自动产出更困难、更多样化的用户查询词或推荐理由，无需人工标注。
- 对话式推荐 Agent 可利用自提问-过滤机制，主动向用户提出高信息量的澄清问题，提升交互效率。
- 论文的 Agentic 评估协议（感知、推理、多样性）可直接迁移用于评估推荐系统生成的 query 或对话的质量。
- 工程上可借鉴其双模式训练（提问者+回答者联合优化），保证生成能力不损害原有任务性能。
面向多样科学假设搜索的并行回火进化框架
🧭 多样性假设搜索 · 并行回火进化
Georgia Institute of Technology · Virginia Tech · Carnegie Mellon University · University of California, Berkeley · University of Cambridge
用多温度层并行进化与信息交换，在固定验证预算下提升假设质量与多样性
📌 工作参考价值（3 点）
- 多样性保持机制可迁移至生成式推荐：在 Semantic ID 生成或候选集采样时，借鉴多温度并行搜索与信息交换，缓解模式坍塌，产出多样且高质量推荐结果。
- 探索-利用权衡的新思路：多 Agent 协作中，每个 Agent 可对应不同温度，高温度者负责探索，低温度者负责精细利用，定期交换优质种子，既能保持群体多样性又不失收敛效率。
- 固定预算下的采样策略：推荐系统召回阶段常需有限算力生成多个候选池，论文中“采样问题”视角与温度调度方法可直接启发多样性召回的设计，在预算内平衡覆盖率和精度。