#Quality-Diversity

3 篇

EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search

EliteReplay：质量多样性搜索保留 RL 后训练中的多样解

🧭 LLM RL 后训练多样性保持

The Ohio State University

用质量多样性搜索构建精英解档案并与 GRPO 结合回放，提升准确率同时保留 LLM 解多样性

📌 工作参考价值（4 点）

在 RL 微调用于搜索排序、query 改写或商品文案生成时，可引入精英档案回放：先用冻结模型采样多样正确解建立档案，训练中与策略梯度损失共同优化，避免模型只集中在少数高奖励行为，保持生成模式的多样性。
将质量多样性搜索作为通用记忆库机制，在 RL 训练中周期性回放高质量多样样本，可缓解模式坍缩与灾难性遗忘，适用于需要多策略并存的推荐或 Agent 协作场景。
评测中除了准确率，加入 pass@k 和 U@k（distinct correct strategies）两类指标，能更全面反映模型在多解场景下的能力；在搜索建议、歧义 query 改写等业务中，覆盖多个正确意图比单一 top-1 更重要。
对歧义 query（如 AmbiQT）的覆盖能力可以直接迁移到电商搜索/推荐：用多样性保持的后训练模型同时召回多个可能的商品意图或生成多个改写 query，提升用户体验与召回覆盖。

Training | 2026-10-15 | cs.AI | score 7/10

LLM 引导的进化搜索优化医学决策管道

🧭 LLM 引导的进化优化与医学决策管道 ★ 深度解读

Sber AI Lab · AIRI

利用 LLM 引导的 MAP-Elites 进化算法在推理阶段自动发现超越人工设计的医学分诊、交互问诊和图像分类策略，无需微调模型。

📌 工作参考价值（4 点）

程序级搜索代替手工调参：将业务决策管道（如推荐排序、出价策略、Agent 对话流）设计为可执行的 Python 模块，以 LLM 作为 mutator 自动变异 prompt、控制逻辑、投票规则等，而不仅是调整单个 prompt，可迁移到电商 Agent 的策略自动优化。
安全/业务目标下的适应度设计：借鉴论文中分诊任务的不对称加权适应度（高代价错误如漏召、低召回加权更高），在推荐场景中可为关键指标（如转化、高价值商品召回）赋予更高权重，同时约束输出合规性（如 JSON 格式）作为准入条件。
推理时进化代替模型微调：在冻结模型上通过进化搜索优化策略，降低计算成本，适合频繁变更的业务规则或个性化策略迭代，例如对已部署的推荐 Agent 做安全策略补丁。
交互式场景的成本-质量前沿探索：通过 MAP-Elites 在对话轮次/ token 消耗与准确性之间找到帕累托前沿，可复用于电商客服 Agent 的对话策略优化，实现低延迟高满意度的自适应询问与响应。

Other | 2026-06-05 | cs.CL | score 8/10

DEI：异构大模型驱动的分布式质量多样性进化搜索

🧭 分布式进化搜索 · 异构LLM协作 ★ 深度解读

Gensyn

通过异步通信将异构LLM作为变异算子协同进化，在同等算力下实现覆盖率+28%、QD得分+124%。

📌 工作参考价值（4 点）

创意生成的多样性互补：在生成式推荐或广告素材生产中，可部署多个异构LLM（如不同家族或规模的模型）作为变异算子，利用各自不同的生成先验覆盖更广的创意空间，提升推荐列表或商品描述的新颖性与覆盖率。
异构节点的异步协同：参考其无同步屏障的gossip通信设计，推荐系统可混合使用云端大模型和本地小模型进行候选生成，通过异步共享精英解，低延迟节点无需等待慢节点，提升整体吞吐和多样性。
模型多样性的因果验证：实验严格保持总LLM调用预算不变，证明了收益来自模型多样性而非额外算力。这提示在A/B测试或多臂老虎机中，可刻意引入不同模型家族的先验探索不同用户分群，再通过合并archive实现全局最优。
多智能体对抗压力引入：在对话推荐或谈判Agent场景中，可让不同LLM Agent扮演推荐者和挑战者，通过类似Red Queen的对抗压力持续提升策略鲁棒性，避免单一模型自博弈的退化。

MultiAgent | 2026-05-26 | cs.LG | score 8/10