DEI: Diversity in Evolutionary Inference for Quality-Diversity Search
DEI:异构大模型驱动的分布式质量多样性进化搜索
🧭 分布式进化搜索 · 异构LLM协作 ★ 深度解读
Gensyn
通过异步通信将异构LLM作为变异算子协同进化,在同等算力下实现覆盖率+28%、QD得分+124%。
📌 工作参考价值(4 点)
- 创意生成的多样性互补:在生成式推荐或广告素材生产中,可部署多个异构LLM(如不同家族或规模的模型)作为变异算子,利用各自不同的生成先验覆盖更广的创意空间,提升推荐列表或商品描述的新颖性与覆盖率。
- 异构节点的异步协同:参考其无同步屏障的gossip通信设计,推荐系统可混合使用云端大模型和本地小模型进行候选生成,通过异步共享精英解,低延迟节点无需等待慢节点,提升整体吞吐和多样性。
- 模型多样性的因果验证:实验严格保持总LLM调用预算不变,证明了收益来自模型多样性而非额外算力。这提示在A/B测试或多臂老虎机中,可刻意引入不同模型家族的先验探索不同用户分群,再通过合并archive实现全局最优。
- 多智能体对抗压力引入:在对话推荐或谈判Agent场景中,可让不同LLM Agent扮演推荐者和挑战者,通过类似Red Queen的对抗压力持续提升策略鲁棒性,避免单一模型自博弈的退化。