Soft Specialists: $α$-Rényi Ensembles for Uncertainty-Aware LLM Post-Training
软专家：基于α-Rényi集成的LLM不确定性感知后训练
🧭 LLM后训练集成与不确定性量化
Imperial College London · Bessemer AI
用α-Rényi损失在经典变分贝叶斯和预测导向后验之间插值，训练一组互补LoRA专家，通过软路由实现专业化与不确定性量化。
📌 工作参考价值
- 冲突目标解耦：在电商推荐等多目标场景（点击、转化、多样性彼此冲突），可训练多个LoRA适配器，用α-Rényi目标软路由不同用户或样本到不同专家，避免单模型折中，提升整体效果。
- 数据污染防御：α-Rényi责任权重会自动将异常样本（如刷单、错误标注）的路由集中在少数粒子，隔离对干净模型的梯度影响，提供一种低成本集成鲁棒性。
- 不确定性辅助决策：在Agent任务或敏感推荐中，利用粒子间预测分歧（如方差）估计认知不确定性，在不确定时触发人工审核或保守策略，实现可靠部署。
- 低成本集成与特化：共享冻结基座模型，仅训练LoRA副本，通过调整α（甚至动态调整）控制特化程度，在治理冲突时兼顾个体质量和集成多样性，适合资源受限的线上系统。
动机：LLM后训练通常将异质、冲突的数据压缩到单一参数向量，导致能力退化、过度拒绝或不确定性丢失。贝叶斯方法追求个体全局合理，深集成以启发式多样性提供不确定性，但两者均未在训练中显式促进互补。本文针对模型误设与数据异质性，提出α-Rényi变分框架，在经典变分贝叶斯和预测导向后验之间连续插值，学习一组可交互的LoRA适配器，使不同样本被软路由到最擅长的专家，既保持个体质量，又获得集成预测增益，并输出可用的认知不确定性。
方法关键点：
- α-Rényi损失：对分布Q和示例(x, y)，定义 ℓ_α(Q) = -(1/α) log ∫ pθ(y|x)^α Q(dθ)，α∈(0,1]。α→0时退化为标准ELBO期望损失（个体合理）；α=1时为混合预测负对数似然（互补合作）。
- 软路由责任：优化导致每个样本产生责任权重 w_i(θ) ∝ pθ(y|x)^α，α控制路由集中度，较长序列任务中α起温度调节作用，防止过早崩溃。
- 有限粒子实现：Q用M个LoRA粒子近似，共享冻结基座模型。通过log-sum-exp稳定计算α损失，并给出SFT和DPO的粒子梯度。责任权重天然屏蔽异常样本，提供无额外代价的鲁棒性。
- 局部稳定性分析：局部展开显示，当V(θ)-αJ(θ)非正定时，后验会自发扩散，临界α可由样本Fisher矩阵估计，指导α选取。
关键实验：在Phi-3-mini、Qwen2-1.5B、Nemotron-3-8B上，用MMLU训练α-Rényi集成（M=8，α=0.8）。与α=0（均匀）相比，α=0.8时各LoRA粒子出现明显专业化，且改进集中在基座模型原本答错的题目上。在OR-Bench安全基准上，用DPO扩展训练，α=0.8在Hard分割上使粒子拒绝率的方差显著增大（如Phi-3从0.054升到0.118），表明集成分歧能有效捕捉对齐模糊区域的认知不确定性。