Soft Specialists: $α$-Rényi Ensembles for Uncertainty-Aware LLM Post-Training
软专家：基于α-Rényi集成的LLM不确定性感知后训练
🧭 LLM后训练集成与不确定性量化 ★ 深度解读
Imperial College London · Bessemer AI
用α-Rényi损失在经典变分贝叶斯和预测导向后验之间插值，训练一组互补LoRA专家，通过软路由实现专业化与不确定性量化。
📌 工作参考价值（4 点）
- 冲突目标解耦：在电商推荐等多目标场景（点击、转化、多样性彼此冲突），可训练多个LoRA适配器，用α-Rényi目标软路由不同用户或样本到不同专家，避免单模型折中，提升整体效果。
- 数据污染防御：α-Rényi责任权重会自动将异常样本（如刷单、错误标注）的路由集中在少数粒子，隔离对干净模型的梯度影响，提供一种低成本集成鲁棒性。
- 不确定性辅助决策：在Agent任务或敏感推荐中，利用粒子间预测分歧（如方差）估计认知不确定性，在不确定时触发人工审核或保守策略，实现可靠部署。
- 低成本集成与特化：共享冻结基座模型，仅训练LoRA副本，通过调整α（甚至动态调整）控制特化程度，在治理冲突时兼顾个体质量和集成多样性，适合资源受限的线上系统。