Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations
公平剪枝：通过差分激活定位GLU-MLP层中的人口统计偏见
🧭 LLM 偏见定位与结构性干预
Universidad Internacional Menéndez Pelayo · Universidad de Jaén
提出一种轻量级结构干预方法，利用差分激活定位LLM中与人口偏见相关的极少神经元，剪枝即可解耦偏见与能力
📌 工作参考价值（4 点）
- 差分激活定位方法可迁移到推荐/对话模型中，用于定位特定行为（如价格敏感、品牌偏好）的神经元回路
- 极少量神经元剪枝（<0.031% 参数量）即能改变模型输出，启发在保持主任务性能下进行精细行为干预，对模型压缩和可控生成有参考价值
- 发现偏见神经元存在正负双向性，提示未来可分别调制“推高偏见”与“压低偏见”的神经元，实现定向公平性控制
- 该工作完全基于推理时激活捕获，无需重新训练，适合快速在已有LLM推荐或文案生成管线中做偏见审计与干预