Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models
价值几何：语言模型中伦理偏好对齐的任务向量组合
🧭 任务向量组合与伦理偏好对齐
Mohamed bin Zayed University of Artificial Intelligence
用任务向量正交化隔离价值偏好方向，实现可逆的伦理立场迁移
📌 工作参考价值（4 点）
- 任务向量正交化技巧可迁移到 LoRA/DPO 微调：将特定风格/价值方向的 task vector 对 general instruction following 方向做正交，能分离出干净的方向，便于做可控模型编辑，避免引入无关偏移。
- 在推荐/生成式候选排序中要警惕 first-option bias：论文发现 Llama-3.2-1/3B 强第一选项偏差，plain fine-tuning 和 DPO 都能修正到 >98% 准确率，说明简单的 SFT 即可消除位置偏差，值得在评估集上验证。
- 多语言价值冲突数据构造思路可复制：跨境电商或跨语言 Agent 场景中，可构建类似两选项困境集，用于评估模型在公平性、安全策略上的跨语言一致性。
- task arithmetic 实现立场反转：实验中通过向量加减获得相反伦理立场的模型，可借鉴用于生成式推荐中在不重新训练的情况下切换风格或安全策略，如保守/探索、品牌调性等。