Representational alignment yields generalizable safety in language models
表示对齐实现可泛化的语言模型安全
🧭 LLM 表示级安全对齐 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
提出 ReSO，直接对齐 LLM 潜在表示与人类道德分类结构，在不监督响应的情况下提升对抗鲁棒性
📌 工作参考价值（4 点）
- 在内容安全/合规审核中，不要只做输出层微调（如 DPO），可对物品/内容/query 的表示与安全分类结构做表示级对齐，增强对对抗改写、隐晦违规的泛化。具体可用 triplet 排序损失拉近同类安全内容表示、拉远危险表示。
- 若已有安全分类标签/人工判断，可构造 graded category vector（严重度×置信度），用 Bradley-Terry 目标对 latent 相似度排序进行优化，不需要生成标签，适合标签稀疏或冷启动场景。
- 监控训练过程中验证 RSA 与攻击成功率（ASR）的相关性，作为早停/剂量指标；在 ReSO 中观察到后期 RSA 回归伴随 ASR 上升，避免过拟合。
- 对 Agent 系统，若依赖 LLM 做安全决策，可考虑对状态/动作表示做类似对齐，提升对未见对抗输入的鲁棒性，而不是仅依赖 prompt 或输出过滤。