PrivacyAlign: Contextual Privacy Alignment for LLM Agents
PrivacyAlign：LLM Agent 的情境化隐私对齐
🧭 Agent 情境隐私对齐与人类规范对齐
University of Waterloo · ServiceNow AI Research · McGill University · Mila – Quebec AI Institute
引入PrivacyAlign数据集和注释条件奖励建模，训练的小型开源Agent更符合人类隐私规范
📌 工作参考价值（4 点）
- 在电商Agent中防止泄露用户订单、地址等私密信息，可复刻该数据集的构建方法：收集实际泄露场景，进行多轮人工标注（包含解释），用于对齐训练与评测。
- 注释条件奖励建模：利用人类标注（标签+解释）为响应生成细粒度奖励，用于强化学习训练，可迁移到生成式推荐等任务中，避免模型输出敏感用户偏好。
- 用LLM裁判评估隐私行为时，通过条件化人类标注和解释作参考，能提高裁判的可靠性，这一技巧可直接嵌入业务自建的隐私评估流水线。
- 小模型（如Llama-3-8B）经过隐私对齐训练后，能在不牺牲通用能力下大幅提升隐私保护，证明业务场景可用较小自有模型微调实现合规。