How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning
测量参数高效微调的容量：适配器到底写了多少比特？
🧭 PEFT 记忆容量与隐私泄露 ★ 深度解读
Carnegie Mellon University · Columbia University
通过压缩方法直接测量 LoRA 适配器的记忆容量，揭示容量取决于插入位置和基座结构，SFT 会记忆秘密而 RL 不会。
📌 工作参考价值（4 点）
- 适配器放置位置的选择：同一参数预算下，插入 MLP 的适配器存储的比特数约为注意力的两倍。在需要保护隐私的场景（如联邦学习、模型市场），将有泄露风险的适配器放在注意力模块可主动降低其存储容量。
- 隐私风险评估工具：论文提供了可复用的测量方法，能在训练前估算适配器的容量，并与待训练数据集的比特信息量对比，提前判断是否落入“全量记忆”区间，无需事后攻击。
- 强化学习优于监督微调：在必须共享模型但训练数据敏感时，用 GRPO 等可验证奖励的强化学习方法替代 SFT，几乎不记忆训练数据，特别适合 Agent 或推荐系统的用户交互训练。
- 参数数量 ≠ 隐私风险：适配器的泄露风险更多与写入的比特数相关，而非参数总量，因此监控模型存储的比特数比单纯限制秩更有效。