How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning
测量参数高效微调的容量：适配器到底写了多少比特？
🧭 PEFT 记忆容量与隐私泄露
Carnegie Mellon University · Columbia University
通过压缩方法直接测量 LoRA 适配器的记忆容量，揭示容量取决于插入位置和基座结构，SFT 会记忆秘密而 RL 不会。
📌 工作参考价值
- 适配器放置位置的选择：同一参数预算下，插入 MLP 的适配器存储的比特数约为注意力的两倍。在需要保护隐私的场景（如联邦学习、模型市场），将有泄露风险的适配器放在注意力模块可主动降低其存储容量。
- 隐私风险评估工具：论文提供了可复用的测量方法，能在训练前估算适配器的容量，并与待训练数据集的比特信息量对比，提前判断是否落入“全量记忆”区间，无需事后攻击。
- 强化学习优于监督微调：在必须共享模型但训练数据敏感时，用 GRPO 等可验证奖励的强化学习方法替代 SFT，几乎不记忆训练数据，特别适合 Agent 或推荐系统的用户交互训练。
- 参数数量 ≠ 隐私风险：适配器的泄露风险更多与写入的比特数相关，而非参数总量，因此监控模型存储的比特数比单纯限制秩更有效。
动机
LoRA 适配器体积小（几 MB），被默认认为只携带技能而非训练数据，这导致其广泛共享时隐私风险被忽视。此前测量记忆的方法多依赖事后攻击，无法事前给出容量上限。本文首次将基于压缩的记忆测量扩展到冻结基座的适配器上，直接以比特为单位量化其能写入多少信息。
方法关键点
- 压缩记忆定义：训练后的模型若能比参考模型用更少比特编码某个序列，其差额即为记忆量。通过在均匀随机序列上训练（完全不可预测），每个比特的节省都代表纯记忆。
- 三组量化指标：
memU：在随机序列上测量的原始记忆容量（比特数）。CL(Δθ)：适配器权重本身的编码长度，代表共享文件传递的信息。W(D)/∆W：通过最终策略似然计算的“行为写入比特”，可对比 SFT 和 RL。
- 校准与边界：采用固定优化预算（16000 步）和学习率扫描，取记忆平台作为下界；使用 GPT 风格的小型解码器（2M/8M 参数）及 Qwen2.5-0.5B 验证。
关键结果
- 容量读数：LoRA 适配器每可训练参数存储约 1.7–2.8 比特，远低于全模型微调的 ≈3.6 比特；但绝对容量仍可达数百 KB～数 MB，足以装入整个微调语料。
- 容量不由参数数量决定：固定参数预算 ≈37K 时，仅更改放置位置（注意力、MLP 或全模块），每参数容量从 1.30 到 2.43 比特不等，MLP 存储量接近注意力两倍。精度影响极小（bf16/fp16 几乎无损）。
- 基座结构是关键：同一适配器在 WikiText 预训练基座上达到 98% 记忆率，在随机初始化基座上仅 29%。
- 隐私泄露跟踪比特数：在 Qwen2.5-0.5B 上植入秘密，提取风险随适配器写入的比特数上升，而非参数数量；成员推断在实验尺度上无区分力。
- SFT 与 GRPO 对比：在同等准确率下，SFT 适配器携带数百比特多余信息并完整记忆秘密，而 GRPO 的写入比特接近零，植入的秘密暴露接近随机水平。
核心结论：适配器是一个可量化的数据容器而非纯技能补丁，其写入内容可通过比特数事前衡量，而强化学习是抑制记忆的有力手段。