SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates
SubZero+：基于大学习率的高效零阶 LLM 微调
🧭 零阶优化 · 低秩子空间微调 ★ 深度解读
Beijing Normal University · Singapore Management University · Xiaomi Inc. · Beijing Key Laboratory of Artificial Intelligence for Education · Engineering Research Center of Intelligent Technology and Educational Application (MOE)
在低秩子空间内多查询梯度估计+低秩Adam+Haar符号校正，让零阶微调能使用大学习率并稳定提升性能
📌 工作参考价值（3 点）
- 在显存受限的 LLM 微调/适配任务中（如 24GB 卡微调 8B 模型、边缘端私有化部署），可直接借鉴 SubZero+ 的“低秩子空间内多查询 ZO”方案：每步 K+1 次前向，无反向传播，显存接近推理；在相同前向预算下，K=50-100 可显著提高稳定性和准确率。适合 query 生成、文案生成等轻量生成任务的快速适配。
- 若业务里已有 LoRA 等低秩适配模块，可将优化器换成“子空间 Adam”：在低秩参数上维护 r×r 的一阶/二阶矩，按元素自适应步长，几乎不增加显存，但能扩大可用学习率范围、减少调参成本。对广告标题生成、搜索词推荐等多场景快速迭代尤其有用。
- 实现注意：用 QR 分解生成随机投影矩阵时，务必对 Q 按 R 对角元素做 sign correction，否则投影矩阵不是 Haar 分布，会导致方向性偏差，影响优化稳定性。该工程细节可落地到任何使用随机子空间/扰动的算法中（如差分隐私、对抗训练、ZO 超参搜索）。