Normalized Low-Rank Adaptation
归一化低秩适配
🧭 训练优化 · LoRA 归一化
Yuanshi Intelligence · Microsoft Research · The Chinese University of Hong Kong · Shenzhen Loop Area Institute
NoRA 通过归一化 LoRA 下投影矩阵改善训练动态，无需额外参数或推理开销，加速收敛并缓解遗忘
📌 工作参考价值（4 点）
- 在电商/广告场景用 LoRA 微调 LLM 做排序、召回或 query 改写时，可直接采用 NoRA 或仅初始归一化版本，几乎零成本提升训练稳定性和收敛速度，不增加推理延迟。
- 对 RL 微调或持续预训练中的灾难性遗忘问题，归一化下投影矩阵可作为轻量正则手段，适合多任务/多领域顺序微调的推荐 Agent 底座模型。
- 若使用 LoRA 微调生成式推荐模型或 Semantic ID 解码器，可尝试对下投影矩阵做初始化缩放或范数约束，改善低秩子空间的早期优化，进而影响 ID 嵌入质量。
- 工程实现上只需在 LoRA 插入点对 A 矩阵加一行归一化或初始化缩放，改动极小，适合快速在现有 PEFT 管线中 A/B 验证。