AI Papers Daily

#regularization

3 篇

Generalization behavior of OPTQ and the role of regularization

OPTQ 的泛化行为与正则化作用

🧭 模型量化泛化理论

University of California, San Diego

为 OPTQ 及其随机变体建立泛化误差上界，并提出更优的正则化参数选择

📌 工作参考价值（4 点）

• 在做 LLM 部署量化（如推荐系统的排序大模型、Agent 规划模型做 INT4/INT8 量化）时，OPTQ 校准集的正则项 λ 不要沿用默认值，可参考文中理论选择方式，可能显著降低线上量化误差。
• 若业务场景数据分布随时间漂移（电商大促、季节性变化），可考虑 stochastic OPTQ 这类随机化量化，其泛化误差界不依赖特定校准集，对分布鲁棒性更强。
• 论文提供量化误差与校准集大小、分布匹配的理论关系，可用于指导校准集构建：尽量保证校准集与线上分布同源、样本量足够，避免离线效果好但线上掉点。
• 总体学术性较强，除上述适用点外，大部分理论结果难以直接落地；业务团队可关注其 λ 选择建议或对量化工具的超参数默认值做调整实验。

Other | 2026-09-25 | cs.LG | score 6/10

OPTQquantizationgeneralizationregularizationstochastic OPTQ

SLORR: Simple and Efficient In-Training Low-Rank Regularization

SLORR：简单高效的低秩正则化框架，实现训练中压缩友好

🧭 训练时低秩正则化压缩

Max Planck Institute for Intelligent Systems · University of Tübingen · ELLIS Institute Tübingen · Tübingen AI Center

在训练中施加低秩正则化，使模型压缩后更易保持性能，训练开销极低

📌 工作参考价值（4 点）

• 推荐模型训练时加入低秩正则化，可提升后续低秩分解压缩的质量，减小推理开销，且不改变模型结构，易于在现有Pipeline中插入。
• 使用Hoyer近似或核范数近似，避免直接计算SVD，计算开销低（LLM训练中<1%），适合大规模推荐模型或Agent模型的训练。
• 对于基于LLM的生成式推荐（GenRec），在预训练阶段施加SLORR，后续压缩时能更好保留语义ID生成质量。
• 无状态、架构不变的设计，可将其作为插件添加到现有训练流程，用于任何权重矩阵的低秩偏好学习。

Training | 2026-07-09 | cs.LG | score 7/10

low-rankregularizationcompressionHoyernuclear normtraining efficiency

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

解密数据受限下语言模型预训练的训练时数据增强

🧭 训练时增强 · 多轮训练正则化

UC San Diego · RMIT University · Bloomberg AI

系统研究三类训练时增强（token噪声、序列置换、目标偏移）缓解自回归模型在多轮数据训练时的严重过拟合

📌 工作参考价值（4 点）

• 当训练数据有限需反复遍历（如用户行为序列）时，可在自回归下一行为预测中引入随机 token 替换或 masking 作为增强，延迟过拟合，降低验证损失。
• 组合多种增强类别（如随机替换 + 序列逆序 + 偏移预测）能进一步降低最小验证 loss，可作为通用训练 trick 加入推荐模型的预训练或微调流程。
• 目标偏移预测（预测未来第 k 个 token）可迁移到用户长序列建模中，强制模型学习更长期的依赖，减轻短视过拟合。
• 该方法实现简单，不改变模型结构，适合在现有自回归推荐（如 SASRec 类）或 LLM-based 生成式推荐中快速实验。

Training | 2026-06-18 | HF Daily | score 7/10

data augmentationpretrainingoverfittingdata-constrainedautoregressiveregularization