#pre-training

4 篇

UltraBERT: Beyond the Limit of BERT Pre-Training

UltraBERT: 突破 BERT 预训练性能极限

🧭 双向编码器预训练优化

Korea University · AIGEN Sciences · Amazon

提出双头掩码率预训练策略，首次同时达到分类与检索 SOTA

📌 工作参考价值（4 点）

在电商搜索/推荐中，文本编码器常用于 query 理解、商品标题分类、相关性计算。可借鉴双头策略：一个 encoder 同时输出分类友好的低掩码率表示和检索友好的高掩码率表示，用不同 LM head 解耦任务冲突，避免多模型部署成本。
预训练算力投入有边际递减：超过几万亿 token 后 encoder 在下游任务饱和，业务侧做 domain-adaptive pretraining 时不必盲目扩大数据，应把资源转向任务适配或蒸馏。
蒸馏和剪枝要谨慎与掩码率搭配：低掩码率下蒸馏可提升分类但高掩码率下损害检索；如果业务中既要分类又要检索，蒸馏目标应只绑定低掩码率分支，避免损害检索表征。
实现上，可在同一个 batch 内混入不同掩码率样本，共用 backbone，减少工程复杂度。

Training | 2026-10-09 | HF Daily | score 7/10

大型语言模型基础：预训练、生成、提示、对齐与推理

🧭 LLM 基础理论与技术体系

Northeastern University · NiuTrans Research

系统梳理LLM预训练、生成建模、提示、对齐、推断与推理六大基础主题的技术参考书

📌 工作参考价值（4 点）

对齐章节可指导生成式推荐中的偏好优化：将点击/转化作为偏好信号，用 RLHF/DPO 类方法微调 LLM，避免纯 SFT 导致推荐结果多样性差。
推理章节中 CoT/self-consistency 可迁移到电商 Agent 的查询理解与任务规划：对复杂购物意图引入结构化推理轨迹，提升 query 拆解与商品召回准确率。
预训练与生成模型基础解释了 Semantic ID 建模本质：把 item 表示成 token 序列并用 LLM 生成 next token，可复用书中的解码策略（温度、top-k/top-p）和训练技巧。
工程部署时可参考推理章节的 KV cache、批处理与量化基础，对线上低延迟生成式推荐与导购 Agent 有直接帮助。

LLM | 2026-10-07 | HF Daily | score 7/10

自适应局部关系对齐：自回归语言模型预训练蒸馏的 logit 方法

🧭 知识蒸馏训练优化

VJ Technologies · AJ Technologies · Vietnam National University · University of Information Technology

ALRA 结合学生提议与教师锚点，自适应局部对齐改进 logit 蒸馏，提升预训练学生模型零样本性能

📌 工作参考价值（4 点）

在生成式推荐（如 Semantic ID、商品标题生成）的蒸馏中，可借鉴 ALRA 的候选 token 选择策略：让学生提出高概率 token，同时将教师的 top1 token 作为锚点加入，避免只用教师或学生导致候选集偏差，尤其适合训练早期学生排序不准确的场景。
Adaptive Local Divergence 用单位系数替代教师质量系数，防止低概率但语义重要的 token 区域被忽略；这可以迁移到电商长尾商品或 query 的蒸馏，保护稀有但相关的 token 信号不被全局分布淹没。
Student-Weighted Pairwise Relational Alignment 强调学生概率差小但教师偏好的 token 对，可用于校准推荐生成中 top-k 的局部排序，提升生成结果的多样性与准确性。
位置特定且 batch 自适应的 token 数量选择，减少了手工设定 top-k 的超参负担，适合在线学习或增量更新场景，能动态适应数据分布变化。

Training | 2026-09-03 | stat.ML | score 7/10

FastMix：梯度下降实现快速数据混合优化

🧭 训练数据配比优化 · 梯度下降 ★ 深度解读

University of Hong Kong · Tencent Hunyuan LLM · Chinese University of Hong Kong

将数据混合比例重新参数化为可微损失权重，实现单代理模型高效联合优化

📌 工作参考价值（4 点）

推荐模型训练中常需对不同行为（点击、加购、购买）或不同频道的数据做采样配比，FastMix 提供了一种单模型、梯度驱动的自动搜索方案，替代手动调参或耗时的网格搜索。
关键 trick：将采样概率重参数化为损失权重，使混合系数完全可微，可用 SGD/Adam 直接优化，仅需一个代理模型即可完成搜索，计算成本降低数百倍。
为避免过拟合到验证集，可借鉴其熵正则 + 训练损失辅助目标的策略，提升上线后的泛化能力；工业场景可进一步用上采样率上限替代纯正则。
代理模型不宜太小（如 <0.5B），建议采用与原模型同架构但参数减半的版本；若预训练与微调序列长度不匹配，可通过拼接 SFT 序列对齐长度，避免梯度失真。

Training | 2026-06-11 | HF Daily | score 8/10