UltraBERT: Beyond the Limit of BERT Pre-Training
UltraBERT: 突破 BERT 预训练性能极限
🧭 双向编码器预训练优化
Korea University · AIGEN Sciences · Amazon
提出双头掩码率预训练策略，首次同时达到分类与检索 SOTA
📌 工作参考价值（4 点）
- 在电商搜索/推荐中，文本编码器常用于 query 理解、商品标题分类、相关性计算。可借鉴双头策略：一个 encoder 同时输出分类友好的低掩码率表示和检索友好的高掩码率表示，用不同 LM head 解耦任务冲突，避免多模型部署成本。
- 预训练算力投入有边际递减：超过几万亿 token 后 encoder 在下游任务饱和，业务侧做 domain-adaptive pretraining 时不必盲目扩大数据，应把资源转向任务适配或蒸馏。
- 蒸馏和剪枝要谨慎与掩码率搭配：低掩码率下蒸馏可提升分类但高掩码率下损害检索；如果业务中既要分类又要检索，蒸馏目标应只绑定低掩码率分支，避免损害检索表征。
- 实现上，可在同一个 batch 内混入不同掩码率样本，共用 backbone，减少工程复杂度。