#Pre-training

7 篇

Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency

专家学习更快：预训练知识组织塑造更新效率

🧭 预训练数据组织与知识更新效率

University of Rochester

发现按时间顺序预训练得到的专家模型获取新知识所需更新步数远少于随机顺序训练的通才模型，并提出可预测的预训练数据组织策略

📌 工作参考价值（3 点）

对于需要频繁更新知识的场景（新品冷启、新类目/实体词、实时政策词），可以尝试将近期数据按时间顺序组织进行增量预训练或微调，获得“专家”特性，使后续通过 LoRA、模型编辑等方法更新时收敛更快、所需样本更少。
为防止对历史知识灾难性遗忘，采用“近期时间顺序数据 + 少量历史重放/锚定样本”的混合组织策略；论文给出的策略在保留稳定历史知识的同时增强当前知识更新效率，可作为推荐/排序模型持续学习中的样本回放设计参考。
知识更新成本可通过优化动力学预测，实践中可建立小规模探针实验，评估不同数据排序（时间、类目、热度等）对后续更新效率的影响，选择适合业务的数据组织方式，而不是默认随机 shuffle。

Training | 2026-10-09 | cs.LG | score 7/10

PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking

PreGress：面向图节点排序的排序原生预训练与提示框架

🧭 图节点排序 · 预训练与提示微调 ★ 深度解读

The Chinese University of Hong Kong, Shenzhen · Huawei Technologies Co., Ltd.

首个排序原生的图预训练+提示微调框架，通过度中心性与属性重建预训练，配合任务特定提示，统一支持多种节点排序准则

📌 工作参考价值（4 点）

图构建与预训练复用：对用户-物品交互图，用度中心性作为自监督目标预训练节点表示，无需人工标注，训练一次后通过轻量提示适应不同排序准则（如 PageRank、子图计数），大幅降低下游任务训练成本。
Ego 网络避免过平滑：抽取 k-hop ego 网络并采用子图 GNN 作为骨干，限制消息传递范围，有效避免深层堆叠带来的节点表示坍缩，适合需要精细区分的推荐排序场景。
提示模块设计：对无结构输入（如中心性预测）使用可学习向量；对有结构输入（如模式图匹配）使用轻量 GNN 生成提示，并通过 Soft CCA 正则对齐分布。可参照此思路在推荐系统里用提示注入多模态信息或业务规则。
排序导向的损失设计：预训练中结合 MSE 回归与 listwise KL 正则，显式建模排序一致性，比仅用点损失更符合 top-K 推荐目标，可直接移植到排序模型的预训练阶段。

RecSys | 2026-08-10 | cs.IR | score 8/10

Graph Neural Networks Node Ranking Pre-training Prompt Tuning Subgraph Neural Networks Ranking Loss

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

UltraX: 大规模自适应程序化编辑精炼预训练数据

🧭 预训练数据精炼 · 程序化编辑

Peking University · ModelBest Inc. · Tsinghua University · Shanghai Jiao Tong University

提出函数调用式程序编辑框架，以插入/删除/修改实现细粒度数据精炼，提升预训练数据效率与质量

📌 工作参考价值（4 点）

可将数据清洗定义为插入、删除、修改的程序操作，用小型模型（0.6B）学习执行，在推荐系统的大规模预训练语料上实现快速、高质量的精炼，比纯规则或LLM方法更平衡效率与效果。
构造监督数据的方法（专家LLM生成精炼文本 → 行对齐 → 编辑操作序列）可直接迁移到商品描述优化、搜索词纠错等业务场景，低成本获取结构化编辑信号。
滑动窗口预测与全局操作聚合的推理策略增强了长序列编辑的稳定性，可用于推荐系统中超长行为序列的规范化处理。
低置信度过滤与基于操作组合的比例采样，可借鉴用于提升推荐模型微调的数据质量与训练分布稳定性。

Training | 2026-07-09 | cs.CL | score 7/10

Data Refinement Programmatic Editing Pre-training Function Calling Data Quality

HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

HERMES：面向预训练数据混合的多粒度分层标注基板

🧭 预训练数据混合 · 多粒度标签

Wizard Quant · Peking University · University of Science and Technology of China

提出一种基于残差矢量量化的多粒度数据标注框架，使预训练数据混合从固定标签转变为可重用粒度层次导航。

📌 工作参考价值（4 点）

在电商推荐模型训练中，可借鉴 HERMES 的语义嵌入 + 残差矢量量化构建商品或用户行为的多粒度类别体系，替代固定的 taxonomy，实现 training data mixture 的动态粒度调节。
实验中发现的“粗粒度下等比例覆盖 + 质量前 30% 混合规则有效，细粒度下因候选池收缩而失效”现象，提示在推荐数据采样时需根据当前粒度调整采样策略，避免直接在极细粒度下套用同一种比例规则。
该层次标签基板可复用于推荐模型的预训练、微调或持续训练阶段，作为 data loader 的输入，按不同前缀长度控制样本分布，探索多任务能力 Lift。
工程实现上，3 阶段 RVQ 编码开销可控，可离线一次性为全量数据集标注，后续只需通过前缀截断切换粒度，适合工业级海量数据场景。

Training | 2026-07-02 | cs.CL | score 7/10

Data Mixing Pre-training Hierarchical Clustering Vector Quantization Label System Granularity Control

Understanding Data Temporality Impact on Large Language Models Pre-training

探究数据时序性对大语言模型预训练的影响

🧭 时序数据预训练优化

Kyutai, Paris

通过预训练6B模型发现，按时序排列数据训练能显著提升模型的时间知识准确性，且不影响通用能力。

📌 工作参考价值（4 点）

时序数据组织：在电商搜索或推荐模型的持续预训练中，可将商品语料按发布时间排序，使模型隐式学习时间对齐的知识，提升对新品、季节性趋势的捕获能力，避免依赖频繁的增量微调。
评价协议设计：可借鉴提出时间敏感问答基准的思路，构建电商领域的时间相关评测集（例如“2023年夏季流行款式”对应正确季节），用于检测推荐系统或Agent的时间感知准确性。
训练效率权衡：实验表明按时序训练与普通打乱训练相比，在通用理解任务上表现相当，但知识保鲜度更高。对于需要低成本保持知识新鲜的业务，可直接采用时序预训练，无需额外的中期继续训练阶段。
负面发现启示：打乱顺序训练会让模型更擅长记忆旧数据，可能因为重复事实更多；在构建电商语料时，若希望模型更关注近期数据，应避免过度打乱，或结合时间加权采样。

Training | 2026-05-21 | cs.CL | score 6/10

Data Ordering Temporal Knowledge Pre-training Benchmark Factual Freshness Continual Learning

TFGN: Task-Free, Replay-Free Continual Pre-Training Without Catastrophic Forgetting at LLM Scale

TFGN：无需任务标签与回放的LLM级持续预训练架构

🧭 Training ★ 深度解读

Independent Researcher

提出一种内部架构叠加层TFGN，在无回放、无任务ID的条件下，实现LLaMA 3.1 8B等多尺度的近零灾难性遗忘与>99.59%的梯度正交性

Training | 2026-05-14 | cs.LG | score 10/10

Continual Learning Catastrophic Forgetting LLM Pre-training Gradient Orthogonality Backward Transfer

Long Context Pre-Training with Lighthouse Attention

灯塔注意力：长上下文预训练的高效对称分层注意力方法

🧭 Training ★ 深度解读

Nous Research

对称池化Q/K/V并解耦选择的层次化注意力，训练长上下文时大幅加速且可无损恢复为密集模型

Training | 2026-05-06 | HF Daily | score 10/10

Long Context Sparse Attention Hierarchical Attention Pre-training FlashAttention