ARLoop：带注意力残差的完全开源预训练循环 Transformer
🧭 高效 LLM 预训练 · 循环 Transformer ★ 深度解读
The Ohio State University · Saarland University
提出 ARLoop，用滑动窗口深度注意力改进循环 Transformer，1.2B/0.5T 模型超过 Huginn-3.5B 并接近 Qwen3.5-2B
📌 工作参考价值（4 点）
- 循环 Transformer 是低成本 LLM 基座的可选路线：如果你的业务要用 LLM 做 Agent/生成式推荐，但 GPU 预算有限，ARLoop 这种「共享层 + 多次 recurrence」的架构可以显著降低参数量，同时保留较深的有效计算图；尤其数学/代码类推理任务收益明显。
- 滑动窗口深度注意力是可直接复用的 trick：在循环结构中，每个子层只用 embedding + 最近 3 个 residual block 做深度注意力，比全量历史更省显存/带宽，吞吐损失约 10%，但效果不降反升；这适合你自研深层共享模型时直接套用。
- 固定 recurrence 训练，推理时不要超过训练最大值：论文发现动态 recurrence 不如固定值；推理时 recurrences 超过训练最大值也无法继续涨点。线上 serving 时可以把最大 recurrences 固定到训练值，避免无效计算。
- Value residuals 对深层循环模型稳定性很重要：尤其搭配 Sandwich Norm 时，没有 value residuals 会出现表示坍塌、训练失败；如果你自己训练很深的共享层模型，可以加入 gated token embedding 注入来稳定训练。
ID2Pattern：为交易风险基础模型预训练可泛化身份行为模式
🧭 身份行为模式预训练 · 交易风控/电商 ★ 深度解读
Ant International · East China Normal University
用 LAID 匿名 ID 编码与多尺度 VQ pattern codebook，从高基数身份序列中提取可泛化行为模式，提升风险/电商预测。
📌 工作参考价值（4 点）
- 高基数 ID 不要用 hash/ID embedding，用 LAID 匿名编码：将 user/device/card/item 等 ID 映射为局部 ID、novelty、occurrence、recurrence 四通道；词表固定、不受 ID 新增影响，且对 ID 值置换不变。适合冷启动、跨域迁移以及线上推理速度（比 hash 更快，参数不随 ID 增长）。
- 用多尺度 VQ pattern codebook 做无监督预训练：在 short/medium/long 三个时间窗口各自量化成离散 behavior pattern，通过 masked identity-state recovery 学共享码本；离散 pattern 比连续表示更稳，可跨数据集 transfer，甚至略优于 in-domain 预训练。
- 可迁移到电商/广告序列建模：淘宝/RetailRocket/Synerise 上的结果表明，短期 window 捕捉 repeated revisit（转化意图），长期 window 捕捉 novelty（风险/偏好变化）；可以把用户行为序列中 ID 的高基数问题与语义特征解耦，作为 plug-in 加到 GRU/LSTM/Transformer/Mamba 骨干。
- 工程实现上，LAID 计算只需 window 内等值比较，无需全局映射：单次 pass O(#fields * sum L_s)；pattern token 仅给 backbone 增加 3 个 token，复杂度可控。适合高 QPS 在线支付/推荐场景。
Accordion：通过固定前缀层循环实现弹性深度推理
🧭 LLM 弹性深度推理 · 固定前缀层循环 ★ 深度解读
Tsinghua University · Baidu Inc.
一个 MoE 模型通过固定前缀层循环支持五个推理预算，中间预算以约 21-24% 额外时间捕获 89% 深度增益
📌 工作参考价值（4 点）
- 需要线上不同 latency/cost 档位时，可训练一个模型支持多个推理预算，通过固定前缀层循环共享权重，避免维护多个模型；推理时按请求选择预算，FLOPs 和 KV cache 线性扩展。
- 训练时每个 micro-batch 均匀采样一个预算路径，只优化该路径 NTP，无需跨预算一致性损失；第二遍用 zero-initialized tanh gates，初始为恒等映射，训练稳定。预算无关参数优于 budget-conditioned 参数。
- 多领域能力整合可采用参数组加权合并专家，再做 budget-matched 多教师在线蒸馏（MOPD），能保留各预算增益并提升整体指令遵循，适合搜索推荐中的 Agent 多任务模型合并。
- 资源敏感场景优先选中间预算（如 k=6）：以约 21-24% 额外 TPOT 捕获约 89% 深度增益，推荐系统在线服务可按此设计弹性档位。
复制粘贴语言模型
🧭 LLM 预训练 · 上下文复制机制
Cornell University
在 LM 头旁增加轻量 Copy-Paste 头显式建模上下文复制，提升训练效率与下游表现
📌 工作参考价值（4 点）
- 商品名/品牌词/SKU/Query 需要精确复现：在微调或继续预训练时，可在 LM head 旁加一个 pointer/copy 分支，从输入序列直接复制 token，降低改写错误与幻觉。
- RAG / 长上下文用户行为建模：模型常需从知识库或历史序列中复现实体，CPLM 思路可帮助提升长程复制准确率；可对现有 LLM 做轻量适配，不必重训 backbone。
- Agent 工具调用：API 名、参数、ID 等必须逐字复制，copy head 能增强此类能力；建议在工具选择评测中对比标准 LM head 与 copy 分支。
- 实际成本：增加头参数极少，推理可结合 KV cache 实现高效复制计算，适合对延迟敏感的生产环境。
分布鲁棒的混合专家训练
🧭 MoE训练 · 分布鲁棒优化 ★ 深度解读
New York University
提出DRMoET，将MoE专家作为内生DRO组，动态加权高损失路由结果，提升路由鲁棒性和下游性能
📌 工作参考价值（4 点）
- 在电商/广告的大规模MoE推荐模型中，可在现有负载均衡之外引入DRMoET式的专家级损失加权：用EMA平滑的激活加权损失动态调整每个专家的训练权重，无需修改前向路由，即可提升非热门专家在流量波动或分布偏移时的表现，降低线上指标抖动。
- 将「内生组DRO」思想迁移到多任务学习或用户分群：不依赖预定义分组，而是根据模型当前的路由/分配结果动态识别高损失子群，进行针对性加权，比固定分组更适应数据分布变化。
- 工程实现上，该方法只需维护每层专家数的EMA状态和权重（O(LE)标量），计算开销可忽略，且权重detach避免干扰主损失；可低成本部署到现有训练框架，作为对load-balancing的补充。
- 用forced misrouting probe（强制选择中位专家）评估模型对非最优路由的鲁棒性，可作为线上路由策略变更前的离线诊断工具。
零数据自博弈预训练
🧭 自博弈合成数据预训练
Independent Researcher · Tel Aviv University · Stanford University · LAPTh, USMB
自博弈零数据预训练用生成器-学习器对训，以图灵机程序生成数据，零样本损失随算力可预测缩放
📌 工作参考价值（4 点）
- 自博弈课程生成器-学习器架构可迁移到搜索/推荐中的难例挖掘：让 query 或候选生成器专门产出当前排序/召回模型易错的边界样本，替代固定人工负样本或模板，训练目标随模型能力动态调整。
- 双模型分离（生成器 RL + 学习器 CE）比单一模型自生成训练更稳定，适合生成式推荐中的 Semantic ID 或 query 改写：生成器负责探索新 token 组合，学习器只做密度估计。
- “用算力换人类知识”的思路对数据稀缺场景有参考价值：如果领域内可定义可执行的结构化生成器（如商品标题语法、用户行为序列模拟器），可先小规模验证合成数据的零样本收益是否随算力可预测。
- 注意通用图灵机搜索空间过大，直接工业落地成本高；业务上需把程序空间约束为领域特定 DSL 或模板，否则大量算力浪费在无效结构上。
Graph Machine：边驱动的稀疏动态路由预训练
🧭 稀疏动态路由预训练架构
IterLabs
以可微指针边实现 O(n) 状态 + O(1) 稀疏动态路由，替换 Qwen3-0.6B 75% 层后检索 2-4 个 token 即保持或改善 loss
📌 工作参考价值（4 点）
- 电商推荐中的用户行为序列常达数千甚至更长，可借鉴 GM 的 O(n) 状态 + O(1) 动态稀疏访问思想：用可学习的边/指针替代固定窗口或全局 attention，在序列建模中同时保留长程状态并控制计算与 KV cache 成本。
- 对 Agent 或多轮对话场景，referral mechanism 可看作一种可微的记忆寻址：比固定 top-k 的 RAG 检索更灵活，可以尝试在召回或知识引用模块中引入类似 pointer chasing 的更新，让模型自己学该引用哪些历史状态。
- 工程上，GM 稀疏层每个 KV head 只取 2-4 个 token 即能保持 loss，意味着在线推理时可大幅减少 KV cache 读写和 attention 计算；在推荐模型做长序列或全生命周期建模时，这可能直接降低延迟和显存。
- 注意这是通用 LLM 预训练工作，迁移到电商推荐或搜索需在领域数据上验证混合比例（论文为 75% 稀疏层）、检索 token 数和边更新频率对 CTR/CVR 等业务指标的影响。
推导 OpenEuroLLM 模型的缩放定律：学习率、批量大小与损失
🧭 LLM 预训练超参缩放定律
ELLIS Institute Tübingen · Eindhoven University of Technology · Georgia Institute of Technology · University of Freiburg · Jülich Supercomputing Center (JSC)
系统研究 LLM 预训练中学习率与 batch size 的联合最优缩放及边际演化，并刻画损失对模型容量和数据规模的依赖
📌 工作参考价值（4 点）
- 在业务微调或预训练领域大模型时，先做小规模超参扫描，再用拟合的缩放关系外推到大模型：避免在全尺寸模型上重复扫描 learning rate 和 batch size，节省算力；尤其适合电商 search/推荐语料上训练 Query 生成、意图识别或商品描述生成模型。
- 采用 Warmup-Stable-Decay 三段式 schedule 时，关注 stable 与 decay 阶段最优超参是否可迁移：如果发现最优 lr/bs 不迁移，需要在 decay 阶段单独调参；这对追求最终 loss 最优的领域模型训练有直接指导意义。
- 用显式建模模型容量与数据规模交互的 scaling forms 判断欠训练/过训练：在有限数据预算（如电商垂直域语料）和模型规模约束下，预估增加数据或参数带来的 loss 收益，辅助资源分配决策。
- 开源全部预训练 runs 可直接复用为 baseline 或 warm start：若企业计划从零预训练多语言/英语为主的电商领域 LLM，可参考其 scaling 流程与超参选择，减少摸索成本。
预训练跨视图可重用推理与合成任务先验
🧭 多视图推理预训练 · 合成任务先验
Zhejiang University · Hong Kong Baptist University
用合成任务先验预训练多视图推理过程，冻结或轻量 adapter 即可跨任务复用
📌 工作参考价值（3 点）
- 多视图/多模态推荐中，不同视图（用户行为、物品文本、图片、知识图谱）的融合策略通常每个任务重训；可借鉴把“视图融合推理”本身做成可迁移过程，在新任务上仅用少量 support 样本（few-shot）条件化预测，大幅减少训练成本。
- 合成任务先验的构建方式可迁移：在 embedding 空间生成多样化的 support-query episodes，模拟视图缺失、噪声、跨视图依赖、分布偏移等，用于预训练鲁棒的多视图融合 backbone；电商场景中特征缺失、新场景冷启动频繁，可通过此类可控生成器增强模型泛化。
- In-context learning 思路适合线上快速适配新活动或新类目：无需梯度更新，仅通过 few-shot labeled support 即可进行推理；结合轻量 adapter 做任务特定校准，兼顾通用性与专用性，可参考共享 backbone + 轻量 adapter 的多任务架构。
合成角色预训练：从零 token 开始对齐
🧭 LLM 对齐 · 预训练阶段 persona 注入
EPFL · MATS · University of Toronto · Northeastern University · SJTU
在预训练阶段注入合成角色反思，从 token zero 安装助手人格，提升对齐与鲁棒性
📌 工作参考价值（4 点）
- 若业务中有基于 LLM 的导购助手或 Agent，可在领域继续预训练阶段混入带品牌语调/平台规范的第一人称反思数据，让模型早期建立期望 persona，减少后期 RLHF/SFT 对齐成本。
- 借鉴 persona binding 思路：在通用预训练后，用少量用户-助手对话数据将预训练安装的 persona 绑定到特定助手身份，可能提升业务场景下响应一致性。
- 实验结果提示早期干预优于后期微调，且优势随预训练数据量增加而扩大；若预算允许，应尽早注入领域价值观而非仅靠后训练微调。
- 注意该方法主要针对通用对齐，电商搜索推荐中的直接迁移价值有限，需自行构造领域反射数据并验证对推荐指标无损害。
改进的大语言扩散模型
🧭 大语言模型扩散训练与推理优化
Renmin University of China · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE · ByteDance Seed
8B 全双向掩码扩散语言模型从零预训练 12T tokens，大幅超越 LLaDA 并与自回归模型竞争
📌 工作参考价值（4 点）
- 生成式推荐场景可尝试用扩散模型替代自回归生成，尤其适合需要高吞吐、非自回归解码的物品标题、描述或语义 ID 生成。
- 全双向注意力在用户序列建模、查询改写等需要全局上下文的推荐任务中可能提升效果。
- 掩码扩散训练与变长生成技术可应用于对话式推荐响应生成，平衡效率与多样性。
- 置信度评分为推荐候选集排序提供新思路，如计算 item 置信度辅助精排。
Sumi：从头预训练的开源7B均匀扩散语言模型
🧭 均匀扩散语言模型预训练
Tohoku University
首个从头预训练的大规模均匀扩散语言模型，在知识、推理、编码上与同规模自回归模型竞争，常识略弱
📌 工作参考价值（4 点）
- 扩散生成允许任意位置并行更新，可用于搜索/推荐中的 query 改写、item 描述生成，利用温度调控多样性；微调时可将扩散步数作为可控 knob，平衡质量与延迟。
- 在 Agent 场景中，均匀扩散的迭代修订特性适合生成多步推理或计划，支持中途修正输出，相比自回归更灵活。
- 教育数据偏重导致常识弱，启示我们在推荐领域微调时需注入大量领域交易日志、用户评论等语料，避免常识缺失影响自然度。
- 开源训练配方和完整数据混合说明，可直接复现或调整配比，构建面向电商/广告的垂直 LLM 基座。
从有机数据生成预训练 tokens 以突破数据墙
🧭 数据受限下合成数据生成 ★ 深度解读
Language Technologies Institute, Carnegie Mellon University · Xlue
SYNPRO 通过忠实且模型感知的合成数据生成，让 LLM 从有限有机数据中榨取更多有效 token，实现最高 5.2 倍重复训练的效率提升。
📌 工作参考价值（4 点）
- 用 faithfulness 奖励约束合成数据的分布一致性：在电商推荐场景中，对用户行为序列（如点击流）做 rephrase 或 reformat 生成训练样本时，必须强制生成内容忠于原始序列，避免引入幻觉或知识蒸馏，否则会导致分布坍缩，损害长期效果。
- 模型感知的数据生成：借鉴 SYNPRO 的数据影响奖励，在 Agent 多智体训练或生成式推荐中，可以动态评估当前模型在哪些样本上损失下降较大，引导数据生成器朝着模型当前不擅长的内容倾斜，类似在线课程学习，持续突破性能瓶颈。
- 数据操作组合：rephrase + reformat：Reformat 将源数据转化为 QA、对比分析、推理链条等任务形式，可迁移至电商搜索、推荐解释生成等场景；将用户序列或商品描述重新格式化为结构化常识推理段落，能帮助模型学到更深层的语义关联。
- 多轮迭代合成与累积合并：工作证实将历次生成的数据一起混合训练比只用最新一批更有效，工程实现上可以建立合成数据池，配合模型 checkpoint 迭代扩增，最大化有限原始数据的价值。