多Token预测与替代分词改进大规模隐式多跳图搜索学习
🧭 多Token预测与分词改进多跳推理学习
University of Toronto · Vector Institute · Manulife Applied AI Research · Dalhousie University
用多token预测和替代分词突破LLM学习隐式多跳图搜索的规模墙，实现稳定训练
📌 工作参考价值（4 点）
- MTP 可作为辅助训练目标加入生成式推荐/Query 改写模型：若任务需要隐式多步推理（如从用户意图推导 query、从 query 推导商品路径），同时预测未来多个 token 或路径节点，能强化模型对中间步骤的规划能力。
- 分词策略对结构化生成任务影响显著：将图路径、商品序列或意图链按更合适的语义单元编码（如子路径、节点对、结构化 token）替代逐节点编码，可降低序列长度、改善学习稳定性，在电商路径生成中值得单独调优。
- 训练信号与分词是两个正交因素，可以独立迭代；工程实现上可先在现有生成式推荐模型上分别尝试 MTP 和调整 item/path tokenization，无需整体重构。
- 论文使用合成图任务，主要是学术贡献，业务直接迁移有限，但其“扩展墙源于监督信号与分词”的归因可迁移到其他需要长程依赖的生成场景（如会话内多跳推荐、广告序列生成）。
生成式推荐中的物品分词再思考：从固定原子到语义子词
🧭 生成式推荐 · Semantic ID ★ 深度解读
University of Science and Technology of China · Huawei Technologies
提出 SST：历史侧用变长语义子词压缩 SID、目标侧保留定长解码，缓解 intra-item 注意力过载并稳定提升生成式推荐
📌 工作参考价值（4 点）
- 在 SID-based 生成式推荐中，历史侧和目标侧使用不对称 tokenization：用户历史序列用子词合并压缩，降低 encoder 的 intra-item attention 负担；候选 item 仍用固定长度 SID 生成，不破坏 beam search 解码语法。可直接作为现有 RQ-KMeans/TIGER 类线上模型的输入层改造。
- 子词合并规则可以优先尝试 CondEntropy：同时考虑 frequency、互预测性和上下文纯度，比 BPE/WordPiece 更适合推荐场景的语义耦合，尤其在稀疏或噪声较大的业务数据上更稳。
- BCA 用行为序列中语义前缀对（如取 SID 前 2 个 token）滑窗统计高频共现，把原始交互子序列作为增强样本注入训练，开销低、无需额外标注，能改善长尾 item 的曝光和 NDCG。
- 上线前可做 token-level attention workload 分析：统计 encoder 中 same-item attention 占比和 atom reassembly load，验证压缩是否真正释放了模型容量；同时注意不要将目标侧改成变长子词，否则低频语义 token 在 beam search 中会被边缘化，性能可能大幅下降。
离散扩散模型：从分词到生成的统一框架
🧭 离散扩散模型的设计空间统一化
McGill University · Mila - Quebec AI Institute · MBZUAI · University of Cambridge · Salesforce
提出将离散扩散模型视为离散状态空间构建问题的统一框架，揭示设计权衡与未来方向
📌 工作参考价值（4 点）
- 离散扩散模型的并行生成特性可大幅降低推荐列表的推理延迟，适合对实时性要求高的搜索/推荐场景。
- 框架强调的状态空间设计（分词方案、词汇拓扑）直接影响生成质量：在生成式推荐中，物品ID的离散表示方式（如Semantic ID）可类比为“分词”，其设计应仔细考虑语义连续性与扩散过程中的噪声注入方式。
- 统一视角提示了训练目标与推理算法的多种组合（如转移矩阵、掩码状态），从业者可以在物品生成任务中尝试不同配置，以平衡生成多样性与保真度。
- 该框架对扩展性和系统优化的讨论，为大规模推荐系统下离散扩散模型的工程化提供了参考，如KV缓存、批处理策略等。
超越物品顺序：面向生成式语义ID推荐的时间间隔分词
🧭 生成式推荐 · 时序建模 ★ 深度解读
University of New South Wales · Macquarie University · CSIRO's Data61
提出 ChronoSID，通过在物品表征学习和序列生成中注入离散时间间隔令牌，显著提升语义ID生成式推荐效果
📌 工作参考价值（4 点）
- 将交互间隔按 log-scale 离散为固定桶（<1h, 1h~1d, 1d~1w, 1w~1mo, ≥1mo）作为特殊 token 插入编码器输入，解码器不变，工程改动小，可直接增强现有语义ID生成式推荐模型。
- TA-FAMAE 在物品表征训练中增加辅助时间间隔回归任务，可作为正则项迁移到基于掩码自编码的商品 embedding 预训练中，在不改动线上推理的前提下提升序列建模对时间漂移的鲁棒性。
- 间隙 token 注入策略对编码器长度仅增加 1/3，训练开销可控（训练时间增幅 7%~29%），适合电商场景下的大规模序列建模。
- 长间隔场景（如≥1个月回访）推荐质量提升更明显，特别适合电商中促销召回、换季推荐等用户兴趣易漂移的场景，可作为召回粗排环节的时序增强插件。
极简 Unigram 分词器 MinGram：高压缩且形态对齐
🧭 分词器训练优化 · 极简 Unigram
Writer, Inc.
用 BPE 种子与硬 EM 简化 Unigram 训练，实现更高压缩与形态对齐，下游 LM 训练优于 BPE
📌 工作参考价值（4 点）
- 在特定领域语料上训练高效 tokenizer：电商/广告/搜索文本（商品名、查询词）往往有特殊频率分布，MinGram 可利用 BPE 种子快速训练出高压缩且形态更合理的 tokenizer，降低序列长度，从而加速 Transformer 推理与训练。
- 优化生成式推荐中的 token 化策略：若将物品表示为 Semantic ID 或序列生成，tokenizer 直接影响序列长度和解码效率。MinGram 的高压缩与对齐特性可减少 token 数，提升生成速度且可能改善 ID 表示质量。
- 多语言场景下的轻量 tokenizer 训练：对于跨国电商或搜索，MinGram 简化训练流程，去除后缀数组等重操作，易于对不同语言快速定制 tokenizer，同时保持优于 BPE 的压缩和下游 bits-per-byte。
- 直接复用压缩优先模式：若需要极致压缩以降低存储/带宽成本（如客户端模型、实时搜索），可使用其压缩导向变体，在保持合理对齐的前提下匹配最强分词压缩器。
G2Rec：基于稀疏共现图软聚类的生成式推荐结构化分词
🧭 生成式推荐 · 软聚类共现图 tokenization ★ 深度解读
University of Illinois Urbana-Champaign · Meta MRS
通过稀疏共现图软聚类提取物品多兴趣原型并转化为连续 token，结合生成式推荐实现工业级全局行为建模
📌 工作参考价值（4 点）
- 共现图稀疏化：用 O(M log M) 采样子图替代全量共现图，借助图拉普拉斯近似理论保证结构信息，可直接迁移到电商/广告场景的用户行为图构建，减小工程开销。
- 软聚类与多兴趣原型：采用可微 soft modularity，在 GPU 上优化，得到每个物品的多兴趣分布，而非硬聚类；适合电商商品多用途属性（如一件商品同时属于“性价比”、“送礼”等）。
- 交替 token 化序列：将兴趣 profile 连续 token 与物品 token 交替输入生成式序列模型，并同时用交叉熵预测下一物品和兴趣软标签，可复现到推荐 Agent 的上下文表示中。
- 离线计算在线使用：兴趣原型和物品兴趣 token 离线周期性更新，推理时仅需查表拼接，额外耗时可忽略，适合工业低延迟推荐服务。