重新思考 CTR 预测中的位置编码与交互粒度
🧭 CTR 预测 · 位置编码与交互粒度 ★ 深度解读
Wuhan University · Tencent Inc. · Peking University
提出 TRIP，结合目标感知的秩-时间位置编码与时间组因果交互，显著提升 CTR 预测 AUC
📌 工作参考价值（4 点）
- 在用户行为序列建模中，不要盲目使用标准位置编码（如 learned APE、RoPE），很多情况下 NoPE 可能持平或更好；但结合序列 rank 与目标相对时间（target-relative time）的编码能稳定提升，低秩分解可大幅减少参数（3.8–21.6×）。
- 将行为序列按距当前请求的时间间隔分组（对数时间桶），组内做双向 attention，组间保持 causal，既捕捉短期兴趣又保留长期演化；组摘要压缩可降低 6.3–32.8% 训练时间，且 AUC 不降反升。
- 引入 masked item reconstruction 辅助任务（仅训练时启用），可增强行为表示的上下文学习，不增加推理成本。
- 对时间偏置做密度校正（减去 λ log 频次），防止高频时间桶主导注意力，在电商/广告数据中尤其重要。
基于流的谱核学习用于非平稳注意力
🧭 注意力核学习 · 线性注意力
The University of Hong Kong · National University of Singapore · Universidad Carlos III de Madrid
FSKA 用归一化流学习非平稳注意力核，移除 QK 投影并固定正交 V 投影，减少参数 40-47% 且保持线性注意力
📌 工作参考价值（4 点）
- 在电商用户行为序列 Transformer 中可替换标准 softmax 注意力为 FSKA：线性注意力内存扩展适合处理长点击/购买序列，避免截断，尤其适合用户长期兴趣建模。
- 投影参数减少 40-47% 的思路可直接用于压缩 CTR/CVR 或 Agent 策略网络的 Transformer 层：移除 query/key 投影、使用固定正交 value 投影，能降低参数量和过拟合风险，适合中小规模业务数据。
- 可学习的非平稳核比固定 softmax/RBF 更灵活，可适应行为序列中时间间隔、事件类型等异构 token 交互；其谱密度正则化方式可迁移到其他基于内积的匹配或聚合层。
- 注意论文聚焦通用序列建模，在推荐/广告数据上的效果需自行验证；更偏组件级参考而非端到端推荐算法。
DAGFormer：面向 Transformer 跨层连接的全局拓扑预测
🧭 Transformer 跨层拓扑预测训练
University of Illinois Urbana-Champaign
引入联合训练的拓扑预测器一次性规划全局跨层连接，以输入自适应强度路由信息，显著提升 Transformer 效率与效果
📌 工作参考价值（4 点）
- 动态连接强度与一次性全局拓扑规划的思路，可用于超大推荐模型中多专家/多塔间的信息路由：不再固定每层连接，而是由轻量预测器根据用户/场景/输入特征决定后续模块间的连接权重，提升模型容量利用率。
- 在训练预算受限时，DAGFormer 用 5B tokens 达到 vanilla 10B 的效果，说明拓扑可学习能降低预训练数据需求；对于电商/广告领域需要频繁微调预训练 LLM 或构建垂直模型，可尝试用类似连接搜索减少算力与数据成本。
- 指令微调后 AlpacaEval win rate 63-70%，并且剪枝下退化最小，表明该架构对下游任务和压缩友好；可用于将大模型蒸馏或裁剪到线上推理服务时，保留路由结构以获得更好的性能-成本平衡。
- 对于 Agent 多步决策，可将“哪些模块/工具互相通信”看作全局拓扑预测问题，由控制器一次性规划整条推理路径的依赖关系，可能取代逐步的局部路由，提升长程任务的一致性。
LatentLoop：非对称计算分配的循环 MoE 模型规模化
🧭 循环 MoE 训练 · 非对称计算分配
SJTU · Shanghai AI Lab · USTC · CUHK · NTU
提出 LatentLoop，压缩首轮循环序列、保留次轮全分辨率，将省下算力重分配给隐藏宽度，在相同预算下降低 NLL 并提升下游基准
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴 LatentLoop 的非对称计算分配：对长序列第一轮使用压缩表示（如 latent 投影或 token 合并），第二轮保留全分辨率，并将节省的 FLOPs 转向加宽 hidden size，而非直接降低延迟；这可在相同推理预算下提升模型质量。
- 用可学习残差系数诊断循环 Transformer 各次访问的贡献，识别可压缩的浅层/首轮访问，指导剪枝或低精度量化；固定系数实验结论“首轮可压缩、次轮不可压缩”可作为先验。
- 在 MoE 推荐/广告模型中，专家 FFN 权重可跨不同序列分辨率共享，但 attention 参数应独立，以适应压缩后序列与全分辨率序列的差异；这比全共享更细粒度，利于多尺度特征融合。
- 面向资源受限的线上推理，可先对输入序列做低秩/降采样压缩并分配给第一层，保留关键的后期层高分辨率，配合专家共享减少参数和 FLOPs；这比均匀缩放更有效，有潜力用于生成式推荐的大模型加速。
HELIX：净化并统一大规模推荐中的特征交互与序列建模
🧭 统一特征交互与序列建模的排序架构 ★ 深度解读
Data - Global E-Commerce Recommendation Video Team
用单向可复用 KV cache 与 Mixup-PerToken-FFN 联合扩展特征交互和序列建模，电商视频 GMV/用户提升约 6%
📌 工作参考价值（4 点）
- 把候选无关的用户行为序列编码成可复用 KV cache，候选侧只做 cross-attention 读取，强制单向信息流。这样在 serving 多候选、training 多样本时都能摊销 encoder 成本；如果搜广推系统里要接入用户长序列，这是可落地的架构选择。
- 异构特征交互可考虑用 Mixup-PerToken-FFN 替代 self-attention：参数免费的 Mixup 按通道切片重组 token，再用 token-wise SwiGLU 做非线性交互，比 self-attention 更适配稠密异构特征，且省计算。
- 序列 encoder 采用金字塔 query 压缩：按特征重要性给每条序列分配最近 token 预算，而不是全局截断或统一池化；配合 padding-free 变长执行，能显著降低长序列训练成本。
- 训练稳定性上，对 SwiGLU 的 gate/up 分支做非参数归一化可以避免 FP16 激活溢出；QK-Norm 和 value-side gated attention 在推荐排序模型里也有稳定 AUC 增益。
日志结构Transformer：分离残差与扩展嵌入以压缩KV缓存
🧭 Transformer架构改进 · KV cache压缩 ★ 深度解读
University of Illinois Chicago
提出日志结构Transformer，用每层32维扩展嵌入替代全宽KV缓存，使924M模型持久注意力内存减少104倍且长上下文更优
📌 工作参考价值（4 点）
- 对于需要处理长用户行为序列或长文档上下文的电商/搜索推荐LLM，可借鉴双通道设计：将注意力KV输入改为低维log-structured扩展嵌入，回合间释放全宽KV缓存，显著节省显存，支持更长用户历史。
- 架构改动仅影响注意力输入，与GQA、量化、层复用等现有压缩技术正交；论文显示Extender+GQA在参数更少情况下仍优于MHA Transformer，可直接叠加到现有推理优化栈。
- 推理工程上可采用 ephemeral kv-cache 策略：持久保存x*缓存，按需重投影KV，适合多轮Agent或低频长上下文请求，避免长期占用大量显存。
- 分离下一token预测残差流与注意力记忆通道的思想，可能提升长序列建模能力（如多key检索类任务），在用户行为建模或长文档理解场景值得验证。
平衡试新与复购：按需配送场景的混合序列Transformer-GBDT排序器
🧭 排序模型 · 序列推荐 · 混合架构
Wolt (DoorDash, Inc.)
生产级统一排序器UVR结合双向Transformer序列编码与GBDT，通过标签平滑和试新偏置采样提升商家试新率
📌 工作参考价值（4 点）
- 混合架构值得借鉴：用双向 Transformer encoder 学习用户序列并输出 embedding，作为特征输入 GBDT ranker，兼顾序列建模能力与 GBDT 对表格特征、业务规则（局部配送约束）的处理便利性，适合需要快速迭代和可解释性的工业排序场景。
- 试新/复购权衡的调参 trick：通过 trial-biased sample weighting（提高试新样本权重）和 label smoothing 引导模型推荐新商家，同时离线监控 reorder MRR 的退化，在线用融合指标 Global CVR 兜底，可在电商新品冷启动或类目探索中复用。
- 跨域统一排序模型：将餐厅和零售四个独立模型合并为一个 UVR，共享用户序列表示，不仅提升试新率还简化 serving stack，减少多模型维护成本，适合多业务线推荐系统整合。
- 离线/在线指标拆分：离线分别评估 trial MRR 和 reorder MRR，发现试新提升伴随复购下降，但在线核心指标稳定；建议业务中定义融合指标并分层监控，避免单一离线指标误导。
RegionFed：异构零售环境下查询理解的联邦个性化学习
🧭 联邦学习个性化训练 · 梯度级路由
Walmart Global Tech
提出梯度级联邦个性化框架 RegionFed，用区域与全局梯度冲突路由个性化策略，在 transformer 上避免参数级方法崩溃
📌 工作参考价值（4 点）
- 在电商搜索的多地域/多人群 Query 理解模型（如意图分类、实体识别、拼写纠错）需要联邦学习或去中心化训练时，优先采用梯度级个性化，而非在 T5/RoBERTa 等 transformer 上做参数级个性化；后者因 tied embeddings 和 LayerNorm 交互可能崩溃，RegionFed 的梯度冲突路由可规避。
- 将区域梯度与全局梯度的 ℓ2 冲突作为诊断信号，动态决定每个区域是否需要独立模型/适配器，避免对所有区域盲目做个性化，可节省 GPU 与维护成本；该信号也可作为后续 A/B 测试的分流依据。
- RegionFed 对模型结构零侵入，适合在不改线上模型代码的前提下快速验证个性化收益；如果业务已用 T5/RoBERTa 等成熟 backbone，可复用该思路做跨流量段个性化，无需引入新架构。
- 隐私敏感场景下，其 ε≈0.60 差分隐私与 O(1/√T) 收敛保障可作为合规方案参考，但需注意论文在公开数据集上验证，迁移到亿级真实流量前应评估通信与客户端规模。
Graph Machine：边驱动的稀疏动态路由预训练
🧭 稀疏动态路由预训练架构
IterLabs
以可微指针边实现 O(n) 状态 + O(1) 稀疏动态路由，替换 Qwen3-0.6B 75% 层后检索 2-4 个 token 即保持或改善 loss
📌 工作参考价值（4 点）
- 电商推荐中的用户行为序列常达数千甚至更长，可借鉴 GM 的 O(n) 状态 + O(1) 动态稀疏访问思想：用可学习的边/指针替代固定窗口或全局 attention，在序列建模中同时保留长程状态并控制计算与 KV cache 成本。
- 对 Agent 或多轮对话场景，referral mechanism 可看作一种可微的记忆寻址：比固定 top-k 的 RAG 检索更灵活，可以尝试在召回或知识引用模块中引入类似 pointer chasing 的更新，让模型自己学该引用哪些历史状态。
- 工程上，GM 稀疏层每个 KV head 只取 2-4 个 token 即能保持 loss，意味着在线推理时可大幅减少 KV cache 读写和 attention 计算；在推荐模型做长序列或全生命周期建模时，这可能直接降低延迟和显存。
- 注意这是通用 LLM 预训练工作，迁移到电商推荐或搜索需在领域数据上验证混合比例（论文为 75% 稀疏层）、检索 token 数和边更新频率对 CTR/CVR 等业务指标的影响。
门控循环Transformer：通过循环调制实现深度表达力
🧭 高效Transformer架构 · 循环深度共享
The German University in Cairo · Technical University of Munich · Cerebras Systems Inc.
用门控循环共享核心层，在固定算力或参数预算下达到甚至超越稠密Transformer质量，大幅减少参数与解码内存
📌 工作参考价值（4 点）
- 共享核心层 + 固定 prelude/coda 的架构可作为在线大模型推理的轻量化替代：用 3 层共享核心迭代 R 次匹配 12 层稠密模型精度，峰值解码内存降低约 59%，适合内存受限但延迟容忍度较高的生成式推荐/文案生成服务。
- 门控循环更新机制（elementwise gate 结合隐藏状态、prelude 输出与每步重采样噪声）能让同一组层在不同循环步动态调制输入，避免深度共享导致的表达坍缩；该 trick 可迁移到推荐序列建模中的共享 Transformer 层，在参数不变的情况下提升序列多样性建模能力。
- 采用 isoFLOPS / isoPARAMS 评估方式做架构选型，对实际部署有指导意义：在固定算力或参数预算下，优先考虑增加循环深度而非堆叠唯一层，可以获得更好的 loss/质量与内存 tradeoff。
- 对于广告文案生成、搜索 query 推荐等需要大模型但受限于显存和参数规模的场景，GRT 提供了一种可复用的参数高效化路径，且其代码已开源，便于快速验证迁移效果。
重新思考 Test-Time Training 中的表达力与效率
🧭 高效长上下文 Test-Time Training
Karlsruhe Institute of Technology (KIT) · National University of Singapore · Fraunhofer IOSB · Lamarr Institute for Machine Learning and Artificial Intelligence · University of Bonn
提出 E²-TTT，通过闭式状态转移并行化分块 TTT 训练，在保持每 token 更新时序结构的同时匹配分块方法吞吐
📌 工作参考价值（3 点）
- 长序列用户行为建模：电商推荐中的用户长期历史、会话依赖往往超过常见上下文长度，E²-TTT 可作为替代或混合 attention 的序列建模模块，尤其在需要长度外推时，其 8× 训练长度外推能力可减少重新训练成本。
- Agent 长任务记忆：多步 Agent 需要持续从长 horizon 任务中学习，TTT 的权重更新机制比 KV cache 更紧凑，E²-TTT 的并行分块训练使在线学习用户偏好或任务适应在工程上更可行。
- 工程实现参考：论文中的闭式状态转移 + 分块并行训练思路，可迁移到任何需要高效时序递归更新的模块，避免简单 chunk-wise 近似丢弃中间状态，同时保持吞吐。
可解释 Transformer 模型用于结构化电子健康记录的临床预测任务
🧭 结构化 EHR 序列建模 · 可解释性
Sanofi · Carnegie Mellon University
将化验值按百分位分箱离散为 token 并结合 Integrated Gradients，实现 EHR 序列预测与 token 级解释
📌 工作参考价值（4 点）
- 数值特征离散化：将连续特征（如价格、时长、评分）通过分位数分箱映射为离散 token，既适配 Transformer 输入，又保留相对大小信息，可用于用户行为序列建模。
- 可解释性归因：Integrated Gradients 对输入 token 序列做贡献归因，可用于诊断推荐模型中哪些历史行为或特征驱动了预测，辅助特征筛选和模型审计。
- 预训练 + 微调：在大规模用户序列上预训练通用行为语言模型，再针对具体任务（点击率、转化率）微调，类似 BERT-LER 在 EHR 上的做法。
- 论文是医疗领域，但序列建模和数值编码策略可迁移到电商用户行为序列、广告曝光序列等场景。
序列推荐基准是否需要高阶序列建模？
🧭 序列推荐基准评测 · 容量探针 ★ 深度解读
Spotify
用 recency 加权成对转移探针发现多数基准无需高阶建模，Transformer 增益被高估
📌 工作参考价值（4 点）
- 在电商/广告序列推荐中，先实现一个强 pairwise transition 基线（如 PCTM 或 SeqRules）作为“照妖镜”，避免被 Transformer 在弱基准上的虚假增益误导；尤其当数据规模小、用户行为以短会话为主时，简单模型可能足够。
- 评估新模型时，务必使用 full-catalogue ranking + seen-item filtering 的严格协议，不要用 sampled softmax 或 paper-to-paper 比较；否则像 TIGER 这类生成式推荐在 Beauty/Sports/Toys 上可能被简单探针反超 65-70%，说明基准本身不支撑 SOTA 宣称。
- PCTM 的工程实现很轻：离线统计有向转移计数（距离衰减），在线做加权 log-prob 求和；无 embedding、无序列编码器，适合作为召回通道或冷启动兜底，尤其适合需要快速上线的场景。
- 当你要引入 Transformer/LLM 做序列推荐时，先检查数据集是否“pairwise-sufficient”：如果成对转移+recency 已经解释了大部分 NDCG，那么高阶建模的增量有限，应优先投入特征工程或更真实的工业数据。
MoNe：用于高效长上下文推理的模块化神经记忆
🧭 长上下文推理 · 神经记忆
Qualcomm AI Research
提出轻量模块化神经记忆 MoNe，通过 test-time fast-weight 学习实现 O(N) 预处理、O(1) 查询的长上下文推理，无需重训练
📌 工作参考价值（4 点）
- 在电商/Agent 场景处理超长用户会话或商品描述时，可借鉴 MoNe 的 test-time fast-weight memory：将长上下文分段压缩进轻量记忆参数，在线推理只从 query 生成 KV，避免每次带全量上下文；特别适合在移动端/边缘设备控制峰值显存。
- 该方法附加在冻结模型上，仅 6.4% 参数开销，业务上可作为 Plug-in 模块对已有 LLM 服务做增量改造，无需全量重训，风险可控。
- 注意 test-time learning 需要对每个 context 做梯度更新，适合将用户长期历史、固定知识库等离线预处理并缓存 memory，在线摊销成本；高并发推荐/搜索 query 侧可享 O(1) 查询。
- 128K 长度下 compute 和峰值 GPU 内存降低约 80%，且在小模型长上下文提取信息不稳定时仍保持性能，可参考该量化结果作为成本收益评估。
生成式推荐中的解耦时间编码
🧭 生成式推荐 · 时序解耦编码 ★ 深度解读
Rajax Network Technology (Taobao Shangou of Alibaba) · Yale School of Public Health
将宏观时间动态与微观顺序先验解耦，轻量注入 Transformer，在淘系闪购广告在线提升 CTR +1.8%、RPM +3.0%
📌 工作参考价值（4 点）
- 把时序建模拆成两条通路：输入层用紧凑 temporal primitives（recency decay、intra-day/weekly sinusoid、traffic burst）注入 item embedding；attention 层用 time-gated 的 relative-order bias，仅在时间间隔密集时激活。外卖、即时零售、广告等强时间规律场景可直接替换 RoPE/ALiBi。
- 避免大 interval embedding table，DTE 只增加 238 个参数、0.47 KB FP16，在线延迟 +0.3%。工程上很适合已有 Transformer ranking 管线插拔，不需要重构 backbone。
- 个性化时间融合：用用户历史平均池化过 MLP + softmax 为每个 temporal primitive 生成权重，而不是统一静态时间嵌入。对上班族周末/工作日、午晚餐差异明显的用户更有收益。
- 分析行为序列平均时间间隔可以指导是否启用顺序 bias：密集序列上收益最大；稀疏序列主要靠时间戳即可。可作为 A/B 分桶或模型开关参考。
MACRO：基于马尔可夫链的Transformer层路由
🧭 动态层路由优化推理
Heinrich Heine University Düsseldorf · Jagiellonian University · IDEAS Research Institute
不修改模型参数，通过马尔可夫链学习任务特定层路由，精度+5.0%，搜索时间降低9.4倍
📌 工作参考价值（4 点）
- 动态层路由可作为在线模型服务的推理加速手段，根据查询或上下文的复杂度自适应选择执行层数，在搜索推荐系统中平衡延迟与效果。
- 路由策略以马尔可夫链形式外挂于预训练模型，无需修改原始权重，便于在已有LLM上快速实验与部署。
- 利用top-k Viterbi解码生成高概率候选路径，可借鉴用于Agent多步推理中对执行路径的规划与剪枝。
- 将计算预算分阶段建模，可控制推理成本，适合在流量波动下动态调整资源分配，如大促时保障核心服务。
SpecFormer：通过谱感知Transformer缓解推荐中的嵌入与注意力坍缩
🧭 谱感知Transformer · 特征交互坍缩缓解 ★ 深度解读
Zhejiang University · Alibaba Group
揭示推荐数据异质长尾引发谱坍缩恶性循环，用动态谱软化与谱感知注意力打破瓶颈
📌 工作参考价值（5 点）
- 谱软化模块可迁移至任何Transformer特征交互模型：用可学习的幂律变换 (τ ∈ (0,1)) 动态压平奇异值分布，抑制主成分、激活长尾特征。此trick可直接插入现有推荐Transformer或LLM4Rec的注意力层前，成本低。
- Q/K用软化嵌入、V用原始嵌入的分离设计：实验证实，V用软化嵌入会扭曲语义、导致信息丢失。在工业级特征交互中，保留原始V可稳定聚合，软化Q/K则引导多样化的注意力模式，是简单有效的工程选择。
- 基于Taylor展开的谱残差偏置：用归一化奇异值的二阶多项式构造结构化偏置加回注意力得分，既补偿软化对主成分的压制，又为模型提供明确的谱感知归纳偏置。可抽象为一种增强Transformer表达能力的通用位置编码技巧。
- 两阶段训练稳定SVD模块：先用空间残差项预热5%数据，再开启主CTR训练。该策略解决了随机初始化下奇异值分布病态导致的数值不稳定，对有SVD/谱变换的模型尤其关键。
- 深度可扩展性与在线部署：9层SpecFormer注意力有效秩持续上升、AUC递增，而标准Transformer急剧坍缩。在线A/B中仅+5ms延迟换得CTR +1.34%、订单+16.72%，证明工业级极低成本获得显著收益。
前沿语言模型难以复制文本：二维位置编码或更优
🧭 位置编码改进 · 复制保真度
Tsinghua University
提出2D-RoPE将文本组织为二维网格，大幅提升LLM复制任务的长度泛化能力
📌 工作参考价值（4 点）
- 在需要高精度复制长文本的电商/广告场景（如生成商品描述、广告文案、搜索查询改写），可尝试用2D-RoPE微调或从零训练，缓解模型输出错漏、幻觉问题。
- 基于LLM的Agent常需记忆并精确复制对话历史或工具输出中的关键信息，2D-RoPE可增强位置感知，提升指令遵循与信息保真度。
- 当业务中涉及结构化数据转换（如JSON、列表生成），模型常忽略细节或格式错误，2D-RoPE的网格复制机制可提升格式遵循能力。
- 若将LLM用于推荐理由生成，需准确复现用户历史中的物品名、属性，2D-RoPE有望提高复制的精确率，但需在具体任务上验证。
用于实时广告排序的长历史用户Transformer
🧭 序列推荐 · 离线-在线分离架构 ★ 深度解读
Yandex · Applied AI Institute
异步离线编码全量历史+轻量在线编码近期事件，在实时广告排序中恢复72–80%全历史模型质量，生产指标提升超2%
📌 工作参考价值（5 点）
- 离线-在线分裂架构可迁移：对于用户长行为序列建模的延迟瓶颈，可借鉴“离线大模型编码全量历史生成固定向量并缓存，在线轻量模型仅处理最近事件”的模式，适用于电商搜索/推荐/广告的精排或重排阶段。
- 训练时模拟特征滞后：在训练中人为引入两天的数据截止，使模型适应生产环境中用户Embedding的更新延迟，能防止在线效果退化；电商特征存储同样存在更新延迟，可直接复用这一策略。
- 接收域设计与延迟权衡：在线编码器使用窗口注意力，总接收域 = 层数 × 窗口大小，通过调节层数和窗口宽能在质量和延迟之间做显式权衡；电商场景可按延迟预算配置在线序列长度。
- 多表面预训练 + 单表面微调：利用跨场景（搜索、推荐、广告）交互日志做自回归预训练（CTR预测+下一事件检索），再针对目标场景微调，能显著提升目标场景效果；电商多业务线（如首页推荐、搜索、促销页）可复用该迁移学习范式。
- 位置去偏技巧：训练时输入真实历史位置，推理时固定位置为1来预测位置无关CTR，可减少位置偏差，提升排序校准度；电商排序模型同样受位置偏差影响，可直接采用。
通过关联递归记忆扩展大语言模型上下文
🧭 递归记忆增强的 LLM 长上下文扩展
MBZUAI · Lomonosov Moscow State University · Weizmann Institute of Science · Institute for Advanced Study, Princeton · London Institute for Mathematical Sciences
提出 ARMT 训练方案，在长文本任务中用 30% 更少计算量保持性能并泛化到更长序列
📌 工作参考价值（4 点）
- 长序列用户行为建模：在电商推荐中，可利用 ARMT 以恒定内存处理超长用户交互序列（如跨月行为），突破原生 Transformer 的上下文限制，且 FLOPs 降低 30%，适合线上 RT 服务。
- 合成数据与课程学习策略：面向特定领域的 LLM 微调（如商品长描述生成、多文档促销文案），可借鉴其合成长文本 + 逐步延长的课程学习方案，稳定提升长上下文泛化。
- 选择性记忆集成：在推荐精排或生成式推荐模型中，仅部分中间层插入关联记忆模块，平衡额外计算开销与长程依赖捕捉，可作为模型架构渐进增强的思路。
- 分布外长度泛化：训练时使用有限长度数据，推理时自动泛化到更长序列，对广告竞价中实时拼接的多源长特征流处理有参考意义。
扩大Transformer推荐模型规模时流行度偏差的放大陷阱及其缓解
🧭 序列推荐 · 流行度偏差与谱正则化 ★ 深度解读
Zhejiang University · University of Science and Technology of China
揭示Transformer序列推荐深度缩放导致谱坍缩放大流行度偏差，提出层级谱正则化方法SPRINT实现准确性与公平的双赢。
📌 工作参考价值（4 点）
- 在电商/广告推荐中扩大Transformer深度时，需警惕流行度偏差同步放大，导致长尾物品曝光下降；SPRINT 的注意力和前馈正则化可直接嵌入现有架构，以极小计算成本（~3%训练时间）控制谱范数。
- 具体实现：对自注意力矩阵的列和施加logsumexp平滑上界，防止少数热门物品垄断注意力权重；对前馈权重用幂迭代估计谱范数并正则化，抑制深度网络中的低秩坍缩。
- 两个正则项联合可使模型在扩大规模时保持准确率和公平性的帕累托前沿，例如在SASRec++上NDCG@5提升15.7%，Fair-0.8提升7.12%，适合大规模排序系统。
- 方法对Transformer模块通用，已验证可迁移至生成式推荐（TIGER、LETTER），实现长尾曝光提升，为工业级模型扩展提供了偏差控制方案。
可变宽度 Transformer
🧭 Transformer 架构优化 · 宽度缩放
MIT · MIT-IBM Watson AI Lab
提出 × 形瓶颈架构，中间层窄、两端宽，同等参数量下性能更优且推理成本更低
📌 工作参考价值（4 点）
- 将瓶颈结构引入大模型，可减少推荐/搜索系统中 LLM 的显存和计算开销，尤其对需保留 KV cache 的在线服务有利
- 无需额外参数的残差维度映射方法可直接复用到现有 Transformer 推荐模型（如 SASRec），通过非均匀宽度提升效率
- 对于 Agent 中多次调用 LLM 的场景，可降低单次推理延迟与成本，加速多步决策
- 提示我们在设计生成式推荐模型时，不必每层等宽，中间层适当缩减可兼顾容量与效率
OneRank：统一 Transformer 原生多任务排序架构
🧭 多任务排序 · Transformer 原生架构 ★ 深度解读
Renmin University of China · Shopee · Nanyang Technological University · Beijing Key Laboratory of Research on Large Models and Intelligent Governance
通过任务专用 token、梯度分离与候选感知情境描述符，将多任务推理内建于 Transformer 栈，消除编码器‑预测器分裂。
📌 工作参考价值（4 点）
- 任务专用 token 与梯度隔离：为每个任务引入可学习 token，配合注意力掩码实现早期特征分离；反向传播时对跨任务注意力进行梯度 detach，仅保留前向知识迁移，有效缓解跷跷板效应，可直接复用到电商 CTR/CVR/加购等多目标场景。
- 候选感知情境描述符：使用可学习的 cross‑attention 聚合整个候选集的分布信息，为每个任务生成全局表示，桥接训练‑服务差异；电商排序中可将其设计为包含 session 时间、搜索词、用户画像等业务信号的模块，提升列表级排序质量。
- 动态匹配评分取代静态 MLP 头：任务全局表示与候选任务表示内积打分，替代多层 MLP，实现 session 级自适应排序；对广告、搜索推荐中需要实时适应上下文（如大促、时段）的业务尤其有价值，且可与现有 KV‑cache 配合降低在线推理成本。
- 灵活跨任务信息流配置：通过注意力掩码实现 parallel、cascade、null、hybrid 等多种跨任务交互模式，工业界可直接根据漏斗关系（click→cart→order）设定单向级联，或让同类任务双向共享，省去复杂的手工建模或搜索。
个性化动态超图增强的KAN-Transformer多行为序列推荐
🧭 多行为序列推荐 · 超图与KAN ★ 深度解读
Hangzhou Dianzi University · Sanya Traditional Chinese Medicine Hospital · Rocket Force University of Engineering · NetEase Inc.
融合个性化动态超图与KAN-Transformer，同时捕捉行为异质高阶关系和细粒度非线性模式
📌 工作参考价值（4 点）
- 动态行为权重超图：针对电商多行为（浏览、加购、购买），根据用户历史行为计算个性化权重，加权 item 相似度矩阵构建动态超边，有效捕捉用户特定的高阶行为关系，可直接增强推荐系统中辅助行为的利用效率。
- KAN 替换 FFN：用 Kolmogorov-Arnold Network 替代 Transformer 中的前馈网络，按输入维度学习独立的径向基函数组合，为不同潜在行为模式提供专用响应函数，解决标准 FFN 的“共享映射”问题，在行为序列建模中可提升细粒度拟合能力。
- 双分支融合架构：超图分支捕获结构与共现关系，KAN-Transformer 分支建模时序与非线性偏好演化，通过可学习的融合系数平衡两者，适用于电商场景中复杂行为序列的联合建模。
- 行为权重先验：对各行为类型预设差异化初始权重（如购买=1，加购=0.7，浏览=0.3），与数据集动态匹配，可作为工业级多行为推荐的基础配置，降低噪声行为干扰。
MARS：多速率时间感知聚合用于稀疏与密集序列推荐
🧭 序列推荐 · 多尺度时间建模 ★ 深度解读
复旦大学计算机科学技术学院
提出编码器无关的多速率指数衰减聚合算子，根据数据密度自动选择Transformer/Mamba骨干，显著提升序列推荐。
📌 工作参考价值（4 点）
- 解耦时间聚合与序列编码：可将 MARS 作为轻量级后处理模块插入现有排序模型，仅O(LdK)开销，无需改动编码器，适合业务快速迭代。
- 多速率衰减头与自适应门控：用户条件调制和JSD多样性正则防止多头坍塌，捕捉多尺度兴趣（如短时爆发 vs 长期偏好），尤其适用于电商中长短周期混合的场景。
- 数据密度驱动的骨干选择：根据平均序列长度自动选用Transformer（稀疏）或Mamba（密集），避免单一骨干的边际收益递减，推荐系统可依此策略分场景部署。
- 分组评估揭示收益来源：长历史用户从多速率机制受益最大（Yelp上+29.7%），业务上可针对性对高活跃用户启用该模块，平衡性能与成本。
UniPinRec：在 Pinterest 规模统一生成式检索与排序
🧭 统一检索与排序的全栈推荐 ★ 深度解读
Pinterest
通过掩码动作建模、联合训练与跨进程 KV 缓存共享，实现检索和排序的全栈统一，线上提升互动并降低延迟。
📌 工作参考价值（4 点）
- 掩码动作建模（MAM）：将排序监督直接融入检索的序列输入，随机掩码历史动作避免序列长度膨胀，实现检索与排序共享同一主干，可快速复用到多任务推荐场景。
- 跨阶段 KV 缓存共享：通过 GPU 内存池 + CUDA IPC 实现进程间零拷贝传输，排序阶段复用检索生成的用户历史 KV，将排序的计算量从 O(n²) 降至 O(nk)，显著降低在线延迟。
- 统一训练数据构造：采用 feedview（展示集）作为排序监督，构建“过去行为序列 + 未来展示列表”的统一样本，结合 Ray 在线桶连接避免数据膨胀，为级联模型的联合训练提供了可落地的数据管线范式。
- 增量上线策略：先替换检索+轻量排序（L0+L1），再逐步扩展到精排，保持与现有系统兼容，支持分阶段 A/B 测试和回滚，降低统一模型部署风险。