GTFormer：无语法图网络替代 Transformer 实现 8192× 长度外推
🧭 长序列建模 · 层次图网络替代自注意力 ★ 深度解读
Middlesex University, Department of Computer Science
用层次图树替代自注意力，N≤512 训练零样本外推到 4,194,304 tokens，线性时间与显存
📌 工作参考价值（4 点）
- 在电商用户长期行为序列或商品描述等长文本建模中，可借鉴 GTFormer 的二分树收缩 + 多通道凸门控：把 O(N^2) 自注意力降为 O(N) 的层次消息传递，并利用凸组合保证深层次表示不漂移，适合处理 10k+ 的用户事件流或商品属性序列。
- 处理跨 chunk 边界特征时，可加入一阶 local shift edge 来绑定相邻 token/事件，避免固定窗口分块导致连续 key-value 对或用户行为片段被割裂；这对推荐系统中的序列分块和流式特征工程有直接参考价值。
- 对 Agent 的长期记忆、审计日志或多跳检索场景，bottom-up 层次图 + 根节点读出可用作轻量级路由/记忆编码器，避免全量 attention 的显存爆炸；但 GTFormer 目前只在合成 benchmark 上验证，真实业务需先做小规模适用性测试，不宜直接替换生产 LLM。
- 消融显示凸门控对深度外推至关重要，去掉后精度从 98% 崩至 2-4%；在深层次用户兴趣聚合或标签体系建模时，应优先采用凸/门控聚合而非无约束 MLP。
LongZero：从零数据增强 LLM 长上下文推理
🧭 长上下文推理 · 零数据自合成 RL
Tsinghua University
LongZero 让 LLM 无需外部数据，通过自合成紧凑证据再展开为长上下文，用 GRPO 提升长上下文推理
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，常需对长会话、多商品描述、多文档策略进行推理；可借鉴 LongZero 的思路，让模型先生成结构化的证据链（问题-答案-支持证据），再将证据扩展为多文档上下文，构造无外部标注的 RL 训练数据。
- 当业务场景缺少高质量长上下文标注数据或不想依赖更强教师模型时，可以用 GRPO 在自合成任务上训练，提升模型在长文档抽取、多跳推理、多轮检索上的泛化能力。
- 将自合成多轮检索任务加入训练，有助于优化 Agent 在长上下文中的检索与定位能力，例如在商品知识库、用户评论、活动规则中定位支撑某一推荐/答案的证据。
- 注意该方法主要针对长上下文推理本身，不直接提升推荐精度；作为基础能力训练手段，可集成到现有 Agent/LLM 训练流程中，重点解决推理链路可靠性与长上下文定位问题。
FreeSolo：零样本长度外推的线性时间稀疏注意力
🧭 线性时间稀疏注意力 · 长度外推
National University of Singapore · University of Toronto · Sea AI Lab, Singapore
短程滑窗+长程 keypoint 选择的稀疏注意力，线性变体短 CPT 即可零样本长度外推
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐中，用户行为序列可能长达数十万 token，完整 attention 成本过高；FreeSolo 的“短程滑窗 + 长程 keypoint 选择”可直接启发用户长期记忆或 Agent 记忆模块设计：用 keypoint 表示长历史中的关键类目/商品节点，显著减少 KV cache 和推理延迟。
- FS-L 表明通过较短的继续预训练即可学会前缀剪枝，并获得零样本长度外推能力；已有 4k/8k 底座、需要扩展到 64k/256k 行为序列的团队，可以避免昂贵的全量长上下文 CPT，采用类似的稀疏化微调路径。
- FS-B 的 radix-sort + 平衡树 O(N log²N) 构建成本，为大规模商品/内容索引的层级化检索提供工程思路：离线构建可剪枝树状索引，在线做 query 相关的 top-k 节点选择，兼顾精度与时延。
- 可复用 S-NIAH/RULER 作为长上下文模块评估指标，相比单纯 loss 更能暴露零样本长度外推能力。
PARSER：长上下文LLM智能体的并行读取与深度推理解耦
🧭 长上下文多智能体并行阅读与推理
The Chinese University of Hong Kong
解耦阅读与推理，并行子代理读全文，主导代理迭代scatter-gather深度推理，长上下文QA大幅提升且延迟降低11倍
📌 工作参考价值（4 点）
- 解耦阅读与推理：用多个轻量 subagent 并行读取长文档 chunk 并返回证据，lead agent 只做深度推理，可迁移到电商场景处理海量商品详情、用户评论、政策文档等长文本，避免顺序阅读延迟，适合在线服务。
- RL 只优化 lead agent，subagents 冻结，显著降低训练成本；业务中可复用：固定检索/抽取模块，用强化学习训练策略/推理模块，如商品对比、复杂推荐解释生成。
- 对证据位置、顺序、距离鲁棒，适用于证据分散的场景（如多个用户评价中找关键信息、跨文档商品属性对比），减少因文档顺序引起的性能波动。
- 迭代 scatter-gather 的查询生成机制可借鉴：每一轮基于已有证据生成更深查询，逐步聚焦关键信息，可用于多轮对话式推荐或搜索 query 细化。
VestigeKV：NoPE-MLA KV 缓存利用退化分支自身携带淘汰信号
🧭 LLM 推理优化 · KV Cache 压缩
Yotta Labs
利用 NoPE MLA 缓存中 64 维退化分支作为查询无关显著性信号，实现无训练 KV 缓存分层压缩
📌 工作参考价值（4 点）
- 若线上 Agent/LLM 服务采用 NoPE MLA 架构（如 Kimi 系列），可直接在长上下文场景（用户长期行为序列、商品知识库、会话历史）部署 VestigeKV：以 decoupled branch 的 64 维子空间做 top-m 分层，将非 top 行归档且 GPU 常驻，避免删除导致不可逆信息丢失；无需修改权重或 kernel，工程上可作为 cache policy 无损接入。
- 观察注意力淘汰（H2O/SnapKV）在 NoPE MLA 上失效（needle retrieval 0.00–0.33），提醒在生成式推荐/Agent 长上下文服务中若目标模型为 NoPE，不要沿用 RoPE 时代的 KV 淘汰策略；先验证查询无关显著性信号是否存在。
- 分层缓存 + 可触发归档的思路可迁移到推荐系统特征缓存：将高频/高显著性特征放快速层，其余 bit-exact 放低成本 GPU/CPU 层，需要时按查询 key 精确取回，避免近似压缩带来的检索精度损失。
- 对多轮 Agent 对话或用户行为序列建模，利用缓存中已有分支的统计分布（top-1 目标 token 占比）判断可压缩性，可在推理前离线冻结阈值，避免在线调参。
学会遗忘：长上下文稀疏注意力的微调方法
🧭 长上下文稀疏注意力微调 ★ 深度解读
Amazon Web Services · University of Amsterdam · Amazon · Technical University Berlin
提出在任意 KV cache 策略下微调 LLM 的方法，使模型与稀疏注意力协同适应，在中等 GPU 上超越序列并行训练
📌 工作参考价值（4 点）
- 训练/推理一致性：若线上推理启用 H2O、SnapKV 等稀疏 KV cache 策略，微调时务必使用同一策略做前向，否则模型在稀疏推理下会出现输出过长、乱码；论文中 SP 训练模型在多个 Helmet 任务上严重退化。
- 低成本长上下文微调：单卡 40GB 可用 LoRA + 嵌套激活检查点 + CPU offload + delta encoding 处理 KV cache，将 autograd 显存降至与推理相当，适合多轮对话、长工具输出、长行为序列等场景。
- 缓存策略 trick：H2O 归一化累积注意力分数、batch 维度独立淘汰、保留少量 attention sink 前 β 个 token，能提升长上下文稳定性；避免全局统一淘汰。
- 工程落地：可复用 KeysAndValues 库快速对比策略；推动 SDPA kernel 支持返回 summed attention weights 和隐式 causal mask，降低稀疏注意力延迟。
信息丰度悖论：长上下文训练削弱参数化知识
🧭 长上下文训练中参数化与上下文化的权衡 ★ 深度解读
Johns Hopkins University
提出信息丰度悖论：训练上下文越丰富，模型越依赖上下文而非参数知识，导致长上下文训练并非中性增益
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 建模用户行为序列时，盲目拉长训练上下文可能让模型过度依赖近期上下文，削弱对长期兴趣的参数化表达；建议通过无上下文/冲突上下文测试评估模型鲁棒性，找到最优上下文窗口而非一律用最大长度。
- 微调推荐/Agent 模型时，若训练集中大量提供高质量候选上下文（如检索文档、相似商品），模型容易“上瘾”于上下文。可在微调时混合一定比例无上下文或含噪声上下文的样本，迫使模型同时保留参数知识。
- LoRA 适配器放置位置可以调节学习模式：希望模型更多依赖参数知识（如长期用户画像）则倾向于只更新 FFN 层；希望模型更好利用上下文（如对话历史）则更新 Attention 层。可根据业务需求选择模块化微调策略。
- 在 RAG 或长上下文生成式推荐中，性能可能随上下文长度呈倒 U 型；建议在验证集上搜索最优上下文长度，并监控模型在上下文缺失或误导时的衰减程度，避免部署后出现脆弱性。
OctoLong：跨仓库代码上下文中途训练增强长上下文建模
🧭 长上下文数据工程 · 递归依赖增强
UKP Lab & Center for Applied Cybersecurity ATHENE, TU Darmstadt · CAIDAS, University of Würzburg
通过递归检索代码依赖构建富含长距离依赖的长上下文数据，仅占12%训练数据即大幅提升长程检索与Agent任务
📌 工作参考价值（4 点）
- 构造富含依赖的长序列训练数据：对于需要处理用户长期行为序列的推荐或搜索场景，可借鉴通过解析商品间显式/隐式依赖（如共现、因果、点击链）来生成高信息量的长上下文样本，而非简单的时间拼接，提升模型对长程依赖的建模。
- 少量高质数据即可生效：论文证明仅将12%的依赖丰富数据混入训练即可大幅提升长上下文性能。在资源有限的业务中，可针对特定长尾任务，低成本构造小批量高质量长序列样本，快速注入所需的长程推理能力。
- Agent 长历史状态追踪：对于多步工具调用的Agent系统，可引入类似的依赖图构建思路，在上下文窗口中动态维护工具调用链之间的隐式依赖，缓解长horizon下的状态丢失问题。
- 分阶段扩展上下文的训练策略：先在大规模短上下文上预训练，再利用构造的长上下文数据进行中程微调扩展窗口，最后指令微调，这一流程可在不损失原有能力的前提下高效扩展推荐或Agent模型的最大输入长度。
K-EXAONE 2.0 技术报告
🧭 大规模MoE语言模型
LG AI Research
开源750B MoE多语言模型，通过upcycling和难度聚焦训练提升智能体编码与长上下文能力
📌 工作参考价值（4 点）
- MoE 稀疏激活：在推荐召回或排序大模型中可借鉴，用稀疏专家降低推理成本，尤其适合高吞吐线上服务。
- 长上下文训练：256K 上下文窗口可处理超长用户行为序列或会话历史，直接用于电商搜索中的 query 上下文理解或推荐中的序列建模。
- 多语言能力：10 种语言覆盖，对跨境电商或海外广告场景可直接使用或微调，减少多语言模型部署成本。
- 安全对齐：基于韩语社会文化背景的安全训练，可迁移到内容安全过滤、生成式推荐的合规性审查，定制化安全策略。
Chimera：混合视觉扩散 Transformer 的设计与 Chinchilla 缩放
🧭 视觉扩散模型的架构与缩放规律
Adobe Research
提出混合扩散 Transformer 及异配缩放规则，在图像/视频生成中实现 7.3× 计算效率提升与 30 秒零样本长度外推
📌 工作参考价值（5 点）
- 长上下文高效建模方案可迁移：Kimi Delta Attention (KDA) 实现 O(N) 复杂度的全局状态跟踪，可用于电商场景中长序列用户行为建模或长视频推荐，降低注意力成本。
- 多模态统一流处理：将文本、图像、视频 token 按光栅顺序混合，无需位置编码，可直接借鉴到电商多模态商品描述（图文视频）的统一表征中，简化预处理流程。
- MoE 稀疏活化策略：稀疏 MoE 层在增大模型容量的同时控制激活参数量，适合推荐大模型（如生成式推荐）的扩展，可平衡效果与推理时延。
- 异构架构的模块化缩放（HeteroP）：根据张量功能扇入与深度动态分配宽度/深度参数，为推荐模型的不同模块（特征交互、序列建模等）提供差异化缩放指导，避免均匀缩放浪费。
- 计算最优数据配比洞察：图像预训练中激活参数量与训练 token 数近乎均分算力，视频则略偏向参数量——可为多模态推荐模型的训练预算分配提供参考。
可变速率训练无关KV缓存压缩用于长上下文大模型
🧭 长上下文LLM推理优化 · 可变速率KV缓存压缩
Iowa State University
提出无训练可变秩KV缓存压缩方法VarRate，按显著性分配预算并保留所有token，实现接近无损的长上下文推理
📌 工作参考价值（4 点）
- 在线LLM服务可直接部署VarRate作为无训练的KV缓存压缩插件，减少长上下文推理内存占用，支撑更长的用户历史（如推荐理由生成、Agent对话历史理解）。
- 在多查询复用预填充缓存的场景（如批量用户查询），VarRate避免丢弃token导致的精度崩溃，保障关键信息不丢失，提升推荐或搜索结果的稳定性。
- 显著性得分可基于注意力权重快速计算，适合流式处理，能集成到实时推理管线中，无需额外模型或微调，降低工程复杂度。
- 可变秩分配思想可推广到特征存储、用户画像压缩等模块，通过保留所有数据点但差异化精度，实现更好的资源效率平衡。
有限显存下的长上下文微调：结合分层全局注意力与分段反向传播
🧭 长文本微调显存优化
BMW Group
用分层全局注意力、分段反向传播和分级KV缓存，在16GB显卡上将可训练上下文长度从2K扩展到16K，评估时支持131K tokens
📌 工作参考价值（4 点）
- 在电商推荐场景中，用户长期行为序列或长商品描述经常超过2K tokens，本方法可直接用于消费级GPU（16GB）上微调长上下文模型，大幅降低硬件门槛。
- 分段反向传播与历史KV转存RAM/NVMe的策略，可以借鉴到其它长序列训练中（如序列推荐模型），将不可微历史状态移出显存，只保留当前段可训练，节省显存。
- HGA通过为每个查询块加载有限的历史token，保持每个token的关注量近似恒定，训练速度随上下文长度线性增长，而密集注意力是二次增长，这一特性可在在线学习或增量训练Agent时提升效率。
- 训练得到的适配器可与标准密集注意力生成框架兼容，这意味着可以将高效的HGA训练与成熟的推理引擎结合，在保证模型质量的同时让推理也受益于长上下文。
线性注意力架构对比与跨层路由
🧭 线性注意力架构对比与跨层路由
ETH Zurich, D-INFK · ETH AI Center, ETH Zurich
比较四种递归线性注意力并提跨层值路由，Kimi Delta Attention+Muon损失最低
📌 工作参考价值（4 点）
- 推荐模型处理长用户行为序列时，可用 Gated DeltaNet 等线性注意力替换标准注意力，降低计算复杂度，支持更长序列建模，提升训练吞吐。
- 跨层值路由（CLVR）提供廉价的信息跨层传递方式，可借鉴至深度推荐模型（如多塔、DeepFM）中，将底层值张量路由到高层，增强信息流动。
- 优化器选择：Muon 在相同架构下比 AdamW 验证损失更低，若任务侧重点效果可尝试 Muon（注意稳定性）。
- 混合堆栈（部分标准注意力+部分线性注意力）平衡效果与效率，适合推荐序列编码器，上游用标准注意力捕获近期行为，下游用线性注意力处理长历史。
基于逻辑值贡献评分识别非字面检索头
🧭 LLM 可解释性 · 检索头检测
University of Edinburgh · Heriot-Watt University · Miniml.AI
提出写感知的 LOCOS 方法，通过 OV 电路输出投影检测非字面检索头，消融时性能崩溃远快于注意力基线
📌 工作参考价值（3 点）
- 对长上下文 Agent 中检索增强生成（RAG）的故障诊断有价值：可通过 LOCOS 定位哪些注意力头真正参与「理解上下文语义并合成答案」，而非字面复制，帮助调试上下文利用不全或幻觉问题。
- 在电商推荐理由生成或搜索结果摘要等需要从长文本中提取关键信息并改写输出的场景，可以借鉴「写感知」检测的思路，评估模型内部是否有效融合了商品描述、用户评价等非结构化信息，而不仅是复制片段。
- 方法本身只需一次性前向传播，计算轻量，适合在生产环境中对模型行为进行可解释性审计，但不直接改变推荐策略，迁移需与下游任务头部微调结合。
面向长上下文的混合注意力模型层选择优化
🧭 混合注意力模型自动化层选择
Fudan University · ByteDance Seed · The Chinese University of Hong Kong
提出FlashMorph，通过联合优化层门控自动选择全注意力层，构建高效长上下文混合模型
📌 工作参考价值（4 点）
- 在搜索推荐场景中处理用户长行为序列、多轮对话等长上下文时，可借鉴 FlashMorph 将全注意力模型转换为部分线性注意力的混合架构，在保留关键层全注意力的同时大幅降低推理成本。
- 层选择不再依赖手工规则，而是通过可学习门控在合成数据上端到端优化，能自动发现更优的混合配置，适合业务中快速适配不同长上下文任务。
- 线性化正则项显式鼓励模型信任线性注意力，防止门控退化成全注意力，可在部署时平衡效率与效果。
- 整个流程冻结原模型权重，仅优化门控和后续微调，实现成本低，便于在已有业务模型上低成本实验和上线。
SeKV：分辨率自适应的分层语义记忆 KV 缓存
🧭 长上下文推理 · KV 缓存压缩
University of British Columbia · Microsoft Research
用熵引导语义分段 + GPU-CPU 分层存储 + 按需 zoom-in 实现长上下文 KV 缓存压缩，避免丢弃信息
📌 工作参考价值（4 点）
- 长序列建模内存优化：电商推荐中用户行为序列可能很长，可借鉴语义分组与 GPU-CPU 分层存储思路，将高频访问的抽象摘要保留在 GPU，细节离线存储在 CPU，按需加载，减少线上显存压力。
- 按需检索历史细节：在 Agent 长期记忆或个性化对话中，当需要回溯具体 token 级信息时，zoom-in 机制可选择性展开相关片段，避免全量解压，适合精准检索。
- 低成本适配方案：冻结主模型，仅训练少量参数（0.05%）即可实现长上下文压缩，对业务快速实验友好，可将该范式用于微调推荐模型的长期依赖建模。
- 熵引导分段：利用注意力熵判断语义边界，对用户行为序列的时间切分或会话分割有启发，可尝试用于动态构建更具语义一致性的行为子序列。
超越奖励工程：长上下文强化学习的数据配方
🧭 长上下文强化学习数据配方
OpenBMB · Tsinghua University
以简单的数据配方替代复杂奖励工程，仅用结果奖励GRPO即可大幅提升长上下文推理及Agent任务表现
📌 工作参考价值（4 点）
- 构建面向长文档的推荐/搜索Agent时，可借鉴检索、多证据合成、推理三类混合数据配方，提升模型在冗长轨迹中定位、整合关键信息的能力。
- 仅使用outcome-based GRPO，无需复杂奖励工程，工程实现轻量、易迁移，适合业务线快速试错。
- 14K的小规模高质量数据即可带来显著收益，在业务数据稀缺时尤其有参考价值。
- 可将该数据范式迁移到多轮对话推荐、长序列用户行为分析等Agent任务中，微调模型的长上下文推理能力。
知识图谱增强的记忆检索实现长上下文建模
🧭 长上下文建模 · 动态知识图谱增强记忆检索 ★ 深度解读
University of New South Wales · Hong Kong University of Science and Technology (Guangzhou) · University of Southampton · Technology Innovation Institute · Mohamed Bin Zayed University of Artificial Intelligence
构建动态上下文知识图谱，融合结构、语义与上下文记忆，长文本困惑度降8.5%且内存效率提升2-2.5倍
📌 工作参考价值（4 点）
- 多记忆银行与融合检索：可借鉴其 contextual/semantic/structural 三组记忆并行检索并学习融合权重的设计，在电商会话或 Agent 长程对话中将短期键值对、长期语义块与图谱关系嵌入混合，提升对“同一设备、不同状态”等实体级依赖的检索精度。
- 动态知识图谱构建流水线：NER + 关系抽取 + 实体合并 + 置信度过滤的在线构图方法，能迁移至商品知识库、故障诊断等场景，实时将用户描述的设备、错误码、操作链抽成结构化关系，辅助对话 Agent 理解因果链条。
- 图-文跨模态融合：利用 R-GCN 编码结构嵌入再与 LM 文本嵌入做交叉注意力融合，可参考用于推荐系统中物品画像的增强——将商品知识图谱的拓扑信息与文本描述对齐后作为 item 表征，改善冷启动或跨领域推荐。
- 内存与延迟的折中分析：论文量化了实时构图带来的延迟成本（比纯记忆检索高约2倍），但内存节省显著；对离线可预计算场景（如固定文档集），可先构图再供线上使用，启发式地平衡精度与吞吐，适合电商推荐离线索引生成。
重新思考混合架构中高效注意力的作用
🧭 混合注意力架构的机制分析与设计
Tsinghua University · OpenBMB
高效注意力影响长文本能力涌现速度，全注意力主导检索，大窗口延迟检索头形成，小窗口+NoPE 有效提升长文本性能
📌 工作参考价值（4 点）
- 若在电商搜索或 Agent 场景使用长上下文 LLM，可借鉴「仅在全注意力层移除位置编码（NoPE）」的技巧，以微小的短上下文性能代价大幅提升长文档检索能力，适合处理产品评论汇总、客服多轮对话等任务。
- 发现「大窗口懒惰」现象：过大的滑窗反而延迟全注意力层中检索头的形成，因此在设计混合注意力架构时，需权衡窗口大小对训练早期检索能力的影响，避免盲目扩大窗口。
- 实验表明不同高效注意力设计最终收敛到相当的长上下文性能，从业者在选型时可将重点放在推理效率而非担心最终性能差异。
- 通过分析全注意力层与高效注意力层在长程检索中的分工，可指导混合模型微调：冻结全注意力层已足以保留检索能力，高效注意力层可针对其他任务适配。
密集上下文：词法密度限制LLM有效上下文容量
🧭 长上下文 · 信息密度 · find-the-needle评测
Politecnico di Torino · University of Turin
发现词法密度是长上下文性能衰减的第三大因素，高密度信息显著降低LLM检索准确率
📌 工作参考价值（4 点）
- 在Agent、RAG等长上下文构建中，高密度信息（如密集拼接商品详描、用户行为序列）会直接导致LLM忽略关键事实，可尝试先做信息解耦或摘要，降低局部密度后再输入。
- 评测LLM应用的上下文利用能力时，除长度和位置外，应监控信息密度指标，指导prompt压缩或分段策略。
- 生成式推荐的item特征拼接若过于紧凑，可能退化生成质量，需控制信息密度，或采用结构化表示替代自由文本拼接。
- 多智体协作中，多次传递的上下文若不经清洗，密度累积会加速遗忘，可设计密度感知的记忆管理机制。
用指数衰减记忆增强注意力提升查询感知KV稀疏性
🧭 查询感知KV稀疏 · 指数衰减记忆增强
EPFL · CLAIRE
利用RAT+的指数衰减记忆模块，一致提升Quest、MoBA、SnapKV等查询感知稀疏方法在长上下文任务上的准确性。
📌 工作参考价值（4 点）
- 若电商或Agent系统中部署长上下文LLM（如处理长对话或大量商品描述），可借鉴引入指数衰减记忆模块，继续少量预训练后，配合现有稀疏方法（SnapKV、Quest）大幅减少KV cache内存占用，几乎无损精度。
- 只需追加10B tokens的持续预训练即可让标准模型适应记忆模块，实现即插即用，对资源有限的业务微调较友好。
- 论文提出的两个假设（记忆使注意力头更专注、帮助模型更早定位关键token）可指导设计更适合稀疏推理的架构，例如在注意力头中融合指数衰减偏置。
- 在工程实现上，该记忆模块以递归方式维护KV状态，可与主流稀疏推理框架整合，适合需要高吞吐、低延迟的长上下文服务。