带广义二阶路由的多状态线性注意力
🧭 多状态线性注意力长上下文聚合路由 ★ 深度解读
Princeton University · Google DeepMind
提出MERLIN，用段内keys的一/二阶矩恢复query-段对齐的均值与方差，提升多状态线性注意力聚合路由
📌 工作参考价值（4 点）
- 长期用户行为序列建模：若用分段线性注意力/记忆状态压缩用户历史（按会话、时间窗分段），可借鉴二阶矩路由。当前均值pooling只捕捉平均兴趣，二阶矩能捕捉段内兴趣峰值与多样性，对定位“某一次强购买意图”更准，有助于CTR/CVR预估或召回。
- RAG/LLM生成推荐理由或广告文案：在长上下文多文档、多商品描述中，用query与段落keys的一阶+二阶矩计算相关性权重，可缓解仅基于位置或均值导致的近因偏差，让模型更均匀地利用中前段关键信息，适合检索增强生成中的证据选择。
- 工程落地：额外缓存每段keys的一阶/二阶矩开销很小（dr=128时约4–13%内存增量，参数增量与meanpooling相当）。建议为路由使用独立的key/query投影（shared-KQ会明显掉点），并采用可学习gate混合均值/方差项，而非固定系数。
- 注意该方法需要mid-training将单状态backbone转为多状态，无法即插即用；如果业务已有长序列记忆或State Space模型，可将其作为继续预训练阶段加入。
图书管理员智能体：训练LLM预构建预见未来查询的长上下文工作区
🧭 Agent 预构建长上下文记忆工作区 ★ 深度解读
Stanford University · Carnegie Mellon University
将文档语料预构造成分层文件系统工作区，并用RL直接优化下游答题准确率，BrowseComp-Plus提升33个百分点
📌 工作参考价值（4 点）
- 在电商/客服/导购 Agent 中，可将商品库、类目树、活动文档、评论语料预先构建成分层合成文件系统（如类目索引、跨品对比表、活动时间线），回答 agent 走短路径文件即可，不必每次实时跨文档检索；用 RL 直接以“下游转化/回答准确率”作为奖励训练 builder 策略，而不是手工定义抽取规则。
- 利用文件系统作为 LLM 友好的外部记忆接口，比知识图谱更灵活：CreateFile/MergeFiles/Delete/Stop 这四类动作足够构建层级，同时显式保留 provenance/原始文档链接作为 fallback，防止合成摘要丢失关键细节；电商场景中 needle-in-haystack（如某单品具体参数）可回退到原文。
- 工程上可借鉴“预构建一次 + 多次查询”的成本摊销：把昂贵跨文档推理前置，回答阶段只读合成文件；文中给出 break-even 分析（约31个查询/语料时 token 成本优于 base builder），类似商品知识库高频问答适合。
- 密集奖励设计可复用：每 8 步探测 answerability 变化作为密集信号 + 终局正确性，等价于稀疏奖励但训练更稳定；multi-turn GRPO 可用于训练其他文档组织策略。
MemFold：用在线策略优化学习紧凑软记忆的长上下文个性化
🧭 LLM 长期个性化记忆压缩与强化优化 ★ 深度解读
University of California, Santa Barbara · University of North Carolina at Chapel Hill · Harvard University · University of Wisconsin–Madison
固定预算软记忆+置信门控在线蒸馏，按下游行为而非文本重构优化长程个性化记忆
📌 工作参考价值（4 点）
- 用户长期画像/行为序列记忆：先用 writer 抽取 query 相关的结构化文本记忆，再压缩为固定数量 soft tokens（如 K=256），reader 只消费 K 个向量，推理成本不随历史长度线性增长；适合电商/广告 Agent 在长会话中保持个性化且控制 context 开销。
- 在线策略蒸馏：用冻结的 full-text reader 作为 teacher，只对学生自己采样 token 计算置信门控 σ(β(ℓ_T−ℓ_θ)) 来加权 student 的 token likelihood；无需 teacher 自回归生成，能对推荐文案/回复中局部违背用户偏好的 span 提供密集监督。
- 把标量 reward（点击/转化/偏好命中）与 token 级信号结合：GRPO 负责整体结果，OPD 定位“整体流畅但某个推荐项违背偏好”的错误；工程上同组 reward 方差接近 0 时把 advantages 置 0，避免无效更新。
- 训练期固定 memory snapshot 和 teacher，防止 RL 更新导致记忆漂移；上线前可用 shuffled/null memory 干预验证模型确实依赖实例特定记忆，而不是只背任务先验。
先高亮后摘要：学习为长上下文理解压缩证据
🧭 长上下文推理 · 证据压缩与强化学习 ★ 深度解读
Peking University · Baidu Inc. · Tsinghua University
提出 Highlight-Then-Summarize：先定位证据再生成问题条件摘要，压缩长上下文并提升推理
📌 工作参考价值（4 点）
- 在电商/Agent 场景中，对长商品说明、多跳用户评论、客服对话或政策条款，可让模型先输出「证据块 ID + 关键 span」再生成「问题条件摘要」，最后作答；这样既保留溯源能力，又减少无关内容对推理的干扰。
- 借鉴 H2S-RL 的过程奖励设计：不要只奖励最终答案，把 evidence grounding、span F1、summary ROUGE-L 和结构完整性分开给确定性的 programmatic reward；不依赖在线 LLM judge，适合离线训练和工程化。
- 给上下文分块并分配稳定 ID 的做法很实用：在搜索/推荐系统里对长文档、商品详情、用户历史做地址化，可支持后续引用、归因和审计，成本低。
- H2S 在 4K 输出预算下接近 16K 的表现，说明把压缩外化为显式 intermediate 比放任长 CoT 更省 token；在线上低延迟/低成本约束下，可优先考虑先压缩证据再推理的架构。
面向大规模金融文档的层级重排序RAG系统
🧭 RAG 层级重排序与长上下文处理
Financial Security Institute · Hanyang University
通过预检索优化、两阶段层级重排序与自适应长上下文管理，显著提升金融RAG的检索精度与事实一致性
📌 工作参考价值（4 点）
- 预检索优化可复制：归一化、关键词扩展与表格转换等轻量级预处理，可直接用于电商搜索或推荐系统的查询理解模块，提升召回阶段的命中率，尤其适合含表格的产品描述。
- 两阶段重排序架构：先粗排后精排的思路在推荐系统中已成熟，本文的层级重排序强调利用不同粒度证据进行递进式匹配，可将类似思路用于多路召回后的融合排序，比如先用稀疏特征粗排，再用cross-encoder精排，降低精排计算压力。
- 长上下文的切片与融合机制：对于需要处理用户长期行为序列或长文档描述的推荐场景，自适应分区和证据融合方法可以避免上下文截断带来的信息丢失，保持长序列推理的连贯性，可迁移至用户长历史建模或多轮对话Agent的记忆管理。
- 事实一致性校验的启发：文中强调生成结果的事实一致性，电商生成式推荐（如AI文案、评论总结）同样面临幻觉问题，可借鉴其在RAG管道中加入事实核对步骤，对生成内容与检索证据进行交叉验证。
C²KV：压缩与可组合的KV缓存复用，实现高效长上下文LLM推理
🧭 LLM推理加速 · KV缓存复用与压缩
Shanghai Jiao Tong University · Alibaba Group
联合优化KV压缩与拼接，实现位置无关的可组合缓存，长上下文推理加速达17倍
📌 工作参考价值（4 点）
- 在构建基于RAG的推荐或多文档搜索系统时，可直接复用C²KV的压缩与可组合缓存，避免每次请求重新编码海量上下文，大幅降低首token延迟和GPU内存占用。
- 轻量侧车Extractor不修改基座模型，适合在已有生产LLM（如阿里通义、ChatGLM）上快速部署，无需重新训练或对齐，工程风险低。
- 位置无关的模块化缓存设计，允许不同来源的文档片段独立压缩后动态拼接，特别适合电商搜索中多商品描述、多用户评价等异构上下文组合场景。
- 压缩-拼接联合训练策略确保压缩后的表示可直接用于下游注意力计算，避免简单量化和重用带来的精度崩塌，为业务中长文本处理提供了可靠的效率-质量平衡。
SynthDocBench：长上下文视觉文档理解的受控基准
🧭 基准评估 · 长文档多模态理解
ServiceNow AI · Mila · Université de Montréal
通过合成数据系统控制文档长度、布局、模态和问题类型，揭示VLMs在长文档上的三种失败模式
📌 工作参考价值（4 点）
- 合成数据生成范式的复用：用LLM管线生成可控变量（长度、布局、模态、问题类型）的文档，可迁移到电商商品详情页、广告落地页等多模态内容的理解评估，系统诊断模型弱点。
- 位置敏感性发现：中部段落准确率最低（5/6模型“Early→Late”负向趋势，最大降8.3个百分点），提示在构建RAG系统的检索上下文时，避免简单按序拼接长文档，应将关键信息前移或采用分段注意力增强机制。
- 图表理解在长文档中崩坏：长文档内嵌图表的理解错误高，对广告/推荐中常含图表的多模态素材，需单独提取图表区域进行专项编码，或限制上下文长度以避免干扰。
- 防伪相关的随机覆写机制：生成时用40%随机覆写防止模型利用虚假关联，在实际业务构建评测集时，可引入类似随机占位符或噪声注入，避免模型走捷径，提升评测稳健性。
自引导测试时训练：提升长上下文LLM推理的简单方法
🧭 长文本测试时自适应训练
Meta AI · University of Virginia
模型自适应前先自选相关证据片段，只在选中的片段上做测试时训练，长上下文推理最高提升15%
📌 工作参考价值（4 点）
- 在长上下文任务（如长用户行为序列建模、长文档问答）中，可借鉴自引导TTT：对每条测试样本，先用模型识别出与当前query/任务最相关的证据片段，仅在这些片段上进行语言模型微调，以低计算成本实现实例自适应。
- 工程上，S-TTT的稀疏训练只更新少量token，适合在线延迟敏感场景，例如搜索query改写、个性化推荐理由生成时的实时自适应。
- 借鉴“自选择证据”思想，在构建Agent的记忆或RAG模块时，可设计一个轻量级证据选择器，从长上下文历史中检索关键信息，再对此进行微调或提示增强，有效过滤噪声。
- 该方法无需额外标注，利用模型自身输出作为监督信号，可在电商评论聚合、广告文案生成等长文本应用中以无监督方式提升证据利用率。
稀疏增量记忆：以稀疏性缩放线性RNN状态
🧭 线性RNN稀疏状态扩展 ★ 深度解读
Meta FAIR · Inria Paris & ENS-PSL University · University of Tübingen
通过稀疏寻址将门控线性RNN的状态容量提升千倍，在等FLOPs下大幅改善长上下文检索和训练损失
📌 工作参考价值（4 点）
- 长序列Agent的记忆压缩：SDM用常量计算量维护大规模上下文状态，适合仍需多轮对话、长推理链的电商客服/购物助手Agent，避免KV cache爆炸，降低推理延迟。
- 推荐系统长序列建模：可替代Transformer的KV缓存来处理超长用户行为序列（如数万次点击），在固定显存下支持更长的交互历史，提升序列模型对长期兴趣的捕捉。
- 可学习初始状态用于存储领域知识：SDM将记忆的初始状态设为可学习参数，预训练后可携带通用常识（如商品品类关系），类似隐式的知识库，可迁移到生成式推荐模型的“记忆增强”模块。
- 稀疏更新工程实现：论文的chunk-wise并行训练与两指针合并求稀疏内积可在业务模型（如LLaMA类）中实现高效的大容量记忆层，适合需低成本接入长上下文的场景。
ACC：面向长上下文训练的Agent轨迹编译
🧭 长上下文训练 · Agent轨迹编译 ★ 深度解读
University of Science and Technology of China · Shanghai Innovation Institute · Shanghai AI Laboratory
将多轮agent轨迹编译为长上下文QA对，无需额外标注，在长程依赖建模上媲美8倍参数模型
📌 工作参考价值（4 点）
- 直接复用业务中已有的agent交互日志（如电商智能客服多轮对话、数据库查询、代码调试等），将其组装为长上下文训练数据，无需额外标注，低成本提升模型多跳推理和信息整合能力。
- 在生成式推荐或搜索中，可将用户与推荐系统的多轮交互（查询、候选列表、点击/购买行为等）编译为长上下文，让模型直接基于长历史序列生成最终推荐，替代逐步候选筛选流程。
- 训练时加入不相关的干扰项（如未点击的商品、未使用的搜索结果）并随机打乱顺序，能增强模型在长上下文中定位关键信息的能力，可迁移至电商场景下处理杂乱的浏览历史。
- 完全基于标准SFT，无需复杂强化学习，工程实现简单，适合快速实验和部署。
Mix-Quant：面向Agent LLM的量化预填充与精确解码
🧭 Agent推理优化 · 阶段感知量化 ★ 深度解读
National University of Singapore
提出阶段感知量化框架，预填充用NVFP4加速，解码保持BF16精度，在Agent任务上几乎无损且预填充加速达3倍。
📌 工作参考价值（4 点）
- 对于交互多轮、上下文不断增长的Agent工作流，解码阶段对数值误差更敏感，可直接对预填充进行低精度量化（如NVFP4）而保持解码高精度，避免长轨迹中的误差累积。
- 可借助预填充-解码分离架构，将低精度预填充worker和高精度解码worker独立部署，既不引入额外的精度切换开销，又能充分利用硬件加速（如Blackwell的FP4 Tensor Core）。
- 在输入token远多于输出的场景（工具调用、记忆检索、代码生成等），预填充成为瓶颈，利用W4A4量化可显著降低计算量，收益明显。
- 量化的收益并非均匀分布在所有阶段：预填充因并行处理长上下文而适合激进量化，解码因自回归特性需保持精度，按阶段定制量化策略是简单有效的手段。
MemLens：大视觉语言模型多模态长时记忆基准测试
🧭 Eval ★ 深度解读
HKUST · CUHK · OmniMemory · NVIDIA
首个统一长度控制下的多模态对话记忆基准，对比长上下文与记忆增强两类方案，揭示视觉证据检索为瓶颈