UNREAL：用单一模型统一检索与长上下文证据选择
🧭 模型内证据选择统一检索与长上下文 ★ 深度解读
NVIDIA · Technion
冻结LLM内部表征统一语料检索与长上下文去噪，仅训练<500K参数即超SOTA检索器
📌 工作参考价值（4 点）
- 搜索/推荐 RAG 场景可尝试冻结主模型只训练 retrieval tokens 和 layer-mixing 权重，把 embedding/retriever 与生成模型统一，省去独立 embedding 大模型和 reranker，降低跨模型不一致与维护成本。
- 用 LLM 内部中间层 residual stream 做多向量 late-interaction 检索，配合 mean-pool 压缩，可平衡检索效果与索引大小；类似做法可用于商品描述、用户评论、广告素材的 candidate retrieval。
- 长上下文用户行为建模中，可以把长期行为序列或搜索日志分块后用内部 evidence selector 去噪，只喂 top-n chunks 给生成器，避免无关历史干扰并降低 prefill/KV cache 成本；从 32K tokens 起 FLOPs 和 TTFT 优于 full-context。
- 训练用多正例 InfoNCE + hard negatives 而非简单 in-batch negatives；query 侧加入 BM25 初始上下文和 soft prompt tokens，保留检索模式，适合冷启动或小样本微调。局限是当前主要基于 Wikipedia QA，跨域迁移需验证，多向量存储成本较高。
塞壬之歌：当近端背景语境压过远端证据
🧭 长上下文注意力机制 · 重尾相关性对齐
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney
识别长上下文 LLM 的 Proximity Trap，并提出重尾相关性对齐机制 LYRA，把更多注意力导向任务相关证据
📌 工作参考价值（4 点）
- 在电商搜索、RAG 或 Agent 长记忆场景中，不要把长上下文优化只等同于“扩大窗口”或“距离加权”；需要显式对抗近端无关内容的干扰，例如在 memory / context 读取层增加相关性门控或对注意力分布做重尾变换。
- 可以借鉴 LYRA 的 t-distributed heavy-tailed relevance alignment 思路：在检索增强、用户历史建模或商品详情拼接时，对 token 级的 relevance score 做重尾映射，避免注意力被大量近端噪声 token 稀释，让远端关键信息获得更高概率质量。
- 构建与 ProxBench 类似的评测：在 prompt 中注入大量近端但任务无关的背景文本，测试模型能否稳定利用远端证据；这比单纯 LongBench 更能暴露实际 Agent / 搜索推荐场景下的上下文干扰问题。
- 若自训长上下文排序或生成模型，可加入近端干扰样本，并设计 relevance-aware 的注意力匹配损失，帮助模型学习“位置近不等于任务相关”的归纳偏置。
ConvMem：面向长上下文推理的卷积记忆框架
🧭 长上下文推理 · 卷积记忆
Institute of Automation, Chinese Academy of Sciences
将长上下文推理重构为分层卷积，训练免费、高度并行，缩短推理链为对数树
📌 工作参考价值（4 点）
- 超长用户行为序列建模：可借鉴其分层卷积思路，将用户长期行为、浏览/点击序列分段，用 LLM 以当前 query 为卷积核做树状摘要，降低顺序读取延迟。
- 多意图查询分解：Multi-Kernel Convolution 把复杂 query 拆成多个语义通道并行处理，适合电商搜索中多意图识别与召回融合。
- 训练免费外挂记忆：无需强化学习微调，可作为独立 memory 组件接入现有 LLM API，避免在特定数据集上过拟合，利于快速落地。
- 工程并行优化：Configurable Strides 和 Skip Connections 支持对多个文本段批量 summary，适合长文档 RAG、商品详情/评论聚合等场景的 GPU 并行加速。
语言模型可以控制自身注意力
🧭 LLM 长上下文稀疏注意力 ★ 深度解读
KAIST AI · Google DeepMind
提出声明式注意力协议，让模型在思维链中显式声明注意力范围，零训练实现长上下文稀疏注意力
📌 工作参考价值（4 点）
- 在长上下文多轮对话（电商客服、购物助手、推荐解释 Agent）中，把历史对话、商品信息、检索结果切分为可寻址片段，让模型通过 <focus> 标签声明需要关注的片段，可减少 50% 以上的 KV cache 读取，适合大 batch 在线服务降延迟。
- 与 RAG/工具调用结合：将检索到的商品/广告/知识片段作为模拟工具返回的“magic chunk”，模型在推理中自行选择关注哪些片段，避免每步全量扫描，可显著降低多文档推理成本。
- 工程上可直接复用论文的 vLLM 集成思路：通过 hook 改写 KV cache block table 实现块对齐掩码，不改内核、兼容 FlashAttention，适合快速在现有推荐/搜索 Agent 服务中落地。
- DA 的注意力计划以文本形式输出，可审计模型在推荐解释、搜索排序中具体关注了哪些输入，用于优化上下文构造和检索策略；未来还可结合 KV cache offloading 实现可逆上下文压缩，适合长会话 Agent。
重新思考 Test-Time Training 中的表达力与效率
🧭 高效长上下文 Test-Time Training
Karlsruhe Institute of Technology (KIT) · National University of Singapore · Fraunhofer IOSB · Lamarr Institute for Machine Learning and Artificial Intelligence · University of Bonn
提出 E²-TTT，通过闭式状态转移并行化分块 TTT 训练，在保持每 token 更新时序结构的同时匹配分块方法吞吐
📌 工作参考价值（3 点）
- 长序列用户行为建模：电商推荐中的用户长期历史、会话依赖往往超过常见上下文长度，E²-TTT 可作为替代或混合 attention 的序列建模模块，尤其在需要长度外推时，其 8× 训练长度外推能力可减少重新训练成本。
- Agent 长任务记忆：多步 Agent 需要持续从长 horizon 任务中学习，TTT 的权重更新机制比 KV cache 更紧凑，E²-TTT 的并行分块训练使在线学习用户偏好或任务适应在工程上更可行。
- 工程实现参考：论文中的闭式状态转移 + 分块并行训练思路，可迁移到任何需要高效时序递归更新的模块，避免简单 chunk-wise 近似丢弃中间状态，同时保持吞吐。
InternVideo3：通过多模态上下文推理实现基础模型智能体化
🧭 多模态 Agent · 长视频推理 ★ 深度解读
Shanghai AI Laboratory · Shanghai Innovation Institute · Nanjing University
提出多模态上下文推理（MCR）与多头潜在注意力（M²LA），将开放视频模型推向长程视觉智能体
📌 工作参考价值（4 点）
- MCR 闭环范式可用于多步商品理解：将商品多模态信息、用户查询、工具调用结果维护在统一上下文中，递归观察-推理-动作，适合直播切品、复杂选品等需要动态环境交互的场景，可直接借鉴其对证据积累和信念更新的设计。
- M²LA 可降低多模态 Agent 的 KV Cache 开销：通过潜在注意力压缩保留全部视觉 token 的同时减少缓存内存，对于需要长对话历史、多轮商品对比或超长视频分析的电商客服 Agent 很实用，可尝试类似低秩映射和模态自适应适配器来优化线上成本。
- 分阶段训练配方可复用：先通过 M²LA 转换后的 continued pretraining 恢复能力，再用短到长的课程 SFT、基于规则验证的 RL 和 on-policy 蒸馏，这种组合对公开基座模型增强长程推理和工具使用能力路径清晰，适合在自身业务基座上微调推理能力。
- 层次化记忆与递归验证可提升回答可靠性：论文中的分层记忆（帧/片段/场景）、问题路由、检索与自我验证机制，可用于商品视频问答或导购 Agent 中，降低幻觉并强制答案有据可依，特别是遇到不确定时重新检索证据再修正答案的思路值得实现。
长上下文LLM的全池Setwise重排序：双端选择加速排名构造
🧭 LLM重排序 · 全池Setwise · 双端填充 ★ 深度解读
The University of Queensland
在长上下文LLM中一次调用同时选出最相关和最不相关的段落，将排名构造的串行调用数减半。
📌 工作参考价值（4 点）
- 当候选池可完整放入长上下文时，采用 双端选择（DualEnd） 策略：每次 LLM 调用要求模型同时给出最相关和最不相关的物品，将排序构造所需调用数从 N−1 降至 N/2，显著降低延迟与成本。
- 电商推荐重排可参考全池（Whole-Pool）思想：不再用滑动窗口拼凑全局序，直接一次看到全部候选，避免窗口间不一致，提升排序质量，尤其适合召回池在 100 以内的场景。
- 注意长上下文中的位置偏差，DualEnd 对输入顺序敏感；工程落地时可结合随机打乱或自一致性技巧来减弱偏差，或保留原始 BM25 序作为暖启动。
- 该方法的代价有效性曲线表明：用极少的 nDCG@10 损失（-0.018）换取近 50% 的调用量下降，对实时性要求高、预算受限的业务（如在线重排）很有吸引力。