#Architecture

5 篇

Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals

测试时迭代扩展至数万步的循环原生注意力残差

🧭 循环 Transformer 测试时迭代扩展

The Hong Kong Polytechnic University · Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · ELLIS Institute Tübingen

提出 InfiLoop 循环原生残差连接，使 7M 模型在数万次测试时迭代中保持推理提升，Sudoku 97.9%，ARC-AGI-2 13.6% pass@2

📌 工作参考价值（4 点）

对 Agent 多轮推理/工具调用场景：借鉴 InfiLoop 的循环原生残差，在 agent 状态更新中引入 content-based weighting + learned temporal decay，保留关键中间推理、抑制噪声 proposal，避免长链路中正确中间状态被覆盖。
工程实现上：exact streaming recurrence 使聚合内存恒定，适合在线推理和流式数据处理；在电商推荐中可用于实时会话状态维护或长期用户行为序列建模，避免循环步数增加带来的记忆膨胀和误差累积。
测试时扩展以小参数（7M）获得显著推理提升，对资源受限的线上推理服务有参考价值：可以设计轻量循环模块，通过增加循环步数而非模型参数来提升复杂 query 理解或多步策略决策能力。
普通 residual connection 在 loop 中可能不够，需要为循环结构单独设计门控残差；具体 trick 是学习每个新更新接受多少、保留多少，而非简单加权平均。

Reasoning | 2026-10-07 | HF Daily | score 7/10

The Extender: A Log-Structured Transformer

日志结构Transformer：分离残差与扩展嵌入以压缩KV缓存

🧭 Transformer架构改进 · KV cache压缩 ★ 深度解读

University of Illinois Chicago

提出日志结构Transformer，用每层32维扩展嵌入替代全宽KV缓存，使924M模型持久注意力内存减少104倍且长上下文更优

📌 工作参考价值（4 点）

对于需要处理长用户行为序列或长文档上下文的电商/搜索推荐LLM，可借鉴双通道设计：将注意力KV输入改为低维log-structured扩展嵌入，回合间释放全宽KV缓存，显著节省显存，支持更长用户历史。
架构改动仅影响注意力输入，与GQA、量化、层复用等现有压缩技术正交；论文显示Extender+GQA在参数更少情况下仍优于MHA Transformer，可直接叠加到现有推理优化栈。
推理工程上可采用 ephemeral kv-cache 策略：持久保存x*缓存，按需重投影KV，适合多轮Agent或低频长上下文请求，避免长期占用大量显存。
分离下一token预测残差流与注意力记忆通道的思想，可能提升长序列建模能力（如多key检索类任务），在用户行为建模或长文档理解场景值得验证。

LLM | 2026-09-25 | HF Daily | score 8/10

Transformer KV cache Long context Memory efficiency Architecture

Memory for Large Language Models

大型语言模型记忆机制综述

🧭 LLM记忆机制综述

提出以架构为中心的LLM记忆分类框架，沿表征、更新、持久性三轴统一碎片化研究。

📌 工作参考价值（4 点）

长期用户建模：在电商推荐Agent中，可借鉴显式记忆存储（如外部KV Cache）持久化用户跨会话行为，解决长期偏好漂移问题。
混合记忆架构：采用短/长期记忆协同设计，短期记忆负责实时上下文（如浏览序列），长期记忆存储压缩画像（如购买历史Embedding），平衡延迟与个性化。
在线记忆更新：利用参数高效微调（如LoRA）实现轻量级在线用户兴趣更新，无需全量重训，适合千人千面的动态推荐场景。
记忆路由与压缩：将多源异构用户数据（点击、搜索、购买）通过记忆路由器动态写入不同存储分区，并结合记忆压缩技术降低存储开销，提升长序列处理效率。

Other | 2026-07-27 | HF Daily | score 7/10

LLM Memory Architecture Survey Hybrid Memory Taxonomy

Tapered Language Models

锥形语言模型：深度感知的 MLP 宽度分配

🧭 语言模型架构优化 · 深度感知容量分配

Mila · Cornell University · Université de Montréal · CIFAR AI Chair

在总参数固定下，让 MLP 宽度随层深递减（余弦锥形）可免费提升 Transformer 等模型的困惑度与下游性能

📌 工作参考价值（4 点）

免费性能提升：在训练推荐领域的 Transformer 模型（如 CTR 预估、行为序列建模）时，可将 MLP 中间宽度按余弦锥形从底层向顶层递减，在零额外参数和计算下获得困惑度或下游指标提升。
超参搜索技巧：锥形范围（起始宽度倍数->结束宽度倍数）和衰减形式（余弦 vs 线性）可视为新的架构超参，直接用固定总预算的缩放实验快速寻优，无需改动训练流程。
与现有架构解耦：方法不依赖特定注意力机制，可直接叠加到 Gated Attention、Hope-attention、Titans 等变体上，方便复用到自研或改进的推荐模型。
强化学习 Agent 内部模型：若 Agent 内部使用 Transformer 作为策略或值函数网络，锥形 MLP 同样可作为低成本的结构性改进，在不增加推理成本的前提下提升模型容量利用效率。

LLM | 2026-06-21 | HF Daily | score 7/10

LLM Architecture MLP Tapering Parameter Efficiency Depth-aware

Variable-Width Transformers

可变宽度 Transformer

🧭 Transformer 架构优化 · 宽度缩放

MIT · MIT-IBM Watson AI Lab

提出 × 形瓶颈架构，中间层窄、两端宽，同等参数量下性能更优且推理成本更低

📌 工作参考价值（4 点）

将瓶颈结构引入大模型，可减少推荐/搜索系统中 LLM 的显存和计算开销，尤其对需保留 KV cache 的在线服务有利
无需额外参数的残差维度映射方法可直接复用到现有 Transformer 推荐模型（如 SASRec），通过非均匀宽度提升效率
对于 Agent 中多次调用 LLM 的场景，可降低单次推理延迟与成本，加速多步决策
提示我们在设计生成式推荐模型时，不必每层等宽，中间层适当缩减可兼顾容量与效率

LLM | 2026-06-15 | HF Daily | score 7/10

Transformer Architecture Scaling Width KV Cache FLOPs