Schmidhuber领衔84页综述：LLM架构走向何方

大模型架构：不只是拼参数

聊到大语言模型（LLM），多数人首先想到的是“Scaling Law”——数据管够、参数足够大、算力足够强，智能自然就冒出来了。这话不假，过去几年的跃升确实主要靠规模往上堆。可要是把视线从“多大”挪开，转而看“怎么搭”，就会发觉基础架构其实一直在暗中演进。

眼下这些旗舰模型，早就不停留在最初那个纯 Transformer 上了。GQA（分组查询注意力）、MLA（多头潜在注意力）、各类稀疏注意力机制，乃至 Mamba 这种线性注意力网络，都在想办法突破传统架构的天花板。DeepSeek 做的细粒度 MoE（混合专家）、多 Token 预测，以及 Looped 这类循环架构，几乎每推出一代新模型，都要对基础结构动一次刀。

更耐人寻味的是，这轮演变远没到收尾的时候。持续学习、测试时训练（Test-time Training）等新诉求，正推着架构接着改。Ilya Sutskever 新创办的 SSI 就在琢磨能在推理阶段更新权重的模型。业内的看法很一致：当下的 LLM 架构只是中途一站，并非终点。

前不久，一篇深度综述出炉，由“LSTM 之父” Jürgen Schmidhuber 领衔，汇集了香港大学、KAUST、华为、港中文、北大等机构的研究者。文章长达 84 页，引用文献近 600 篇，时间跨度拉得极开——从 1913 年一路写到 2026 年，想弄清一个问题：下一代语言模型架构究竟长什么样？

从 1913 年讲起的“考古”

在不少人印象里，深度学习是近十年才兴起的事，可这篇综述把起点放在了 1913 年。那一年，俄国数学家马尔可夫统计了普希金长诗《叶甫盖尼・奥涅金》里元音和辅音的排列，头一回用数据证明语言中存在“条件依赖”。语言模型的雏形就在这里：下一个词是什么，要看前面的词。

1948 年，香农把语言当成随机信源，打下了信息论的地基。再往后，语音识别领域的 n-gram 模型、1990 年的循环神经网络（RNN）、1991 年 Schmidhuber 等人提出的 LSTM，一个接一个登场。直到 2017 年 Transformer 问世，才真正撑起了今天的大模型时代。

把时间线拉长来看，不少看着全新的技术，其实都有“前世今生”。

举个例子，Schmidhuber 在 1991 年提出的“Fast Weight Programmers”中，包含一种加性外积更新规则。去掉归一化之后，它本质上就是今天的“线性 Transformer”。而 2020 年走红的核化线性注意力，在数学上等价于给这个老方法补上了一个归一化。

再看一个例子，如今大模型前馈网络里常见的 SwiGLU 激活函数，其门控机制直接来自 LSTM 的乘法门控。而 LSTM 中那条让误差顺畅流动的加性通路，与后来的残差连接（Residual Connections）也有着本质上的血缘关系。

这种跨越时代的呼应说明一件事：技术演进极少凭空突变，更多是旧想法在新算力条件下被重新拾起、重新拼装。

拆解 Transformer：哪里还能挤出空间？

现在的 LLM，核心仍是 Decoder-only Transformer。名字虽然都这么叫，内部组件却已经换过好几轮。综述把架构改进拆成几个关键模块来审视。

1. 高效注意力与 KV 缓存

Transformer 最头疼的问题之一是 KV 缓存。生成文本越长，缓存就线性增长，显存占用和访存压力都很大。综述按维度把现有优化方法做了归类：

• Token 维度：主要是稀疏注意力。比如 StreamingLLM、H2O、SepLLM，只保留重要的 Token，把不重要的丢掉。另有 NSA、MoBA 这类可训练的块稀疏方法。
• 注意力头维度：例如 MQA（多查询注意力）和 GQA（分组查询注意力），让多个头共用同一组 KV 缓存，内存占用因此大幅下降。
• 特征维度：像 DeepSeek 的 MLA，靠低秩压缩把 KV 向量的大小压下来。
• 层维度：MiniCache 这类方法，尝试让不同层之间共享缓存。

作者特别提到，很多方法省下的是显存和带宽，真正能把注意力计算复杂度从平方级降下来的，只占少数。别被“高效”两个字带偏，得看清楚它到底优化了哪一环。

2. 线性语言模型：告别平方复杂度

除了改动 Transformer，还有另一条路：彻底换一套架构。源自 RNN、Fast Weight Programmers 和状态空间模型（SSM）的线性语言模型，近些年势头很猛。Mamba、Gated DeltaNet 都归在这一类。

名字虽然五花八门，但综述指出，这些模型在数学上能统一成同一种形式。它们的核心优势在于推理时的线性复杂度，不再被序列长度的平方增长拖住。处理超长上下文时，这一点尤其关键。

3. MoE：从稀疏到细粒度

混合专家模型（MoE）早已不新鲜，可它的演进路线颇值得琢磨。早期的主流做法是稀疏门控 FFN，核心诉求是在大规模训练中把负载均衡和稳定性处理好。后来进入 DeepSeek-V2/V3 阶段，布局转为「细粒度专家 + 共享专家」，效果上去了，通信开销也降了下来。

眼下，通信与显存两头受限，研究者开始重新设计专家的系统级变体。MoE 已经不只是算法层面的技巧，它成了一个系统工程问题。

4. 其他基础模块的微调

• 激活函数方面，从简单的 ReLU 一路走到 GLU 家族（如 SwiGLU），图的是把信息流控制得更好。
• 归一化方面，Post-LN 先过渡到 Pre-LN，如今是 RMSNorm，瞄准的是梯度消失与表示坍缩之间那种「跷跷板效应」。
• 位置编码方面，绝对位置编码之后出现了 RoPE（旋转位置编码）、ALiBi，再到 YaRN 这类上下文扩展方法。甚至有模型开始试水不用显式位置编码（NoPE）。
• 分词器方面，字符级、词级、子词级怎么取舍，词表大小怎么调，都会直接作用于模型处理多语言和特殊符号的能力。

生成时的计算分配：更聪明地花钱

前面那些改进，说白了是在「省料」。最后两章聊的则是另一件事：算力怎么花才更值。

多 Token 预测

传统 LLM 一次只预测一个 Token，效率偏低。多 Token 预测想做到的是一次吐出多个。综述把它分成两类：

1. 一类是并行预测头，比如 Medusa，几个头同时猜后面的词，彼此条件独立。
2. 另一类是串行预测器，比如 DeepSeek-V3 的 MTP 模块，因果链保留下来，前一个预测结果会影响后一个。

再配合投机解码（Speculative Decoding）：小模型或草稿模型先出结果，大模型负责验证和接受。这种「lookahead」机制把预测与提交拆开，推理速度提升明显。

自适应与循环深度

并非每个 Token 都得走完全部层。简单的词也许浅层处理就够，复杂的逻辑才需要深层推理。

• 早退（Early Exit）：简单样本提前输出。
• 条件深度：比如 Mixture-of-Depths，按 Token 难度动态决定执行哪些层。
• 循环 Transformer：比如 Huginn、Ouro，同一组层反复调用，而非堆叠不同的层。参数量不变，有效深度却增加了。

开源模型的「配方表」

综述第 14 章备了一份详尽的「菜谱」，LLaMA、Qwen、DeepSeek、Kimi、GLM、MiniMax 等主流开源模型的配置都列在其中。

作者总结出四种常见的架构组合：

1. 标准稠密模型：即传统的 Dense Transformer，如早期的 LLaMA。
2. 稀疏专家模型方面，代表是 DeepSeek-V2/V3，特点是压缩注意力机制加 MoE。混合架构则把注意力层和线性层交错排布，Jamba、Qwen3-Next、Kimi Linear 都属此类。还有一类是多 Token 预测模型，具备投机解码或并行预测的能力。

对打算复现或改进模型的研究者来说，这张表用处很大。各团队在表达力、效率、稳定性之间怎么取舍，从表里看得一清二楚。

下一代架构的特征：自适应

综述末尾提炼出三点核心观察，也是对未来的判断。第一点，标准 Decoder-only Transformer 仍是参照系，新工作多数是在这个框架上打补丁，而非推倒重来。这些改动大致落在四个方向上。

1. 灵活与条件化处理：不再让每个 Token 受到同等对待。MoE、早退、循环深度，都是“看人下菜碟”的办法。
2. 精细化的变换动态：计算路径保持不变，改的是激活函数、归一化和残差连接，目的是让信息流动更顺。
3. 选择性与灵活的状态管理：借助带压缩、筛选功能的注意力模块，改进甚至取代原本笨重的 KV 缓存。
4. Lookahead 机制与延迟提交：把预测和最终提交拆开，用多 Token 预测和投机解码提效率。

第二点，这些改动彼此牵连。改一处，别处的成本和收益往往跟着变。用了 MoE，通信开销就上去了；换成线性注意力，长程依赖能力可能被削弱。所以得整体评估，单点优化行不通。

第三点，基础设施（Infra）决定能否落地。负载均衡、算子实现、缓存支持，这些工程细节和模型设计同等重要。架构再好，跑不起来也是空中楼阁。

文章的看法是，下一代架构的核心特征不在于拿某个单一模块替换注意力或稠密前馈网络，而是在 Token、层和时间三个维度上，越来越自适应地分配计算、容量、状态和预测。

难题当然还不少。预测视野、循环深度、状态大小，目前都缺少像 MoE 那样成熟的 Scaling Law 研究。条件计算和循环计算规模做大之后，训练稳定性怎么保住？评测体系又怎么同时体现表达力、效率与稳定性之间的权衡？

这些问题没有标准答案，得靠架构设计、优化方法和系统工程持续配合。Schmidhuber 团队希望这份综述能当一张结构化的“地图”，让后来者探索下一代架构时少踩些坑。

眼下，该综述的项目主页和 GitHub 代码库已经开源，社区在共建更新。对身处大模型浪潮中的开发者来说，这既是一份历史回顾，也是一份实用的行动指南。