Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了 来源：新智元就在刚刚，KAIST、Mila和谷歌DeepMind团队等放出重磅炸弹—— 一个名为Mixture-of-Recursions的全新LLM模型架构。 这个崭新的架构，被业内认为有潜力成为Transformer杀手！ 它的推理速度提升2倍，训练FLOP减少，KV缓存内存直接减半。 最终，在135M到1.7B的参数规模下，MoR直接划出了一个新的帕累托前沿：相同的训练FLOPs，但困惑度更低、小样本准确率更高，并且吞吐量提升超过2倍。 全面碾压传统的Transformer！ 论文链接：https://arxiv.org/abs/2507.10524 其实，学界很早就发现，Transformer复杂度太高，算力需求惊人。 比如最近CMU大牛、Mamba架构作者Albert Gu就表示，Transformer模型能力的局限太大，所谓token就是胡扯。 而谷歌产品负责人Logan Kilpatrick公开指出了注意力机制的缺陷——不可能实现无限上下文，还强调必须要在核心架构层进行全面创新。 今天谷歌DeepMind的这项研究，和这些大牛的观点不谋而合了。 对此，网友们纷纷表示实在炸裂。 有人预测，潜在空间推理可能会带来下一个重大突破。 显然，对于代码、数学、逻辑这类分层分解问题的任务，MoR都是一个改变游戏规则的重磅炸弹。 甚至还有人评论道：看起来像是Hinton的胶囊网络重生了。 谷歌DeepMind放大招递归魔法让LLM瘦身还提速LLM发展到如今，接下来该怎样做？靠堆参数、加层数，让它更聪明吗？ 这项研究告诉我们：真正的高手，从来都不是靠堆料，而是靠设计的艺术。 这次他们做出的MoR全新架构，直译出来是「递归混合体」，直接让LLM推理速度噌噌翻倍！ 所以，MoR究竟做了什么？ 简而言之，它做了以下两点。 1. 不对所有token一视同仁 LLM在处理文本时，会把句子拆成一个个token，不过，像「的」「是」「在」这种词，并不需要多高深的推理，只需要一次前向传播就够了。而复杂的token，则需多次经过同一层栈。 MoR的聪明之处就在于，因token而异。 MoR的秘密武器是小型路由器，会为每个token的隐藏状态打分，仅高分token的会继续循环，其余的则提前退出。 2. 循环复用：一个模块搞定全部 传统Transformer的思路就是不断「堆层」，堆得越高，处理能力越强。但这样的代价，就是内存和算力：模型会越来越慢，越来越贵。 而MoR则反其道而行之，专门设计了共享块，每个token最多循环4次，只要路由器说「完成」，就提前跳出循环。 总之，如果说Transformer是一个庞大的工厂流水线，那MoR就更像一支高效的特种部队。未来的AI，恐怕不会再比拼谁更重，而是谁更会分工调度、节省力气。 而谷歌DeepMind，已经敏锐地把握到了这一点，给我们演示了这一趋势的早期范本。 真自适应计算只靠Scaling law，把语言模型做大，确实能让它能力暴涨，但训练、部署所需的算力和成本也跟着暴涨。 现在常见的「瘦身」招数，要么是把参数共享（省显存），要么是按需计算（省算力）。 但目前仍缺乏一种能将两者有机融合的架构。 「递归混合」(Mixture-of-Recursions, MoR)，充分发挥了递归Transformer的潜力（见图1），成功融合了两者。 图1：递归混合（Mixture-of-Recursions,MoR）概览 （左）每个递归步骤包含固定层堆栈和决定token是否继续递归的路由器（中间灰框区域）。 （中）完整模型结构，其中共享递归步骤根据路由决策对每个token最多应用????次。 （右）展示token级递归深度的路由模式示例，颜色越深表示该token在递归块中的计算越活跃。底部数字以不同颜色标注各文本token的递归步数：1步、2步和3步 。 在统一的架构中，MoR同时实现了三种效率优化： 通过共享权重压缩参数量；通过动态路由减少冗余计算；通过智能缓存减少内存开销。 递归混合架构在预训练和推理过程中，MoR为每个token动态调整递归步骤，依赖两大组件： 路由机制和KV缓存策略。 路由机制：专家选择vs.token选择受top-k门控机制的启发，研究人员提出了专家选择路由（Expert-choice routing）（见图2a）。 在这种模式下，递归深度可看作「专家」，每轮递归时这些专家会挑选它们认为最值得处理的top-k个token。 为了让递归更具一致性，团队还引入了分层筛选机制（hierarchical filtering）：只有在第r层中被选中的token，才有资格参与第r+1层的评估。 这一设计模拟了早退出机制，让模型在训练初期就能自动「筛选」出需要深度处理的token，把算力集中到最困难的token上。 与前者不同，token选择路由（token-choice routing）（见图2b），在一开始就决定了每个token要走多少次递归流程。 具体来说，根据第1层的隐藏状态，模型会计算每个专家的打分（如通过softmax或sigmoid）。 假设有????个专家，每个专家对应一次递归，那么模型将token分配给得分最高的专家。 token将被送入前i层递归，每层都按顺序进行处理。 在这种方式中，token在进入网络时就确定好递归深度，同时避免了每一层的重新选择，提升了推理效率。 表2左比较了两种方法： expert-choice路由的优点在于，它可以实现理想的计算负载均衡。然而，它容易信息泄露。 相比之下，token-choice路由天然不会泄露信息。但这种方式负载分配不均。 表2：路由策略与键值缓存策略的比较。(左)两种路由策略总结：专家选择与令牌选择；(右)缓存策略相对于普通Transformer的相对成本效率 图2：混合递归（MoR）的架构组件。(a)专家选择路由；(b)token自主选择路由；(c)KV缓存策略 KV缓存策略：按递归层缓存vs.跨层共享针对MoR模型，研究人员提出了两种KV缓存策略：按递归层缓存和跨递归共享。 1.按递归层缓存（见图2c上）是「选择性缓存」：只有被路由到某一递归层的Token，才会在该层生成并存储它的KV对。 注意力计算仅在当前递归层的缓存内进行，这种设计有助于实现局部化计算，显著提升了内存使用效率，并减少I/O负担。 2.跨递归共享（见图2c）：只在第一个递归层生成并缓存KV对，然后在之后所有层中重复使用。这种机制下，每一层参与注意力计算的Query数量可能会减少。 也就是说，所有Token无论在后续层是否继续参与计算，都可以完整地访问历史上下文，无需重新计算。 表2右对比了两种缓存策略： 按递归层缓存：KV内存与I/O负担，被压缩为原来的一半左右。 跨递归共享：只能线性压缩注意力计算量，而且KV的读写次数较高，可能会成为性能瓶颈。 表3：在等计算量与等token数条件下，MoR、递归Transformer、普通Transformer的比较 实验研究者从零开始预训练模型，采用基于Llama的Transformer架构，参考了SmolLM开源模型的配置，在FineWeb-Edu的验证集和六个few-shot基准测试集上进行了评估。 主要结果在相同训练计算预算下，MoR以更少参数优于基线模型在相同的训练预算（16.5e18 FLOPs）下，研究者将MoR模型与标准Transformer和递归Transformer进行了对比。 在四种模型规模（135M、360M、730M和1.7B参数）下，不同计算预算对应的验证损失对如图 如表3所示，MoR模型采用专家选择路由和两次递归（Nr=2），不仅在验证损失上更低，在few-shot平均准确率上也优于标准基线。 这得益于MoR更高的计算效率，使其在相同FLOPs预算下能处理更多的训练token。 在相同数据量下，MoR用更少计算量仍优于基线模型为了隔离架构差异的影响，研究者在固定训练token数量（20B）的前提下进行分析。 结果证实，在少了25%训练FLOPs的情况下，MoR模型（????=2）仍然实现了更低的验证损失和更高的准确率，超越了标准和递归基线。 与标准基线相比，MoR模型的训练时间减少了19%，峰值内存使用量降低了25%。 这就要归功于专门设计的分层过滤机制和按递归进行的注意力机制。 此外，MoR的性能也会受路由与缓存策略的影响。 IsoFLOP分析评估一种新模型架构设计的核心标准之一，是其在模型规模和计算量增长时，性能是否能持续提升。 因此，研究团队全面对比了MoR与标准Transformer（Vanilla）和递归Transformer。 实验设置 实验的模型规模有四种：135M、360M、730M 和1.7B 参数。 对于递归Transformer和MoR配置，递归次数统一设为3。 在三个不同的计算预算下，进行预训练：2e18、5e18和16.5e18 FLOPs。 MoR架构：可扩展且参数高效 如图3所示，在所有参数规模和算预算力下，MoR始终优于递归基线模型。 尽管在最小规模（135M）时，MoR表现略逊于标准Transformer，但随着模型规模扩大，这一差距迅速缩小。 当参数规模超过360M时，MoR不仅能够与标准Transformer持平，甚至在低计算量和中等计算预算下，表现更加优越。 总体而言，这些结果表明，MoR具备良好可扩展性和高参数效率，可替代旧架构。 推理吞吐量评估通过参数共享，MoR能利用连续深度批处理技术，在推理阶段显著提升了吞吐量。 这种机制在解码过程中，旧序列完成后立刻填入新tokens，持续保持了GPU的高利用率。 实验设置 在360M参数规模下，在不同递归深度（2、3和4）下，团队测试了MoR模型。 利用深度批处理，MoR显著提升推理吞吐量如图4a所示，在两种设置下，MoR变体的推理吞吐量都超过了普通Transformer。 递归深度越高，越多tokens会提早退出，从而减少KV缓存的使用，进一步大幅提升了推理速度。例如，在最大批设置（??=Max）下，MoR-4速度可提升2.06倍。 实验表明，结合深度批处理机制与提前退出策略，可大幅加速MoR模型在实际的推理速度。 消融实验等更多内容和细节，请参阅原文。 参考资料：https://arxiv.org/abs/2507.10524https://x.com/rohanpaul_ai/status/1945342236310561091https://www.rohan-paul.com/p/landmark-research-from-google-deepmind推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-大模型技术交流群！ ??长按识别，邀请您进群！