GPT-6 带火循环 Transformer，阿里已手握两篇顶会论文

GPT-6 Astra一发布，recurrent depth突然一夜火了！

最早是The Information爆料，Astra使用了这种「循环深度」技术：

让同一组Transformer层反复运行，在不增加同等规模参数的情况下，把计算做得更深。

原来模型不必继续疯狂「长肉」，也能让现有参数多干几轮活，还有这好事。

由于循环发生在hidden state里，中间过程未必会写成人类可读的思维链，模型会不会因此更难监测？

OpenAI也由此被AI安全专家集体讨伐，甚至一度逼得首席科学家Jakub Pachocki亲自下场回应。

Jakub Pachocki还透露，自己正在憋一篇小作文以完整解释整件事情。

边等小作文，边让我们把目光拉回循环Transformer本身：

同等算力下，省了参数的循环模型，经常打不过普通Transformer。

有意思的是，阿里早在11个月前就发了相关论文，靶子正是直指这个问题。

一篇MeSH，解决循环内部怎么管理信息，向行业老大难「循环空转」发起冲击。

一篇SpiralFormer，死磕循环之间「以什么精度计算」的粒度问题，让每一轮算力都花在刀刃上。

循环Transformer之所以让大家上头，是因为它给大模型提供了一种新的「变强方式」。

过去Scaling靠堆参数，24层就得24套参数，现在8层参数跑3遍，也能完成24层深度的计算。

效果能不能追上，还需要实验说话，但需要存储的参数确实少了。

用计算深度换参数规模，这笔账要是算得过来，想象空间可就大了。

其实在Astra之前，Claude Mythos就曾把循环架构带火过一轮。

在GraphWalks BFS的256K至1M上下文测试中，Mythos Preview拿到了80.0%，GPT-5.4是21.4%，自家的Opus 4.6则是38.7%。

Mythos Preview得分接近GPT-5.4的四倍。

这个测试，可以理解成给模型一张复杂的关系网，让它从起点出发，一层层找出相连的节点。

找到一批，记住结果，再继续往下找，很考验连续多步处理信息的能力。

巧的是，循环架构擅长的，恰恰也是在hidden state里连续处理多轮信息。

于是Mythos的成绩一出来，外界很快便把两者联系到了一起。

至于它到底有没有采用循环架构，官方没有明说，答案也就留给了外界猜测。

不过从Mythos到Astra，大家期待的其实是同一件事：

模型不用一直长大，也能靠内部多算几轮，把能力提上去。

这也让循环架构成为下一代高效大模型的候选路线之一。

不过问题来了，多算几轮，和多算出点东西，还真是两回事！！

横轴从左到右，是信息经过模型各个模块的过程，中间三个蓝色柱子对应三次核心循环，也就是core loop。

纵轴表示计算前后hidden state的相对变化幅度。

第一个core loop更新很大，后面两个却迅速缩小。

注意，柱子变矮，并不意味着模型少花了算力，矩阵运算和Attention照样要跑。

循环次数增加了，后续计算带来的增量却越来越小。

来自阿里及合作高校的研究团队，正是从这里入手一路深挖。

他们先查清循环为什么空转，再想办法让后面几轮真正干上活。

团队首先给出的解法叫MeSH，现已被ICLR 2026接收。

论文首版在2025年10月公开，等于11个月前，他们就在给循环Transformer做「体检」了。

在Pythia-1.4B级别的实验中，循环结构通过权重共享，减少了约33%的非嵌入参数。加入MeSH后，零样本下游平均准确率反而从普通Transformer的49.50%提高到50.56%，领先1.06个百分点。

而MeSH新增的路由器参数，仅相当于普通Transformer非嵌入参数的约0.005%。

相较基础循环模型，额外计算开销也只有约0.014%，属于花小钱，办大事。

团队直接钻进模型内部，检查模型每一轮到底干了什么，结果一下子找到了三个「摸鱼证据」。

团队比较了hidden state经过每轮计算前后的变化幅度，结果发现第一个core loop承担了绝大部分更新，到了后面几个core loop，状态变化迅速缩小。

团队使用CKA分析不同循环之间的表示相似度，然后发现相邻轮次的hidden state高度接近。

同一组网络转了一圈又一圈，吐出来的东西却差不多，啊这！！

更扎心的是，第三个证据显示hidden state还越算越「单一」。

奇异值谱分析显示，循环进行之后，模型表示逐渐挤进一个低维空间。

原本可以从多个方向表达的信息，被压缩到少数几个方向上，表达越来越单一。

三个证据摆在一起，模型的摸鱼套路就很清楚了：

第一个core loop猛干，后面几个core loop合着纯纯陪跑。

一个是「计算无分化」。同一组网络反复使用，又缺少明确的轮次信息，很难在不同阶段形成分工，容易沿用相似的计算方式。

另一个是「信息过载」。同一份hidden state既要保存原始输入，又要装下前几轮结果，还得承担当前计算。长期记忆和临时加工全挤在一起，最后谁也干不好。

说到底，得重新研究循环之间怎么「交接工作」。

传统循环模型里，上一轮算完，直接把hidden state整份递给下一轮，再由同一组网络接着算。

虽然后来大家打过补丁，怕它算着算着忘了原题，就把最初的状态重新加回来，但不管算到第几轮、当前处理哪个token，信息的搭配规则都是写死的。

不如干脆给模型加一个可以动态存取的「资料柜」？

这个资料柜叫Memory Buffer，由多个记忆槽组成，用来保存原始输入和循环过程中积累的信息，不必全部挤在当前hidden state里。

一个是Write Router，负责决定这一轮的新结果，应该按什么权重分摊到各个记忆槽。

另一个是Read Router，负责在下一轮开始前，按不同权重读取各个槽位，重新组合成新的hidden state。

每轮循环都有自己的路由器，每个token也能得到不同的读写权重。

新信息各存多少，历史信息各取多少，都由模型自己学习。

看到这里，关注过前段时间Hyper-Connections、mHC讨论的朋友，可能已经有点眼熟了。

Hyper-Connections把原先单路传递的残差信息扩展成多路，再通过可学习的映射，组合出交给计算层的输入，并把计算结果分配回多路状态。mHC进一步约束这些连接，改善深层传播的稳定性。

MeSH则把类似的信息调配方式用在循环之间，同时缓解了前面两个问题：

Memory Buffer把历史信息分流出去，hidden state终于能专心处理当前轮次。

动态读写路由器则为每轮搭配不同的信息，让共享网络逐渐形成分工，减少重复劳动。

这时候再用同样的三项指标重新检查，模型摸鱼时呈现的三个症状，果然都有了明显改善。

这就像明明只想先看清一座城市的整体布局，却还是得沿着每条街挨家挨户走上一遍。

这就轮到第二篇论文SpiralFormer登台了。

既然不同循环可以处理不同信息，为什么还要让每一轮都盯着完整的token序列？

SpiralFormer给出的答案，是把每轮循环的序列长度seq_len也变成可调的。这一成果刚被EMNLP 2026接收。

简单来说，他们受Coconut等隐式思考工作的启发，意识到模型中间的「思考」并不一定每一步都要维持完整、显式的token序列，也可以先压缩成更紧凑的表示，在潜空间中继续计算。

将相关思路运用到SpiralFormer里，效果居然还不错。

在Pythia-1.4B级别的实验中，SpiralFormer-L和普通Transformer的参数量基本相同，计算量却从14.08T FLOPs降到13.13T，5-shot下游平均准确率则从51.93%提高到54.37%。

具体思路是，别让模型每一轮都用同样的分辨率看问题。

它会先把相邻token压缩成更短的序列，再按照从粗到细的顺序循环。

论文采用的一种典型方案，是先从原序列的1/8长度开始，之后依次扩展到1/4、1/2，最后回到完整序列。

第一轮先看城市全貌，弄清不同区域之间的关系，然后逐步放大，看到街区和道路，最后再落到具体位置。

回到论文就是，SpiralFormer在每轮循环开始前，都会对序列做一次「缩放」：

把相邻token划成一组，通过可学习的权重聚合成一个更粗的表示。压缩完的序列更短，Attention要算的token少了，计算量自然往下掉。

算完之后，再把结果分配回原来的token位置，交给下一轮继续处理。

这里需要注意，考虑到模型生成文本时不能偷看后面的内容，SpiralFormer还对写回结果做了右移，避免压缩操作泄露未来信息。

每循环一轮，序列分辨率就提高一级，模型也从观察整体逐渐转向处理细节。

这套「先看全局、再抠细节」的说法，到底只是设计者的一厢情愿，还是模型真的学会了？

团队接着钻进Attention里，做了两项probing实验。

结果显示，早期的低分辨率循环中，注意力分布得更广，会同时关注较大范围的信息，而到了后期的高分辨率循环，注意力开始集中到少数关键位置。

然后直接检查Attention有多关注附近的token。

随着分辨率提高，他们发现落在局部范围内的注意力越来越多。

也就是说，模型到了后面几轮，确实更倾向于处理局部关系。

这也就引出了SpiralFormer的核心发现：

循环初期建立global pattern，随着循环推进，再逐渐转向local pattern。

相比之下，始终处理完整token序列的普通LoopedFormer，虽然也会出现类似变化，但趋势更弱，也不够稳定。

这说明，从全局到局部的分工并不会随着循环自动出现，多分辨率设计才是关键驱动因素。

团队还保持参数量和训练计算预算不变，只调整循环层所占的比例。

随着循环比例提高，模型表现先变好，在30%到40%左右达到最佳，继续增加循环，过度共享参数又会拖累效果。

SpiralFormer也由此打开了另一个可以探索的Scaling维度：

除了循环多少次，还能调整每轮把序列压缩到什么尺度。

回头再看，这两篇论文其实补上了循环Transformer最缺的东西：

MeSH解决每轮「拿什么算」，SpiralFormer解决每轮「以什么粒度算」。

两块拼起来，也让循环架构走向下一代高效LLM，多了几分底气。

过去大模型要想Scaling，主要靠参数、数据和训练算力这三大支柱。推理模型兴起后，又多了一种做法，即让模型生成更长的思维链，用更多token换更好的答案。

现在呢？循环Transformer又提供了一种选择：

计算可以在hidden state里继续进行，同一组参数反复使用，模型规模可以不变，内部计算却能一层层加深。

虽然这并不意味着可以白捡算力，毕竟循环结构省下的是参数，不是计算。

但只要让多出来的每一轮都算得值，用更少的参数撑起更强的模型，就有了可能。

这也是MeSH和SpiralFormer存在的意义，它们正是在把这种可能一步步做实。

围绕Astra和Mythos，外界还在热议「到底有没有用循环架构」「这会不会成为下一代路线」。

而阿里及合作高校团队已经把问题拆到了循环内部：

从查病因，到改结构，再到验证效果，这条路线上的具体卡点，就这样被逐个拆开了。

MeSH获ICLR 2026接收，SpiralFormer获EMNLP 2026接收，顶会的认可也算是给这番持续深挖增加了更多含金量。

只能说，为了走到今天这一步，前人已经在这条路上踩了不少坑，也填了不少坑。

早在2018年的Universal Transformer中，研究者就开始尝试反复使用共享层。

近几年，Looped Transformer、recurrent depth和latent reasoning等研究又陆续出现，背后都是同一个念头：

模型想变强，除了继续长大，能不能也让现有参数多想几轮？

Astra的出现，更是把这条原本偏学术的路线，一把推到了行业聚光灯下。

至于下一代高效大模型会不会从这里长出来，现在下结论确实还有点早。

MeSH：https://arxiv.org/abs/2510.07739 SpiralFormer： https://arxiv.org/abs/2602.11698