Looped Transformer：共享权重循环迭代，重塑深度模型效率边界-北京尧图网络

最近这段时间Transformer 相关的研究方向出现了一个挺有意思的收敛趋势大家不再一味把模型往“更深、更宽”的方向堆而是开始回头思考一个非常基础的问题——同一组参数能不能在推理时被反复使用多次这个思路落到工程上就是圈里一直在聊的 Looped Transformer。简单说它不靠增加层数来提升能力而是把同一个 Transformer Block 循环迭代若干次让模型在固定参数规模下获得更深的“有效计算深度”。这个标题里其实压缩了四条研究线循环架构本身、循环 MoE 的稀疏化改造、缩放定律在循环模型上的重新拟合以及优化器和扩散生成场景下的落地适配。这些方向单独拎出来都值得写一篇长文合在一起看恰好是“循环化”这个趋势从理论分析到工程实践的完整闭环。这篇文章我打算从架构设计讲起把每条线的思路、原理、实验取舍和踩坑经验都拆开聊希望能给正在做相关方向或者准备入坑的同学一些参考。1. 循环 Transformer 的核心思想与架构基础1.1 为什么要把同一个 Block 循环用先聊最底层的问题循环 Transformer 到底在解决什么。以往的 Transformer 模型参数量决定能力上限层数决定感受野和抽象层次两者都要靠堆资源来换。但 Looped Transformer 的做法完全不同——它把同样的 Block 权重在时间维度上反复执行用“时间换深度”。好这里要先纠正一个常见误解。很多人第一次听到“同一个 Block 循环使用”第一反应是“这不就是把推理时的 depth 变大嘛”。玩法其实更细模型通常由三类子层组成最前面是 Input Projection 把 token 映射到隐藏维度中间是一组循环执行的共享权重 Block最后接 Output Projection 把隐藏状态映射回词表。共享权重的这个核心 Block 内部会包含 Attention 和 FFN而且通常会做权重的归一化处理和残差连接调整。这种结构最大的好处是参数效率极高因为不管循环多少次真正参与存储的只有中间这一组权重。我一开始是被这样一组对比数字吸引的一个 12-layer 的普通 Transformer大概需要 12 组独立的 Attention 和 FFN 权重而一个共享权重的循环 Transformer 只需要 1 组权重却可以在推理时迭代 8 步甚至 16 步来获得超过 12 层的表达能力。在参数量受限的场景比如边缘端部署、小规模实验预算这种取舍非常划算。但“参数省了”不等于“能力白拿”。循环展开后会带来自动求导路径的急剧加深以及训练时梯度需要穿过整个循环链这给优化器带来了不小压力。所以后面会单独开一节讲优化器相关对策这里先记住结论架构上省参优化上补课两件事必须同时做。1.2 循环块的关键设计细节真正决定 Looped Transformer 成败的是循环块内部怎么设计。我看到过不少失败的复现问题几乎都出在三个细节上归一化的位置、残差连接的缩放以及循环块前后的预/后处理层。先说归一化。普通的 Pre-LN Transformer每个子层前面都有一层 LayerNorm这是标准做法。但循环场景下有个微妙的问题如果共享 Block 内的 LayerNorm 参数也一起共享那每次迭代都会用同一套均值/方差统计这本身问题不大真正麻烦的是如果 Block 内部的残差分支没有做好尺度控制多次迭代会让隐藏状态的范数越滚越大训练很快就爆。一个稳妥的做法是在残差连接上乘一个可学习的缩放因子或者在循环边界处加一个额外的 Norm保证隐藏状态在进入下一次迭代之前被拉回到合理的尺度范围。再说预/后处理层。Input Projection 和 Output Projection 的维度会影响整个模型的表达瓶颈。因为中间的循环 Block 是共享的如果隐藏维度过小信息在多次迭代中的传递容量会受限如果隐藏维度过大省参的优势会被抵消不少。我自己做实验时的经验是在固定总参数量预算下隐藏维度取普通 Transformer 的 1.5 到 2 倍往往能获得更好的效果因为循环块本身参数少可以把省下来的参数预算“补贴”给投影层。最后一个容易被忽视的设计是循环步数的动态范围。训练时固定步数还是允许动态步数会显著影响收敛形状。早期的实验通常固定 4 步或者 6 步训练后期的一些工作会在推理时增加步数以获得更高精度这其实等价于一个测试时计算预算的动态调节开关很有意思。2. 循环 MoE把稀疏激活塞进循环结构2.1 MoE 化循环块的设计动机循环 Transformer 虽然省参数但它的计算量并不省——每次迭代都要完整跑一遍 Attention 和 FFN迭代次数一多推理成本和训练成本都线性上涨。于是就会自然想到一个方向能不能让循环块内部变得稀疏化比如只在部分迭代中激活部分参数这就是“循环 MoE”的思路。传统 MoE 是在一层内放多个 Expert每个 token 根据路由结果只激活其中若干 Expert而循环 MoE 把 Expert 平铺在“时间维度”上——同一个循环块内部可以包含多组共享权重里的不同子模块每次迭代通过路由决定用哪几条路径。这个想法在实践中有个非常直观的好处传统 MoE 为了增加专家数量必须增加物理参数量这对显存很不友好循环 MoE 则是在固定物理参数量下通过迭代次数去“伪造”出一个更大的专家池。比如一个循环块内含 4 个 FFN Expert迭代 4 次理论上就等价于一个 4 层 × 4 Expert 的 MoE 模型但物理参数量只相当于 4 个 Expert 的规模。2.2 路由策略与负载均衡的实操取舍路由策略是循环 MoE 的重头戏这里有几个实操层面的坑。首先路由在循环结构中天然具有“逐步精炼”的性质早期迭代的路由结果不必特别精准因为后面还有多次迭代可以纠正但传统 MoE 只有一层机会路由错了这个 token 的专家选择就定死了。这个差异让循环 MoE 可以使用更激进的路由温度参数我在实验中用 softmax 温度 0.8 到 1.2 都试过比传统 MoE 更稳定。其次负载均衡损失Load Balancing Loss在循环 MoE 里需要加一个时间维度的惩罚项。否则很容易出现一种现象前几次迭代所有 token 都往同一个 Expert 跑后面几次迭代才分散开造成所谓的“时间塌陷”。我在自己的实验里发现如果对每个迭代步的专家利用率分别计算负载均衡损失然后取平均效果比只看总利用率好很多。因为总利用率均衡不代表每步都均衡。路由的另一个重要变体是“可学习停止”。既然循环步数本身可以被动态决定那么路由可以兼任“是否继续迭代”的判断器。对简单样本模型可以提前跳出循环节省计算对复杂样本则继续迭代。这种做法在推理时优势很大但也意味着训练时要处理变长计算图对框架和显存控制要求更高。2.3 循环 MoE 对比标准 MoE 的优劣边界做了大量对比实验后我的感受是循环 MoE 不是标准 MoE 的替代品而是互补品。标准 MoE 擅长在超大规模参数下扩展专家数量每个 token 可以选择非常多样化的专家组合循环 MoE 的优势场景是参数预算中等比如 1B 以下、同时希望推理时能动态调整计算量。循环 MoE 劣势也很明显因为它共享权重每一次迭代都使用同一批 Expert多轮迭代之间其实是在“反复锤打”同一组参数而不是引入新的能力维度。换句话说标准 MoE 增加“广度”循环 MoE 增加“深度”。负责任地说凡是任务本身需要真正多样化的知识分布标准 MoE 会占优凡是任务需要多步推理链或者迭代精炼比如数学推理、代码执行模拟循环 MoE 的性价比会更高。我还试过把两种做法的混合体——循环块内部用 MoE 结构循环步数之外再叠加普通层。实验结果中规中矩收益不明显但参数量上去了现阶段不建议把这当默认方案。3. 缩放定律循环模型如何重新定义规模尺度3.1 从层数缩放走向“步数缩放”缩放定律Scaling Laws是这几年大模型领域的基础共识模型性能与参数量、数据量、计算量之间存在稳定的幂律关系。但 Looped Transformer 直接挑战了这个框架里的一个重要假设——模型深度是确定层数性能随层数增加而平滑提升。循环架构下深度不再直接对应参数量而是对应迭代步数这等于把一个连续的“缩放宽高比”问题变成了“时间展开”问题。更新后的缩放曲线大致长这样在固定参数量下性能随循环步数增加而上升但会收敛到某个平台这个平台位置取决于模型宽度、数据质量和优化器设置。换句话说循环模型存在一个“有效深度饱和点”超过这个点再增加步数收益会变得很小但计算成本仍在线性增加。这个饱和点不是一个固定值。在小规模数据集上它可能出现在 4 到 6 步数据集足够大、优化充分的情况下可以推到 10 到 14 步。所以做缩放实验时不要只测一个固定步数就下结论——选择一个过低的步数会把循环模型的真实能力低估不少。3.2 FLOPs 预算约束下的最优配置选择缩放定律分析的一个重要用途是在固定 FLOPs 预算下找出最优的配置组合。对普通 Transformer这个组合通常是“深度与宽度等比扩大”对循环 Transformer最优组合变成了“参数量、宽度、迭代步数的三维搜索”。我复现实验结果时使用过一组相对清晰的对照在同一份数据上训练不同配置并固定总计算量为一个固定量级之后对比不同配置的最终损失。结论是中等宽度乘以中等步数通常优于“很窄乘以很多步”或“很宽乘以很少步”。原因是前者能在参数容量和计算深度之间取得更好的平衡——太窄时循环块内的信息瓶颈过强太宽时参数增加导致欠拟合。另外一个比较反直觉的发现是在低资源预算下比如训练数据只有 1 亿 token循环模型的缩放曲线比普通 Transformer 更早进入饱和区。也就是说循环模型更适合中等以上的数据量数据太少时共享权重带来的参数效率优势无法抵消优化难度上升的劣势。这一点对刚开始做相关实验的人尤其重要如果你想用一个小数据集快速验证循环模型的想法效果很可能没有理论预期那么好不是方法错了是数据量还不到甜区。3.3 缩放视角下“小模型模拟大模型”的价值循环模型的缩放性质还带了一个非常实用的副产品训练一个参数较小的循环模型在推理时增大迭代步数可以逼近参数量大得多的非循环模型的能力。这个特性很有工程价值尤其考虑到大模型推理时的显存压力很大如果能在固定模型权重下通过增加少量时间成本来换取部分深度增益那是相当划算的交易。不过这个特性只在一定范围内成立。我实测下来的粗略判断一个 3 亿参数的循环模型迭代 12 步左右大约能摸到 10 亿参数普通 Transformer 的能力下限但要再往上追就比较吃力了。原因在于参数容量本身设置了能力天花板循环无法无中生有地创造知识容量它提升的是“同一批参数被用得更充分”的效率。所以如果团队在模型部署上有明确的显存预算上限循环模型值得做小规模验证如果目标是冲击超大模型且预算宽裕循环模型定位成主模型的辅助模块可能更现实。4. 优化器与训练稳定性循环模型最容易被低估的关卡4.1 梯度路径变长带来的稳定性问题训练循环 Transformer 时最容易翻车的点不是模型架构设计而是优化器和梯度流的稳定性。循环展开 N 步梯度的反向传播路径相当于 N 倍层数的普通 Transformer。举例说明一个 6 步循环块等效于 6 倍深度的网络普通 8 层模型变成等效 48 层深度梯度爆炸/消失的风险指数上升。我自己的经验是三个对策缺一不可梯度裁剪阈值要比普通 Transformer 严格建议设到 0.5 左右普通模型通常用 1.0优化器尽量使用带解耦权重衰减的 AdamW其中 beta2 可以适当调低让优化器对梯度的剧烈变化更敏感循环块内部尽量采用 Pre-LN 结构并且在每次迭代开始的输入处对隐藏状态做一次 RMSNorm防止范数漂移。比较反直觉的一点是在一些循环模型中学习率反而可以比普通 Transformer 设得更大。因为共享权重使得同一个参数收到多次梯度更新有效学习率其实比名义上看到的更大所以初始学习率可以适度降低而不是提高。我见过很多失败的复现都是因为把学习率按普通 Transformer 的默认值 3e-4 去调结果训练很快就发散其实把学习率降到 1e-4 到 2e-4 反而更稳。4.2 EMA 与权重平均的实战价值对于循环模型权重的指数滑动平均EMAExponential Moving Average是一个被严重低估的优化技巧。普通 Transformer 的 EMA 效果通常不太明显但在循环架构下共享权重被反复迭代使用权重的微小扰动会被放大 N 倍。使用 EMA 后的模型即使原始权重在训练后期有些震荡平滑后的权重往往能显著提升评估指标。从我自己的实测结果看EMA 在循环模型上的收益通常比普通 Transformer 大 1 到 2 个点几乎是白捡的优化推荐纳入默认配置。EMA 的衰减系数建议设到 0.999 到 0.9999 之间训练足够长时用偏大的值如果训练步数不多0.999 就够了。实践上还有一个细节EMA 权重最好在验证评估时使用而不是在训练过程中替代原始权重继续更新否则会破坏训练的收敛性。4.3 显存优化与重计算策略循环模型的训练显存压力集中在隐藏状态序列的保存上——每次迭代都要保留一份完整的激活值反向传播才能逐站回传梯度。N 次迭代就需要保留 N 份激活显存消耗随步数线性增长。实用的解决方案是梯度检查点Activation Checkpointing即在正向传播时只保留每次迭代的输入 hidden state不保留中间激活反向传播时重新计算正向过程并临时构建图。这样显存占用从 O(步数 × 序列长度 × 隐藏维度) 降为 O(序列长度 × 隐藏维度)代价是训练时间增大约 30% 到 50%。如果显存依然吃紧还有一个更激进的做法用分布式重计算只保留每两步或者每三步的检查点中间步的激活全部舍弃回传时重新计算。这个策略的显存占用和重计算开销达到了更细粒度的平衡适合在 7B 以上规模的循环模型中使用。另外混合精度训练在循环模型里需要额外小心。低精度训练特别是 Float16 下循环块内多次迭代容易出现精度漂移因为我上一条提到过隐藏状态范数会逐步累积。建议使用 BFloat16 而不是 Float16并且对循环块输入输出之间的残差流保持高精度Float32只在 Attention 和 FFN 的计算子层切换到低精度。这个操作我在多次复现中验证过对稳定性和精度都有明显帮助。5. 扩散生成场景下的 Looped Transformer 应用5.1 扩散模型与循环迭代的天然契合扩散模型的采样过程本质上是多步去噪从一个纯噪声开始经过数十乃至上百步的迭代逐步恢复出干净的图像或数据。这正好和 Looped Transformer“同一组权重反复精炼”的核心机制不谋而合。传统的扩散模型主干通常使用 U-Net 或 DiTDiffusion TransformerU-Net 靠不同尺度的编解码结构去捕捉不同频率的信息DiT 则完全是标准 Transformer 层堆叠。如果把 DiT 中的多个 Transformer Block 换成共享权重的循环块路径就是现成的。外围做法上做得巧妙的地方在于了循环块的迭代步数直接对应扩散模型的去噪步数节奏。刚开始使用大噪声时模型只需要粗糙地去除低频污染迭代少一点到后期精细纹理生成阶段迭代更多步来打磨细节。这种做法等于让模型的“有效深度”随着采样进度动态变化比固定深度的 DiT 更贴合扩散过程本身的特性。5.2 DiT 架构循环化的改造要点把普通 DiT 循环化不是简单地把多个 Block 替换成一个共享 Block 就能完事。有四个地方必须单独处理。第一AdaLN 条件注入Adaptive LayerNorm。DiT 的核心特征是用时间步和类别标签来调制 LayerNorm 的 scale 和 shift 参数循环化后这个注入点是在每次迭代都要进行还是只在第一次迭代进行我实测下来每次迭代都注入效果更稳定因为去噪过程每一阶段需要的调制不同。第二位置编码。普通 Transformer 的位置编码是一次性的循环模型中每次迭代看到的是同一个序列位置编码如果重复使用会造成信息冗余干扰。更强悍的做法是在每次迭代时结合迭代步数引入一个“时间步感知的缩放因子”把迭代序号编码成向量注入到 Attention 的 bias 里。这个细节对生成质量影响比想象中更大一个不加只是简单共享的循环扩散模型生成的图像会出现重复纹理。第三最后一层输出头。扩散模型最终要预测噪声或者样本本身循环块输出之后不要再叠加多余的层否则容易让训练时梯度负担过重。第四随机丢弃迭代步训练。为了让模型不依赖固定的迭代次数训练时让步数随机采样比如从 4 到 10 之间随机选可以显著提高不同采样步数下的鲁棒性。这是扩散模型本身一个经典训法随机时间步采样在循环维度上的翻版。5.3 推理步数调节与质量增益实测在扩散生成场景下循环模型另外的玩法在于控制“测试时计算预算”。固定权重不变推理时从 6 步提升到 12 步生成图像的 FID 分数通常会有可观察的下降意味着质量更好。这个趋势和缩放定律一样会遇到饱和步数超过一定阶段继续增加反而可能引入伪影。从我的经验看一个约 5 亿参数的循环 DiT迭代 8 到 10 步可以达到约 12 亿参数普通 DiT 相近的生成质量而参数量不到后者的一半。代价是推理时间变长因为循环迭代步数增加实际计算量与普通模型的深层网络相当。这个“参数量换时间”的特性和图像生成场景很契合模型分发成本低用户端因为推理时间适中体验不会太差。另外在扩散这种多步采样天然并行的场景可以把前几步使用较少循环步数、后几步使用较多循环步数进一步控制平均推理开销。这种非均匀步数策略在普通 DiT 上不好实现因为普通模型每个 Block 本身是固定深度无法在一条采样轨迹中动态改变层数循环模型则天然支持这种操作。6. 实验配置与避坑经验总结6.1 一个可供参考的基准实验配置对于刚开始切入这个方向的人我给一个经过了多次调优的基准配置作为起点比较稳妥。它不一定是最优的但可以帮避免一些低级崩溃。配置项推荐值说明隐藏维度768循环块的隐藏维度可以比普通 Transformer 稍宽循环步数训练6训练步数固定在 6硬件显存压力适中循环步数推理8 到 12推理时动态增加步数以评估上限收益循环块数量1 个共享块也可以做 2 个共享块交替循环但训练难度明显上升学习率2e-4AdamWBeta10.9Beta20.95Weight Decay0.1梯度裁剪0.5严格裁剪低于普通 Transformer 的常见值训练精度BFloat16残差流保持高精度子层低精度EMA 衰减0.999验证和采样时使用 EMA 权重这个配置在中等规模3 亿到 5 亿参数约 50 亿训练 token上表现比较稳训练崩溃率很低。不推荐一上来就上 12 步甚至 16 步的训练配置除非显存和数据量都能跟上。6.2 常见训练崩溃问题定位表循环模型训练比普通模型更容易出现“看起来在收敛、突然就炸了”或者“loss 一直在原地不动”的疑难杂症。归类一下常见症状和排查思路。症状可能原因排查方向Loss 前期下降正常中期突然变 NaN隐藏状态范数漂移检查残差缩放因子是否生效加上 Step-wise Norm训练 loss 正常但验证指标很差EMA 权重未使用或权重震荡较大启用 EMA验证时切换 EMA 权重生成样本出现重复纹理Position bias 未按迭代步数调整在 Attention 中加入迭代步相关的偏置路由崩溃MoE 场景负载均衡损失未按时间步计算改为对每次迭代的专家利用率分别计算再取平均低精度下无法收敛Float16 精度漂移切换 BFloat16残差流保持高精度扩步数后效果反而下降训练步数和推理步数差距过大增加训练时的随机步数采样策略6.3 后续可以继续深挖的方向这个方向还有几个值得跟进的问题。第一个是理论层面的循环模型的有效深度饱和现象到底由什么决定目前更多是经验的表征理论上还缺少像普通 Transformer 那样相对清晰的 scaling law 推导。第二个是模型架构的通用性现在循环化的实验主要集中在语言模型和扩散生成上对于序列推荐、时间序列预测这类同样强调多步推理的任务很可能也适用。第三个是训练策略的改进目前的优化器基本沿用普通架构的策略是否能针对循环共享权重设计专门的二阶优化器或自适应学习率方案还缺乏系统性研究。我个人的判断是这个方向未来一年可能还会有一个爆发期尤其是当更多人意识到“参数量不变、计算量可调”这条路线在边缘部署和推理成本控制上的价值之后。与此同时严谨的对比实验和训练稳定性方法论会成为区分有效与无效工作的分水岭。如果你正在考虑用这个架构做自己的项目建议从规模可控的扩散生成任务切入既有清晰的任务指标又能直观感受迭代步数的调控效果。最后再分享一个小技巧在实验初期给循环步数设一个可变的随机采样范围交替训练同时用固定步数做验证这种对步数区间内的泛化能力约束能明显提升最终模型在不同推理预算下的稳定性。我踩过好几次“训练固定 6 步、推理 10 步效果反而变差”的坑加上随机步数之后就顺了很多你可以直接试试。

Looped Transformer：共享权重循环迭代，重塑深度模型效率边界

相关推荐

AUTOSAR MCAL功能安全实战：底层驱动的安全机制与工程落地

如何识别插件生态真假？看那60%的僵尸率就够了

私有化部署跨网络穿透与反向隧道：基于 SSH/FRP 的合规远程运维通道搭建

更多资讯

xcap发包工具实战：报文模板编写与TCP/UDP发送排障

Python自动化生成PPT实战：从Markdown到幻灯片的技术实现

【创新无忧】基于凌日优化算法TSOA优化极限学习机KELM-Adaboost实现故障诊断附matlab代码

HarmonyOS SDK实战：从ArkUI声明式开发到Ability生命周期全记录

多无人机协同路径规划与动态防撞：MATLAB完整实现方案

IS-IS快速收敛调优实战：BFD联动与SPF调度参数详解

今日更新

智能硬件视频会议集成：从芯片选型到场景落地的全栈实践

FFmpeg音视频处理与5路RTMP推流实战：从原理到118克盒子部署

RK3528+1GB内存如何变身直播节点？硬编解码与六协议实战复盘

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？