【NeurIPS 2024】Super Consistency：景观超一致性，学习率为何能跨规模迁移

## 摘要把网络宽度放大三十倍学习率却一步都不用改 —— 这在 μP 参数化下真的成立。可为什么能迁移一直只有现象描述没有可测量的判据。**Super Consistency**景观超一致性是 NeurIPS 2024 的《Super Consistency of Neural Network Landscapes and Learning Rate Transfer》它把问题从损失曲线像不像换成曲率轨迹像不像并给出结论μP 下 Hessian 最大特征值的轨迹在宽度 128 到 4096 之间几乎重合而损失的偏差按幂律增长、指数超过 0.6。对做训练的人来说这意味着判断一个参数化能不能迁移学习率不必先训大模型看曲率轨迹就够了。 [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题英文 | Super Consistency of Neural Network Landscapes and Learning Rate Transfer | | 标题中文 | 景观超一致性学习率为何能跨规模迁移 | | 作者 | Lorenzo Noci, Alexandru Meterez, Thomas Hofmann, Antonio Orvieto | | 机构 | ETH Zürich · MPI for Intelligent Systems · Harvard University · ELLIS Tübingen | | 会议 | NeurIPS 2024 | | arXiv | https://arxiv.org/abs/2402.17457 | | 项目网站 | 论文未提供公开项目页 | ## 背景与动机这件事的起点很实际模型越大重新扫一遍学习率网格就越贵。标准做法下宽度或深度一变最优学习率就漂移。理论上有两条路线能避免这种漂移一条是 NTK神经正切核给出的惰性极限另一条是 μP最大更新参数化后者由 Tensor Programs 系列推出。 μP 的谱系很短。2021 年 Tensor Programs IV 提出它把无限宽极限从惰性推到富特征学习2022 年 Tensor Programs V 把它做成工程上可用的零样本超参迁移2023 年Tensor Programs VI 与 Depthwise Hyperparameter Transfer 把迁移推到深度方向。2024 年就是这篇论文它要解释为什么。矛盾也在这里。μP 下损失曲线并没有完全对齐宽度越大收敛越快这个现象一直都在也就是说损失仍在累积有限尺寸的偏差。既然学习率被精确保留了被保留的就不可能是损失。现有工作的局限同样明显。NTP 在无穷宽下退化成线性模型NTK 固定在初值特征不更新sharpening 无从发生。标准参数化SP更彻底它连良定义的极限都没有宽度一大就发散。Vyas 等 2023 年观察到富特征学习网络在真实尺度上一致但那条一致性主要覆盖训练早期。这篇论文补的正是这一刀把一致性延长到整段训练并加一条硬要求 —— 不能随时间累积有限尺寸效应。 ## 研究主线从问题到结论 ![从学习率迁移之谜到超一致性判别器的研究主线流程图](https://i-blog.csdnimg.cn/direct/d8706c7ed8fc4dd89aae9590b69a73bf.png) **图 12研究主线Mermaid 流程图从迁移之谜到把超一致性当判别器。** ## 基准/方法设计核心观测量是预处理后的 Hessian $\gamma^2 H_t$主要看它的最大特征值也就是 sharpness $\lambda_{\max}$。选这个量有历史原因在经典优化里步长的稳定上界本来就由最大曲率决定。 ![μP 下宽度扫描的三联对照sharpness 轨迹重合、损失累积偏差、学习率迁移](https://i-blog.csdnimg.cn/direct/252ca6a0a5aa4762ac583b0a7c051118.png) **图 1μP 下宽度扫描的三联图左为 sharpness虚线是 EoS 阈值中为损失随宽度累积偏差右为学习率迁移。** 超一致性有两条判据。第一大宽度下观测量接近它的无穷宽极限第二训练很久之后仍不累积有限尺寸效应。为了量化作者定义 $g(t)|S_N(t)-S_\infty(t)|$再用幂律 $yat^\beta$ 拟合。$\beta$ 越大说明偏离得越快。无穷宽极限没法直接算于是用一个宽度 4096 的大模型当 proxy。这一步很关键所有距离都是相对这个 proxy 量的。 ## 分类全景 ![五类参数化及其特征学习与超一致性归属的分类图](https://i-blog.csdnimg.cn/direct/633b78c9f86a41c3bab6965f7df65e78.png) **图 13参数化家族分类Mermaid 图μP、Depth-μP、NTP 与 SP 的关系。** ## 方法细节方法上有三块拼图。第一块是潜空间重写。对两层线性网络把权重矩阵换成 $eEE^\top/(ND)$ 和标量 $v$再加上预测向量 $w$更新方程就变成自洽的动力系统。它的维度是 $1DD^2$与宽度无关。原来参数空间是 $N(D1)$ 维现在不同宽度的相图第一次能画在同一张纸上。第二块换成 NTP 做对照三个面板立刻反过来。 ![NTP 下 sharpness 随宽度下降学习率不再迁移](https://i-blog.csdnimg.cn/direct/6a0217351c9241abb8d22bcba42669dd.png) **图 2同一实验换成 NTPsharpness 动力学随宽度分离学习率也不再迁移。** 原因在理论上很清楚。NTP 在无限宽极限下等价于一个线性模型NTK 固定在初始化值上特征不更新Hessian 也就没有理由演化。第三块是 Gauss-Newton 分解。Hessian 可以拆成 $\mathcal{G}\mathcal{R}$而 NTK 等于 $KK^\top$与 $\mathcal{G}$ 共享非零特征值。所以 sharpening 和特征学习被绑在同一条曲线上。 ![μP 下 Hessian 前十个特征值的轨迹顶端特征值随宽度完全重合](https://i-blog.csdnimg.cn/direct/62b718e2a52b466ebf9cb0ce481dc443.png) **图 3μP 下 Hessian 前 $k10$ 个特征值顶端重合低阶特征值在早期仍有有限尺寸累积。** 选前十不是随手挑的。已有工作发现梯度下降长期跑在前 $k$ 个特征向量张成的子空间里而 $k$ 正好等于类别数这里是 10。但 NTK 本身并不一致这一点必须看清。 ![NTK 矩阵最大特征值随宽度分层差距越拉越大](https://i-blog.csdnimg.cn/direct/6c32ddf5872349b295a05dbec2e3d5f6.png) **图 4对照量NTK 矩阵 $\Theta$ 的顶特征值随训练明显累积有限尺寸效应。** 如果连 NTK 都不一致被保留下来的就不可能是核而是 Hessian 里的另一部分。这是全文论证的分岔口。最后一块是解析刻画收敛点。在边缘稳定的极小值处sharpness 落在 $2/\eta_0$ 到 $2/\eta_0\eta_0\gamma^2\|w_*\|^2/(ND)$ 之间。上界的宽度依赖随宽度增大而消失这就是超一致性的理论来源。下面是各参数化的缩放规则取自论文附录的汇总表。 | 优化器 | 学习率 $\eta$ | 输出乘子 $\gamma$ | 深度指数 $\alpha$ | 非残差层 | |---|---|---|---|---| | SGD | $\eta_0\gamma^2$ | $\gamma_0 N^{1/2}$ | $1/2$ | $1$ | | Adam | $\eta_0 N^{-1/2}L^{-1/2}$ | $\gamma_0 N^{1/2}$ | $1/2$ | $L^{1/2}$ | 把 Adam 的 epsilon 设成零它就退化成 sign 梯度下降。这是 Depth-μP 在自适应优化器上的简化写法。 ## 实验设计与结果视觉侧覆盖 CIFAR-10含与不含数据增强、Tiny-ImageNet 和 ImageNet。模型从两层、三层卷积网络到带残差的 ResNet再到 ViT。语言侧用 GPT-2。每个设置做两组扫描。一组扫学习率网格看最优点的谷底是否对齐另一组固定学习率扫宽度或深度看 sharpness 轨迹是否重合。最直接的证据是距离函数随时间的变化。 ![sharpness 的距离函数随时间趋近于零](https://i-blog.csdnimg.cn/direct/30eaaea4a1ab4fee856ce30f6e54de4a.png) **图 5有限宽度的 sharpness 距离随时间趋近于零这就是超一致性的样子。** 同一组实验换成损失曲线立刻翻转拟合出的指数超过 0.6。 ![损失的距离随时间上升指数超过 0.6](https://i-blog.csdnimg.cn/direct/c473d112f7d442ac84c6bf87dcc0c662.png) **图 6μP 与固定学习率下损失的距离反而随时间上升。** NTK 的最大特征值走得更快指数约等于 2近似二次累积。 ![NTK 顶特征值按约二次的速率偏离](https://i-blog.csdnimg.cn/direct/276b27b4b68c4b46b445c0ca65a0cf5f.png) **图 7NTK 顶特征值的发散指数约为 2。** 深度方向的关键反例是每残差块两层。 ![Depth-μP 每块两层时 sharpness 轨迹分离](https://i-blog.csdnimg.cn/direct/6cc1a4e87a414cc199f06eb2f8d5516f.png) **图 8Depth-μP、每残差块 2 层的 ConvNet块内惰性使 sharpness 不再重合。** ViT 是同一个故事它每个 transformer 块里天然有多层。 ![ViT 在学习率按深度缩放后仍不超一致](https://i-blog.csdnimg.cn/direct/570f9b80b1f74971bc1488949e4e022d.png) **图 9ViT 用 Adam 训练、学习率按 $1/\sqrt{L}$ 缩放sharpness 仍不超一致。** 规模往上走结论仍然站得住。 ![GPT-2 在 WikiText 上的 sharpness 呈现宽度无关行为](https://i-blog.csdnimg.cn/direct/1d01225d861c4c42909c685a3f673674.png) **图 10GPT-2 训 40 个 epoch、宽度 512、Adamsharpness 呈现宽度无关行为。** 全批梯度下降也做了从 CIFAR-10 分层抽五千个样本每类五百个。 ![全批 GD 下 sharpness 围绕 2 除以学习率振荡但仍宽度无关](https://i-blog.csdnimg.cn/direct/221b083f1cfe4cdb9d4bd58c75f28eec.png) **图 11μP 下的全批 GD最优学习率 0.76围绕 $2/\eta$ 振荡但宽度无关。** 把五类参数化摊开就是一张判别表。 | 参数化 | 特征学习 | sharpness 超一致 | 学习率迁移 | 主要证据 | |---|---|---|---|---| | μP宽度 | 是 | 是 | 是 | 图 1 上排 | | Depth-μP 每块 1 层 | 是 | 是 | 是 | 图 8 左 | | Depth-μP 每块多层 / ViT | 块内惰性 | 否 | 否 | 图 8、图 9 | | NTP | 否NTK 固定 | 否 | 否 | 图 2 | | SP | 无有效极限 | 否发散 | 否 | 附录对照 | 失效参数化的对照有三组。第一组μP 但去掉残差分支的深度缩放深度 3 与深度 24 的最优学习率分别是 0.53 和 0.068完全不迁移加两百步线性 warmup 只在第一个 epoch 有改善。第二组标准参数化warmup 加到一千步、两千步能缓解初始高曲率但重塑不出宽度无关的轨迹。第三组μP 去掉残差最优学习率 0.5275 下轨迹深度无关可深度 24 在更大学习率处曲率归零。批大小从 128 加到 256、512阈值在所有批大小上都能达到所以不影响迁移。晚训另说交叉熵下 sharpness 会回落越宽的模型越早回落于是最优学习率轻微偏移。加数据增强能显著推迟这次相变。 ## 结果对比总结 ![超一致性与学习率迁移成败的对照总结图](https://i-blog.csdnimg.cn/direct/3b769a2ea710428f9a146095c4b42fcf.png) **图 14结果对照Mermaid 图超一致的一侧迁移成功不一致的一侧失败。** ## 关键发现 - **判据成立**五类参数化里sharpness 超一致的两种恰好就是能迁移学习率的两种。 - **阈值不是必要条件**Depth-μP 的 sharpness 会略低于 $2/\eta_0$轨迹却仍重合、学习率仍能迁移。必要的是动力学一致。 - **谱顶端才一致**前 $k10$ 个特征值里顶端精确重合低阶特征值在早期仍有累积。 - **规模可复现**ResNet、ViT、GPT-2宽度 512、40 个 epoch上宽度无关行为依然出现。 - **评审视角来看**这篇命中的是刻画极限然后超越、重述为可解对象、证明等价性以统一三类创新模式属于有界证明加实测验证的路子。 ## 局限性 - **单变量假设**整套论证默认 sharpness 是决定步长的关键量而 Edge of Stability 表明两者互为因果。 - **不排除别的影响项**超一致性被当作迁移的必要条件作者承认可能还有其他因素且它们也应具备同样性质。 - **规模上限**Hessian 估计很贵实验规模没有超过预训练尺度语言侧只做到 GPT-2。 - **末段失效**交叉熵的相变点仍随宽度移动超一致性在训练最后阶段本就不成立。 - **原文表述上还能挑刺**正文重复用了两次值得注意图注写 center 而正文写 top center方位词不统一。 ## 常见问题FAQ ### 我要复现这篇要多少显存它不需要大模型。主实验是 CIFAR-10 上的卷积网络GPT-2 那组也只有 2 层 2 头、宽度 512、序列长度 35。真正贵的是 Hessian 特征值估计这也是作者把规模卡在预训练尺度以下的原因。 ### 它和 μP 原论文是什么关系 μP 那两篇回答怎么缩放才能迁移这篇回答迁移了以后凭什么。前者给方法后者给判据。 ### 为什么看 sharpness 而不是看损失因为损失本来就不一致。μP 下宽模型的损失降得更低这是好事也说明损失不能当迁移的指标。sharpness 反而在整段训练里保持重合。 ### 这个方法能用到 transformer 上吗能但要小心。ViT 和 GPT-2 的实验显示块内多层会带来惰性sharpness 不再超一致迁移也就不完全。作者的处理是按深度的平方根缩放学习率仍是折中。 ### 怎么用它判断一个新参数化固定一个学习率扫两三个宽度把 sharpness 曲线画在一起。如果轨迹重合、并且收敛到接近 $2/\eta_0$ 的值迁移就有戏。 ## 参考链接 - 论文摘要页https://arxiv.org/abs/2402.17457 - Tensor Programs IVμP 原始工作ICML 2021https://proceedings.mlr.press/v139/yang21c.html - Tensor Programs V零样本超参迁移https://arxiv.org/abs/2203.03466 - Depthwise Hyperparameter Transfer深度方向https://arxiv.org/abs/2309.16620 - Edge of Stability曲率阈值https://arxiv.org/abs/2103.00065 - 真实尺度下的一致性实证https://arxiv.org/abs/2305.18411 一句话带走大到不能调参的模型靠的不是损失曲线一致而是曲率轨迹一致。下一步值得看的是同一条线上关于深度极限的工作Tensor Programs VI以及把这套判据做进步长调优器的尝试。 --- 给大家推荐一款自用写文献综述、无虚构文献的 AI **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_sourcebzkolutm_contentbaishi)** 官网[qiewenpaper.com](https://qiewenpaper.com/zh?utm_sourcebzkolutm_contentbaishi) 覆盖 **3.6 亿篇**可溯源真实中英文文献能自动整合文献观点生成规范综述还能挖掘研究创新点、复现实验配合视频教学新手快速上手文献综述写作 --- **后记** 博客的关键词集中在编程、算法、机器人、人工智能、数学等等持续高质量输出中。 **讨论QQ群**[白拾的小屋](https://qun.qq.com/universal-share/share?ac1authKeySuzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyThbusi_dataeyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3DdatahgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQsvctype4tempidh5_group_info) (750365700) **⭐B站账号**[白拾的物理AI组会](https://space.bilibili.com/98639326)活跃于知识区和动画区 **✨GitHub主页**[YhbCode000](https://github.com/yhbcode000)工程文件

【NeurIPS 2024】Super Consistency：景观超一致性，学习率为何能跨规模迁移｜从缩放极限理论视角

相关推荐

Codex 一键安装包，本地 AI 编程环境真的不用硬配

GuiLite

Capstan-Drive：用一根绳和 3D 打印件，快速搭出低背隙的机器人执行器测试台

更多资讯

DLSS Unlocked 游戏内叠加菜单怎么用？OptiScaler.ini 帧生成与超分参数全解析

Vuep v-model完全指南：如何双向同步与实时获取组件代码

132 BPM 的隐形节拍网格：一段 MP3 如何自己“长”成一支 4K 音乐 MV

从 Qwen 蒸馏到登顶开源榜：小米这波“打不过就加入”，真香了？

肉搏战里掉队的会是谁？V4 Pro、Grok 4.6、Kimi K3 正面对撞

全国水系矢量图（ArcGIS可打开）：CGCS2000_Albers投影的权威河流线数据

今日更新

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？