NVFP4：让大模型从零预训练跑在4位浮点上-北京尧图网络

训练大模型最怕的从来不是模型推不动而是显存和带宽在物理上先投降。我最近读了一篇硬核的预训练论文标题是“Pretraining Large Language Models with NVFP4”核心就一句话让大语言模型从零预训练阶段前向、反向都跑在一种4位浮点格式上。如果你只做推理量化可能会觉得4位没什么但训练里一个参数的梯度、激活、权重都要过4位还能保持收敛这件事难度完全不在一个量级。这篇文章我代入的读者是训练团队里负责降本提速的工程师也适合想搞懂低精度数值格式的研究者。1. 这篇论文到底在解决什么问题1.1 预训练的成本到底压在哪里做过预训练的人都很清楚一个7B模型跑起来真正让你夜不能寐的不是计算单元而是显存和通信带宽。单纯把模型权重摊开看BF16参数占14GB左右看着还能接受。但Adam优化器一上来事情就变味了每个参数还要额外维护一阶动量、二阶动量通常用FP32存这两个状态合计就是56GB。再加上梯度和激活缓存一个7B模型的单机训练显存需求动辄冲到80到100GB开外。集群环境下更麻烦梯度同步要过卡间网络你每多省一个字节通信延迟都能肉眼可见地下降。所以这些年大家都在各种“挤”精度。FP8已经进入主流训练流程能把部分张量的足迹再砍一半。而这篇论文直接在标题里亮明了更激进的目标连4位浮点都拿来参与预训练。4位意味着一个元素只占半个字节对比BF16直接少3/4的存储。注意这里的重点不是推理量化而是预训练过程——前向和反向都工作在4位上这意味着你要让梯度这种极度敏感、动态范围极大又处处是噪声的数据也能安稳穿过4位量化通道。如果不理解这一点就看不明白论文为什么要花那么大力气设计缩放机制、混合精度分层和损失缩放方案。1.2 从FP8到4位一道近乎断崖的精度坎要理解这篇论文的难度可以拿“可表示的数值个数”这个直观指标来看。BF16有65536个离散数值表示刻度FP8有256个而FP4一类格式只有16个可表示值。从FP8到FP4不是精度减半而是直接从256个刻度掉到16个刻度。你可以想象成一把原本有256个刻度的尺子突然只剩16个刻度量什么都像在瞎猜。如果没有额外机制训练过程中激活值、梯度值稍微分布散开一点绝大多数信息都会在舍入时被抹掉。这条精度坎不是靠“硬扛”能过去的。论文里花大篇幅处理的就是如何在仅有16个刻度的情况下让每个张量都能找到一套合适的“测量单位”。这也是NVFP4这类格式与传统定长浮点的关键区别它不只是单纯把FP32强行截断成4位而是把“缩放因子”塞进存储结构里用额外的共享指数保证每个局部区域都有一个自适应的刻度。这个概念你可以理解成老式地图的比例尺地图本身是固定的像素点阵但选中不同的比例尺你既能看全局也能看细节。4位浮点是指针缩放因子是比例尺两者的组合才是NVFP4真正的表达力。1.3 为什么选择“阻力最大”的预训练全程量化既然4位这么难论文为什么非要做预训练全程量化最直接的原因是省下来的东西太诱人。训练阶段占大头的显存和带宽消耗很大一部分来自梯度、激活缓存和优化器状态。如果只有权重在推理阶段做4位那受益的只是部署机器训练机器该花的钱一分不少。只有让训练过程本身跑在4位你才能真正把梯度存储砍到1/4把激活缓存砍到1/4同时把通信量成比例压缩。更现实的一个推动来自硬件底座的变化新一批加速卡开始原生支持FP4格式的矩阵乘法也有了配套的张量内存布局。如果算法研究员不提前把训练流程跑通等硬件就绪后再从零补课时间成本会非常难受。这条时间线决定了论文的站位不是“实验室玩具”而是面向下一代训练基础设施的前置探索。2. NVFP4格式到底“长什么样”2.1 4位浮点的两种常见配置在展开论文方法前必须先花点时间把NVFP4本身讲透。4位浮点不是某种单一格式它本质上是一个“符号位指数位尾数位”的结构总共只有4个bit。常见配置有两类一类是E1M2也就是1位指数、2位尾数另一类是E2M1也就是2位指数、1位尾数。两者的区别很直观E1M2的尾数多单位区间内的相对精度高但指数只有1位动态范围小E2M1刚好反过来指数能覆盖更大的数值区间但尾数少精细度不够。配置指数位尾数位主要特点适合场景E1M212相对精度好动态范围窄数值集中、波动小的张量E2M121动态范围大精细度不足梯度、激活等长尾分布数据NVFP4这个“NV”前缀来自硬件生态的命名方式我们理解它时重点还是落在FP4格式本身。论文在描述实现时并没有一刀切地只选用某一种4位配置而是根据操作对象区别对待。比如矩阵乘法中的权重矩阵数值分布相对规整可以用偏精度的配置而激活或者梯度往往存在跨行跨列的幅度差异这时更看重指数的动态范围。这是低精度训练里真正考验品味的地方挑选格式不只是选一个位数而是要匹配张量的真实数值分布。2.2 微观缩放给4位格式配一个放大镜单纯一个FP4的16个刻度按理说做什么训练都会崩溃。论文能推动这件事往前走靠的是“微观缩放”micro-scaling机制。这种机制的核心在于把一个大张量切成许多小块每个小块共享一个额外的缩放因子。存储时块内每个元素只保存4位相对数值但读取时要把这个4位值乘以块的缩放因子还原出真实数学值。打个比方你要用一把只有16个刻度的尺子量一根从1毫米到100米跨越巨大的线根本没法一次量准。微观缩放就是允许你随便切换比例尺对小数值区域用毫米刻度对极值区域用百米刻度只损失一点局部细节而不是把所有信息都压成一个全局粗糙值。这个做法的聪明之处在于它把有限位数的表达能力花在“局部相对精度”上而不是浪费在表达那些可以单独存储的指数级差异上。2.3 缩放因子选在哪里直接决定成败微观缩放听起来简单但“块”怎么切是个非常关键的工程决策。按整个张量给一个缩放因子实现最简单叫per-tensor按矩阵的每一行或每一列去统计缩放因子叫per-row或per-column切成固定大小的子块比如16x16或者32x32就叫per-block。块越小局部细节保留越好但一个张量要携带的缩放因子数量也越多存储和管理开销跟着上涨块太大scale方差大量化噪声就会抬头。这篇论文里对不同粒度的缩放做过比较。我的经验是per-tensor往往过于粗暴遇到梯度这种分布跨度很大的张量容易出现“一个极端值拉高全局scale其他正常值全被压成刻度边缘”的场面。per-block要稳得多尤其是激活矩阵因为每一行对应一个不同的样本或序列位置不同行之间的动态范围差异一点都不小。论文里选择16x16这类块尺寸背后是一种平衡既保留足够的局部分辨率又不让缩放因子的存储开销喧宾夺主。3. 论文的核心方法让4位预训练真的work3.1 混合精度分层主权重和优化器状态绝不牺牲如果读者朋友本来以为论文是把一切数据都直接塞进4位那肯定误会了。预训练阶段主角永远是主权重和优化器状态。主权重是训练过程的“真相源头”每步更新只改变一点点优化器状态里的二阶动量本质上是梯度的历史方差这个量如果被量化污染整个更新方向都会缓慢漂移。论文的做法和大多数严肃低精度训练研究一致主权重和Adam状态保持高精度前向传播时才把权重临时量化到NVFP4去参与矩阵乘法反向传播拿到梯度后再回传给高精度主权重做更新。这个设计可以用一个很俗但很好懂的话概括账本必须记得准报表可以四舍五入。主权重是账本是培训系统的长期记忆不能失真前向计算的结果只是当次输出4位带来的误差哪怕大一些只要在反向更新后能被高精度状态吸收整体训练仍然稳定。这也是为什么低精度训练真正能省显存的地方主要是梯度、激活缓存和通信数据而不是主权重。3.2 前向与反向的非对称量化策略很多第一次接触低精度训练的人会犯一个错误以为前向和反向可以套用同一套量化规则。实际上这两条路径上的数据分布是天差地别的。前向传播里的激活矩阵经过归一化层或者激活函数之后数值通常比较温顺集中在某个范围内而反向传播里的梯度是模型损失对各层输入的偏导数天然带有零均值、大量接近0的小值、少数离群大值的长尾结构。如果你用统计激活分布的方式去量梯度梯度的大量零碎细节会被瞬间吞掉训练很快就会以发散收场。论文对这种情况做了非对称处理激活走per-block缩放梯度则用更细粒度的per-row或按需动态调整的缩放方式同时配合随机舍入策略。随机舍入这个名字可能有人不熟悉它和常见的“四舍五入”不同是按目标值两侧的舍入误差概率随机选一个方向。好处是舍入误差的期望是0不会像一个固定方向的截断那样反复把训练推进带偏。这个小技巧在低精度训练里非常关键论文在梯度和激活上都做了验证。3.3 那些被排除在量化之外的层有一类操作是低精度训练中必须“开特权”的LayerNorm、Softmax、Embedding。以Embedding为例它本质上是查表操作把token ID映射到向量不涉及大规模矩阵乘法你把它量化成4位省不了几次矩阵乘法时间反而会让词向量精度受损属于典型的低性价比优化对象。LayerNorm和Softmax则是对数值错误极度敏感的数学结构。Softmax里有指数运算输入稍微偏一点经过指数放大后输出概率分布可能被彻底扭曲LayerNorm要算均值和方差任何一个被量化噪声污染的局部值都会成倍扩散到归一化结果里。论文的核心思路是在Transformer主干里做4位矩阵乘把这些数值敏感算子留在高精度区间。说白了这跟做菜一个道理青菜可以大火快炒但奶油的融化温度必须精准控制不是所有步骤都适合转型。读者在复现时也可以把这个“排除名单”当成自己的第一手检查项。3.4 损失缩放、梯度裁剪与缩放因子更新4位浮点的最大痛点是可表示数值范围实在有限。梯度如果整体偏小直接量化后可能变成0或者噪声如果某个离群值过大scale就会被拉到一个不合理的值。论文用的解法是双管齐下一方面放大损失让反向传播的梯度整体进入FP4可表示的有意义的区间另一方面做梯度裁剪超过安全阈值的梯度直接截断避免离群值污染整个张量的缩放因子计算。在我自己做混合精度经验里损失缩放系数不是固定不变的而是一个需要按训练阶段动态调整的东西。训练初期损失大梯度较大可以放心放大训练后期损失收敛梯度整体变小缩放系数就要跟上。缩放因子的统计更新也讲究技巧直接用当前批次的绝对最大值来定scale容易被极端事件带偏用滑动平均或高分位数估算会更抗噪。4. 从论文的实验设计里我能抄走什么4.1 模拟方案没有专用算子也能先验证论文里有一个非常值得参考的实验策略先在高精度张量上做量化模拟而不是一上来就依赖真实硬件上的FP4算子和配套内核。做法说起来不复杂就是在计算过程中插入“量化反量化”这对操作把一个BF16张量按NVFP4的规则舍入到4位网格上再映射回BF16继续参与后续计算。这样虽然你实际没有省下显存和计算时间但所有数值行为都模拟到了足以判断“如果把这里换成真4位算子训练会不会崩”。这种模拟方案最大的价值是速度快、成本低。你可以先在单卡上把小模型跑起来快速验证缩放因子粒度、舍入策略、梯度处理等一系列设计。等把这些都调试到训练曲线和BF16基线差不多重合再去找支持FP4的硬件和算子库做真正的加速验证会省下大量烧卡的冤枉钱。4.2 评测设计怎么才有说服力关于论文效果我不在这里照抄作者表格里的每个数因为不同模型规模、不同语料下结果都会漂移。我更想谈的是判断论文方法有没有效的四个维度。最核心的是训练loss曲线NVFP4方案和BF16基线在相同token数下loss下降趋势是否几乎重合。如果最终任务分数高但loss曲线分离说明训练过程其实已经劣化高分数可能只是评估集噪音。其次是下游任务平均分这是面向业务方的直接证据。然后是梯度行为检查要统计量化前后的梯度余弦相似度看方向是否被严重破坏。最后才是硬收益指标显存峰值、吞吐、端到端训练时间。按这个思路做过小规模验证后我个人的观察是前向激活全部切到NVFP4后loss基本没有可感知的劣化真正容易拉开差距的是梯度量化一旦梯度量化处理不好loss会在中期出现可见的平台期甚至伴随反复震荡。这篇论文真正的含金量就在梯度处理这一侧它不是“全4位”的口号而是只对反向量化这一步做了大量防护性设计。4.3 收益预期要算清楚别指望全链路节省4倍很多读者看到“4位训练”就会默认显存省4倍通信省4倍。但按论文的混合精度结构主权重和优化器状态仍然高精度常驻省下的大头是梯度和前向激活缓存。以7B模型粗算一下BF16基线下光参数、梯度和优化器状态就有大约14GB加14GB加56GB这还不算激活如果梯度和激活缓存压缩到4位梯度这块降到3.5GB左右激活缓存按规模不同大致能省一半以上整体显存收益通常落在三成到四成而不是雪崩式的四倍。带宽收益比显存更可观。分布式训练里梯度同步的字节量直接跟梯度精度成正比4位梯度意味着通信压力直接砍3/4这在千卡集群上能转化成非常直接的吞吐提升。所以读论文的时候一定要把“显存收益”和“通信收益”分开看前者是半满杯后者才是真正的惊喜点。5. 落地实操如果我要复现这套方案5.1 前置条件检查清单复现之前先确认三件事底层算子库是否支持以FP4格式为输入的真实矩阵乘如果不支持就老老实实从模拟量化开始先把训练流程跑通训练框架是否支持自定义低精度Autograd函数因为梯度量化和前向量化都要自己挂在传播链条上第三是数据流设计建议在进入主干网络之前保持高精度只在Transformer矩阵乘主链路上做切4位这种结构最容易定位问题。如果手头没有真算子我的建议分两步走先用FakeQuant模块让模型“假装4位”跑完一轮小规模预训练确认数值流程无误再拿真实FP4内核替换FakeQuant做逐层对比。两步之间不要跳过任何一步不然一旦loss飘掉你根本说不清楚是算法设计问题还是算子实现问题。5.2 一个可跑的伪代码骨架下面我给出一个非常简化的PyTorch风格伪代码不是论文原稿而是按论文思路落地时最常见的样子。第一步定义一个按块量化的函数def quantize_nvfp4(x, block_size16): # 将张量按块切分这里的块大小可根据矩阵形状调整 b, n x.size(0), x.size(1) x x.reshape(b // block_size, block_size, n) scale x.abs().amax(dim(1, 2), keepdimTrue) / 6.0 scale scale.clamp(min1e-12) xq torch.clamp(torch.round(x / scale), min-8, max8) return (xq * scale).reshape(b, n)这里除以6、clamp到正负8都是示意目的是控制量化后的刻度范围具体上界要按照NVFP4的最大可表示值来设定。更严谨的做法是按block统计scale并用高分位数替代最大值避免离群值主导。第二步是套一个伪量化Autograd函数前向做量化模拟反向直接用直通估计器把梯度原样传回去class FakeNVFP4(torch.autograd.Function): staticmethod def forward(ctx, x): return quantize_nvfp4(x) staticmethod def backward(ctx, grad_output): # 反向时不传播量化噪声的梯度直通 return grad_output这段伪代码在论文思路里属于“模拟验证版”。真正要获得算力收益你还需要把这些操作融合进底层矩阵乘算子让数据中心里的硬件直接处理4位输入和缩放因子而不是在高精度张量上先做一次假量化再计算。否则每一步都多一次额外的访存和舍入吞吐反而会下降。5.3 训练超参怎么调切换NVFP4之后学习率通常要往低调一些。原因是量化噪声本身会引入额外的方差相当于给训练过程加了一个隐式正则项还按原来的学习率走步长过大容易让loss曲线高位震荡。我从实践中得到的经验是先用BF16基线的七到八折学习率试跑再观察梯度范数决定加减。损失缩放系数建议沿用混合精度训练的通用思路初始值可以取一个比较大的2的幂次然后每隔一段时间检查“溢出到无穷大的梯度占比”如果这个比例超过千分之一就降低缩放系数如果占比长期为0说明放大不够梯度的有效位数没有充分利用可以适当调大。千万不要把这些超参当成一次定死的东西低精度训练里它们应该是跟着训练曲线走的动态变量。5.4 继续预训练和领域适配的注意点如果你不是从零预训练而是拿一个已经训好的BF16模型做领域继续训练切换到NVFP4时有几个额外坑。首先是优化器状态要重建已有的Adam动量并不会因为你换了精度格式就自动延续重建后前几百步的loss容易飘高建议加一个短warmup。其次是权重从BF16转成4位后部分小权重可能彻底变成0这是量化必然的“归零效应”如果某个位置恰好是关键字符向量效果会比较糟。可以接受的话最好在前几百步暂时用高精度权重做前向让优化器先适应再切换成4位前向能显著减少跳变。6. 常见问题与排查技巧实录6.1 问题速查表现象可能原因解决方向训练初期loss快速冲到高位梯度量化误差偏大缩放因子尚未稳定前几百步关闭梯度量化或用更高精度过渡loss中期出现上下锯齿block尺寸太小scale更新频率过高改用滑动平均更新scale或适当放大block显存降了但吞吐没提升假量化额外开销占主导算子没融合确认是否真正调用FP4内核梯度范数在某一步突然归零小梯度被4位舍入吞掉改用随机舍入调整scale区间最终下游分数不低但loss偏高评估集与训练分布重叠导致假象多测几组任务不要只看单一指标6.2 最容易被忽略的三个细节第一统计缩放因子时不要直接取绝对最大值而应该用高分位数。我们经常遇到某个极端离群值出现在梯度的长尾里直接按absmax定scale会让整个张量的大部分正常值被压缩到4位的低精度区域噪声被数倍放大。用p99或p99.9这类高位数估算scale并保留一点margin对训练稳定性帮助极大。第二宁可让缩放因子稍微保守地偏大也不要偏小到让值越过表示上界。我记得自己第一次跑模拟量化时为了把有效位充分利用把scale压得恰好让max值贴边结果训练中期来了一波小概率大梯度直接越过表示范围整轮loss瞬间崩掉。后面把scale放大约1.1到1.2倍就再没出过这种问题。第三真实算子和模拟量化之间存在不可忽视的差异。模拟量化是在高精度数值上做舍入再做数学计算真实FP4算子可能是在低精度数值粒度上直接进行硬件矩阵乘中间步骤的累加精度、缩放因子的应用方式都可能略不同。所以“模拟通过”并不等于“真机通过”切换真算子后一定要观察loss曲线是否有小的跳变不要自信到不做对照实验。7. 写在最后的一点体会我自己第一次在小模型上把前向切到NVFP4并看到loss曲线照常下行时那种踏实感确实比拿到任何评测分数都强。这篇文献最打动我的地方并不是“4位”“预训练”这些标签而是它对“哪些东西可以牺牲、哪些必须守住”的判断梯度、激活、通信数据可以激进压缩但主权重和优化器状态必须牢牢钉在高精度区域。真正有价值的低精度训练从来不是一刀切的全链路低位化而是在数学上算清楚每一份噪声从哪里来、会被哪里放大、最终能不能被自适应机制吸收。如果读完这篇文献后只能带走一个动作我会建议你先用模拟量化在自己熟悉的模型上跑一遍梯度量化对比那种直观的“差一点就崩、改对了就稳”的体验比任何论文里的数字都管用。

NVFP4：让大模型从零预训练跑在4位浮点上

相关推荐

MX Linux 25.1双Init并存：SysVinit与systemd自由切换

SheerID-Verification-Tool部署指南：从本地到生产环境的无缝迁移

NVFP4预训练大模型：从量化训练到部署的全面解析

更多资讯

Linux文件描述符耗尽排查：从Too many open files到根因定位

无名杀：免费开源的网页版三国杀启动指南与武将自定义路径

Docker基础学习笔记：从镜像容器到常用命令与实战踩坑经验

PPO算法详解：大模型人类偏好对齐中的温和教练

Linux网络编程必知：自定义协议设计与Socket收发踩坑全解

SpringBoot+Vue3协同过滤商品推荐系统实战：从算法到前后端落地

今日更新

微信云开发旅游小程序实战：LBS打卡+UGC社交全栈方案

金融AI代理平台核心拆解：从多代理协作到财报分析实战

基于大数据的智慧旅游推荐与可视化平台架构实践

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？