训练显存别再写成 20Ψ：把 Adam 状态与 ZeRO 分片分别记账-北京尧图网络

一个训练方案写着“模型参数量乘 20 就是显存”另一个写着“ZeRO-3 除以卡数就能装下”。两句话都省略了真正决定结果的假设。先拆状态再谈切分能少走很多容量规划的弯路。16 字节来自哪里在一种常见的混合精度 Adam 记账假设下每个参数有 2 字节低精度权重、2 字节低精度梯度、4 字节 FP32 主权重、两个各 4 字节的矩状态总共 16 字节。三个 FP32 状态合计是 12 字节不是 16 字节。这也不是所有优化器、框架或训练配方的固定常数。ZeRO 对应分片对象逐步扩展优化器状态随后梯度随后参数。参考 ZeRO 论文时应把状态分片和运行中的参数聚集区分开参数在计算时仍可能临时聚集。只拿静态分片后的数字做 GPU 采购依据会漏掉峰值。图中只表达权重、梯度与两个矩状态的分片归属未画 FP32 主权重激活、通信缓冲和临时算子空间另计不能从图上读取完整峰值。先算状态下界以下按上述 16 字节假设计算 7B 参数。它不下载模型不创建张量只检查分片算术。GiB 1024 ** 3 p, dp 7_000_000_000, 8 cases { replicated: p * (2 2 12), zero1: p * (2 2 12 / dp), zero2: p * (2 (2 12) / dp), zero3: p * (2 2 12) / dp, } for stage, size in cases.items(): print(stage, f{size/GiB:.2f} GiB/rank) assert cases[replicated] 112_000_000_000 assert cases[zero3] * dp cases[replicated]运行输出replicated 104.31 GiB/rank zero1 35.86 GiB/rank zero2 24.45 GiB/rank zero3 13.04 GiB/rank即使状态估算降到了单卡容量之内长序列激活仍可能占主导。微批数、激活重计算、参数预取窗口、通信 bucket 与 allocator 碎片都要单独测。增加数据并行卡数还会引入通信成本不能假定时间也按比例缩短。显存够了数值也要对得上10 月 14 日的训练与推理一致性研究讨论了相同权重在不同执行路径下的 log probability 差异。对 RL 训练来说rollout 与训练前向路径的一致性是另一个需要检查的维度。低精度、算子选择和批布局的变化都不能只靠“权重文件相同”判定等价。实际评审可以保留一组固定输入分别核对 logits、loss、梯度有限性和短程收敛趋势再决定是否扩大集群。比较必须写清容差与采样设置不能把一次脚本不报错称为精度无损。本文本地只执行了 CPU 状态预算未进行 PyTorch 分布式训练、通信或数值回归。账本的作用是明确容量下界剩下的空间和精度风险仍要用目标训练栈验证。

训练显存别再写成 20Ψ：把 Adam 状态与 ZeRO 分片分别记账

相关推荐

Flink核心机制：Window、State与Checkpoint实战解析

基于Hadoop+Django的公共交通运营数据分析与可视化毕设实战指南

Twenty开源CRM深度解析：架构部署与AI Agent实战

更多资讯

AI+BI如何优化企业实时决策与监控系统

FrameFetch：影视级可复核AI分析工作流

基于YOLO与深度学习的车辆运动方向监测系统设计

Text-to-CAD技术解析：从自然语言到参数化可制造模型

AI语言不是编程语言，而是人机协作的意图契约工具

Flask+MySQL+LayUI房价预测系统：从爬虫到可视化闭环实现

今日更新

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？