尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
ZGCM-1 预训练全流程:4.19T Token 课程式训练的完整配方拆解
【免费下载链接】ZGCM-1项目地址https://gitcode.com/gh_mirrors/zg/ZGCM-1点击查看免费下载ZGCM-1 预训练是开源 7.39B 稠密基座模型的地基工程用约4.19T tokens分两个阶段完成——先以约 0.99T token 按从易到难的课程顺序打底再用约 3.20T token 的全量混合语料做全局打散精训。全程 16K 上下文、192 张 H100、混合 FP8 精度加 Muon 优化器官方报告约 585 model TFLOP/s/GPU 的训练效率。这篇文章把这套 ZGCM-1 预训练配方拆成数据、架构、优化与工程四层带你完整看懂它是怎么炼成的 一、一张表看懂 4.19T Token 怎么花ZGCM-1 的预训练分为两个数据阶段data stages总 token 预算约 4.19T全程使用 16K16,384上下文长度阶段Token 预算数据策略模型初始化Stage 11T 课程预训练约 0.99T通用文本按词汇复杂度从低到高顺序排列代码与数学独立穿插从零开始训练Stage 23.2T 全量混合约 3.20T离线全局打散global shuffle后按序消费代码、数学占比提高并加入专项推理语料加载 Stage 1 最终 checkpoint两个阶段都混合了 Web、学术/OCR、代码、数学与 LaTeX 来源跨阶段去重会确保 Stage 1 出现过的内容不会进入 Stage 2。数据清洗与治理由仓库内的 />预训练的学生是一个 decoder-only 稠密 Transformer规格ZGCM-1参数量7.39B层数 / 隐藏维度32 / 4,096FFN 维度11,008SwiGLU注意力27 层门控滑动窗口128 token 5 层全局注意力GQA32 个 Query 头 / 8 个 KV 头KV 通道 128其他部分 RoPE33.4%、QK-LayerNorm、RMSNorm、无偏置、Embedding 与输出层不共享关键点在于门控滑动窗口注意力绝大多数层只看 128 token 的局部窗口并带一个 Sigmoid 门控每隔若干层插入一次全局注意力接力。这套结构是后续长上下文训练能高效扩展的基础也是架构实验里 256K 长程吞吐提升 3.94× 的来源。四、并行策略与效率武器Muon 混合 FP8生产级训练在192 张 H10024 节点 × 8 卡上跑并行切分为TP2 / PP1 / CP2 / DP48——用 2 路张量并行、2 路上下文并行序列切分和 48 路数据并行16K 序列下不用流水线并行也能跑满。训练配置取值微批 / 全局 batch2 / 768学习率恒定2e-4warmup 667 步min LR2e-5权重衰减 / 梯度裁剪0.1 / 1.0RoPE base5,000,000激活重计算关闭FP8 显存足够直接算矩阵优化器用 Muon动量 0.9、谱尺度spectral scaling、5 步 Newton–Schulz 正交化标量参数仍走 Adambeta20.95。精度用 Transformer Engine 的混合 FP8hybrid格式 delayed定标配方amax 历史窗口取 1024 步其余操作用 BF16/FP32 兜底。这套组合拳在 16K 生产运行中测得约585 model TFLOP/s/GPU相对同规模 BF16/AdamW 基线预训练 time-to-loss 提升约4.2×。上图展示了分布式优化器Distributed Optimizer的工作方式优化器状态按数据并行维度切分到各 GPU配合--overlap-grad-reduce把梯度规约与计算重叠是 192 卡规模下不掉卡的关键工程细节。五、训练过程长什么样迭代、断点与损失曲线两个阶段的训练步数直接写在了配置里01_pretrain_1t_sequential.env 与 02_pretrain_3p2t_global_shuffle.envStage 1TRAIN_ITERS79473每 1000 步存一次 checkpoint--ckpt-format torch_dist每 10 步打印日志Stage 2从 Stage 1 的 79,473 步断点续训再跑TRAIN_ITERS333787并记录已消费样本数61,035,264作为数据偏移锚点保证 resume 时样本序列严格连续。典型的预训练损失曲线长这样前期急速下降之后进入缓慢爬行的长平台下图为 Megatron-LM 官方示例中的训练曲线形态ZGCM-1 全程用恒定学习率而不是余弦衰减配合 Muon 的谱尺度控制收敛速度——这也是它敢用 FP8 直训、不关激活重计算的底气。六、如何一键启动多机多卡的启动脚本整个pretrain/目录自成一体含打包的 Megatron-LM 源码与运行时说明见 pretrain/docs/SOURCE_PROVENANCE.md。在每个 worker 上执行export SHARED_STORAGE_ROOT${SHARED_STORAGE_ROOT:?} # 数据/词表/venv 根目录 export MASTER_ADDR${MASTER_ADDR:?} # Stage 11T 课程数据 bash scripts/launch_train.sh configs/stages/01_pretrain_1t_sequential.env # Stage 2先指向 Stage 1 的最终 checkpoint export PRETRAIN_1T_FINAL_CHECKPOINT${PRETRAIN_1T_FINAL_CHECKPOINT:?} bash scripts/launch_train.sh configs/stages/02_pretrain_3p2t_global_shuffle.env启动脚本 pretrain/scripts/launch_train.sh 会校验虚拟环境、tokenizer、索引数据集.bin/.idx与 checkpoint 标记文件然后把全部架构/优化器/并行/数据参数拼成torchrun命令拉起pretrain_gpt.py日志落盘到${TRAIN_ROOT}/logs。两个阶段的完整参数分别声明在 pretrain/configs/stages/ 下数据路径、tokenizer、输出根目录均可通过环境变量覆盖无需改代码。七、延伸阅读预训练总览与快速开始pretrain/README.md数据课程与训练配置详解对应技术报告 3.1 / A.1 节pretrain/docs/PRETRAIN_PHASES.md数据治理管线与清洗流程data-process/README.md下一站预训练之后的长上下文扩展见 midtrain/ 的 16K → 64K → 256K 课程小结ZGCM-1 预训练配方的精髓可以浓缩为三句话——数据上先易后难再打散架构上局部窗口为主、全局注意力接力工程上Muon 混合 FP8 榨干每张 H100。三者叠加才换来了 4.19T token 的高效落地也为后面的长上下文中期训练和数学/智能体 SFT 打下了地基 赞分享【免费下载链接】ZGCM-1项目地址https://gitcode.com/gh_mirrors/zg/ZGCM-1点击查看免费下载相关推荐解密LFM3-1.7B训练配方22T Token预训练与SFT到Agentic RL四阶段后训练全流程解密LFM3 1.7B训练配方22T Token预训练与SFT到Agentic RL四阶段后训练全流程 LFM3 1.7B 是 Liquid AI 推出的 1基础模型大模型人工智能NLP本地部署大麦自动抢票5 分钟跑通 Web App 双端开售瞬间脚本替你点大麦自动抢票5 分钟跑通 Web App 双端开售瞬间脚本替你点 开售按钮还没变绿你已经在刷新第三遍好不容易手点进去城市选错了、票档点慢了页面直RPA终极美化指南3步打造你的个性化Obsidian知识库终极美化指南3步打造你的个性化Obsidian知识库 还在为Obsidian单调的界面而烦恼吗想象一下你的知识库不仅功能强大还能像艺术品一样美观——这就文档教程知识管理上一篇WezTerm 配置 freetype_pcf_long_family_names深入解析 PCF 字体命名一致性与 FreeType 驱动行为下一篇Envoy 热重启统计标签修复programmatic stat tags 的跨进程传播机制创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

42个图扩散模型:从分子生成到材料设计的选型指南

42个图扩散模型:从分子生成到材料设计的选型指南

42个图扩散模型:从分子生成到材料设计的选型指南 【免费下载链接】Awesome-Diffusion-Models A collection of resources and papers on Diffusion Models 项目地址: https://gitcode.com/gh_mirrors/aw/Awesome-Diffusion-Models Awesome-Diffusion-Models…

📅 2026/11/3 2:20:40
ttyd 故障排查指南:终端连不上?按 5 层逐一定位

ttyd 故障排查指南:终端连不上?按 5 层逐一定位

ttyd 故障排查指南:终端连不上?按 5 层逐一定位 【免费下载链接】ttyd Share your terminal over the web 项目地址: https://gitcode.com/gh_mirrors/tt/ttyd 在浏览器里共享终端,ttyd 一行命令就能做到;但真出问题——端…

📅 2026/11/3 2:20:40
一把钥匙打开 34 扇门:从 freellmapi 看 LLM 统一接入层的演进与边界

一把钥匙打开 34 扇门:从 freellmapi 看 LLM 统一接入层的演进与边界

目录 一、多提供商时代的接入碎片化 (一)一个每个 LLM 应用团队都熟悉的场景 (二)碎片化的成本按乘法增长 (三)讨论的范围与事实边界 二、LLM 接入层的三代演进 (一)第一代&am…

📅 2026/11/3 2:20:40
MORE NEWS

更多资讯

📰

MCP与A2A深度对比:Agent工具接入与协作协议的真实差异

2026年年初,我所在的Agent开发者群里最热闹的话题不是哪个新模型又刷榜了,而是两个协议:MCP和A2A。一边是Anthropic带起来的Model Context Protocol,一边是Google联合一堆厂商推的Agent-to-Agent,群里几乎每天都能看到…

📰

AI工业控制系统落地实践:从架构设计到工程避坑指南

工业控制系统与AI的融合,是我最近被问得最多的话题之一。不少做自动化、做运维、做信息化建设的朋友都在关心一件事:2026年了,AI在工业控制领域到底怎么落地?是真刀真枪地干,还是继续停留在PPT汇报阶段?这个…

📰

制造真正的buzz:从底层逻辑到实操落地的完整链路

每天早上打开后台看到数据曲线的那几分钟,我至今都很紧张。我记得之前操盘一个小众护手霜品牌,上线第一周没花一分钱买量,靠的只是一条30秒的“办公室实测翻车”视频,当天晚上店铺访客暴涨了8倍。那时候我就意识到一件事&#xff…

📰

SCCM软件分发播发配置与排错:通知、倒计时和日志闭环

简介:围绕 SCCM(System Center Configuration Manager)软件分发的实操文档,面向企业 IT 运维与系统管理员,聚焦如何将软件策略可控地推送到客户端并保证最终安装成功。内容按流程展开:先核查 SCCM 服务器与…

📰

AI项目落地全流程:环境、数据、训练到部署的工程实践

在 AI 领域摸爬滚打这几年,我最大的感受是:会训练模型的人很多,能把 AI 项目从零完整做成产品并稳定跑下去的人,真的不多。所谓ai-engineering-from-scratch,说的不是重新造一个深度学习框架,而是当你手上只…

📰

轴承剩余寿命预测:多源数据融合与不确定性量化实践

1. 轴承剩余使用寿命预测的技术背景与挑战工业设备健康管理领域有个经典难题:如何准确预测关键旋转部件(比如轴承)还能撑多久?这个问题直接关系到设备维护成本和产线安全。传统"坏了再修"的模式早被淘汰,现在…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬