如何在 Megatron-LM 中开启确定性训练并验证位级可复现？-北京尧图网络

如何在 Megatron-LM 中开启确定性训练并验证位级可复现【免费下载链接】Megatron-LMOngoing research training transformer models at scale项目地址: https://gitcode.com/GitHub_Trending/me/Megatron-LM在 Megatron-LM 中训练 Transformer 时即使两次运行的输入、种子和配置完全相同默认情况下不同运行之间也可能出现数值上的差异这让回归排查和可复现性研究变得困难。Megatron-LM 提供了--deterministic-mode开启后保证「两次相同输入的每一步产生完全相同的输出」即位级bit-exact可复现。本文覆盖三件事如何开启确定性模式、模式会自动接管哪些环境变量以及哪些配置项必须关闭、以及如何用仓库自带的测试套件验证位级可复现。开启确定性训练--deterministic-mode向任意 Megatron 训练入口添加--deterministic-mode即可例如 pretrain_hybrid.pypython pretrain_hybrid.py \ --deterministic-mode \ other args ...other args ...替换为你自己训练脚本原有的全部参数其余部分可直接执行。开启后Megatron 会在参数校验阶段validate_args自动调用megatron.training.determinism.apply_determinism_to_args完成以下动作实现见 megatron/training/determinism.py校验所有确定性相关的环境变量未设置的填入规范默认值拒绝没有确定性路径的选项见下文「配置项要求」设置torch.use_deterministic_algorithms(True)。你不需要手动设置这些环境变量但要注意时序这些变量会被 NCCL、cuBLAS、Transformer Engine 在各自初始化时读取因此必须在第一次调用 cuBLAS / Transformer Engine 之前生效——apply_determinism_to_args在validate_args早期运行正是为了保证这一点。配置项要求冲突选项必须显式关闭以下配置项在--deterministic-mode下不兼容会被断言直接拒绝并报错而不是被静默关闭——你需要自己在命令行中去掉这些 flag让确定性运行与你声明的配置一致Flag在--deterministic-mode下的行为--cross-entropy-loss-fusion必须关闭融合的 cross-entropy 是非确定性的--tp-comm-overlap必须关闭overlap 路径不保证位级一致torch.use_deterministic_algorithms由模式自动设为Trueflash attention 是允许的Transformer Engine 的 flash-attention backend 在NVTE_ALLOW_NONDETERMINISTIC_ALGO0下是确定性的这一点也被仓库的位级正确性测试套件覆盖。环境变量谁可以覆盖、默认值是什么每个变量可以由启动器launcher设置也可以不设置。如果设置了值必须经过「确定性验证」否则会以断言直接失败如果不设置apply_determinism_env会填入规范默认值Mamba 与 causal_conv1d 两项除外它们的内核会自动从torch.are_deterministic_algorithms_enabled()检测变量可接受的取值或不设置未设置时填入的默认值说明NCCL_ALGO{Ring, CollnetDirect, CollnetChain, ^NVLS}的子集Ring保守默认值——Ring的规约顺序由拓扑固定在所有受支持的 NCCL 版本上都能保证逐位一致NVTE_ALLOW_NONDETERMINISTIC_ALGO00强制 Transformer Engine 使用确定性算法CUBLAS_WORKSPACE_CONFIG:4096:8或:16:8:4096:8确定性的 cuBLAS workspace 配置两个取值均可复现:4096:8更快:16:8占用更少显存MAMBA_DETERMINISTIC以1开头的任意字符串无——SSM 自动检测未设置时 Mamba SSM 自动跟随torch.are_deterministic_algorithms_enabled()显式设为非确定性会被拒绝CAUSAL_CONV1D_DETERMINISTIC以1开头的任意字符串无——内核自动检测causal_conv1d ≥ 1.6.0 未设置时自动跟随 torch 确定性状态通过 workspace 而非atomicAdd规约卷积的 weight/bias 梯度Mamba 和 GDP mixer 在缺少它时会拒绝确定性运行如果你要覆盖NCCL_ALGO值必须是上述 token 的子集逗号分隔的列表是合法的 NCCL 语法每个 token 都必须在集合内。Tree被有意排除其节点内链式规约顺序不受用户控制且节点间树拓扑在没有固定拓扑文件的情况下可能随运行变化无法保证跨运行的位级一致。^NVLS是合法的用户选择在暴露 NVLS 的硬件上禁用它但 NCCL 回退到的具体算法是否在你的环境中确定由你负责保证。验证位级可复现仓库内置了分层验证。按从底到顶的顺序你可以按需运行1. 内核级位级测试kernel-level bit-exact suite位于tests/unit_tests/determinism/kernels/把 Megatron 分发的每个 GPU 内核在相同输入上重放多次断言所有输出张量和梯度逐字节一致harness.assert_replays_bit_exact、harness.assert_module_replays_bit_exactharness.bytes_equal比较的是位模式因此带符号零和 NaN payload 也必须一致。每个内核与测试的对应关系注册在tests/unit_tests/determinism/kernels/manifest.py中。文档给出的本地运行方式以 8 卡节点为例替换成你自己要检查的测试文件uv run python -m torch.distributed.run --nproc-per-node 8 -m pytest -q \ tests/unit_tests/determinism/kernels/test_my_family.py \ tests/unit_tests/determinism/kernels/test_manifest.py其中test_my_family.py是你要替换的目标内核家族测试文件test_manifest.py是 CPU 即可运行的清单完整性检查。该内核测试桶由 H100 单元测试 recipetests/test_utils/recipes/h100/unit-tests.yaml驱动——硬件特定的调度正是这类测试要捕捉的对象。2. 模块 / 模型级位级正确性套件位于tests/unit_tests/determinism/correctness/以恢复的 RNG 状态运行模型或模块两次断言输出与梯度逐位一致。覆盖内容包括GPTModel、TransformerBlock、HybridModel张量并行、专家并行、FSDP、流水线并行、虚拟流水线并行及其组合FP8 / FP4 recipetensorwise、delayed、mxfp8、nvfp4其中 Blackwell 专用 recipe 会在 Hopper 上被 capability-skip调度压力项scheduling stressors用于暴露潜在顺序竞争。3. 端到端验证端到端验证方式是运行带--deterministic-mode的 functional tests把 loss 和num-zeros与其记录精度下的 golden 值对比legacy golden 使用五位小数。也就是说成功的判断标准就是两次独立运行产生的全精度训练指标与 golden 值一致而不需要自行增加额外的数值校验公式。4. 可选测量确定性模式的性能开销--deterministic-mode的开销可用 nsys 驱动的分 NVTX-range 分解来测量tests/performance_tests/shell_test_utils/determinism/run_nsys_breakdown.sh把任意训练入口如pretrain_hybrid.py --profile包在 nsys 下做 det 与 non-det 对比tests/performance_tests/shell_test_utils/determinism/print_nsys_leaderboard.py把两个 CSV 拼成并排表格CI 调用位于tests/test_utils/recipes/h100/determinism-perf.yaml。文档给出的参考数据确定性模式大约使单步耗时增加 15%随模型和精度变化优化目标是低于 10%、 stretch 目标接近 5%以便在长期训练中保持开启。注意这只是文档陈述的均值参考不是你的运行必须达到的固定数值CI 的性能门禁只在确定性步时超过文档化阈值时失败。边界与已知限制不兼容的选项--cross-entropy-loss-fusion、--tp-comm-overlap不会自动关闭而是以断言报错提醒你手动处理环境变量的非法值同样硬失败。NCCL_ALGO不含Tree理由见上文使用^NVLS时回退算法的确定性由使用方保证。把端到端检查覆盖扩展到生产规模的架构目前还是 roadmap 上的事项见 docs/developer/determinism/status.md。面向 Megatron 开发者的参考文档在docs/developer/determinism/下op-catalog.md 列出有确定性代码路径与不被支持的操作glossary.md 提供术语定义testing.md 描述内核测试与 PR 门禁机制每个新增或修改 GPU 内核的 PR 必须带位级测试可用python3 tools/check_kernel_determinism_coverage.py --base-ref origin/main在本地对main运行该检查。【免费下载链接】Megatron-LMOngoing research training transformer models at scale项目地址: https://gitcode.com/GitHub_Trending/me/Megatron-LM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

如何在 Megatron-LM 中开启确定性训练并验证位级可复现？

相关推荐

OpenClaw Telegram 端到端验证：用真实用户驱动 basic-turns 证明 DM、群组与原生命令三条消息链路

Wand-Enhancer 完整指南：三步构建 Wand（WeMod）增强工具并连上手机远程面板

杂记（前后端通信）

更多资讯

Python性能三重陷阱：内存、I/O与内核开销实战解析

CANN开源社区治理架构与开发者参与指南

React Native鸿蒙跨平台日历开发实践

同样用AI写论文：有人让ChatGPT包全文，有人开题、读文献、消红分开用，差距在哪？

30分钟手写下拉菜单：原理、代码与避坑指南

自媒体矩阵工具实用推荐｜实测好用、新手零门槛运营工具

今日更新

51单片机开环控制磁阻传感器的硬件匹配与代码实现

AI Agent安全操作数据库：SQL注入防御与参数化查询实战

Android逆向实战：还原激励类App签到接口的签名算法

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？