扒开 PyTorch 源码：一行简单的 a + b 到底在 C++ 核心里走了多少弯路？-北京尧图网络

引言a + b。一行 Python，一个加法。你写下它的时候大概只关心两件事：a 和 b 的 shape 能不能广播，结果是留在 GPU 上还是搬回 CPU。但在 PyTorch 的 C++ 核心里，这行代码触发了一条至少 5 层深的 dispatch 链——Autograd 层记录梯度图、Autocast 层检查是否该降精度、BackendSelect 层确定具体走哪个后端、最后才落到 CPU 或 CUDA 的真实 kernel 上执行那次加法。每一层做完自己的事，把剩余的 DispatchKeySet 交给下一层，下一层再从里面按位选出最高优先级的 key，跳到对应的 kernel。整条链走完，framework 自己消耗的时间在 5 到 25 微秒之间。这个数字放在一次 1024×1024 矩阵乘法旁边不值一提——kernel 本身就要跑几百微秒。但如果你的张量是 1×1 的标量，kernel 执行不到 1 微秒，dispatch 的固定开销反而占了总延迟的 90% 以上。在 2024 年字节跳动的 veScale 论文里，MoE（Mixture of Experts）模型训练中 dispatch overhead 占总训练时间的 15-30%，因为 MoE 的特点就是大量小算子密集调用。PyTorch GitHub issue #72746 里一个用户的 profile 结果更直接：CPU 端 70% 的时间花在aten::函数的框架代码里，GPU kernel 反而在等 CPU 把 dispatch 做完。小张量训练慢，常见的第一反应是"算力不够"或"数据搬运太多"。但 profiler 一打开，瓶颈往往在 dispatch—

扒开 PyTorch 源码：一行简单的 a + b 到底在 C++ 核心里走了多少弯路？

相关推荐

Codex改完代码别急着提交：这6个问题必须人工检查

Stable Diffusion 3 与 Midjourney V6 对比评测：5个核心场景下的图像质量与成本分析

跨平台脚本实战：在 Windows 和 Linux 间自由穿梭的自动化秘籍

更多资讯

企业级二级域名分发系统：从源码到生产就绪的完整实践

MES系统技术方案模板：从生产建模到落地的制造执行蓝本

Aspose.Words 21.11 + JDK 17 实战：高保真 Word 转 PDF

C# DbHelper 适配 Oracle/SQL Server/SQLite

（论文速读）谱峭度 + 齿轮残差：如何识别早期点蚀的微弱冲击？

Vibe Coding 实战：两周、104 次提交，我做了一款背单词的爬塔小程序

今日更新

AI智能体开发实战：从技术原理到商业落地

OpenShell 完全定制指南：从安装到深度配置，打造高效 Windows 开始菜单

Superpowers技能体系全解析：从Skills引入到安装的完整指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？