PyTorch深度学习入门：从张量、自动求导到训练实战-北京尧图网络

1. 为什么我现在只推荐 PyTorch 来入门深度学习1.1 一个从 TensorFlow 叛逃者的真实感受先说个真实经历。几年前我最早接触深度学习用的是 TensorFlow 1.x那会儿写个模型要搞tf.placeholder、tf.Session一个简单的线性回归能绕出几十行代码。后来 PyTorch 出了 1.0我第一次用torch.nn.Sequential搭了个两层网络数据通过model(x)直接传进去Loss 自动算梯度那一刻我才意识到原来深度学习框架可以这么“顺手”。所以我个人给所有想入坑深度学习的朋友都推荐 PyTorch这不是因为它是唯一正确的选择而是因为它在“表达直觉”和“工程可用”之间找到了一个非常好的平衡点。PyTorch 最大的特点可以概括成四个字动态计算图。这意味着你的网络结构在每次前向传播时都是重新构建的循环、条件判断、随时打印中间结果你想怎么写就怎么写不用像静态图框架那样先定义完整的计算流程再编译执行。这个特性对算法研究、论文复现、快速实验来说几乎是降维打击。就算你以后要上生产环境PyTorch 提供的torch.jit和导出 ONNX 的路径也足够成熟根本不用担心“研究用的框架”和“上线用的框架”不一致这类老问题。1.2 这套框架到底擅长解决什么问题如果把深度学习项目比作做饭PyTorch 能帮你解决的其实就是三件核心杂事第一是张量运算也就是多维数组的快速计算这是所有神经网络的基础第二是自动求导你只要定义好前向计算过程框架会自动帮你把梯度算出来你只需要在优化器里调用loss.backward()然后让优化器去更新参数第三是高效的训练基础设施比如数据加载、批量采样、多 GPU 并行、模型保存与恢复这些都是工程侧要命的东西。适合用 PyTorch 的人覆盖面很广刚接触深度学习的学生、从事计算机视觉和自然语言处理的算法工程师、需要快速验证想法的研究人员、甚至是想把模型接入到移动端和嵌入式设备的嵌入式开发者。我记得有个做嵌入式方向的朋友吐槽说某些框架在 ARM 上跑一个模型要折腾好久后来换成 PyTorch先用torch.quantization做量化再导出 TorchScript整个流程一两天就通了。所以不论你是初学还是工程进阶这一条链路足够支撑你在深度学习这条路上走很久。2. PyTorch 到底是怎么工作的核心机制拆解2.1 张量不仅仅是 NumPy 的替代品张量也就是 Tensor是 PyTorch 所有计算的最基础单位。如果你用过 NumPy那对张量其实不会陌生——它就是一个多维数组支持、-、*、/、矩阵乘法、切片、reshape 等等。但张量和 NumPy 数组有两个本质区别第一张量可以放到 GPU 上做并行计算第二张量在构建计算图时会自动记录自己的操作路径为后面反向传播做准备。我在实际项目里经常看到新手犯一个错误在 CPU 上初始化了一批数据模型已经在 GPU 上了但是前向传播时传入的输入还是 CPU 张量然后报错说什么 device mismatch。所以从项目一开始我就养成了一个习惯在数据进入模型前先统一执行data data.to(device)。这里的device通常定义为torch.device(cuda if torch.cuda.is_available() else cpu)GPU 和 CPU 的切换只改这一行就够了非常方便。另外 PyTorch 还有一个torch.Tensor和torch.tensor的区别需要注意前者是类后者是工厂函数平时用torch.tensor创建张量就好。在实操里我还会建议你学会一个技巧把张量的形状和存储空间彻底理解到位。比如view、reshape、permute、squeeze、unsqueeze这些操作要像条件反射一样会用。你写模型时会大量遇到维度不对的问题排错的核心思路就是脑子里始终有每个张量的形状一旦报错先打印各个关键张量的shape立刻就能定位问题。我见过很多同学 debug 半天最后发现只是在view前没有做contiguous()一个很小的坑。2.2 autogradPyTorch 最神奇的那个“档案管理员”自动求导是 PyTorch 的灵魂。它的设计思路特别像公司里的档案管理员每次你用一个张量去算另一个张量它都会悄悄记下“谁参与了计算、公式是什么”。等前向传播全部算完你调用loss.backward()它就会从这场计算链的终点反向走一遍把每一个参与计算的张量的梯度算出来存在每个张量的.grad属性里。这个机制推导过程其实不复杂。假设你有一个标量 Loss 为 L前向时经过了 L f(w, x)反向时框架会利用链式法则从输出端一层一层往回倒推梯度。你不需要手动实现反向传播只需要在网络定义里尽量使用 PyTorch 提供的算子。如果你确实需要自定义一个不常见的操作可以通过继承torch.autograd.Function实现forward和backward两个静态方法。但说实话在绝大多数场景中根本用不到这一步因为 PyTorch 官方的算子已经覆盖到了 99% 的需求卷积、池化、归一化、注意力机制、各种激活函数全都是现成的。还有一个很实用的小知识torch.no_grad()。在评估模型或者做推理时你不需要计算梯度用with torch.no_grad():包裹住前向计算可以显著降低显存占用同时也能加速推理。我在推理脚本里几乎每次都会写这一行它就像一个开关告诉框架“别记梯度了我只要结果”。另外如果你想要某个中间变量不被梯度跟踪可以设置x.requires_grad_(False)或者在创建张量时不设requires_gradTrue。多个细节叠加起来你的显存和速度都会有明显改善。2.3 模型构造与 nn.Module 的设计哲学PyTorch 里所有模型都是继承自torch.nn.Module。你需要在__init__里定义网络的各个子模块比如卷积层、全连接层、激活函数然后在forward里定义前向传播逻辑。nn.Module在背后替你做了很多事你的所有子模块会注册进模型结构树里所以你能用model.parameters()拿到全部参数去优化你能用model.train()和model.eval()一键切换训练和评估模式你能用model.to(device)让所有参数整体搬到 GPU。我刚开始写模型时总爱全部塞在一个大forward里结果后来排查别人的代码发现更好的做法是把模型拆成多个nn.Module子组件比如一个主干网络Encoder、一个分类头Classifier然后在主模型里组合使用。这样不仅看着清晰更重要的是调试方便你可以单独测试每个子模块的输出形状出问题了能快速定位是哪个组件的问题。另外在forward里一定要记住直接调用self.main_network(x)而不是self.main_network.forward(x)。前者的调用方式会触发模块自身的 hook 等机制后者不会这种细微差别在跑一些复杂模型时会带来意想不到的问题。3. 从零训练一个模型完整实操链路3.1 数据准备从 Dataset 到 DataLoader 的正确姿势说是实操我们最好过一条完整的链路。假设我们要做一个简单的图像十分类任务数据躺在文件夹里菜谱式步骤如下。关于数据准备PyTorch 官方推荐的方式是先写一个继承torch.utils.data.Dataset的数据集类在里面实现三个核心方法__init__负责记录文件路径列表和标签__getitem__负责按索引读取数据并做数据增强、转 Tensor、归一化__len__负责返回数据集大小。__getitem__里返回的应该是已经打包好的(data, label)对。数据增强这一步很多人会忽略但它对模型最终效果影响巨大。比如图像分类任务里随便加个随机裁剪、随机翻转、色彩抖动精度可能就涨一两个点而且这是免费的午餐。PyTorch 官方视觉库torchvision.transforms里提供了很多现成的增强操作你可以用transforms.Compose把多个操作组合起来。需要注意的是训练集的增强可以更丰富验证集和测试集一般只做 Resize 和 Normalize不要做随机翻转否则验证分数会不稳定。DataLoader 的作用则是多线程批量加载数据。你只需要设置batch_size、shuffle、num_workers这几个参数。我通常在__main__里跑数据加载相关代码并且把num_workers设置成 CPU 核心数的一半左右效果比较稳定。另外数据加载容易被人忽略的一个点是如果你的数据量非常大千万不要直接一次性把所有图像读取到内存里。正确做法是在__init__里只存文件路径等__getitem__真正被调用时再读文件这样内存占用能保持在一个很舒服的水平。3.2 训练主体结构模型、损失函数与优化器的组合训练网络这一步可以总结为五件事定义模型、定义损失函数、定义优化器、循环迭代数据、保存模型。定义模型时我习惯用一个函数build_model()返回实例同时设置初始学习率等超参。损失函数我用torch.nn.CrossEntropyLoss()做分类任务它是LogSoftmax和NLLLoss的结合体所以网络最后一层不要接 Softmax直接输出 logits 就行不要画蛇添足。优化器优先选择torch.optim.AdamW相比经典的 Adam它的权重衰减实现更规范在很多实测任务里泛化效果更好。训练循环的核心结构大概是model.train() for batch_data, batch_label in train_loader: batch_data batch_data.to(device) batch_label batch_label.to(device) optimizer.zero_grad() outputs model(batch_data) loss criterion(outputs, batch_label) loss.backward() optimizer.step()这段代码里最容易忽略的是optimizer.zero_grad()。PyTorch 的梯度是累加的如果你不在每个 batch 开始前清零上一个 batch 的梯度会和当前 batch 的梯度叠加导致参数更新方向被严重污染。忘了清零是新手最常踩的坑之一跑了一整轮训练发现 loss 像个癫痫病人一样上下狂抖一查就是这个问题。在多 GPU 训练时如果用的是torch.nn.DataParallel你只需要在模型外包装一层model torch.nn.DataParallel(model)它会自动把每个 batch 均匀切分到所有可见的 GPU 上。这个操作非常方便但要注意保存模型时你会多出一个module.前缀加载时要么用torch.load后手动去掉前缀要么直接用model.module.state_dict()来保存。后来我更推荐 PyTorch 2.0 里新出的torch.distributed.launch和DistributedDataParallel方案虽然配置稍多但负载均衡和训练速度都比DataParallel好尤其是多机多卡场景DataParallel天然就是短板。3.3 训练过程中的观察点Loss 曲线与学习率训练不是把代码跑通就完事了你还需要时刻观察 loss 的变化。很多新手的习惯是什么打印 loss看一眼数字然后就不知道该干嘛。其实你应该做两件事第一把每个 batch 或每个 epoch 的平均 loss 记录下来第二把绘制出来的 loss 曲线当成判断模型状态的“心电图”。我习惯在训练脚本里维护两个 Python 列表train_losses和val_losses每个 epoch 结束后追加记录然后定期把它画出来。如果训练 loss 下降顺利但验证 loss 开始上升这就是过拟合信号应该赶紧减少训练轮数、引入正则化或加大数据增强。如果训练 loss 和验证 loss 都一直高居不下大概率是模型容量不够或者学习率设置有问题。学习率的设置非常关键我常用的一个方法叫学习率预热加余弦退火。前几个 epoch 用一个很小的学习率缓慢增加到指定的峰值之后按余弦曲线逐渐衰减到接近零。PyTorch 提供了torch.optim.lr_scheduler.CosineAnnealingLR配合warmup自己写十几行代码就能实现。这套组合在很多视觉模型上都能比固定学习率多带来一到两个点的提升你千万不要低估学习率对最终结果的影响。3.4 模型保存、加载与推理部署保存模型是所有训练完成后最不能马虎的一步。PyTorch 保存模型有两种主流方案一种是全量保存torch.save(model, model.pth)另一种是保存状态字典torch.save(model.state_dict(), model.pth)。我强烈建议只保存state_dict因为全量保存会把整个模型类定义和结构都打包进去一旦你的训练代码调整过类的位置或名称加载时极容易报错。而状态字典本质上只是一个参数映射表加载前你先创建模型实例然后用model.load_state_dict(torch.load(path))恢复参数完全解耦。推理部署时要把模型切换到eval()模式。这个模式会关闭 Dropout 和 BatchNorm 在训练时使用的统计方式改为使用固定的推理统计量。随后你可以直接用model(x)做预测。如果要导出到 TorchScript可以尝试torch.jit.trace把一组样例输入传进去它会记录下运行时实际走的计算路径生成一个可以脱离 Python 的模型文件。这个过程对样例输入比较敏感如果你的模型里有数据相关的控制流比如根据输入长度走不同分支用torch.jit.script会更合适但 script 模式对代码写法要求更高需要尽量使用 PyTorch 中的张量运算少用标准 Python 语法分支。4. 工程落地中必踩的坑排查与优化实录4.1 显存内存管理OOM 不是玄学大模型训练最气人的错误就是 CUDA out of memory。很多同学一看到显存爆了就怪显卡不够大其实很多情况下是自己没有做好显存管理。第一个排查点是 Batch Size如果它设得特别大先把它降一半再试。第二个排查点是是否在不需要梯度的地方计算了梯度比如验证阶段写在了torch.no_grad()外面这会让每次验证都额外复制一份计算图。第三个排查点是确认没有在循环里无意识地保存中间变量比如把每个 batch 的 loss 或 feature 放进了列表里而列表本来只是用来存标量的。如果你确实需要跑一个大模型显存还不够可以用梯度累积方案。把一个大 batch 拆成多个小 batch每个小 batch 先正常前向和反向得到梯度但暂时不更新参数累积若干次后再统一执行优化器更新。这个操作的伪代码如下model.zero_grad() for idx, (data, label) in enumerate(train_loader): loss criterion(model(data), label) loss / accumulation_steps loss.backward() if (idx 1) % accumulation_steps 0: optimizer.step() model.zero_grad()注意反向传播的 loss 为什么要除以累积步数因为我们要模拟一个大 batch 的平均梯度如果不除以步数等效于把学习率放大到了原来的若干倍实际训练结果会变得相当不稳定。这个细节我在团队内部分享时就强调过如果只是简单叠加梯度各种训练崩坏问题都会冒出来。4.2 梯度不更新与梯度爆炸常见排查思路还有一种很诡异的问题loss 完全不下降你打印模型的层参数发现它们的梯度全是 None。这通常有两个原因。第一是你把模型参数或输入张量设置成了requires_gradFalse这会让参与梯度计算链路中某些操作被切断。第二是你做了某些原地操作比如x * 0.1这样的写法PyTorch 对原地修改参与计算图的张量相当警惕因为它会导致我们已经计算过的梯度失效于是会自动切断梯度路径。梯度爆炸一般表现为 loss 变成 NaN 或者 inf然后整个训练就废了。稳定做法是在网络里做梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)是经典操作。它把所有参数的梯度整体缩放到一个合适的范数范围内既不影响方向又能把异常大的梯度拉回来。另外输入数据没有归一化也会造成训练初期梯度爆炸尤其是回归类任务输入动辄几百上千初始化权重产生的输出跨度会被放大得很难看。所以数据归一化真的不是可选项而是必选项。4.3 可复现性固定随机种子真的够吗做实验最怕今天跑出来 90%明天跑出来 88%结果你根本没法判断是模型改变了还是随机性造成的。PyTorch 提供了一套笨但有效的固定随机种子方式import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)在各种框架里把随机种子固定住以后大部分情况下能复现但不能保证 100%。原因包括 CUDA 底层某些算子本身是非确定性的比如某些归约操作在并行计算时的顺序不是严格一致的。你如果追求更强可重复性可以把torch.backends.cudnn.deterministic设为True再把torch.backends.cudnn.benchmark设为False。前者的代价是会让模型速度变慢而后者的影响是自动选择算子优化算法的过程被关闭。训练阶段的终极目标其实是稳定可比较如果你发现两次实验只差零点几个千分点那就看成是误差范围内的正常波动不用太纠结。4.4 调试模型的独家技巧从小处着手最后分享一个非常实用但经常被忽略的调试策略用小数据集过拟合。比如你原本有十万张训练图先随机抽个一两百张接着去掉所有数据增强把模型在这些小数据上训练。如果模型连这么小的数据都没法做到接近 100% 的训练准确率那大概率是你的模型实现或者训练循环有问题。这个方法能把“数据集复杂”和“代码有 bug”这两件事分开来。很多代码 bug比如维度错误、梯度被错误剪裁、标签错位等都会在过拟合小数据集时原形毕露。调试时我会在关键位置加临时打印语句把张量形状、均值、方差都打出来。不仅看 loss还会检查模型输出的分布。一个经典直觉是刚开始训练时如果网络最后一层输出的 logits 一直集中在一个值和它的负值附近那说明初始化可能有问题或者归一化做得不对。如果需要更深入查看中间层的梯度分布可以用model.named_parameters()遍历每个参数打印它的grad的均值和标准差。这些操作看起来原始但其实是排查代码细节最快速的手段。5. 如何继续进阶PyTorch 生态与学习路线5.1 学习优先级建议哪些东西值得花时间很多人私信问我PyTorch 学到什么程度才算入门什么程度才算进阶。我个人的建议是先掌握前面讲到的张量、自动求导、模块化建模、训练循环这是第一梯队不学这些什么都干不了。接着学数据加载、模型保存、GPU 加速、多 GPU 训练这是第二梯队解决了你能不能上手工程的问题。再往后学分布式训练、混合精度训练、TorchScript 部署、量化剪枝以及 PyTorch 生态的配套库比如 TorchVision、TorchText、TorchAudio这些是你的进阶方向根据你的应用领域选学就行。如果你在跑视觉任务TorchVision 里不但有各种预训练模型还提供了很多常用数据集和处理流程。用迁移学习去微调一个预训练模型在某些任务里比你从零训练能省下成倍的标注数据和显卡时间。我在实际项目里有一条经验当你只有几千张图片时从零训练大模型的收益远不如微调一个预训练模型来得稳。哪怕你对模型结构还不熟先把预训练模型和torchvision.models的专业用法学会项目效果都能立刻好一大截。5.2 混合精度训练白嫖显存和速度的利器PyTorch 支持混合精度训练也就是让部分计算用 FP16、部分计算用 FP32。你只需要在训练前用torch.cuda.amp包一下核心操作是GradScaler和autocast。前者会动态缩放损失的值防止 FP16 的梯度在反向传播时变成 0后者则自动在合适的地方使用半精度计算。就拿我跑过的一个分割模型来说开启混合精度后显存占用降低了约 40%训练速度也提升了不少。代码层面改动不到十行性价比极高。不过混合精度也有它的雷区如果你的模型里包含像 BatchNorm 这样对数值精度敏感的操作autocast 会自动处理但一些自定义的损失函数可能需要你手动加一个装饰器或者手动保持 FP32。第一个经验就是先把普通 FP32 训练跑通再去叠加混合精度这样出了问题你能定位到底是不是 amp 的锅。永远不要在最开始就用一堆高级特性来掩盖代码本身的 bug。5.3 最终小建议PyTorch 不是终点而是起点在我这几年的实践里PyTorch 教会我的其实不再只是某个框架的具体 API而是一整套“如何把模型想法变成工程实践”的思维模式。你在学习过程中会遇到无数报错不用烦躁因为每一类报错背后都对应着一个真实的技术细节。比如 device mismatch 提醒你注意数据到底在哪块计算设备上shape mismatch 逼你搞清楚每一个张量的语义梯度为 None 让你反思自动求导链路的完整诉求。把这些错都踩过、解决过你的水平自然就上去了。我也会遇到一些人问我现在深度学习框架更新太快学了 PyTorch 是不是过两年就废了我完全不这么看。框架在变但张量运算、反向传播、训练循环、数据加载这四件事永远不变。你只要把其中最通用的原理掌握了再切到其他框架也就是一两个星期的过渡期。所以我更倾向于认为从 PyTorch 入手是你把这套通用的深度学习工程修炼扎实的路线之一。希望这篇整理能帮你把抽象的概念落到能跑的代码里少踩一些我当年踩过的坑。最后再提醒一句跑代码时看到报错不要急先看栈顶的报错信息绝大多数情况下PyTorch 已经把真相送到你眼前了。

PyTorch深度学习入门：从张量、自动求导到训练实战

相关推荐

轻量级任务编排引擎rea：从定时脚本到流水线实战

RK3568 LED屏Timing配置详解：从设备树到VOP2的完整链路

基于随机场景与分时电价的多类型电动汽车充电调度优化

更多资讯

基于STM32的智能消防预警系统：传感器采集与WiFi远程报警实现

《电路》第十版答案怎么用？从题解建立电路直觉的三步进阶法

深入浅出 Qt 绘图机制：从 QPainter 到四大图像类解析

用Python卷积神经网络实现几何形状识别：毕设实战全解析

日志系统的双刃剑：如何设计一个生产环境下可动态开启且不影响实时性的 printf 重定向方案

低代码平台安全盲区：AI生成代码与配置层面的隐患及防护策略

今日更新

智能硬件视频会议集成：从芯片选型到场景落地的全栈实践

FFmpeg音视频处理与5路RTMP推流实战：从原理到118克盒子部署

RK3528+1GB内存如何变身直播节点？硬编解码与六协议实战复盘

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？