1. 从“Hello, Tensor”到第一个神经网络PyTorch实战入门如果你已经跟着上一篇文章成功在电脑上装好了PyTorch并且对着那个“Hello, Tensor”的打印结果兴奋了几分钟那么恭喜你你已经迈出了万里长征的第一步。但接下来你可能会陷入一个经典的迷茫期我知道这是个张量我知道它能做运算然后呢我该怎么用它来“学习”这正是很多新手卡住的地方。教程看了很多概念也听了一堆但代码一跑起来面对着一堆nn.Module、optimizer、loss.backward()感觉就像在看天书完全不知道这一行行代码背后到底在发生什么。今天我们就来彻底捅破这层窗户纸。我们不谈空洞的理论直接从零开始用PyTorch搭建一个能真正“学习”的神经网络并把它应用在一个最经典的问题上——手写数字识别MNIST。我会带你一行行代码写过去并解释清楚每一个步骤“为什么”要这么做把那些黑盒操作全部打开给你看。2. 理解核心构件数据、模型与训练循环在真正动手写代码之前我们必须先建立起一个清晰的认知框架。任何一个深度学习项目无论大小都离不开三个核心构件数据Data、模型Model和训练循环Training Loop。你可以把它们想象成做一道菜数据是食材模型是菜谱和锅具训练循环就是开火翻炒的过程。2.1 数据模型的“粮食”模型不是凭空变聪明的它需要从数据中学习规律。对于PyTorch来说数据需要被组织成一种特定的格式——DataLoader。它的工作流程就像一个高效的后厨配菜员数据集Dataset相当于整个食材仓库定义了如何读取单个数据样本比如一张图片和它的标签。数据加载器DataLoader负责从仓库里按批次Batch取出食材并进行预处理如洗菜、切配。它支持多进程并行读取极大地加速了数据供给流程。为什么是批次Batch一次性把所有数据比如6万张图片塞给模型计算量巨大且内存可能爆掉。分批送入模型每看一批数据就更新一次这样迭代效率更高也更容易收敛。2.2 模型可学习的“函数”深度学习模型本质上是一个由大量参数权重和偏置构成的、极其复杂的数学函数。在PyTorch中我们通过继承nn.Module类来定义模型。nn.Module是所有神经网络模块的基类它帮我们管理了内部的所有参数并提供了标准化的前向传播forward接口。一个典型的全连接神经网络Fully Connected Network就像一套多层筛子输入层接收原始数据例如将28x28的手写数字图片展平成一个784维的向量。隐藏层进行特征变换。每一层都对输入进行“加权求和 非线性激活”的操作。nn.Linear实现加权求和nn.ReLU()这样的激活函数引入非线性让网络能够拟合复杂的曲线而不仅仅是直线。输出层产生最终预测。对于10分类问题数字0-9输出层通常是10个神经元每个神经元的值可以理解为对应数字的“得分”或“概率”。2.3 训练循环让模型“学习”的引擎这是最核心的部分也是新手最困惑的地方。训练循环是一个反复迭代的过程每次迭代包含以下关键步骤前向传播Forward Pass把一批数据输入模型让数据从输入层流经各层最终得到预测输出。这相当于让模型“猜”一次答案。计算损失Loss Calculation将模型的预测输出与真实的标签进行比较用一个损失函数如交叉熵损失nn.CrossEntropyLoss计算出“猜错了多少”。损失值是一个标量越小越好。反向传播Backward Pass这是魔法的发生地。PyTorch的自动微分Autograd系统会沿着计算图从损失值开始反向计算模型每一个参数对于这个损失的梯度。梯度指明了“每个参数应该向哪个方向、以多大的幅度调整才能让损失减小”。参数更新Parameter Update优化器如optim.SGD或optim.Adam根据计算出的梯度按照一定的规则学习率来更新模型的所有参数。这个过程反复进行模型就在“猜测 - 计算错误 - 根据错误调整自己 - 再猜测”的循环中逐渐逼近正确的映射关系。3. 实战搭建并训练一个MNIST分类器现在我们把手弄脏用代码把上面的概念实现出来。我们将使用经典的MNIST手写数字数据集。3.1 环境准备与数据加载首先确保你的PyTorch环境已经就绪。我们使用torchvision库它提供了许多计算机视觉相关的数据集和工具。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms import matplotlib.pyplot as plt # 检查设备优先使用GPUCUDA如果没有则用CPU device torch.device(cuda if torch.cuda.is_available() else cpu) print(fUsing device: {device})接下来定义数据预处理流程并加载数据。MNIST图片是单通道灰度的28x28像素图像像素值范围是0-255。我们需要将其转换为PyTorch张量并归一化到[0, 1]区间这有助于模型稳定训练。# 定义数据转换将图片转为张量并归一化 transform transforms.Compose([ transforms.ToTensor(), # 将PIL Image或numpy.ndarray转为Tensor并自动缩放到[0.0, 1.0] transforms.Normalize((0.1307,), (0.3081,)) # MNIST数据集的均值和标准差 ]) # 下载并加载训练集和测试集 train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) # 创建数据加载器 train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers2) test_loader DataLoader(test_dataset, batch_size1000, shuffleFalse, num_workers2)注意num_workers参数用于设置多进程数据加载的子进程数可以加速数据读取。但在某些环境如Windows下的Jupyter Notebook中多进程可能导致问题。如果遇到报错可以将其设为0。3.2 构建神经网络模型我们来构建一个简单的全连接网络。输入是展平后的784维向量28*28经过两个隐藏层最后输出10维对应10个数字。class SimpleNN(nn.Module): def __init__(self): super(SimpleNN, self).__init__() # 定义网络层 self.fc1 nn.Linear(28*28, 512) # 第一层784 - 512 self.fc2 nn.Linear(512, 256) # 第二层512 - 256 self.fc3 nn.Linear(256, 10) # 输出层256 - 10 self.relu nn.ReLU() # 激活函数 self.dropout nn.Dropout(0.2) # Dropout层防止过拟合 def forward(self, x): # 前向传播过程 x x.view(-1, 28*28) # 将图片展平-1表示自动推断batch size x self.fc1(x) x self.relu(x) x self.dropout(x) # 通常在激活函数后加Dropout x self.fc2(x) x self.relu(x) x self.dropout(x) x self.fc3(x) # 输出层通常不加激活函数因为后面接的CrossEntropyLoss包含了Softmax return x # 实例化模型并将其移动到指定设备GPU/CPU model SimpleNN().to(device) print(model)关键点解析nn.Linear(in_features, out_features)定义一个线性层全连接层。它内部包含两个可学习参数权重矩阵W(shape:[out_features, in_features]) 和偏置向量b(shape:[out_features])。nn.ReLU()整流线性单元是最常用的激活函数之一。公式为f(x) max(0, x)。它引入了非线性使得网络可以学习复杂的模式。nn.Dropout(p)在训练过程中随机将上一层神经元的输出以概率p置为零。这是一种正则化技术可以防止神经元之间产生复杂的共适应关系有效减轻过拟合。x.view(-1, 28*28)view函数用于改变张量的形状类似于NumPy的reshape。-1是一个占位符表示该维度由其他维度和总元素数自动推断。这里我们将[batch_size, 1, 28, 28]的四维张量变为[batch_size, 784]的二维张量以适应全连接层的输入。.to(device)将模型的所有参数和缓冲区移动到指定的设备GPU或CPU上。数据和模型必须在同一个设备上才能进行计算这是一个常见的错误点。3.3 定义损失函数与优化器模型需要知道如何衡量错误损失函数以及如何根据错误来更新自己优化器。# 定义损失函数交叉熵损失非常适合多分类问题 criterion nn.CrossEntropyLoss() # 定义优化器随机梯度下降学习率设为0.01 optimizer optim.SGD(model.parameters(), lr0.01, momentum0.9) # 也可以使用更流行的Adam优化器它通常收敛更快对学习率不那么敏感 # optimizer optim.Adam(model.parameters(), lr0.001)为什么是交叉熵损失对于分类问题模型的输出通常是每个类别的“得分”logits。交叉熵损失函数内部会先对logits进行Softmax操作将其转换为概率分布再计算预测概率与真实标签one-hot形式之间的交叉熵。它直接衡量了预测概率分布与真实分布的差异是分类任务的标准选择。SGD vs AdamSGD随机梯度下降经典算法概念简单。加入动量momentum后可以加速收敛并帮助跳出局部最优点。但它对学习率比较敏感需要仔细调参。Adam自适应矩估计它会为每个参数计算自适应的学习率。在大多数情况下Adam是更好的默认选择因为它能更快收敛且对初始学习率要求不高。这里为了演示基础原理我们先使用SGD。3.4 编写训练与测试循环这是整个流程的“发动机”。我们将训练过程封装成函数。def train(model, device, train_loader, optimizer, criterion, epoch): model.train() # 将模型设置为训练模式启用Dropout等 train_loss 0 correct 0 total 0 for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) # 数据移至设备 # 1. 梯度清零非常重要否则梯度会累加 optimizer.zero_grad() # 2. 前向传播计算预测输出 output model(data) # 3. 计算损失 loss criterion(output, target) train_loss loss.item() # 4. 反向传播计算梯度 loss.backward() # 5. 参数更新根据梯度优化参数 optimizer.step() # 计算准确率 _, predicted output.max(1) # 获取预测类别最大值的索引 total target.size(0) correct predicted.eq(target).sum().item() # 每100个batch打印一次进度 if batch_idx % 100 0: print(fTrain Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)} f({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f}) avg_loss train_loss / len(train_loader) accuracy 100. * correct / total print(f\nTraining set: Average loss: {avg_loss:.4f}, Accuracy: {correct}/{total} ({accuracy:.2f}%)\n) return avg_loss, accuracy def test(model, device, test_loader, criterion): model.eval() # 将模型设置为评估模式禁用Dropout等 test_loss 0 correct 0 total 0 with torch.no_grad(): # 禁用梯度计算节省内存和计算资源 for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() # 累加批次损失 _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() avg_loss test_loss / len(test_loader) accuracy 100. * correct / total print(fTest set: Average loss: {avg_loss:.4f}, Accuracy: {correct}/{total} ({accuracy:.2f}%)\n) return avg_loss, accuracy逐行解读训练循环model.train()切换模型状态。这会启用训练时特有的模块如Dropout和BatchNorm。在测试时必须调用model.eval()来关闭它们。optimizer.zero_grad()至关重要的一步。在每次反向传播前必须将模型参数的梯度缓存清零。因为默认情况下PyTorch会累加梯度适用于RNN等特殊场景。如果不清零本次计算的梯度会和历史梯度加在一起导致更新方向错误。loss.backward()触发自动微分引擎。PyTorch会沿着从loss到所有叶子节点模型参数的计算图反向传播并计算梯度。这些梯度被存储在各个参数的.grad属性中。optimizer.step()优化器根据参数的.grad属性按照其算法如SGD更新参数的值。with torch.no_grad():在测试时我们不需要计算梯度。这个上下文管理器会关闭自动微分大幅减少内存消耗并加速计算。3.5 开始训练并观察结果现在让我们运行几个epoch一个epoch代表模型看完了整个训练集一遍看看模型的表现。epochs 5 train_losses, train_accs [], [] test_losses, test_accs [], [] for epoch in range(1, epochs 1): print(f\n--- Epoch {epoch} ---) train_loss, train_acc train(model, device, train_loader, optimizer, criterion, epoch) test_loss, test_acc test(model, device, test_loader, criterion) train_losses.append(train_loss) train_accs.append(train_acc) test_losses.append(test_loss) test_accs.append(test_acc)运行上述代码你应该能看到类似下面的输出。随着epoch增加训练损失下降准确率上升并且在测试集上也能达到不错的精度通常在97%以上。这说明我们的模型确实学会了识别手写数字Using device: cuda --- Epoch 1 --- Train Epoch: 1 [0/60000 (0%)] Loss: 2.304585 Train Epoch: 1 [6400/60000 (11%)] Loss: 1.192345 ... Training set: Average loss: 0.4012, Accuracy: 54521/60000 (90.87%) Test set: Average loss: 0.2014, Accuracy: 9412/10000 (94.12%) ... --- Epoch 5 --- Training set: Average loss: 0.0521, Accuracy: 58560/60000 (97.60%) Test set: Average loss: 0.0689, Accuracy: 9788/10000 (97.88%)3.6 可视化学习过程与模型预测为了更直观地理解训练过程我们可以绘制损失和准确率曲线。# 绘制训练和测试的损失曲线 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(range(1, epochs1), train_losses, labelTrain Loss, markero) plt.plot(range(1, epochs1), test_losses, labelTest Loss, markers) plt.xlabel(Epoch) plt.ylabel(Loss) plt.title(Training and Test Loss) plt.legend() plt.grid(True) # 绘制训练和测试的准确率曲线 plt.subplot(1, 2, 2) plt.plot(range(1, epochs1), train_accs, labelTrain Acc, markero) plt.plot(range(1, epochs1), test_accs, labelTest Acc, markers) plt.xlabel(Epoch) plt.ylabel(Accuracy (%)) plt.title(Training and Test Accuracy) plt.legend() plt.grid(True) plt.tight_layout() plt.show()我们还可以从测试集中随机抽取一些图片看看模型的预测结果。# 获取一批测试数据 data_iter iter(test_loader) images, labels next(data_iter) images, labels images.to(device), labels.to(device) # 切换模型为评估模式进行预测 model.eval() with torch.no_grad(): outputs model(images) _, predicted torch.max(outputs, 1) # 可视化部分结果 fig, axes plt.subplots(2, 5, figsize(12, 6)) axes axes.ravel() for i in range(10): axes[i].imshow(images[i].cpu().squeeze(), cmapgray) axes[i].set_title(fTrue: {labels[i].item()}\nPred: {predicted[i].item()}) axes[i].axis(off) plt.tight_layout() plt.show()4. 避坑指南与核心经验总结走完整个流程你可能觉得“哦原来如此”。但在独立实践中你会遇到各种问题。下面是我总结的几个关键点和常见坑位4.1 梯度消失/爆炸与权重初始化在我们简单的全连接网络中问题可能不明显。但当网络很深时不恰当的初始化会导致梯度在反向传播时变得极小消失或极大爆炸使得训练无法进行。PyTorch中nn.Linear默认使用Kaiming均匀初始化针对ReLU激活函数这通常是个不错的起点。对于更复杂的网络需要关注初始化方法。4.2 过拟合与正则化我们的模型在训练集上准确率97.6%高于测试集97.88%但差距不大。如果这个差距很大例如训练集99%测试集80%就是典型的过拟合——模型记住了训练数据的噪声而非一般规律。对抗过拟合的武器包括Dropout我们在模型中已经使用了。它强迫网络学习更鲁棒的特征。L2正则化权重衰减在优化器中加入weight_decay参数如optim.Adam(model.parameters(), lr0.001, weight_decay1e-5)惩罚大的权重值。数据增强对训练图像进行随机旋转、裁剪、翻转等人工增加数据多样性。对于MNIST简单的随机小幅度旋转就很有用。更早停止当测试集损失不再下降反而开始上升时就停止训练。4.3 学习率最重要的超参数学习率决定了参数更新的步长。太大容易震荡不收敛太小则收敛缓慢甚至陷入局部最优。策略从一个较小的值开始如0.01或0.001观察训练初期损失是否稳定下降。如果几乎不变可能太小如果剧烈震荡或变成NaN可能太大。动态调整可以使用torch.optim.lr_scheduler中的调度器如StepLR每隔一定步数降低学习率或ReduceLROnPlateau当指标不再改善时降低学习率。4.4 调试技巧当模型不学习时如果你的模型损失居高不下或准确率随机乱猜10分类问题约10%可以按以下步骤排查检查数据打印几个样本和标签确保数据加载正确标签范围符合预期0-9。检查前向传播输入一个小的随机数据批次手动运行model观察输出是否合理不是全零或NaN。检查损失计算手动计算一个样本的损失与criterion的输出对比。检查梯度在loss.backward()之后打印某一层如model.fc1.weight.grad的梯度。如果梯度全是零或非常小可能是网络结构、激活函数或初始化有问题。简化问题用极小的数据集如10张图训练看模型能否过拟合训练损失快速降到接近0。如果不能说明模型实现或训练流程有根本性错误。4.5 GPU使用相关“CUDA out of memory”这是最常见错误。原因是批次大小Batch Size太大或模型太大超出了GPU显存。解决方法减小batch_size使用梯度累积多次前向传播累积梯度后再更新检查是否有张量无意中留在了GPU上内存泄漏。设备一致性确保模型.to(device)后输入数据的data.to(device)也执行了。错误提示Expected all tensors to be on the same device就是这个问题。写完这个完整的例子你应该对PyTorch训练一个神经网络的全流程有了扎实的感性认识。这不仅仅是跑通一个Demo更重要的是理解了数据如何流动、梯度如何计算、参数如何更新。下一步你可以尝试修改网络结构增加层数、改变神经元数量、更换优化器、调整学习率、加入数据增强观察这些变化对结果的影响。真正的学习就从这里开始。
1. 从“Hello, Tensor”到第一个神经网络PyTorch实战入门如果你已经跟着上一篇文章成功在电脑上装好了PyTorch并且对着那个“Hello, Tensor”的打印结果兴奋了几分钟那么恭喜你你已经迈出了万里长征的第一步。但接下来你可能会陷入一个经典的迷茫期我知道这是个张量我知道它能做运算然后呢我该怎么用它来“学习”这正是很多新手卡住的地方。教程看了很多概念也听了一堆但代码一跑起来面对着一堆nn.Module、optimizer、loss.backward()感觉就像在看天书完全不知道这一行行代码背后到底在发生什么。今天我们就来彻底捅破这层窗户纸。我们不谈空洞的理论直接从零开始用PyTorch搭建一个能真正“学习”的神经网络并把它应用在一个最经典的问题上——手写数字识别MNIST。我会带你一行行代码写过去并解释清楚每一个步骤“为什么”要这么做把那些黑盒操作全部打开给你看。2. 理解核心构件数据、模型与训练循环在真正动手写代码之前我们必须先建立起一个清晰的认知框架。任何一个深度学习项目无论大小都离不开三个核心构件数据Data、模型Model和训练循环Training Loop。你可以把它们想象成做一道菜数据是食材模型是菜谱和锅具训练循环就是开火翻炒的过程。2.1 数据模型的“粮食”模型不是凭空变聪明的它需要从数据中学习规律。对于PyTorch来说数据需要被组织成一种特定的格式——DataLoader。它的工作流程就像一个高效的后厨配菜员数据集Dataset相当于整个食材仓库定义了如何读取单个数据样本比如一张图片和它的标签。数据加载器DataLoader负责从仓库里按批次Batch取出食材并进行预处理如洗菜、切配。它支持多进程并行读取极大地加速了数据供给流程。为什么是批次Batch一次性把所有数据比如6万张图片塞给模型计算量巨大且内存可能爆掉。分批送入模型每看一批数据就更新一次这样迭代效率更高也更容易收敛。2.2 模型可学习的“函数”深度学习模型本质上是一个由大量参数权重和偏置构成的、极其复杂的数学函数。在PyTorch中我们通过继承nn.Module类来定义模型。nn.Module是所有神经网络模块的基类它帮我们管理了内部的所有参数并提供了标准化的前向传播forward接口。一个典型的全连接神经网络Fully Connected Network就像一套多层筛子输入层接收原始数据例如将28x28的手写数字图片展平成一个784维的向量。隐藏层进行特征变换。每一层都对输入进行“加权求和 非线性激活”的操作。nn.Linear实现加权求和nn.ReLU()这样的激活函数引入非线性让网络能够拟合复杂的曲线而不仅仅是直线。输出层产生最终预测。对于10分类问题数字0-9输出层通常是10个神经元每个神经元的值可以理解为对应数字的“得分”或“概率”。2.3 训练循环让模型“学习”的引擎这是最核心的部分也是新手最困惑的地方。训练循环是一个反复迭代的过程每次迭代包含以下关键步骤前向传播Forward Pass把一批数据输入模型让数据从输入层流经各层最终得到预测输出。这相当于让模型“猜”一次答案。计算损失Loss Calculation将模型的预测输出与真实的标签进行比较用一个损失函数如交叉熵损失nn.CrossEntropyLoss计算出“猜错了多少”。损失值是一个标量越小越好。反向传播Backward Pass这是魔法的发生地。PyTorch的自动微分Autograd系统会沿着计算图从损失值开始反向计算模型每一个参数对于这个损失的梯度。梯度指明了“每个参数应该向哪个方向、以多大的幅度调整才能让损失减小”。参数更新Parameter Update优化器如optim.SGD或optim.Adam根据计算出的梯度按照一定的规则学习率来更新模型的所有参数。这个过程反复进行模型就在“猜测 - 计算错误 - 根据错误调整自己 - 再猜测”的循环中逐渐逼近正确的映射关系。3. 实战搭建并训练一个MNIST分类器现在我们把手弄脏用代码把上面的概念实现出来。我们将使用经典的MNIST手写数字数据集。3.1 环境准备与数据加载首先确保你的PyTorch环境已经就绪。我们使用torchvision库它提供了许多计算机视觉相关的数据集和工具。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms import matplotlib.pyplot as plt # 检查设备优先使用GPUCUDA如果没有则用CPU device torch.device(cuda if torch.cuda.is_available() else cpu) print(fUsing device: {device})接下来定义数据预处理流程并加载数据。MNIST图片是单通道灰度的28x28像素图像像素值范围是0-255。我们需要将其转换为PyTorch张量并归一化到[0, 1]区间这有助于模型稳定训练。# 定义数据转换将图片转为张量并归一化 transform transforms.Compose([ transforms.ToTensor(), # 将PIL Image或numpy.ndarray转为Tensor并自动缩放到[0.0, 1.0] transforms.Normalize((0.1307,), (0.3081,)) # MNIST数据集的均值和标准差 ]) # 下载并加载训练集和测试集 train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) # 创建数据加载器 train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers2) test_loader DataLoader(test_dataset, batch_size1000, shuffleFalse, num_workers2)注意num_workers参数用于设置多进程数据加载的子进程数可以加速数据读取。但在某些环境如Windows下的Jupyter Notebook中多进程可能导致问题。如果遇到报错可以将其设为0。3.2 构建神经网络模型我们来构建一个简单的全连接网络。输入是展平后的784维向量28*28经过两个隐藏层最后输出10维对应10个数字。class SimpleNN(nn.Module): def __init__(self): super(SimpleNN, self).__init__() # 定义网络层 self.fc1 nn.Linear(28*28, 512) # 第一层784 - 512 self.fc2 nn.Linear(512, 256) # 第二层512 - 256 self.fc3 nn.Linear(256, 10) # 输出层256 - 10 self.relu nn.ReLU() # 激活函数 self.dropout nn.Dropout(0.2) # Dropout层防止过拟合 def forward(self, x): # 前向传播过程 x x.view(-1, 28*28) # 将图片展平-1表示自动推断batch size x self.fc1(x) x self.relu(x) x self.dropout(x) # 通常在激活函数后加Dropout x self.fc2(x) x self.relu(x) x self.dropout(x) x self.fc3(x) # 输出层通常不加激活函数因为后面接的CrossEntropyLoss包含了Softmax return x # 实例化模型并将其移动到指定设备GPU/CPU model SimpleNN().to(device) print(model)关键点解析nn.Linear(in_features, out_features)定义一个线性层全连接层。它内部包含两个可学习参数权重矩阵W(shape:[out_features, in_features]) 和偏置向量b(shape:[out_features])。nn.ReLU()整流线性单元是最常用的激活函数之一。公式为f(x) max(0, x)。它引入了非线性使得网络可以学习复杂的模式。nn.Dropout(p)在训练过程中随机将上一层神经元的输出以概率p置为零。这是一种正则化技术可以防止神经元之间产生复杂的共适应关系有效减轻过拟合。x.view(-1, 28*28)view函数用于改变张量的形状类似于NumPy的reshape。-1是一个占位符表示该维度由其他维度和总元素数自动推断。这里我们将[batch_size, 1, 28, 28]的四维张量变为[batch_size, 784]的二维张量以适应全连接层的输入。.to(device)将模型的所有参数和缓冲区移动到指定的设备GPU或CPU上。数据和模型必须在同一个设备上才能进行计算这是一个常见的错误点。3.3 定义损失函数与优化器模型需要知道如何衡量错误损失函数以及如何根据错误来更新自己优化器。# 定义损失函数交叉熵损失非常适合多分类问题 criterion nn.CrossEntropyLoss() # 定义优化器随机梯度下降学习率设为0.01 optimizer optim.SGD(model.parameters(), lr0.01, momentum0.9) # 也可以使用更流行的Adam优化器它通常收敛更快对学习率不那么敏感 # optimizer optim.Adam(model.parameters(), lr0.001)为什么是交叉熵损失对于分类问题模型的输出通常是每个类别的“得分”logits。交叉熵损失函数内部会先对logits进行Softmax操作将其转换为概率分布再计算预测概率与真实标签one-hot形式之间的交叉熵。它直接衡量了预测概率分布与真实分布的差异是分类任务的标准选择。SGD vs AdamSGD随机梯度下降经典算法概念简单。加入动量momentum后可以加速收敛并帮助跳出局部最优点。但它对学习率比较敏感需要仔细调参。Adam自适应矩估计它会为每个参数计算自适应的学习率。在大多数情况下Adam是更好的默认选择因为它能更快收敛且对初始学习率要求不高。这里为了演示基础原理我们先使用SGD。3.4 编写训练与测试循环这是整个流程的“发动机”。我们将训练过程封装成函数。def train(model, device, train_loader, optimizer, criterion, epoch): model.train() # 将模型设置为训练模式启用Dropout等 train_loss 0 correct 0 total 0 for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) # 数据移至设备 # 1. 梯度清零非常重要否则梯度会累加 optimizer.zero_grad() # 2. 前向传播计算预测输出 output model(data) # 3. 计算损失 loss criterion(output, target) train_loss loss.item() # 4. 反向传播计算梯度 loss.backward() # 5. 参数更新根据梯度优化参数 optimizer.step() # 计算准确率 _, predicted output.max(1) # 获取预测类别最大值的索引 total target.size(0) correct predicted.eq(target).sum().item() # 每100个batch打印一次进度 if batch_idx % 100 0: print(fTrain Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)} f({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f}) avg_loss train_loss / len(train_loader) accuracy 100. * correct / total print(f\nTraining set: Average loss: {avg_loss:.4f}, Accuracy: {correct}/{total} ({accuracy:.2f}%)\n) return avg_loss, accuracy def test(model, device, test_loader, criterion): model.eval() # 将模型设置为评估模式禁用Dropout等 test_loss 0 correct 0 total 0 with torch.no_grad(): # 禁用梯度计算节省内存和计算资源 for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() # 累加批次损失 _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() avg_loss test_loss / len(test_loader) accuracy 100. * correct / total print(fTest set: Average loss: {avg_loss:.4f}, Accuracy: {correct}/{total} ({accuracy:.2f}%)\n) return avg_loss, accuracy逐行解读训练循环model.train()切换模型状态。这会启用训练时特有的模块如Dropout和BatchNorm。在测试时必须调用model.eval()来关闭它们。optimizer.zero_grad()至关重要的一步。在每次反向传播前必须将模型参数的梯度缓存清零。因为默认情况下PyTorch会累加梯度适用于RNN等特殊场景。如果不清零本次计算的梯度会和历史梯度加在一起导致更新方向错误。loss.backward()触发自动微分引擎。PyTorch会沿着从loss到所有叶子节点模型参数的计算图反向传播并计算梯度。这些梯度被存储在各个参数的.grad属性中。optimizer.step()优化器根据参数的.grad属性按照其算法如SGD更新参数的值。with torch.no_grad():在测试时我们不需要计算梯度。这个上下文管理器会关闭自动微分大幅减少内存消耗并加速计算。3.5 开始训练并观察结果现在让我们运行几个epoch一个epoch代表模型看完了整个训练集一遍看看模型的表现。epochs 5 train_losses, train_accs [], [] test_losses, test_accs [], [] for epoch in range(1, epochs 1): print(f\n--- Epoch {epoch} ---) train_loss, train_acc train(model, device, train_loader, optimizer, criterion, epoch) test_loss, test_acc test(model, device, test_loader, criterion) train_losses.append(train_loss) train_accs.append(train_acc) test_losses.append(test_loss) test_accs.append(test_acc)运行上述代码你应该能看到类似下面的输出。随着epoch增加训练损失下降准确率上升并且在测试集上也能达到不错的精度通常在97%以上。这说明我们的模型确实学会了识别手写数字Using device: cuda --- Epoch 1 --- Train Epoch: 1 [0/60000 (0%)] Loss: 2.304585 Train Epoch: 1 [6400/60000 (11%)] Loss: 1.192345 ... Training set: Average loss: 0.4012, Accuracy: 54521/60000 (90.87%) Test set: Average loss: 0.2014, Accuracy: 9412/10000 (94.12%) ... --- Epoch 5 --- Training set: Average loss: 0.0521, Accuracy: 58560/60000 (97.60%) Test set: Average loss: 0.0689, Accuracy: 9788/10000 (97.88%)3.6 可视化学习过程与模型预测为了更直观地理解训练过程我们可以绘制损失和准确率曲线。# 绘制训练和测试的损失曲线 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(range(1, epochs1), train_losses, labelTrain Loss, markero) plt.plot(range(1, epochs1), test_losses, labelTest Loss, markers) plt.xlabel(Epoch) plt.ylabel(Loss) plt.title(Training and Test Loss) plt.legend() plt.grid(True) # 绘制训练和测试的准确率曲线 plt.subplot(1, 2, 2) plt.plot(range(1, epochs1), train_accs, labelTrain Acc, markero) plt.plot(range(1, epochs1), test_accs, labelTest Acc, markers) plt.xlabel(Epoch) plt.ylabel(Accuracy (%)) plt.title(Training and Test Accuracy) plt.legend() plt.grid(True) plt.tight_layout() plt.show()我们还可以从测试集中随机抽取一些图片看看模型的预测结果。# 获取一批测试数据 data_iter iter(test_loader) images, labels next(data_iter) images, labels images.to(device), labels.to(device) # 切换模型为评估模式进行预测 model.eval() with torch.no_grad(): outputs model(images) _, predicted torch.max(outputs, 1) # 可视化部分结果 fig, axes plt.subplots(2, 5, figsize(12, 6)) axes axes.ravel() for i in range(10): axes[i].imshow(images[i].cpu().squeeze(), cmapgray) axes[i].set_title(fTrue: {labels[i].item()}\nPred: {predicted[i].item()}) axes[i].axis(off) plt.tight_layout() plt.show()4. 避坑指南与核心经验总结走完整个流程你可能觉得“哦原来如此”。但在独立实践中你会遇到各种问题。下面是我总结的几个关键点和常见坑位4.1 梯度消失/爆炸与权重初始化在我们简单的全连接网络中问题可能不明显。但当网络很深时不恰当的初始化会导致梯度在反向传播时变得极小消失或极大爆炸使得训练无法进行。PyTorch中nn.Linear默认使用Kaiming均匀初始化针对ReLU激活函数这通常是个不错的起点。对于更复杂的网络需要关注初始化方法。4.2 过拟合与正则化我们的模型在训练集上准确率97.6%高于测试集97.88%但差距不大。如果这个差距很大例如训练集99%测试集80%就是典型的过拟合——模型记住了训练数据的噪声而非一般规律。对抗过拟合的武器包括Dropout我们在模型中已经使用了。它强迫网络学习更鲁棒的特征。L2正则化权重衰减在优化器中加入weight_decay参数如optim.Adam(model.parameters(), lr0.001, weight_decay1e-5)惩罚大的权重值。数据增强对训练图像进行随机旋转、裁剪、翻转等人工增加数据多样性。对于MNIST简单的随机小幅度旋转就很有用。更早停止当测试集损失不再下降反而开始上升时就停止训练。4.3 学习率最重要的超参数学习率决定了参数更新的步长。太大容易震荡不收敛太小则收敛缓慢甚至陷入局部最优。策略从一个较小的值开始如0.01或0.001观察训练初期损失是否稳定下降。如果几乎不变可能太小如果剧烈震荡或变成NaN可能太大。动态调整可以使用torch.optim.lr_scheduler中的调度器如StepLR每隔一定步数降低学习率或ReduceLROnPlateau当指标不再改善时降低学习率。4.4 调试技巧当模型不学习时如果你的模型损失居高不下或准确率随机乱猜10分类问题约10%可以按以下步骤排查检查数据打印几个样本和标签确保数据加载正确标签范围符合预期0-9。检查前向传播输入一个小的随机数据批次手动运行model观察输出是否合理不是全零或NaN。检查损失计算手动计算一个样本的损失与criterion的输出对比。检查梯度在loss.backward()之后打印某一层如model.fc1.weight.grad的梯度。如果梯度全是零或非常小可能是网络结构、激活函数或初始化有问题。简化问题用极小的数据集如10张图训练看模型能否过拟合训练损失快速降到接近0。如果不能说明模型实现或训练流程有根本性错误。4.5 GPU使用相关“CUDA out of memory”这是最常见错误。原因是批次大小Batch Size太大或模型太大超出了GPU显存。解决方法减小batch_size使用梯度累积多次前向传播累积梯度后再更新检查是否有张量无意中留在了GPU上内存泄漏。设备一致性确保模型.to(device)后输入数据的data.to(device)也执行了。错误提示Expected all tensors to be on the same device就是这个问题。写完这个完整的例子你应该对PyTorch训练一个神经网络的全流程有了扎实的感性认识。这不仅仅是跑通一个Demo更重要的是理解了数据如何流动、梯度如何计算、参数如何更新。下一步你可以尝试修改网络结构增加层数、改变神经元数量、更换优化器、调整学习率、加入数据增强观察这些变化对结果的影响。真正的学习就从这里开始。
![2026学术工具专业测评｜Paperxie全维度性能实测报告[特殊字符]](http://pic.xiahunao.cn/yaotu/2026学术工具专业测评｜Paperxie全维度性能实测报告[特殊字符])
![凭什么稳居论文工具顶流[特殊字符]Paperxie综合实力深度全解析](http://pic.xiahunao.cn/yaotu/凭什么稳居论文工具顶流[特殊字符]Paperxie综合实力深度全解析)
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
