LeNet-5深度学习入门：从零复现CNN核心原理与PyTorch实践-北京尧图网络

1. 为什么三十多年前的LeNet至今还是深度学习的第一课在深度学习社区里有一个约定俗成的入门动作复现LeNet。这个网络小到用CPU跑几分钟就能看到效果又完整到可以装下卷积神经网络CNN的全部核心思想——局部连接、权值共享、下采样、层级特征提取。我在一个模拟的字符识别项目就叫它模拟项目X吧里把它从零搭了一遍过程中意识到与其说LeNet是一个老模型不如说它是一份没有废话的教科书。LeNet-5是这一系列网络里最成熟的版本解决的问题很具体给一张手写数字的灰度图判断它是0到9中的哪一个。这类任务有一个广为人知的标准数据集——MNIST手写数字数据集它后来几乎成了深度学习的入门考试题。这篇文章适合两类读者一类是刚入门深度学习、需要一个能完整跑通数据加载到训练到评估全流程的示例另一类是已经在用ResNet这类现代网络、却想搞清楚模型最初为什么长这样的人。我会从网络结构、关键设计、训练代码和避坑笔记几个方面把我复现LeNet时看到的细节一起说清楚。1.1 一个只有六万参数的微型网络为什么五脏俱全如果把LeNet-5拆开看它的结构可以用一串箭头概括输入32×32灰度图 → C1卷积层6个5×5卷积核 → S2下采样层 → C3卷积层16个5×5卷积核 → S4下采样层 → C5卷积层120个5×5卷积核 → F6全连接层 → 输出层10类这套流程放到今天依然眼熟。卷积层负责提取局部特征下采样层负责缩小空间分辨率、增大感受野全连接层负责把抽象特征映射到类别得分。后面出现的AlexNet、VGG、ResNet宏观上都没有跳出这个套路先让空间尺寸逐步减小、通道数逐步增加最后接一个分类头。区别只是层数更深、设计更精细。LeNet-5的全部参数量大约只有6万个。这个数字放在今天极其不起眼一个常规的ResNet都有上千万参数。但正是这种小而全让它成为理解CNN内部运作机制的绝佳载体。你不需要等GPU、不需要搭分布式训练单张CPU上一轮迭代也就几十秒这对调试和学习来说太友好了。真正让我觉得它值得反复研究的原因是它的每个结构都有数学上的为什么。为什么卷积核要共享参数为什么C3层要用不对称的连接表为什么下采样层里还要放可学习系数这些为什么在今天的框架教程里很少被解释但它们恰恰是LeNet留给后来者最宝贵的东西。1.2 你会在哪种场景下需要复现LeNet这些年我见过不少把LeNet拿来用的场景总结下来大概是三类。第一类是学习入门。在MNIST上快速体验模型定义、反向传播、损失下降、准确率评估的完整闭环。对新手来说用一两百行代码就能写完并跑通整个流程成就感来得特别快而且特别适合用来建立深度学习到底是什么的直觉。第二类是当作基线模型。做OCR、验证码识别、简单字符分类任务时先拿LeNet打底看准确率起点在哪里再决定要不要上更复杂的网络。它参数少、训练快、不容易过拟合用来作为被试对象的参照非常合适。第三类是对模型设计思路做研究。比如我这次就是想搞清楚C3连接表对特征多样性到底有多大影响才专门把原始连接方式用代码还原了一遍。这类偏抽象的需求LeNet也是再合适不过的样本。无论哪种场景LeNet都不会让你白花时间。它太经典了以至于今天主流深度学习框架的官方示例里仍然保留着它的位置。下面我从结构开始一层一层把它拆开。2. 逐层拆解LeNet-5七层网络在每一层都做了什么要理解LeNet先记住这张结构表。我按原始设计整理了每一层的输出尺寸和参数量建议把它当成索引来用后面的小节会对每个关键层展开说明。层名输出尺寸结构说明参数量输入层32×32×1单通道灰度图像素值经过归一化-C1卷积层28×28×66个5×5卷积核步长1无填充156S2下采样层14×14×62×2区域平均乘以可学习系数再加偏置12C3卷积层10×10×1616个5×5卷积核使用稀疏连接表1516S4下采样层5×5×162×2区域平均乘以可学习系数再加偏置32C5卷积层1×1×120120个5×5卷积核覆盖全部16张特征图48120F6全连接层84与C5全连接tanh激活10164输出层1010个RBF单元现代实现常用线性层840~850把参数加起来C1、S2、C3、S4、C5、F6六层刚好是6万个左右。有个值得注意的现象参数大头几乎全集中在C5和F6这两个靠近输出的层上前面的卷积层反而很轻。这正是局部连接和权值共享带来的收益后面我会专门算这笔账。2.1 从输入到C1卷积核如何在32×32图上滑动LeNet把输入约定为32×32的灰度图这个尺寸不是随意定的。原始任务里的手写数字在送入网络之前会经过归一化处理让数字主体居中、四周留出一些空白。这样卷积核在滑动时既能完整看到字符轮廓又能感知到背景对比特征提取会更稳定。C1层使用6个5×5卷积核。对于32×32的输入步长取1、不填充输出尺寸的计算方式为(32 - 5) / 1 1 28于是每张输入图会生成一张28×28的特征图6个核就是6张。一个卷积核本质上就是一个5×5的小窗口模板滑动到不同位置时如果局部区域与模板相似输出值就会大。这个阶段6个核意味着网络最多只能学习6种基础特征最常见的是横线、竖线、斜边、角点之类。有同学会问只有6个核会不会不够用对MNIST这种数字笔画相对规则的任务来说确实够用了。这也是LeNet能小而有力量的前提。如果换成人脸识别这种复杂任务6个核连边都摸不着这也是为什么现代网络的第一层动不动就是64个甚至96个卷积核。2.2 S2到S4下采样到底在降低什么S2对C1输出的6张特征图分别做下采样。做法是把每张28×28的特征图划分成互不重叠的2×2小块对每个小块里的4个像素取平均然后乘上一个可学习标量、加上可学习偏置最后过tanh激活输出变成14×14×6。这个操作有两个直接目的。第一降低计算量。14×14的像素总量只有28×28的四分之一后续C3卷积层的计算开销直接缩水这是几十年前算力窘迫时代非常实际的考量。第二引入平移和轻微形变的容忍度。数字图像里的笔迹不可能每次都完美对齐一个特征稍微偏移两个像素经过2×2下采样后上层神经元仍然可能给出相近的响应。这种容忍度不是卷积自带的而是池化结构带来的。S4做的事情和S2完全一致只不过输入从6张特征图变成16张尺寸从10×10变成5×5。走到这一步空间分辨率已经非常小了但通道数从6涨到了16。网络对图像的描述越来越抽象先是局部边缘然后是边缘组合成的部件最后是整个数字的大致抽象结构。2.3 C5、F6和输出层为什么越往后越像全连接C5虽然名义上是个卷积层但它很特殊。它的输入是S4输出的5×5×16特征图卷积核依然是5×5步长1。因为卷积核尺寸刚好和输入特征图一样大卷积一次就覆盖了整张图所以输出变成1×1×120。换句话说C5的每一个输出神经元实际上连接了S4的全部16×5×5400个值。这和标准全连接层在数学上完全等价只是形式上披了一层卷积的外衣。之所以仍叫卷积是为了保持卷积只是局部连接的特例这一统一视角——C5刚好是感受野和整张图重合时的特殊情况。F6层把120维特征压缩到84维使用tanh激活。84这个数字放在今天并不特殊但它体现了那个时代的设计思路在最终分类前保留一个中等宽度的隐层给输出层足够的非线性空间去刻画各类别的原型。输出层在原始实现里也很有讲究。它不是softmax而是一组RBF径向基函数单元。每个类别对应一个模板向量RBF单元计算F6输出与该模板向量之间的欧氏距离距离最小的那个类别就是预测结果。今天复现时绝大多数人直接换成线性层加softmax用交叉熵损失训练效果往往更稳定。原因在于交叉熵梯度对分类边界更友好而原始RBF的梯度在距离接近零时容易消失。3. LeNet里容易被忽略的三个关键设计权值共享、连接表与可学习池化单纯看懂层结构只是第一步。LeNet真正有意思的地方藏在几个细节设计里。这些设计在今天的框架教程里经常被一笔带过但它们决定了网络的表达能力和泛化能力。3.1 权值共享对比全连接参数量差了三个数量级权值共享是CNN最核心的发明之一。我经常用这样一组数字来体会它有多重要。C1层只有6个5×5卷积核算上偏置一共156个参数。如果不做权值共享让C1的每个输出位置都独立连接到输入的所有像素那么从32×32的输入到28×28×6的中间表示单这一层就要大约480万个连接权重。对比一下156对480万参数差了将近三万倍。共享参数的本质是一种强先验图像特征不随位置变化。一个在画面左上角有效的边缘模板在右下角大概率同样有效。所有空间位置共用同一组卷积核不只是省了参数更重要的是把平移等变性直接编码进了模型结构——同一个数字挪到画面任何位置都能被同一组核识别出来。这种先验对图像任务太有效了以至于后世十几年几乎没有动摇过这个基本设计。3.2 C3连接表不对称连接到底在解决什么问题C3层是LeNet里最容易被忽略、也最有故事的一个层。如果让C3的16张特征图全部连接S2的6张特征图每个5×5卷积核需要6×251151个参数16个核一共2416个参数。但原始设计没有这么做而是用了一张稀疏连接表前6张C3特征图各连接3张S2图中间9张各连接4张最后1张连接全部6张。直接收益是参数量从2416降到1516。但更深层的目的是打破对称性。如果每张C3特征图看到的输入来源完全一样那么在反向传播里各特征图收到的梯度会非常相似学出来的卷积核很容易趋于雷同特征就会冗余。让不同的特征图连接不同的输入来源相当于强迫它们分工各自关注不同类型的组合特征。这种不对称设计在算力和数据都有限的年代是一种非常巧妙的正则化手段。不过说实话今天多数PyTorch复现并没有实现这张连接表直接用nn.Conv2d(6, 16, kernel_size5)做全连接也能拿到很好的结果。连接表的价值更多在于理解设计意图而不必逐字照搬。如果你好奇某张特征图到底连了哪几张输入图可以去看原始论文里的连接表一两行就能看懂。3.3 池化层里的可学习系数LeNet不是简单的平均池化很多人以为LeNet的S2、S4就是普通的平均池化其实不是。原始实现里每个2×2区域先求平均然后乘一个随训练更新的标量再加一个标量偏置最后过tanh激活。也就是说池化层本身是有可学习参数的不能简单当作固定操作。S2的12个参数就来自6张特征图各一组(scale, bias)。这个设计的用意是让网络自己决定下采样时是放大还是压缩信号而不是一律求平均。放到今天类比它有点像BatchNorm里的缩放和平移系数只是作用在池化输出上。现代框架里的AvgPool2d丢掉了这部分可学习参数MaxPool2d更是只取最大值效果在不同任务上各有优劣。如果想让复现尽量贴近原始LeNet我建议自定义一个带scale和bias的池化层。但如果只是入门学习先跑通普通平均池化版本完全没问题两者的准确率差异在MNIST上通常不超过0.2个百分点。4. 用PyTorch从零搭建LeNet并训练MNIST一份可以直接改的代码讲完理论来点真正能跑的代码。我用PyTorch从零实现了一个接近原始结构的LeNet-5并在MNIST上做了完整训练。下面这段代码我按结构清晰优先来写每一层都标了注释方便查尺寸。4.1 模型定义先追求接近原始结构import torch import torch.nn as nn import torch.nn.functional as F class LeNet5(nn.Module): def __init__(self, num_classes10): super(LeNet5, self).__init__() # 原始LeNet输入为32x32第一层卷积不做padding self.conv1 nn.Conv2d(1, 6, kernel_size5) # 32 - 28 self.pool1 nn.AvgPool2d(kernel_size2, stride2) self.conv2 nn.Conv2d(6, 16, kernel_size5) # 14 - 10 self.pool2 nn.AvgPool2d(kernel_size2, stride2) self.fc1 nn.Linear(16 * 5 * 5, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, num_classes) def forward(self, x): x torch.tanh(self.conv1(x)) x self.pool1(x) x torch.tanh(self.conv2(x)) x self.pool2(x) x x.view(x.size(0), -1) x torch.tanh(self.fc1(x)) x torch.tanh(self.fc2(x)) x self.fc3(x) return x注意conv1我故意没有加padding2。网上很多代码为了直接吃28×28的MNIST图会给第一层加padding这样后面每一层的尺寸全变了fc1的输入就不再是16×5×5。你当然可以那么改但那就不是严格意义的LeNet-5了。我的建议是先按原始结构写然后在数据预处理里把图像尺寸对齐到32×32这样便于逐层验证shape出了问题也容易定位。如果你想更贴近原始池化层可以把AvgPool2d换成一个带可学习系数的版本class LeNetPool(nn.Module): def __init__(self, channels): super(LeNetPool, self).__init__() self.weight nn.Parameter(torch.ones(channels, 1, 1)) self.bias nn.Parameter(torch.zeros(channels, 1, 1)) def forward(self, x): x F.avg_pool2d(x, kernel_size2, stride2) return torch.tanh(self.weight * x self.bias)用的时候把pool1 LeNetPool(6)、pool2 LeNetPool(16)替换掉原来的AvgPool2d即可。初次复现时我建议先跑普通AvgPool版本流程全通了再换也不迟。4.2 MNIST预处理28×28为什么要塞进32×32MNIST原始图像是28×28LeNet输入要求32×32。最简单的处理方式是直接缩放到32×32再归一化像素值。from torchvision import datasets, transforms transform transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_ds datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_ds datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform)这里有两个点值得解释。第一Resize((32, 32))会把28×28插值放大到32×32对MNIST这种笔画简单的数字来说信息损失可以忽略。第二Normalize这步经常被新手省略但我测试过不归一化时损失初始值会偏高收敛也需要更多轮数。MNIST本身的像素取值是0~255的整数ToTensor()会先压到0~1之间。Normalize的均值0.1307和标准差0.3081是MNIST数据集的统计量归一化之后特征分布近似标准正态梯度更新更平稳。这两行是数据管线的标配别省。4.3 训练循环与一版可复现结果下面是完整的训练代码优化器选用SGD加momentum损失函数用交叉熵。批量大小取64训练10个epoch。import torch from torch.utils.data import DataLoader train_loader DataLoader(train_ds, batch_size64, shuffleTrue) test_loader DataLoader(test_ds, batch_size256) model LeNet5() optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9) criterion nn.CrossEntropyLoss() for epoch in range(10): model.train() total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) avg_loss total_loss / len(train_ds) model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: outputs model(images) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) acc correct / total * 100 print(fepoch {epoch1:02d} | loss {avg_loss:.4f} | test acc {acc:.2f}%)这套配置在我的模拟项目X里得到的结果大致是第1个epoch结束后测试准确率就能到95%左右第3个epoch越过98%第8到第10个epoch稳定在99%上下。LeNet的训练速度很快10个epoch在普通CPU上也就几分钟。这里有个经验规律值得分享当测试准确率超过99%之后损失可能还在缓慢下降但准确率几乎不再变化。这不是代码有bug而是这个小模型的表达能力已经接近上限。如果你想继续提升方向不再是调学习率而是加数据增强、换更大模型或者做集成否则只是在原地空转。5. 复现LeNet时避坑笔记学习率、初始化与损失曲线的真实反馈代码能跑通只是第一步。真正让新手崩溃的往往是那些报错信息看不懂、损失曲线乱飞、结果复现不出来的情况。我把复现LeNet时反复踩过的坑整理在这里希望你能少走弯路。5.1 学习率过高时损失曲线会如何表演我用SGD加momentum做过一组对照实验。学习率取0.1时训练损失在前面几百个batch里明显震荡测试准确率在90%附近反复横跳难以稳定上升。学习率取0.01时损失稳步下降10个epoch收敛到99%左右。学习率取0.001时收敛明显变慢但最终也能到98%附近只是要多花一倍的时间。这个现象和LeNet使用的激活函数有直接关系。原始结构用tanh它的输出在±1处饱和一旦某个神经元被推到饱和区梯度就会趋近于零反向传播几乎更新不动。学习率偏大时很多神经元容易被快速推向饱和区损失自然来回震荡。如果你坚持用tanh学习率保守一点更稳妥。如果换成ReLU问题会大幅缓解学习率甚至可以直接提到0.05甚至0.1。我的建议是为了忠实复现原始结构用tanh体会一遍为了实际应用快速出结果换成ReLU更省心。5.2 三处容易让新手卡住的细节第一处是维度报错。PyTorch的报错信息通常会指向fc1的in_features这时候不要盲目去改Linear的输入大小而是应该回头逐层计算每张特征图的尺寸。LeNet的尺寸链路很清爽32→28→14→10→5只要有一层加了padding后面就全乱了。我习惯在模型里加一段临时的打印代码把每层输出shape打出来定位问题比看报错快得多。第二处是忘记数据归一化。直接拿0~255的像素喂给模型损失初始值会明显偏高训练过程也会变慢。这个问题不致命但会严重干扰你对模型到底学得怎么样的判断。归一化之后损失曲线更容易呈现漂亮的下滑也更容易判断学习率是否合适。第三处是训练集和测试集的评估混在一起。LeNet很小、训练快10个epoch内过拟合并不严重这会让一些人偷懒只打印训练集的损失不看测试集准确率。但实际任务里过拟合一定会在某一天找上门养成验证集为准的习惯越早越好。我每次做完一组实验都会把测试集准确率当作最终指标训练损失只作为参考。5.3 从LeNet延伸出去现代CNN还在沿用哪些设计写到这里有必要把视野拉回到今天看看LeNet的影响到底有多深。第一卷积加池化的交替堆叠依然是主流。不过池化方式变了现代网络更多用MaxPool再往后甚至用带步长的卷积直接替代池化但缩小分辨率、增大通道数的路线没变。第二激活函数从tanh、sigmoid全面换成了ReLU及其变体。核心原因是解决梯度消失让网络可以堆得更深。LeNet只有5层深感觉不到这个问题一旦到AlexNet的8层、VGG的16到19层tanh就会迅速失灵ReLU几乎是必然选择。第三深层网络的稳定训练离不开BatchNorm和Dropout。LeNet时代没有这些武器训练全靠小心的初始化和学习率设置。今天你在LeNet后面再加几层卷积就会发现不加大招根本训不动这就是为什么现代网络都会配齐这些组件。第四分类头开始变轻。很多现代网络不再用一层大规模的全连接收尾而是用全局平均池化加1×1卷积替代参数量更少、过拟合风险更低。LeNet末尾多达6万参数中一多半都消耗在C5和F6上这个设计放在今天是相当奢侈的。LeNet之后的十几年深度学习经历了爆发式发展但底层逻辑始终没有离开它当年确立的基本盘局部感知、参数共享、逐层抽象。搞懂了LeNet再去看任何一张现代CNN的结构图你都会觉得似曾相识。最后分享一个我自己的习惯每次复现完一个经典模型我都会把测试集里预测出错的样本按网格打印出来逐个看。LeNet的典型错误集中在1被认成7、笔画过分密集的潦草数字等样本上。这些错误会让你看到模型能力的真实边界比任何理论分析都有说服力。LeNet虽然小但它值得你认真对待——毕竟它是那一代深度学习留给今天最好的入门礼物。

LeNet-5深度学习入门：从零复现CNN核心原理与PyTorch实践

相关推荐

clusterdata生产集群数据分析：从数据加载到调度优化实战

Seaborn实战：用Titanic数据集掌握数据可视化核心技巧

TongHttpServer负载均衡实战：从解压到upstream配置与健康检查

更多资讯

Spring AI Alibaba实现Text-to-SQL人工审核防线，生产级落地实践

正则表达式入门实战：从文本匹配到数据清洗的核心技巧

网络请求全链路：从DNS到HTTP/2的性能优化与排查实战

Python WebSocket从原理到实战：异步通信、心跳与踩坑指南

大气与海洋如何耦合？DLESyM-V1-ERA5中SST耦合变量的完整解析

MySQL数据库设计实战：从规范建表到索引优化与事务隔离

今日更新

Cephadm实战指南：Linux系统工程师的生产级Ceph集群部署与排障

不想再被 Token 额度卡脖子？把免费 API 接入 WorkBuddy 的完整教程

ITK中SpatialObject几何体系解析：坐标系、变换与管道集成

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？