MNIST知识蒸馏踩坑实录：教师模型、软标签与温度调参全解析-北京尧图网络

如果你觉得在 MNIST 上做知识蒸馏只是把大模型训好、存下 logits再让小模型照着拟合一遍那我建议你先停一下。我一开始就是这么干的结果连着踩了四个坑第一个坑甚至让我整个下午都耗在“下载 MNIST 失败”这件破事上。作为模型压缩里最常拿来练手的任务MNIST 看起来简单到没什么新意可恰恰因为大家低估它“教师-学生”这套流程里最容易糊弄过去的环节全被放大出来了。这篇内容就记录我的完整实操过程教师还没训明白就开始提取软标签的教训、随意设置蒸馏损失权重和温度带来的后果、torchvision 下载 MNIST 时出现的 404 问题以及最后只盯着测试集准确率产生的误判。顺便说一句如果你正打算用教师 - 学生框架做实验这篇文章里的踩坑细节大概率能帮你省下至少两天的时间。1. 为什么要把教师模型的知识“蒸馏”到小模型1.1 教师-学生框架到底在蒸馏什么知识蒸馏的核心说法早就被讲烂了用一个容量大的教师模型把它的预测分布“教”给一个容量小的学生模型。可真正落到代码里很多人只是在硬标签之外多算了一个 KL 散度然后就以为做完蒸馏了。教师能教给学生的并不只是谁对谁错。MNIST 上有 10 个类别硬标签只会告诉小模型“这张图是 7”却不会告诉它“这张图跟 1 有点像”。真实场景里模型面对的往往是那种模糊边界不是非黑即白的选择题。教师模型经过充分训练之后它的 softmax 输出里带着这种相似性信息比如某个样本在“7”上是 0.85在“1”上是 0.12甚至还会分一点给“J”。这部分就叫暗知识或者说“软标签”它才是蒸馏真正有价值的部分。一个比较贴切的类比是直接拿硬标签训练相当于给一份标准答案让学生背而蒸馏是让有经验的老师把易混淆的知识点、判断思路一并讲出来。学生背完标准答案只能应付原题听过思路才能泛化。所以整个教师-学生框架的关键不在于教师准确率有多高而在于教师给出的概率分布是不是合理、是不是平滑地表达了类间关系。1.2 为什么选择 MNIST而不是直接上 ImageNetMNIST 是那种“看着简单、实验起来全是细节”的数据集。很多人觉得手写数字识别准确率早就逼近天花板了还用得着蒸馏吗恰恰相反正因为 MNIST 训练快、调试成本低我才能把蒸馏中各种参数的影响在几分钟内观察清楚。在 ImageNet 或 CIFAR 这类更大规模任务上模型容量、数据增强、训练策略会同时干扰蒸馏效果你很难判断某个改动究竟生效在哪一环。MNIST 上训练一个教师网络只需要几分钟迭代一版蒸馏实验也很快这让我可以系统地对比不同温度、不同损失权重、不同教师强度的组合。我在踩坑过程中发现不少在 MNIST 上调明白的参数规律在迁移到稍微复杂一点的数据集时依然有参考意义比如 KL 损失的缩放系数、软标签高温处理的方式等。MNIST 还有一个特点它的“伪简单”体现在准确率上而不体现在特征分布上。手写数字之间的类内差异很大同样是 7有人写得带横杠有人写得不带横杠同样是 9尾部拐弯角度千奇百怪。这种多样性恰好会暴露学生模型拟合不足的问题所以很适合用来验证蒸馏是否真的提升了小模型的泛化能力。1.3 实验基线教师和学生都用了什么结构我先说下基线。教师模型我用了一个比较普通的 CNN结构是两层卷积加两层全连接参数量大约 15 万学生模型更小砍掉了一半通道参数量大概 6 万。给个直观对比模型参数量独立训练准确率训练至收敛所需时间教师 CNN约 150K99.51%约 6 分钟学生 CNN约 60K99.08%约 4 分钟这张表是后续所有实验的基准。目标很明确让学生模型在保持参数量不变的前提下通过蒸馏把准确率抬到 99.3% 以上并且让它在困难样本上的表现接近教师。但实际过程远没有这个表格看起来那么顺利下面按我踩坑的时间顺序逐一说明。2. 坑 1torchvision 下载 MNIST 时 404把时间全浪费在数据获取上2.1 我撞上的报错现场刚开工的第一件事就是准备数据。我习惯直接用 torchvision 自带的下载功能写法也很常规from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_set datasets.MNIST(root./mnist_data, trainTrue, transformtransform, downloadTrue)结果终端直接抛出了这么一段urllib.error.HTTPError: HTTP Error 404: Not Found我去检查了mnist_data/MNIST/raw目录发现里面只有一个README占位文件和一个空目录原始 gzip 文件一个都没下载成功。问题出在哪torchvision 旧版本里内置的 MNIST 下载地址指向了之前常用的托管路径但那个路径的部分文件后来被移动或改成了重定向请求文件时服务器直接返回 404。这不是个例也不是我一个人网络的问题网上随手一搜就是同样报错的记录。2.2 手动把数据放进 raw 目录的解决方式如果你也碰见同样的问题别反复用downloadTrue重试那只会浪费更多时间。正确做法是手动获取 MNIST 的原始 gzip 文件然后按照 torchvision 约定的目录结构放好。先确认mnist_data这个根目录的路径然后手动创建子目录mkdir -p mnist_data/MNIST/raw cd mnist_data/MNIST/raw接下来需要这 4 个文件train-images-idx3-ubyte.gztrain-labels-idx1-ubyte.gzt10k-images-idx3-ubyte.gzt10k-labels-idx1-ubyte.gz文件到位之后把download参数改成False这样 torchvision 就不会再去走网络请求而是直接扫描本地目录train_set datasets.MNIST(root./mnist_data, trainTrue, transformtransform, downloadFalse) test_set datasets.MNIST(root./mnist_data, trainFalse, transformtransform, downloadFalse)如果本地文件完好代码会快速通过如果某个文件缺失或路径不对它会报“No such file or directory”或类似的读取错误这时再去排查目录结构就清楚了。还有个小建议一次位置放对了就把整个mnist_data目录备份一份后续实验重建环境时直接拷贝省得再被网络折腾。2.3 这个坑教会我的数据管线习惯下载失败这件事本身不难解决但它让我养成了一个习惯任何数据驱动项目第一件事先确认数据管线可复现而不是先写模型。具体来说有三点。第一数据源要显式记录在项目的 README 里比如文件来源、MD5 校验值、存放路径第二代码里不要假设“downloadTrue 一定可靠”对关键数据集做一个存在性检查文件不在就提前报错并提示手动下载方式第三随机种子要在数据加载阶段就固定下来MNIST 本身没有随机划分问题但如果你用了随机增强不固定种子会造成每次实验的数据分布不一致蒸馏出来的对比结论就不干净了。我在手动下载数据时顺手做了一次校验确认四个 gzip 文件都能解压出正确数量的样本训练集 60000 张、测试集 10000 张。校验通过后再往下走后面的实验才没有因为数据问题反复返工。3. 坑 2我让教师“临时上岗”结果软标签里根本没有足够的知识3.1 第一次蒸馏跑出了 98.2% 的成绩解决数据问题后我的第一版蒸馏流程很直接把教师模型拿去训练 5 个 epoch准确率已经有 99% 左右我心想“看起来够用了”于是立刻把整个训练集的 logits 存成离线文件然后让小模型用 KL 散度去拟合这些软标签。训练了 50 个 epoch 之后学生模型在测试集上的准确率是 98.2% 左右比它单独训练时的 99.08% 低不少。最离谱的是这个结果甚至比当时的教师模型还差教师再怎么临时也能到 99%。我一度怀疑是不是 KL 损失的实现写错了去查代码、查文档折腾一圈之后才意识到了一个朴素的问题我的教师压根没学充分。5 个 epoch 的 MNIST 看起来准确率不错但模型内部的概率分布还很不稳定。很多样本的 softmax 输出尖锐却缺乏规律教师自己对一些类别的判断都是犹豫的这种不稳定的软标签作为训练目标等于让一个半懂不懂的人去当老师学生自然学歪了。3.2 教师强度对蒸馏效果的直接影响后来我把教师训练的 epoch 拉长到 40 个 epoch并且做了一组对照实验分别用三个教师状态提取软标签让学生用完全相同的配置去蒸馏教师训练状态教师准确率教师软标签平均熵蒸馏学生最终准确率5 epoch99.01%0.3198.17%15 epoch99.31%0.2298.83%40 epoch99.51%0.0999.36%实验表格说得很明白教师状态越成熟蒸馏出来的学生越强。这背后的逻辑也很容易理解成熟的教师模型对易样本给出的概率分布接近独热但对难样本会保留合理的概率分配例如在 7 和 1 之间给出一个非零但不算高的相似度这种有区分度的软标签正好是学生泛化所需要的。而欠拟合的教师模型连它自己都分不清楚类别边界它的“暗知识”只是噪声。所以在这条线上我总结出一个原则蒸馏开始之前先拿一个固定验证集评估教师不能只看总准确率还要看它对难样本的输出分布是否稳定。如果教师连验证集上的混淆情况都没有收敛迹象就别急着提取软标签。3.3 在线蒸馏比离线 logits 更省心第一版蒸馏我用的是离线 logits也就是把教师的输出一次性存成文件。这在小实验里没问题但后面有几个小的模型结构改动后我发现重新生成一次 logits 文件特别麻烦而且离线软标签会把数据增强的随机性抹掉。更推荐的做法是在线蒸馏教师模型保存权重后在训练学生的循环里动态地加载教师权重对同一个输入 batch 计算软标签。这样做有两个好处一是教师和学生吃到的输入增强版本是同步的学生不会被迫拟合一个固定输入下的静态输出二是想调整温度或损失权重时不需要重新生成任何中间文件改个参数就能重启实验。在线蒸馏的代码也没多复杂。关键是保证教师处于eval()模式且参数被冻结teacher.eval() for batch in dist_loader: for p in teacher.parameters(): p.requires_grad False with torch.no_grad(): teacher_logits teacher(images) # 再用 teacher_logits 计算蒸馏损失这个改动看起来不起眼但它让我后面调参的效率高了很多也避免了离线缓存带来的版本混乱问题。4. 坑 3蒸馏损失权重和温度全凭手感跑了半天不如直接训练4.1 初始参数有多离谱确认教师足够强大之后我进入了最让人头疼的阶段调蒸馏损失。第一次尝试我直接复制了某个开源仓库的参数temperature 1alpha 0.5也就是把教师软标签和硬标签各占一半。结果训练了 30 个 epoch学生准确率只有 99.11%跟单独训练差不多等于白折腾。后来我试了temperature 1但alpha 0.9把大部分权重都压在 KL 损失上结果更惨训练初期 loss 震荡很剧烈学生一度跌到 97%。当时我还没反应过来后来才明白两个问题都出在参数和理解上。第一个问题是温度太低。温度 T 在蒸馏里的作用是平滑 softmax 输出分布。T 1 的时候就是普通 softmax教师的概率分布可能已经足够尖锐例如某个样本在正确类别上是 0.98其他类别加起来才 0.02。这时候软标签携带的暗知识其实已经很稀薄了学生几乎学不到类间关系。温度稍微调高比如 T 4概率分布才会把那些“次级相似”的信息托出来。第二个问题是权重不对。蒸馏损失中如果软标签占的比例太高学生会被教师的预测主导而教师也不是完全正确的真实标签提供的直接监督被稀释得太厉害训练起来自然会不稳定。4.2 温度到底在改变什么我非常推荐做这么一个小实验来理解温度。给定同一个教师 logits 向量用不同的温度做 softmax观察输出分布的变化import torch import torch.nn.functional as F logits torch.tensor([2.4, 1.2, 0.6, 0.3, 0.1, 0.0, -0.2, -0.5, -1.1, -2.3]) for T in [1, 3, 8, 16]: prob F.softmax(logits / T, dim0) print(fT{T:2d}: , [round(p.item(), 4) for p in prob])输出大概是这样的感觉T1 时概率集中在第一个类别约 0.83T3 时第一类约 0.43第二类约 0.10其他类别也能分出高低T8 时分布开始变得平坦但还保留排序T16 时所有类别都接近 0.1基本失去了信息。这里引出了一个常规操作T 太低软标签退化成硬标签T 太高教师的知识被稀释成均匀分布。MNIST 这种类别相对少、训练充分的任务取 T3 到 T5 通常比较合适具体值要在验证集上慢慢试而不是一上来就拍脑袋。4.3 损失权重与温度的一组合适搭配在反复试错之后我给了自己一个初步默认值temperature 4alpha 0.7。这个配置的含义是教师软标签占总损失的七成真实硬标签占三成同时把 KL 散度乘以温度 T 的平方来平衡量纲。具体的蒸馏损失实现里我倾向于把完整公式写在训练循环之外命名清楚一点alpha 0.7 temperature 4.0 lambda_distill alpha * temperature ** 2 loss_cls F.cross_entropy(student_logits, labels) loss_distill F.kl_div( F.log_softmax(student_logits / temperature, dim1), F.softmax(teacher_logits / temperature, dim1), reductionbatchmean ) loss (1 - alpha) * loss_cls lambda_distill * loss_distill有人会疑惑为什么要乘temperature ** 2。原因是 KL 散度在高温下会被稀释如果不做缩放温度调高之后梯度会变小训练会变慢乘上 T 的平方是为了保持原始梯度量级大致不变。这个细节是从 Hinton 那篇蒸馏论文里看到的但在实际工程中很容易被忽略导致换温度就要重新调学习率。在我手上这个 MNIST 任务里T4、alpha0.7 的组合让学生模型在 20 个 epoch 左右就超过了单独训练的最终水平50 个 epoch 后稳定在 99.35% 左右已经比较接近教师了。但请注意这个参数只在当前教师和学生结构下有效换数据集后一定还要重新验证。5. 坑 4测试集 99.2% 很好看但小模型并没有真正学到老师的东西5.1 准确率骗过了我的眼睛调完参数之后蒸馏学生稳稳停在 99.35% 左右比独立训练的 99.08% 提升了 0.27 个点。我一度觉得实验已经成功了直到一个偶然的测试让我意识到事情没那么简单。我把教师和学生各自在测试集上的预测结果保存下来开始对比它们的错误样本。当时的第一反应是检查学生错在哪里结果发现一个扎心的事实单独训练的学生它的错误分布和蒸馏学生几乎不在同一个位置上。单独训练的学生更像一个自己摸索出规律的初学者它会在某些风格怪异的手写数字上犯错而蒸馏学生呢它在那些教师能轻松做对的难样本上依然表现不错但在一些教师也不太确定的样本上会沿着教师的错误一起错。最典型的是 7 和 1 的混淆。大家知道有些手写 7 在快速书写时横杠很轻几乎和 1 没区别。教师模型在部分这种样本上判断得对在另一部分上判断得错学生对教师兜底有限。但如果我只看总准确率这种“继承教师错误”的现象是看不见的因为数字之间的错误互相抵消了。5.2 用教师置信度拆解学生的表现我后来想了一个判断蒸馏有没有“学到东西”的简易方法把测试集按教师模型置信度分成三档比如教师预测概率在 0.99 以上算“容易档”0.9 到 0.99 算“模糊档”低于 0.9 算“困难档”然后分别统计学生的准确率。样本难度分档教师置信度范围独立训练学生蒸馏学生容易档 0.9999.7%99.8%模糊档0.9 ~ 0.9991.2%94.3%困难档 0.961.4%65.1%这张表让问题一目了然。独立训练的学生和蒸馏学生在容易档上几乎没差别但在模糊档和困难档上蒸馏学生的优势明显扩大。换句话说蒸馏真正起作用的地方不是那些大家都看得清的样本而是那些需要利用相似性判断、边缘特征的样本。如果蒸馏之后只是容易档提升那当然也是提升但它距离“学到教师的暗知识”还差很远。5.3 更严格的评估看 logits 而不只看预测准确率是最终结果但蒸馏的过程目标其实是让学生的 logits 分布接近教师。所以我额外加了一个评估指标随机抽取测试集里的 2000 个样本计算教师 logits 和学生 logits 在同一个温度下的余弦相似度。这个相似度在训练初期会快速上升中期缓慢爬升如果配置得当最终能稳定在较高水平。如果需要判断蒸馏是不是进入瓶颈可以看这个相似度曲线是否还在上升而不是只看测试集准确率在 99.2% 上是否还有浮动。后来我在实际项目里也沿用这个办法因为它能比准确率提前发现异常。比如有一次跑了 20 个 epoch准确率已经很好看了但 logits 余弦相似度一直不高一查才发现数据加载时把教师输入和学生的数据增强不一致教师看到的图片和学生看到的图片不是同一个版本。这种问题如果只看准确率多半会被漏掉。6. 重来一遍一套能在 MNIST 上稳定复现的蒸馏配置6.1 数据与环境准备清单先说环境写这篇内容时我用的依赖是Python 3.10PyTorch 2.xtorchvision 0.18 及以上同时人为准备 MNIST 原始文件避免 404 下载问题无特殊 GPU 需求我实验时用的是一张中等卡CPU 也能慢慢跑数据部分按第 2 段所述手动准备好四个 gzip 文件放在mnist_data/MNIST/raw下然后通过datasets.MNIST(..., downloadFalse)加载。为了复现训练前固定随机种子def set_seed(seed2024): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)6.2 教师训练与保存教师模型建议训练至收敛在 MNIST 上大概 40 epoch 就够了。训练完成后单独保存 checkpoint推理时只加载权重。torch.save({state_dict: teacher.state_dict()}, teacher_mnist.pth)做蒸馏之前我还会单独跑一遍测试集打印教师的准确率和平均 softmax 熵作为后续对照。这一步在第 3 段已经解释过了记住一个原则教师没收敛后面全白搭。6.3 蒸馏训练的主循环下面是最终版训练的骨架。教师固定为 eval 模式学生正常训练每个 batch 里同时算真实标签的交叉熵和教师 softmax 之间的 KL 散度。teacher TeacherNet() ckpt torch.load(teacher_mnist.pth) teacher.load_state_dict(ckpt[state_dict]) teacher.to(device).eval() for p in teacher.parameters(): p.requires_grad False student StudentNet().to(device) optimizer torch.optim.Adam(student.parameters(), lr1e-3) for epoch in range(60): student.train() for images, labels in train_loader: images, labels images.to(device), labels.to(device) student_logits student(images) with torch.no_grad(): teacher_logits teacher(images) loss_cls F.cross_entropy(student_logits, labels) loss_distill F.kl_div( F.log_softmax(student_logits / temperature, dim1), F.softmax(teacher_logits / temperature, dim1), reductionbatchmean ) loss (1 - alpha) * loss_cls alpha * temperature ** 2 * loss_distill optimizer.zero_grad() loss.backward() optimizer.step()在训练循环里教师使用的是与当前 batch 一致的增强输入。因为 MNIST 本身测试稳定我没有加太多随机增强只做了标准化这样也更贴近许多入门读者的习惯。6.4 最终结果与后续扩展我把最终跑的稳定版本结果贴一下方便你对照模型参数配置测试准确率困难档准确率教师 CNN独立训练训练充分99.51%75.3%学生 CNN独立训练99.08%61.4%学生 CNN 蒸馏T4, alpha0.799.36%65.8%这个配置是我在 MNIST 上反复调出来的结果。如果你想把它迁移到其他数据集我提醒一句把第 2 段和第 5 段做的事留好也就是先确保数据加载可复现教师模型训练充分再用置信度分档和 logits 相似度去评估而不是只看一个最终准确率就收工。如果你准备继续往前走下一步可以试两件事一是给学生模型换更轻量的结构看看蒸馏能否弥补结构的表达能力差距二是把教师从 CNN 换成更强的网络比如在 MNIST 上表现更好的现代卷积结构观察学生收益是否继续变大。我在后续实验中发现一个比较明显的规律教师和学生之间的结构差距越大越需要仔细调温度过于接近的教师和学生做蒸馏收益反而容易被噪声吞掉。所以说MNIST 蒸馏看着是个小实验真正跑起来之后它逼你正视的其实是大模型压缩里那些最容易被忽略的中间环节。现在我每次做蒸馏都会先问自己三个问题教师真的训好了吗软标签里的信息有没有被高温稀释掉准确率之外学生和教师的行为分布是否真的接近了这三个问题想清楚基本就能少踩一大半的坑。

MNIST知识蒸馏踩坑实录：教师模型、软标签与温度调参全解析

相关推荐

JSP+MySQL+Apriori网络书城关联规则推荐实战

如何用Module组织Jai项目代码？The Way to Jai 模块系统完全指南

AI终于能自己动手了：这个开源项目把79款软件塞进终端，还给AI上了三道安全锁

更多资讯

基于CNN的宠物行为识别系统设计与优化

MySQL表约束详解：确保数据完整性的核心技术

让AI编辑器读懂微信小程序工程：TRAE配置实战与踩坑指南

集合相等性判断：从理论到工程实践的挑战与突破

从一句话到STEP：text-to-cad工作流架构与实战

光子晶体连续域束缚态远场偏振与空间能带值计算指南

今日更新

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？