Dropout 和正则化：深度学习如何缓解过拟合？-北京尧图网络

博主简介你好我是安逸CSDN「人工智能技术领域新星创作者」码龄 6 年。博客总访问量 31万博客粉丝 1.2万。我长期关注人工智能技术与工程实践主要研究和分享 AI Agent、RAG 系统、MCP 协议、OpenClaw、AI 编程工具以及大模型工程化落地。同时也持续输出 Java / Spring、Transformer、机器学习、深度学习与计算机视觉等方向的学习笔记和项目经验。推荐系列合集目前已经整理了生产级 RAG 系统实战、Agent 记忆系统、MCP 协议深度解析、OpenClaw 系列、Hermes Agent Obsidian、图解机器学习、Claude Code 系列和 Agent 经典面试题等系列合集涵盖 AI 应用开发、智能体实践、知识管理、机器学习与 AI 编程工具。GZH安逸Ai (科技前沿新闻Github热门项目最新免费资料...)网页观看完整系列合集 Anyi AI 学习资源站上篇我们聊了 Batch Normalization 和 Layer Normalization它们解决的是训练过程中数据分布不稳定的问题。模型能正常训练了但还有一个更大的麻烦在等着——过拟合。你有没有遇到过这种情况模型在训练集上表现接近满分准确率99%但一放到真实环境里效果断崖式下跌这就是过拟合在作祟。过拟合模型界的高分低能过拟合Overfitting简单说就是模型在训练数据上表现很好但泛化到新数据时性能急剧下降。我把这种情况比喻成学生刷题。一个学生把题库里的所有题目包括错题都背下来了遇到原题当然对答如流。但换一套新题完蛋连最基本的概念都想不起来。这就是死记硬背和真正理解的区别。真正的学霸不是背答案而是掌握了解题套路遇到没见过的题目也能举一反三。放到深度学习里也是一样的道理。训练集上的图片可能有特定的光照条件、拍摄角度甚至有水印、噪点这些无关细节。模型把这些全记住了。但考试测试的图片可能换个角度、换个背景模型就不认识了。泛化能力才是衡量模型价值的真正标尺。你想想一个只会做老师出过题目的学生和一个能解决新问题的学生哪个更值钱剪刀差过拟合的视觉信号怎么一眼看出模型过拟合了看训练曲线和验证曲线。训练初期两条曲线一起往上升说明模型在学习。但到某个点之后情况变了训练曲线继续高涨验证曲线反而掉头向下。两条曲线像剪刀一样张开这就是经典的剪刀差。正常模型两条曲线一起上升然后趋于平稳差距不大。过拟合模型训练曲线一路狂奔验证曲线半路趴窝。差距越大过拟合越严重。训练准确率和验证准确率随训练轮次变化的曲线图形成明显的剪刀差标识过拟合发生的位置过拟合的本质原因是模型死记硬背了训练数据的噪声和细节。什么是噪声训练图片里的光照变化、角度变化、水印噪点这些不是本质的东西但模型把它们全记住了。真正有价值的规律是猫有尖耳朵、狗有长鼻子不管角度怎么变这些特征都在。记住无关的忽略关键的——这就是过拟合。那怎么办接下来介绍两把应对过拟合的利刃Dropout 和正则化。Dropout 是什么神经网络也搞随机裁员第一把利刃叫 Dropout。它的思路很暴力训练的时候随机让一部分神经元下线。具体怎么做每个神经元以概率 p 被关闭。被关闭的神经元不参与前向传播也不参与后向传播。简单说就是它在这次训练中不存在。第二次训练重新随机选一批神经元关闭。第三次训练又是新的随机组合。就这样每次训练都像在玩俄罗斯轮盘赌一批幸运的神经元存活一批倒霉的神经元被裁掉。数学上怎么实现$y f(W \cdot mask(x) b)$这个 mask 就是掩码函数它的值是 0 或 1。值为 0 的神经元就被关闭了。有个实现上的小细节需要注意# Dropout 的简化实现 def dropout(x, p): mask (torch.rand(x.shape) p).float() return x * mask / (1 - p) # Inverted Dropout为什么要除以 (1-p)后面会解释。左图为完整的全连接网络右图为随机丢弃部分神经元后的子网络丢弃的神经元用虚线表示这个随机性带来一个很巧妙的效果每个神经元都不能依赖特定的邻居。你想啊如果 A 神经元一直和 B、C 神经元配合它们三个形成了固定的小团队。那 A 被裁掉了B 和 C 怎么办B 和 C 必须能够独立扛起任务A 也必须能够和其他神经元配合。久而久之每个神经元都是多面手能独当一面。这就像一个公司的项目组每次开会随机让一部分人离线。剩下的人必须自己搞定所有讨论不能依赖某几个特定的人。结果是每个人都变强了整个团队的韧性提高了。Dropout 为什么有效往下看。从随机裁员到 Bagging 集成Dropout 的本质是Bagging 思想的一种廉价实现。Bagging 是什么Bootstrap Aggregating让多个模型对同一数据进行预测最后综合所有模型的预测结果。多个模型的意见取平均比任何一个单独的模型都稳定。就像投票表决一万个人投票永远比一个人投票更可靠。Dropout 的巧妙之处在于它把单个网络变成了无数个子网络。一个有 n 个神经元的层理论上能采样出 $2^n$ 个不同的子网络。Dropout 每次训练其实是在训练一个不同的子网络。测试的时候对所有子网络的预测结果做平均就起到了集思广益的效果。这比训练和保存 $2^n$ 个独立模型要便宜太多了。所以 Dropout 本质上是一种隐式的集成学习。训练阶段每次随机采样一个子网络进行训练相当于训练了 $2^n$ 个模型中的某一个。测试阶段把所有子网络的预测结果汇总输出平均值。树状结构图展示从父网络采样出多个子网络的过程底部汇总表示预测结果的集成用一个例子来理解想象一个万人智囊团每次开会随机抽 3000 人参与讨论一个问题。不同的人有不同的背景和视角讨论的结果也不同。最后把所有会议的结论综合起来比任何一个单独专家的意见都稳定可靠。这就是 Dropout 的思路用随机性换稳定性。但有个问题训练时随机丢弃测试时怎么办Inverted Dropout让测试结果稳定最早期的 Dropout 实现叫 Vanilla Dropout在测试阶段也需要随机丢弃神经元。这会导致一个很糟糕的问题每次预测结果不一样。你用同一个输入跑两次模型输出不一样。这在实际应用中是完全不可接受的。后来大家发现了一个更聪明的做法叫 Inverted Dropout。核心改动在训练阶段保留所有神经元但在输出时乘以 $\frac{1}{1-p}$ 来做缩放。测试阶段不做任何修改所有神经元正常工作。这样训练和测试的输出期望就保持一致了而且测试结果完全稳定。PyTorch 的nn.Dropout(p)默认就是 Inverted Dropout 模式。# 训练阶段 y x * mask / (1 - p) # 缩放 # 测试阶段 y x # 直接用不用改为什么叫Inverted反转因为以前是把操作放在测试阶段现在把操作放在训练阶段。就像调音师在录音的时候训练阶段就把音量调到标准播放的时候测试阶段就不需要再额外调整了。简单、稳定、好用这就是 Inverted Dropout 成为主流的原因。对比表展示 Vanilla Dropout 和 Inverted Dropout 在训练行为、测试行为、结果稳定性三个维度的差异Dropout 是从网络结构入手解决过拟合。还有另一种思路从损失函数入手。这就是正则化。L1/L2 正则化给损失函数加复杂度税正则化的思路是在损失函数里加一个惩罚项。损失函数原来只关心预测准不准现在还要关心模型复杂不复杂。L2 正则化惩罚权重的平方和$$L_{new} L_{old} \lambda \sum_{i} w_i^2$$L1 正则化惩罚权重的绝对值和$$L_{new} L_{old} \lambda \sum_{i} |w_i|$$这个 $\lambda$ 是正则化强度由你手动设置。权重越大惩罚越重。权重越小惩罚越轻。所以模型被迫保持简洁权重不能太大。这就像给模型的损失函数加了一个复杂度税。越复杂的模型权重越大交的税越重。越简洁的模型交的税越少。既然复杂要交税那模型就倾向于保持简洁从而降低过拟合风险。两种正则化有什么不同L2 正则化惩罚权重的平方让权重趋向于小而分散。L1 正则化惩罚权重的绝对值能产生稀疏权重——有些权重直接变成 0。权重变成 0 意味着什么意味着对应的特征被模型忽略了。所以 L1 正则化自带特征选择功能。如果你怀疑输入特征里有很多是无用的L1 正则化可以帮助你自动找出哪些特征有用、哪些没用。Weight DecayL2 正则化的另一个名字在 SGD 优化器中L2 正则化等价于 Weight Decay权重衰减。Weight Decay 的更新公式是$$w w - \eta \cdot (\nabla L \lambda w)$$拆开看$\nabla L$ 是普通梯度下降$\lambda w$ 是额外的权重衰减这在数学上等价于在损失函数里加 $\lambda \sum w^2$ 项。所以很多人把 L2 正则化和 Weight Decay 混用。但要注意在 Adam 等自适应学习率优化器中L2 正则化和 Weight Decay 并不完全等价。Adam 对每个参数有自己的学习率调整L2 正则化的效果会被自适应学习率吃掉一部分。如果你用 Adam 优化器想做 L2 正则化需要用 AdamW——一个专门修复了这个问题的变体。对比图展示未正则化的权重分布呈两极分化部分值极大L2 正则化后的权重分布更集中更接近零用生活场景来理解正则化考试评分通常不仅看答案对不对还要看解题思路是否简洁优雅。同样正确的两个答案一个用了 10 行推导一个用了 3 行推导3 行的通常得分更高。因为简洁的解法更可能是真正理解了而不是碰巧试对了。正则化就是那个给复杂解法扣分的机制。模型如果用很复杂的方式拟合了训练数据那它的分数会被扣掉一部分。这样模型就不会去死记硬背那些只在训练数据上有效的小聪明解法。实战避坑代码层面的经验总结理论说完了聊聊实际代码里怎么用。Dropout 概率怎么选p 通常在 0.1 到 0.5 之间。p 太小比如 0.01正则化效果不明显等于没加。p 太大比如 0.8模型学不到足够的信息严重欠拟合。一般从 0.2 或 0.3 开始尝试然后根据效果调整。Dropout 只在训练阶段生效这是一个超级容易踩的坑。# 训练阶段 model.train() # Dropout 生效 output model(x) # 测试阶段 model.eval() # Dropout 关闭 output model(x)如果在测试时忘记切换到model.eval()Dropout 还在随机丢弃神经元输出结果会非常不稳定。很多新手在这个坑里卡了好几天。PyTorch 代码示例import torch import torch.nn as nn class Net(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 256) self.dropout1 nn.Dropout(0.3) # p0.3 self.fc2 nn.Linear(256, 10) def forward(self, x): x torch.relu(self.fc1(x)) x self.dropout1(x) # Dropout x self.fc2(x) return x # 优化器带 L2 正则化通过 weight_decay optimizer torch.optim.Adam(model.parameters(), lr0.001, weight_decay0.01)训练循环里一定要记得模式切换for epoch in range(epochs): model.train() # 切换到训练模式 for batch in train_loader: optimizer.zero_grad() output model(batch) loss loss_fn(output, labels) loss.backward() optimizer.step() model.eval() # 切换到评估模式 with torch.no_grad(): for batch in val_loader: output model(batch) # 计算验证集指标Dropout 放在哪里一般放在全连接层Linear/Dense的后面。卷积层后面通常不太用 Dropout因为卷积层本身就具有参数共享的特性已经有一定的正则化效果。放在哪里效果最好没有标准答案需要实验。一般从靠近输出的层开始尝试因为输出层附近的层最容易过拟合。PyTorch 代码截图展示模型定义、Dropout 层使用、model.train() 和 model.eval() 切换以及 weight_decay 参数配置把这些配置参数想象成调节游戏难度的旋钮Dropout p 值越大游戏越难模型能学到的东西越少L2 weight_decay 越大游戏越难数据量越大、模型越简单可以把难度调低一点需要反复摸索才能找到最佳配置。最后聊两句Dropout 和正则化看起来是两种完全不同的技巧。一个是从网络结构入手一个是从损失函数入手。但它们在做同一件事让模型在记忆训练数据和学习通用规律之间找到平衡。Dropout 让每个神经元都得学会独立工作不能依赖特定的邻居。正则化给复杂模型加税迫使模型保持简洁。一个是随机裁员一个是加复杂度税。都能让模型不再死记硬背而是真正学会举一反三。理解了背后的原理你就能举一反三根据实际问题灵活选择或组合这些工具。你的数据量很大、模型很轻量Dropout 是个好选择。你的模型很复杂、担心权重太大L2 正则化更合适。有时候两者一起用效果更好。关键在于它们都在做同一件事——让模型不要过度拟合训练数据。下篇预告Dropout 和正则化解决了模型太复杂的问题。但处理图像这种数据还有另一个思路设计更适合图像的网络结构。这就是下篇要聊的卷积神经网络 CNN。CNN 是怎么工作的为什么它特别适合处理图像咱们下回分解。

Dropout 和正则化：深度学习如何缓解过拟合？

相关推荐

Claude Sonnet 写完整项目翻车记：Work Buddy 救我时，AI 已删了 3 个核心模块

统计检验｜商务客与休闲游客，酒店满意度差距只在入住中？

如何把某一个 commit 合并到当前分支？Git cherry-pick 完整教程

更多资讯

用 thiserror 派生宏消除自定义错误样板代码：100-exercises-to-learn-rust 的 TicketNewError 实战

IDM-VTON 人体解析工具链：Detectron2 tools 目录训练、评测与可视化脚本全解析

基于多视觉语言模型交叉描述的智能眼镜图像理解与质量评估实战指南（OpenGlass 项目）

Toonflow 更新说明全解读：从 21 种语言界面到画布复制、FFmpeg 工具与桌面更新机制

AI-For-Beginners Game Jam 作业实战指南：以「过去—现在—未来」框架剖析游戏中的 AI 进化

telegram - api-reference

今日更新

45个经典Linux面试题：从命令到网络排障的完整考点解析

SAP生产预留实战指南：MB21/MB23/MB25协同与MRP集成

编译原理实验：递归下降分析器消除左递归与避坑指南

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？