简介一份基于深度学习的SRGAN图像超分重建算法Python实现资源面向深度学习图像处理方向的学习者与开发者适用于低分辨率图像的超分辨率重建、生成对抗网络实践及超分效果对比等场景。压缩包共199个文件约297.44MB涵盖Python源码、jpg/bmp图像样本、pth预训练模型权重、xml/json配置、avi/mp4演示视频及TensorBoard训练日志等源码已添加中文注释并调试通过可完整运行训练与测试流程支持直接加载权重进行推理也可基于自带数据集微调模型。包内提供的训练测试数据可帮助快速验证算法其中COCO等大规模数据集需按作者博客指引下载环境依赖请严格参照博客版本安装以避免兼容问题。目前已有4457人学习使用适合希望快速搭建SRGAN实验环境、深入理解超分重建原理并开展二次开发的图像算法爱好者。 做图像超分的人应该都听说过SRGAN这个基于生成对抗网络GAN的照片级超分辨率算法算是深度学习在图像重建领域的现象级工作。很多入门者拿到开源代码后最大的障碍不是看不懂论文而是把工程跑起来——数据集怎么组织、损失函数怎么写、训练多久才能出效果每一步都能卡住一批人。这篇博客我会以完整的Python实现为线索把SRGAN从网络结构、损失设计到数据准备、训练调参的整个链路拆开讲清楚让你拿到代码后能真正复现出论文里的效果而不是停留在“训练完了但结果全是糊的”这种状态。这篇文章适合已经掌握Python基础、想动手实现经典深度学习算法的读者也适合正在做图像增强、视频超分相关课题需要一个高精度baseline的老手。内容会覆盖数据集下载与预处理、生成器和判别器的核心代码、训练过程中的关键参数调整以及我实际操作中踩过的坑。1. SRGAN项目概述与核心思路拆解1.1 SRGAN到底解决了什么问题图像超分辨率重建Super-Resolution本质上是一个病态问题一张低分辨率图像可能对应无数张不同的高分辨率图像。传统插值方法双三次、最近邻只做数学运算完全没考虑纹理和细节的合理性所以放大后的图片边缘发虚细节像涂了一层糊。基于深度学习的SRCNN、VDSR等方法虽然通过卷积网络学习低-高分辨率映射但它们在训练时用MSE作为损失函数模型倾向于输出一个“平均化”的结果——也就是所有潜在高分辨率图像的像素均值。这类结果通常PSNR很高但人眼看着就是不舒服尤其是皮肤纹理、草地、头发这种高频区域会显得异常平滑甚至产生塑料感。SRGAN的核心贡献在于引入生成对抗网络给超分任务换个目标。用生成器Generator从低分辨率图像生成高分辨率图像同时用判别器Discriminator判断输入图像是“真实的高分辨率图”还是“生成器伪造的高分辨率图”。两个网络交替训练生成器被迫学习如何骗过判别器最终输出的图像在纹理细节上更接近真实图像而不是单纯追求像素误差的最小化。这就是SRGAN和之前方法最本质的区别——从MSE导向的像素优化转向感知导向的对抗训练。1.2 为什么是生成对抗网络内容损失与对抗损失的博弈如果只用对抗损失训练生成器模型很容易产生幻觉——生成一些看起来自然但和原始内容完全不符的纹理。所以SRGAN在对抗损失之外还引入了一个内容损失Content Loss但这里的重点是把损失从像素空间搬到了特征空间。论文的做法是把生成图像和真实高分辨率图像同时输入VGG19网络取某一层的特征图计算MSE损失。这样模型不再约束每个像素的数值完全一致而是约束高层语义特征尽可能接近。简单打个比方像素损失就像要求两篇文章的每个字都一样而感知损失只需要它们表达的意思一样。前者容易陷入死板后者才容许模型在细节上有发挥空间。最终总损失由感知损失和对抗损失加权组合这两个部分就是一场平衡博弈。提示SRGAN原版代码中内容损失默认使用VGG19的relu5_4层特征实际操作中我也尝试过relu3_3或relu4_4效果差别不大但早期迭代用浅层特征会收敛更快后期要提升细节性可以切到深层特征。这点我先放在这后面训练调参部分再详谈。2. 环境搭建Python与PyTorch的依赖选择2.1 版本选型与硬件要求SRGAN本身对框架版本并不挑剔但为了少踩坑我建议固定一个相对稳定的环境组合。我的开发机配置是Python 3.8.10 PyTorch 1.12.1 CUDA 11.3这套组合在Windows和Linux上都跑得很顺。Python版本不建议高于3.10因为部分依赖库比如旧版torchvision在高版本下可能没有对应的wheel包偶尔会出现诡异的内存报错。硬件方面如果你只有CPU训练会非常痛苦。SRGAN的生成器包含16个残差块单张96x96的低分辨率输入在CPU上前向推理都要数十毫秒训练迭代一轮可能要几十分钟。我的建议是至少准备一块8GB显存的GPUGTX 1070以上即可显存低于6GB的话batch size只能设为1或2训练会很不稳定。如果你确实只有CPU环境可以把输入裁剪尺寸从96改为64残差块数量从16减到8先跑通流程再上完整配置。2.2 依赖安装与目录结构安装依赖非常简单核心只需要torch、torchvision、numpy、opencv-python、tqdm、pillow这几个库。命令如下pip install torch1.12.1 torchvision0.13.1 --index-url https://download.pytorch.org/whl/cu113 pip install numpy opencv-python tqdm pillow注意torch和torchvision的版本必须匹配否则import时会直接报错。如果使用更高版本的PyTorch比如2.x代码里基本不需要改动但务必确认CUDA版本与显卡驱动兼容。代码目录我建议这样组织项目结构清晰后面调试起来效率高SRGAN_pytorch/ ├── model.py # 生成器、判别器、VGG感知损失定义 ├── dataset.py # 数据加载与预处理 ├── train.py # 训练循环 ├── test.py # 推理测试脚本 ├── data/ │ ├── DIV2K_train_HR/ # 高分辨率训练图 │ ├── DIV2K_train_LR/ # 低分辨率训练图 │ └── test_images/ # 测试图 └── checkpoints/ # 模型权重保存3. 核心代码生成器、判别器与损失函数实现3.1 生成器网络残差块与上采样模块生成器采用“16个残差块 2倍像素重组上采样”的结构。残差块的作用是让梯度在网络中顺畅流动同时让网络学习图像的残差信息高频细节而不是从头生成所有内容。每个残差块包含两个3x3卷积、BatchNorm和ReLU结构如下class ResidualBlock(nn.Module): def __init__(self, channels64): super(ResidualBlock, self).__init__() self.conv1 nn.Conv2d(channels, channels, kernel_size3, padding1) self.bn1 nn.BatchNorm2d(channels) self.relu nn.PReLU() self.conv2 nn.Conv2d(channels, channels, kernel_size3, padding1) self.bn2 nn.BatchNorm2d(channels) def forward(self, x): residual x out self.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) return out residual整体生成器先通过一层卷积把输入扩展到64通道经过16个残差块后利用PixelShuffle亚像素卷积实现两倍上采样。PixelShuffle的原理是将通道维度的像素重新排列到空间维度比如把[batch, 256, H, W]重排成[batch, 64, 2H, 2W]这样比转置卷积产生更少的棋盘伪影。论文选择上采样4倍是在末尾叠加两个PixelShuffle模块如果你做的是2倍超分一个就够。3.2 判别器网络设计判别器的作用是区分真实高分辨率图和生成器输出。它采用8层卷积加LeakyReLU的结构通道数从64逐步翻倍到512最后通过两个全连接层输出一个标量概率。这本质是一个二分类网络但在训练中我建议使用LSGAN的损失形式即最小二乘损失相比传统交叉熵梯度信息更丰富训练更稳定。关键代码片段如下class Discriminator(nn.Module): def __init__(self, input_shape(3, 96, 96)): super(Discriminator, self).__init__() self.features nn.Sequential( nn.Conv2d(3, 64, kernel_size3, stride1, padding1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 64, kernel_size3, stride2, padding1), nn.BatchNorm2d(64), nn.LeakyReLU(0.2, inplaceTrue), # 后续层类似通道数倍增 ) self.classifier nn.Sequential( nn.Linear(64 * 12 * 12, 1024), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(1024, 1), nn.Sigmoid() ) def forward(self, x): x self.features(x) x torch.flatten(x, 1) return self.classifier(x)3.3 感知损失与对抗损失的实现细节感知损失用VGG19提取特征代码实现如下。如果你想在中间层切换只需要修改feature_extractor的输出位置。class VGGLoss(nn.Module): def __init__(self, feature_layer35): # relu5_4 super(VGGLoss, self).__init__() vgg models.vgg19(pretrainedTrue).features self.loss_network nn.Sequential(*list(vgg.children())[:feature_layer]).eval() for param in self.loss_network.parameters(): param.requires_grad False self.loss nn.MSELoss() def forward(self, fake, real): return self.loss(self.loss_network(fake), self.loss_network(real))这里有一个非常关键的坑VGG网络要求输入归一化到ImageNet的标准范围mean[0.485,0.456,0.406]std[0.229,0.224,0.225]而SRGAN训练一般都是把图像归一化到[-1,1]。如果你直接用[-1,1]的输入去算VGG损失虽然网络不会报错但提取的特征完全不在预期分布内损失数值会失真训练极不稳定。我的做法是在VGG损失模块内部加一次反归一化操作把输入从[-1,1]映射回[0,1]再做ImageNet标准化。对抗损失用最小二乘形式LSGAN即判别器对真图输出接近1对假图输出接近0生成器则努力让假图的判别输出接近1。相比标准GAN的log损失LSGAN的梯度不容易消失这对超分任务这种高频细节生成特别合适。4. 数据集准备DIV2K下载与数据加载写法4.1 数据集选型训练集和测试集怎么搭配SRGAN原论文训练使用DIV2K数据集这是超分领域的主流基准数据集包含800张高清训练图片和100张验证图片图像内容涵盖人物、动物、建筑、自然风景等多样性足够。测试集通常搭配Set5、Set14、BSD100和Urban100这些标准基准方便和论文以及其他算法的PSNR/SSIM结果直接对比。这里给一个实际建议如果网络下载大文件不方便或者只想先跑通流程可以先用DIV2K中的前100张图做训练集10张做验证集。效果不会差太多但训练时间能节省一半以上。等代码完全跑通、确认没有逻辑问题后再用完整数据集做最终训练。数据组织上高分辨率原图和对应的低分辨率图要放在同一个目录前缀下文件名一一对应比如0001.png对应0001x4.png。为了方便我写了脚本直接预处理生成4倍下采样的LR图使用cv2的INTER_CUBIC插值。注意这里必须用和论文相同的双三次下采样方式否则模型学到的是你自己的下采样规律换到真实场景就会失效。4.2 预处理与Dataloader实现训练时不能直接把整张大图喂进网络显存受不了。常规做法是从HR图像中随机裁剪出96x96的patch再下采样生成对应的24x24的LR图然后送入网络。裁剪位置随机、左右翻转随机、旋转90度倍数随机这些数据增强能显著提升模型泛化能力。核心实现如下class SRDataset(Dataset): def __init__(self, hr_dir, lr_dir, hr_size96, scale4, trainTrue): self.hr_images sorted(glob.glob(os.path.join(hr_dir, *.png))) self.lr_images sorted(glob.glob(os.path.join(lr_dir, *.png))) self.hr_size hr_size self.scale scale self.train train def __getitem__(self, idx): hr cv2.imread(self.hr_images[idx])[:, :, ::-1] # BGR转RGB lr cv2.imread(self.lr_images[idx])[:, :, ::-1] if self.train: ih, iw hr.shape[:2] x random.randint(0, iw - self.hr_size) y random.randint(0, ih - self.hr_size) hr hr[y:yself.hr_size, x:xself.hr_size, :] lr_r self.hr_size // self.scale lx x // self.scale ly y // self.scale lr lr[ly:lylr_r, lx:lxlr_r, :] if random.random() 0.5: hr hr[:, ::-1, :] lr lr[:, ::-1, :] # 归一化到[-1, 1] hr hr.astype(np.float32) / 127.5 - 1.0 lr lr.astype(np.float32) / 127.5 - 1.0 hr torch.from_numpy(hr.transpose(2, 0, 1)) lr torch.from_numpy(lr.transpose(2, 0, 1)) return lr, hr需要注意的是LR图像尺寸必须大于等于24x24如果原图太小需要先整体resize。Dataloader设置num_workers4以上可以加快数据读取但如果是在Windows系统上跑num_workers设太高有时会引起内存爆炸建议从2开始调。5. 训练调参从过拟合到收敛的实战记录5.1 训练策略与损失权重调整训练SRGAN我把它分成两个阶段而不是直接从头就把两个损失加一起训练。第一阶段只使用感知损失VGG loss训练生成器关掉判别器。这一步相当于先用稳定损失把生成器带到合理的参数空间大约跑50个epoch让生成器输出的图像结构正确、色彩正常再引入对抗训练。第二阶段固定生成器把判别器和生成器联合训练。生成器损失是感知损失加对抗损失判别器损失是判断真实图和生成图的能力损失。原论文中感知损失权重设为1对抗损失权重设为1e-3。这个比例我试过很多次对抗损失权重大了容易出伪影小了又起不到细化纹理的作用。0.001是一个比较安全的起点训练100个epoch后如果想增强纹理细节可以逐步提高到0.005。学习率设置方面生成器和判别器的初始学习率都设为1e-4每30个epoch衰减为原来的0.5。优化器选择Adambeta10.9beta20.999。注意判别器和生成器需要分别设置独立的优化器两者梯度互不干扰。5.2 评估方法与训练结果对比训练过程中建议每5个epoch跑一次验证集把生成的高分辨率图像保存下来。很多人只看loss曲线这很容易被误导——GAN训练的loss曲线本身波动就大而且内容损失和对抗损失的数值不在一个量级。更直观的做法是每轮保存同一张验证图对比它与bicubic插值、HR原图的差异你会发现前30个epoch生成图逐渐从模糊变得结构清晰50-80个epoch开始出现纹理性细节后期如果出现色彩偏差或异常纹理就说明对抗损失过强了。定量评估用PSNR和SSIM。PSNR只管像素层面的误差SRGAN在这两个指标上并不占优势甚至低于传统的MSE训练模型所以你看到PSNR下降不要慌只要人眼观感更好就说明训练出了GAN的预期效果。论文里也明确说了SRGAN的目标是感知质量而不是像素指标。如果你的项目强制要求PSNR也要高可以考虑后处理比如把SRGAN输出与双三次插值结果做一个简单的加权融合或者用EDSR先跑一版结果再微调。训练结束后保存生成器的state_dict就够了torch.save(generator.state_dict(), checkpoints/srgan_generator.pth)推理时的加载也一样只需要生成器不再需要判别器和VGG损失网络。6. 常见问题排查崩溃、伪影与显存不足6.1 训练不收敛、生成图像模糊这个是最常见的现象。如果你发现训练了很久生成图像还是模糊的先别急着调超参数按下面的顺序逐一排查确认感知损失是否生效打印VGG loss数值如果始终不下降很可能是VGG输入归一化范围错误或者VGG网络没设eval模式导致BatchNorm层统计量一直变。确认判别器是否太强判别器如果收敛得太快损失接近0生成器就得不到有效梯度整体训练会陷入停滞。解决办法是降低判别器学习率或者在训练判别器时随机跳过几次更新。确认LR图是否配对正确很多人直接把HR图塞进网络忘记下采样生成LR图生成器学到的映射关系完全错位。检查Dataloader里输出的一对图HR里的人和LR里的人是同一位置。6.2 伪影、纹理重复与显存不足伪影通常表现为生成图像中出现不自然的纹理重复、环状结构或者斑点状噪声。我的排查经验是先看是否“细节过度增强”对抗损失权重过大判别器被“骗”得太容易生成器就放飞自我。把对抗损失权重从1e-3降到5e-4试试。另外如果训练集图片太少比如只有几十张模型会把看到的纹理背下来在验证集上反复复用造成重复纹理。解决办法是增加数据增强或换更大的数据集。显存不足OOM的解法比较直接减小batch_size从16降到8或4、减小裁剪patch尺寸96改为64、关闭梯度裁剪。还有一个很多人不知道的技巧把生成器的BatchNorm层换成InstanceNorm显存占用会明显下降但效果可能略微受影响。如果训练到一半爆显存可以检查一下是否有pytorch的缓存未释放在迭代循环里加一行torch.cuda.empty_cache()能缓解碎片化问题。实践中遇到的问题速查表现象可能原因解决建议生成图全为灰色/黑色图像归一化范围错误或通道顺序错乱检查是否BGR转RGB检查归一化是否匹配训练loss不下降判别器过强/感知损失没生效降低D学习率检查VGG输入范围图像色彩偏移数据增强时RGB通道被破坏数据增强统一作用于所有通道有重复纹理数据集太小/对抗权重过大换大数据集或降低对抗权重训练到中途OOM显存碎片化或batch过大减小batch加empty_cache6.3 推理测试时的参数细节推理阶段也有坑。训练时我用了随机裁剪推理时则需要把整张LR图输入网络如果LR图尺寸不是2的幂次倍可能会在下采样模块处报维度错误。解决办法是先把输入图像padding到2的倍数尺寸推理完成后再去除padding区域。另外SRGAN的生成器默认输入输出像素范围都是[-1,1]保存图片时要先逆归一化回[0,255]否则导出的图像全是一片灰色。实战心得我最开始跑的SRGAN在DIV2K上训练了80个epochPSNR只有28.3dB比论文报告的32dB低不少。后来发现是我数据预处理里LR图下采样函数用错了导致LR图和公开数据集里的分布不一致。换回CV2的INTER_CUBIC并用4倍尺度生成后效果立竿见影。这类问题代码不报错但严重影响最终质量排查起来也最耗时间建议大家一开始就把数据流的每一步都打印检查一遍。这套SRGAN完整资源跑下来你对GAN的对抗训练、感知损失的设计理念以及PyTorch的训练流程调度都会有更实际的感知。如果后续想进一步提升效果可以在同一个代码框架里尝试把生成器换成RCAN或者把VGG损失换成LPIPS代码改动都不大训练思路可以复用。本文还有配套的精品资源点击获取
简介一份基于深度学习的SRGAN图像超分重建算法Python实现资源面向深度学习图像处理方向的学习者与开发者适用于低分辨率图像的超分辨率重建、生成对抗网络实践及超分效果对比等场景。压缩包共199个文件约297.44MB涵盖Python源码、jpg/bmp图像样本、pth预训练模型权重、xml/json配置、avi/mp4演示视频及TensorBoard训练日志等源码已添加中文注释并调试通过可完整运行训练与测试流程支持直接加载权重进行推理也可基于自带数据集微调模型。包内提供的训练测试数据可帮助快速验证算法其中COCO等大规模数据集需按作者博客指引下载环境依赖请严格参照博客版本安装以避免兼容问题。目前已有4457人学习使用适合希望快速搭建SRGAN实验环境、深入理解超分重建原理并开展二次开发的图像算法爱好者。 做图像超分的人应该都听说过SRGAN这个基于生成对抗网络GAN的照片级超分辨率算法算是深度学习在图像重建领域的现象级工作。很多入门者拿到开源代码后最大的障碍不是看不懂论文而是把工程跑起来——数据集怎么组织、损失函数怎么写、训练多久才能出效果每一步都能卡住一批人。这篇博客我会以完整的Python实现为线索把SRGAN从网络结构、损失设计到数据准备、训练调参的整个链路拆开讲清楚让你拿到代码后能真正复现出论文里的效果而不是停留在“训练完了但结果全是糊的”这种状态。这篇文章适合已经掌握Python基础、想动手实现经典深度学习算法的读者也适合正在做图像增强、视频超分相关课题需要一个高精度baseline的老手。内容会覆盖数据集下载与预处理、生成器和判别器的核心代码、训练过程中的关键参数调整以及我实际操作中踩过的坑。1. SRGAN项目概述与核心思路拆解1.1 SRGAN到底解决了什么问题图像超分辨率重建Super-Resolution本质上是一个病态问题一张低分辨率图像可能对应无数张不同的高分辨率图像。传统插值方法双三次、最近邻只做数学运算完全没考虑纹理和细节的合理性所以放大后的图片边缘发虚细节像涂了一层糊。基于深度学习的SRCNN、VDSR等方法虽然通过卷积网络学习低-高分辨率映射但它们在训练时用MSE作为损失函数模型倾向于输出一个“平均化”的结果——也就是所有潜在高分辨率图像的像素均值。这类结果通常PSNR很高但人眼看着就是不舒服尤其是皮肤纹理、草地、头发这种高频区域会显得异常平滑甚至产生塑料感。SRGAN的核心贡献在于引入生成对抗网络给超分任务换个目标。用生成器Generator从低分辨率图像生成高分辨率图像同时用判别器Discriminator判断输入图像是“真实的高分辨率图”还是“生成器伪造的高分辨率图”。两个网络交替训练生成器被迫学习如何骗过判别器最终输出的图像在纹理细节上更接近真实图像而不是单纯追求像素误差的最小化。这就是SRGAN和之前方法最本质的区别——从MSE导向的像素优化转向感知导向的对抗训练。1.2 为什么是生成对抗网络内容损失与对抗损失的博弈如果只用对抗损失训练生成器模型很容易产生幻觉——生成一些看起来自然但和原始内容完全不符的纹理。所以SRGAN在对抗损失之外还引入了一个内容损失Content Loss但这里的重点是把损失从像素空间搬到了特征空间。论文的做法是把生成图像和真实高分辨率图像同时输入VGG19网络取某一层的特征图计算MSE损失。这样模型不再约束每个像素的数值完全一致而是约束高层语义特征尽可能接近。简单打个比方像素损失就像要求两篇文章的每个字都一样而感知损失只需要它们表达的意思一样。前者容易陷入死板后者才容许模型在细节上有发挥空间。最终总损失由感知损失和对抗损失加权组合这两个部分就是一场平衡博弈。提示SRGAN原版代码中内容损失默认使用VGG19的relu5_4层特征实际操作中我也尝试过relu3_3或relu4_4效果差别不大但早期迭代用浅层特征会收敛更快后期要提升细节性可以切到深层特征。这点我先放在这后面训练调参部分再详谈。2. 环境搭建Python与PyTorch的依赖选择2.1 版本选型与硬件要求SRGAN本身对框架版本并不挑剔但为了少踩坑我建议固定一个相对稳定的环境组合。我的开发机配置是Python 3.8.10 PyTorch 1.12.1 CUDA 11.3这套组合在Windows和Linux上都跑得很顺。Python版本不建议高于3.10因为部分依赖库比如旧版torchvision在高版本下可能没有对应的wheel包偶尔会出现诡异的内存报错。硬件方面如果你只有CPU训练会非常痛苦。SRGAN的生成器包含16个残差块单张96x96的低分辨率输入在CPU上前向推理都要数十毫秒训练迭代一轮可能要几十分钟。我的建议是至少准备一块8GB显存的GPUGTX 1070以上即可显存低于6GB的话batch size只能设为1或2训练会很不稳定。如果你确实只有CPU环境可以把输入裁剪尺寸从96改为64残差块数量从16减到8先跑通流程再上完整配置。2.2 依赖安装与目录结构安装依赖非常简单核心只需要torch、torchvision、numpy、opencv-python、tqdm、pillow这几个库。命令如下pip install torch1.12.1 torchvision0.13.1 --index-url https://download.pytorch.org/whl/cu113 pip install numpy opencv-python tqdm pillow注意torch和torchvision的版本必须匹配否则import时会直接报错。如果使用更高版本的PyTorch比如2.x代码里基本不需要改动但务必确认CUDA版本与显卡驱动兼容。代码目录我建议这样组织项目结构清晰后面调试起来效率高SRGAN_pytorch/ ├── model.py # 生成器、判别器、VGG感知损失定义 ├── dataset.py # 数据加载与预处理 ├── train.py # 训练循环 ├── test.py # 推理测试脚本 ├── data/ │ ├── DIV2K_train_HR/ # 高分辨率训练图 │ ├── DIV2K_train_LR/ # 低分辨率训练图 │ └── test_images/ # 测试图 └── checkpoints/ # 模型权重保存3. 核心代码生成器、判别器与损失函数实现3.1 生成器网络残差块与上采样模块生成器采用“16个残差块 2倍像素重组上采样”的结构。残差块的作用是让梯度在网络中顺畅流动同时让网络学习图像的残差信息高频细节而不是从头生成所有内容。每个残差块包含两个3x3卷积、BatchNorm和ReLU结构如下class ResidualBlock(nn.Module): def __init__(self, channels64): super(ResidualBlock, self).__init__() self.conv1 nn.Conv2d(channels, channels, kernel_size3, padding1) self.bn1 nn.BatchNorm2d(channels) self.relu nn.PReLU() self.conv2 nn.Conv2d(channels, channels, kernel_size3, padding1) self.bn2 nn.BatchNorm2d(channels) def forward(self, x): residual x out self.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) return out residual整体生成器先通过一层卷积把输入扩展到64通道经过16个残差块后利用PixelShuffle亚像素卷积实现两倍上采样。PixelShuffle的原理是将通道维度的像素重新排列到空间维度比如把[batch, 256, H, W]重排成[batch, 64, 2H, 2W]这样比转置卷积产生更少的棋盘伪影。论文选择上采样4倍是在末尾叠加两个PixelShuffle模块如果你做的是2倍超分一个就够。3.2 判别器网络设计判别器的作用是区分真实高分辨率图和生成器输出。它采用8层卷积加LeakyReLU的结构通道数从64逐步翻倍到512最后通过两个全连接层输出一个标量概率。这本质是一个二分类网络但在训练中我建议使用LSGAN的损失形式即最小二乘损失相比传统交叉熵梯度信息更丰富训练更稳定。关键代码片段如下class Discriminator(nn.Module): def __init__(self, input_shape(3, 96, 96)): super(Discriminator, self).__init__() self.features nn.Sequential( nn.Conv2d(3, 64, kernel_size3, stride1, padding1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 64, kernel_size3, stride2, padding1), nn.BatchNorm2d(64), nn.LeakyReLU(0.2, inplaceTrue), # 后续层类似通道数倍增 ) self.classifier nn.Sequential( nn.Linear(64 * 12 * 12, 1024), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(1024, 1), nn.Sigmoid() ) def forward(self, x): x self.features(x) x torch.flatten(x, 1) return self.classifier(x)3.3 感知损失与对抗损失的实现细节感知损失用VGG19提取特征代码实现如下。如果你想在中间层切换只需要修改feature_extractor的输出位置。class VGGLoss(nn.Module): def __init__(self, feature_layer35): # relu5_4 super(VGGLoss, self).__init__() vgg models.vgg19(pretrainedTrue).features self.loss_network nn.Sequential(*list(vgg.children())[:feature_layer]).eval() for param in self.loss_network.parameters(): param.requires_grad False self.loss nn.MSELoss() def forward(self, fake, real): return self.loss(self.loss_network(fake), self.loss_network(real))这里有一个非常关键的坑VGG网络要求输入归一化到ImageNet的标准范围mean[0.485,0.456,0.406]std[0.229,0.224,0.225]而SRGAN训练一般都是把图像归一化到[-1,1]。如果你直接用[-1,1]的输入去算VGG损失虽然网络不会报错但提取的特征完全不在预期分布内损失数值会失真训练极不稳定。我的做法是在VGG损失模块内部加一次反归一化操作把输入从[-1,1]映射回[0,1]再做ImageNet标准化。对抗损失用最小二乘形式LSGAN即判别器对真图输出接近1对假图输出接近0生成器则努力让假图的判别输出接近1。相比标准GAN的log损失LSGAN的梯度不容易消失这对超分任务这种高频细节生成特别合适。4. 数据集准备DIV2K下载与数据加载写法4.1 数据集选型训练集和测试集怎么搭配SRGAN原论文训练使用DIV2K数据集这是超分领域的主流基准数据集包含800张高清训练图片和100张验证图片图像内容涵盖人物、动物、建筑、自然风景等多样性足够。测试集通常搭配Set5、Set14、BSD100和Urban100这些标准基准方便和论文以及其他算法的PSNR/SSIM结果直接对比。这里给一个实际建议如果网络下载大文件不方便或者只想先跑通流程可以先用DIV2K中的前100张图做训练集10张做验证集。效果不会差太多但训练时间能节省一半以上。等代码完全跑通、确认没有逻辑问题后再用完整数据集做最终训练。数据组织上高分辨率原图和对应的低分辨率图要放在同一个目录前缀下文件名一一对应比如0001.png对应0001x4.png。为了方便我写了脚本直接预处理生成4倍下采样的LR图使用cv2的INTER_CUBIC插值。注意这里必须用和论文相同的双三次下采样方式否则模型学到的是你自己的下采样规律换到真实场景就会失效。4.2 预处理与Dataloader实现训练时不能直接把整张大图喂进网络显存受不了。常规做法是从HR图像中随机裁剪出96x96的patch再下采样生成对应的24x24的LR图然后送入网络。裁剪位置随机、左右翻转随机、旋转90度倍数随机这些数据增强能显著提升模型泛化能力。核心实现如下class SRDataset(Dataset): def __init__(self, hr_dir, lr_dir, hr_size96, scale4, trainTrue): self.hr_images sorted(glob.glob(os.path.join(hr_dir, *.png))) self.lr_images sorted(glob.glob(os.path.join(lr_dir, *.png))) self.hr_size hr_size self.scale scale self.train train def __getitem__(self, idx): hr cv2.imread(self.hr_images[idx])[:, :, ::-1] # BGR转RGB lr cv2.imread(self.lr_images[idx])[:, :, ::-1] if self.train: ih, iw hr.shape[:2] x random.randint(0, iw - self.hr_size) y random.randint(0, ih - self.hr_size) hr hr[y:yself.hr_size, x:xself.hr_size, :] lr_r self.hr_size // self.scale lx x // self.scale ly y // self.scale lr lr[ly:lylr_r, lx:lxlr_r, :] if random.random() 0.5: hr hr[:, ::-1, :] lr lr[:, ::-1, :] # 归一化到[-1, 1] hr hr.astype(np.float32) / 127.5 - 1.0 lr lr.astype(np.float32) / 127.5 - 1.0 hr torch.from_numpy(hr.transpose(2, 0, 1)) lr torch.from_numpy(lr.transpose(2, 0, 1)) return lr, hr需要注意的是LR图像尺寸必须大于等于24x24如果原图太小需要先整体resize。Dataloader设置num_workers4以上可以加快数据读取但如果是在Windows系统上跑num_workers设太高有时会引起内存爆炸建议从2开始调。5. 训练调参从过拟合到收敛的实战记录5.1 训练策略与损失权重调整训练SRGAN我把它分成两个阶段而不是直接从头就把两个损失加一起训练。第一阶段只使用感知损失VGG loss训练生成器关掉判别器。这一步相当于先用稳定损失把生成器带到合理的参数空间大约跑50个epoch让生成器输出的图像结构正确、色彩正常再引入对抗训练。第二阶段固定生成器把判别器和生成器联合训练。生成器损失是感知损失加对抗损失判别器损失是判断真实图和生成图的能力损失。原论文中感知损失权重设为1对抗损失权重设为1e-3。这个比例我试过很多次对抗损失权重大了容易出伪影小了又起不到细化纹理的作用。0.001是一个比较安全的起点训练100个epoch后如果想增强纹理细节可以逐步提高到0.005。学习率设置方面生成器和判别器的初始学习率都设为1e-4每30个epoch衰减为原来的0.5。优化器选择Adambeta10.9beta20.999。注意判别器和生成器需要分别设置独立的优化器两者梯度互不干扰。5.2 评估方法与训练结果对比训练过程中建议每5个epoch跑一次验证集把生成的高分辨率图像保存下来。很多人只看loss曲线这很容易被误导——GAN训练的loss曲线本身波动就大而且内容损失和对抗损失的数值不在一个量级。更直观的做法是每轮保存同一张验证图对比它与bicubic插值、HR原图的差异你会发现前30个epoch生成图逐渐从模糊变得结构清晰50-80个epoch开始出现纹理性细节后期如果出现色彩偏差或异常纹理就说明对抗损失过强了。定量评估用PSNR和SSIM。PSNR只管像素层面的误差SRGAN在这两个指标上并不占优势甚至低于传统的MSE训练模型所以你看到PSNR下降不要慌只要人眼观感更好就说明训练出了GAN的预期效果。论文里也明确说了SRGAN的目标是感知质量而不是像素指标。如果你的项目强制要求PSNR也要高可以考虑后处理比如把SRGAN输出与双三次插值结果做一个简单的加权融合或者用EDSR先跑一版结果再微调。训练结束后保存生成器的state_dict就够了torch.save(generator.state_dict(), checkpoints/srgan_generator.pth)推理时的加载也一样只需要生成器不再需要判别器和VGG损失网络。6. 常见问题排查崩溃、伪影与显存不足6.1 训练不收敛、生成图像模糊这个是最常见的现象。如果你发现训练了很久生成图像还是模糊的先别急着调超参数按下面的顺序逐一排查确认感知损失是否生效打印VGG loss数值如果始终不下降很可能是VGG输入归一化范围错误或者VGG网络没设eval模式导致BatchNorm层统计量一直变。确认判别器是否太强判别器如果收敛得太快损失接近0生成器就得不到有效梯度整体训练会陷入停滞。解决办法是降低判别器学习率或者在训练判别器时随机跳过几次更新。确认LR图是否配对正确很多人直接把HR图塞进网络忘记下采样生成LR图生成器学到的映射关系完全错位。检查Dataloader里输出的一对图HR里的人和LR里的人是同一位置。6.2 伪影、纹理重复与显存不足伪影通常表现为生成图像中出现不自然的纹理重复、环状结构或者斑点状噪声。我的排查经验是先看是否“细节过度增强”对抗损失权重过大判别器被“骗”得太容易生成器就放飞自我。把对抗损失权重从1e-3降到5e-4试试。另外如果训练集图片太少比如只有几十张模型会把看到的纹理背下来在验证集上反复复用造成重复纹理。解决办法是增加数据增强或换更大的数据集。显存不足OOM的解法比较直接减小batch_size从16降到8或4、减小裁剪patch尺寸96改为64、关闭梯度裁剪。还有一个很多人不知道的技巧把生成器的BatchNorm层换成InstanceNorm显存占用会明显下降但效果可能略微受影响。如果训练到一半爆显存可以检查一下是否有pytorch的缓存未释放在迭代循环里加一行torch.cuda.empty_cache()能缓解碎片化问题。实践中遇到的问题速查表现象可能原因解决建议生成图全为灰色/黑色图像归一化范围错误或通道顺序错乱检查是否BGR转RGB检查归一化是否匹配训练loss不下降判别器过强/感知损失没生效降低D学习率检查VGG输入范围图像色彩偏移数据增强时RGB通道被破坏数据增强统一作用于所有通道有重复纹理数据集太小/对抗权重过大换大数据集或降低对抗权重训练到中途OOM显存碎片化或batch过大减小batch加empty_cache6.3 推理测试时的参数细节推理阶段也有坑。训练时我用了随机裁剪推理时则需要把整张LR图输入网络如果LR图尺寸不是2的幂次倍可能会在下采样模块处报维度错误。解决办法是先把输入图像padding到2的倍数尺寸推理完成后再去除padding区域。另外SRGAN的生成器默认输入输出像素范围都是[-1,1]保存图片时要先逆归一化回[0,255]否则导出的图像全是一片灰色。实战心得我最开始跑的SRGAN在DIV2K上训练了80个epochPSNR只有28.3dB比论文报告的32dB低不少。后来发现是我数据预处理里LR图下采样函数用错了导致LR图和公开数据集里的分布不一致。换回CV2的INTER_CUBIC并用4倍尺度生成后效果立竿见影。这类问题代码不报错但严重影响最终质量排查起来也最耗时间建议大家一开始就把数据流的每一步都打印检查一遍。这套SRGAN完整资源跑下来你对GAN的对抗训练、感知损失的设计理念以及PyTorch的训练流程调度都会有更实际的感知。如果后续想进一步提升效果可以在同一个代码框架里尝试把生成器换成RCAN或者把VGG损失换成LPIPS代码改动都不大训练思路可以复用。本文还有配套的精品资源点击获取
