缺陷检测实战：Defect Eye代码包与Mask R-CNN解析-北京尧图网络

简介缺陷检测是工业视觉与质量控制中的核心任务也是智能质检落地时最常见的算法场景之一这套资源围绕“Defect Eye”提供了Python实现的完整检测方案包含从数据准备、模型推理到结果评估的闭环代码面向计算机视觉方向的高年级本科生、研究生以及工业质检算法入门开发者。压缩包共227个文件、约49.66MB既有103张jpg图像样本和97个py源码也包含COCO API所需的c/cpp底层模块与pyx接口以及pycocoDemo、pycocoEvalDemo两个notebook评估脚本还附带了resnet_v1_101.ckpt预训练权重、TFRecord数据、makefile构建文件与说明文档。借助预训练模型与配套标注接口可以直接复现缺陷检测流程理解bbox、mask等评估指标的统计逻辑c/cpp模块则对应掩码生成与边界框计算等底层实现便于在算法层面做二次改造或按xml配置调整网络训练细节从而适配不同的缺陷检测需求。目前已有657人浏览学习适合毕业设计、算法复现或论文实验阶段快速搭建基线系统。1. 缺陷检测为什么越来越多人直接上深度学习Defect Eye这套代码包里到底有什么缺陷检测这件事在做工业质检的人眼里一直是两条路线一类是OpenCV形态学、Halcon算子这种靠阈值、滤波和模板匹配的传统视觉方案另一类是这几年才真正在产线上跑起来的深度学习检测方案。这份名为Defect Eye的代码包就属于后者它是一个面向钢材等工业表面的多模态缺陷检测与分割项目解压后能看到完整的网络定义源码、resnet_v1_101.ckpt预训练权重、COCO官方API的Cython加速源码以及pycocoDemo和pycocoEvalDemo两个验证用的notebook。对想复现一个真实深度学习缺陷检测流程、又不想从零攒代码的人来说这份资源的价值在于模型链路是完整的从特征提取到mask输出、再到评估脚本都有不是那种只有几个py文件的半成品。适合谁用刚接触工业视觉、想看看主流检测模型怎么处理纹理背景干扰的从业者或者正在评估用实例分割替代传统边缘检测做划痕与麻点分析的人。2. 看懂Defect Eye的检测链路MCNNet多模态融合与ResNet-101权重的加载方式2.1 为什么工业表面缺陷不能只看单通道灰度传统视觉在纹理背景下的局限做过钢材、硅片或者布匹表面缺陷检测的人应该都有体会传统方案最难受的不是缺陷本身而是背景。热轧带钢表面的氧化铁皮、布匹的织物纹理、硅片的切割道痕迹这些在灰度上跟真正的缺陷非常接近。用OpenCV做一遍高斯滤波、Canny边缘、形态学闭运算参数调到某个具体钢种上有效换一个批次的光照条件就翻车阈值稍微偏一点误检率立刻失控。Halcon里虽然有更丰富的纹理分析算子但本质上还是靠人工design特征缺陷形态一旦超出预期召回率就撑不住。Defect Eye的做法是从根上换思路用MCNNet把图像拆成三个模态并行提特征再融合起来交给检测头。具体来说是三条支路形状通道取灰度加边缘信息负责描述缺陷的轮廓锯齿波通道sawtooth对图像的周期性纹理做编码专门捕捉条纹类背景上的异常颜色通道走LAB色彩空间把氧化铁皮这类带颜色偏向的缺陷从背景里摘出来。三条支路各自提取特征后做拼接融合相当于让网络同时从几何、纹理和颜色三个角度判断一个区域是不是缺陷。这个设计比单纯把RGB三通道扔给CNN多了一条可解释的纹理路径这也是它取名多模态的原因。2.2 Mask R-CNN在其中的角色缺陷检测为什么要输出像素级mask而不是只给框MCNNet负责把特征提出来真正做检测和分割的是Mask R-CNN。很多人会问缺陷检测用Faster R-CNN或者YOLO给个检测框不就够了为什么非要上Mask R-CNN做实例分割这里面有个很实际的工业需求产线质检要的不只是这里有问题还要知道缺陷面积占比、缺陷方向、缺陷形态甚至联动后面的裁剪或打磨工序。一个矩形框根本表达不了裂纹的走向和长度而像素级mask可以。Mask R-CNN的核心流程是三段式RPN区域提议网络先在特征图上生成一批候选框ROI Align把每个候选框对应的特征图区域对齐到固定尺寸然后分出三个并行分支一个输出类别一个回归框坐标一个输出逐像素的mask分割。跟Faster R-CNN相比多出来的这个mask分支会让网络对细长型缺陷比如裂纹、划痕的轮廓描述精确得多。在实际跑推理的时候r[masks]返回的就是一张跟原图等尺寸的布尔型mask形状(H, W)每个像素直接标注它属于哪个缺陷实例这对后续计算缺陷面积或者生成缺陷分布热图非常方便。2.3 从resnet_v1_101.ckpt看预训练权重的加载为什么不能直接load整个文件代码包里那个resnet_v1_101.ckpt是ResNet-101在ImageNet分类任务上的预训练权重。在缺陷检测这个场景里直接拿它当最终模型用是不成立的因为ImageNet分类和缺陷分割是两回事。正确的做法是把它作为骨干网络的初始化权重让底层卷积已经具备通用特征提取能力然后在这个基础上微调。常见工程做法是import tensorflow as tf from mrcnn.model import MaskRCNN # 先构建模型再按层名逐个匹配加载权重 model MaskRCNN(modeinference, configconfig, model_dir./logs) model.load_weights( resnet_v1_101.ckpt, by_nameTrue, skip_mismatchTrue )逻辑说明load_weights的by_nameTrue表示严格按照网络层的名字去匹配权重而不是按整个文件的位置顺序硬加载。skip_mismatchTrue的作用是遇到形状不匹配的层直接跳过比如最后那个1000类的全连接分类层跟缺陷检测的类别数对不上这一层就会被跳过。参数说明如果这个参数不设加载时会因为类别数不一致直接抛异常实际训练时通常还会配合层冻结把前几十层设为不可训练只微调后面的检测头这样收敛更快也不容易把小样本数据集的分布噪声学进去。这里有一个容易踩的坑需要提前提醒Mask R-CNN的标准load_weights接口其实只认h5格式直接喂ckpt文件会报错。代码包里如果同时给了转换好的h5权重直接走上面的流程如果只有ckpt需要先用tf.train.NewCheckpointReader把变量名读出来再重新存成Keras可读的h5。后面第4章会专门讲这个坑。3. 跑通这套代码包环境、Cython编译与一条最小推理链路3.1 环境匹配TensorFlow 1.x时代项目该怎么选版本Defect Eye在GitHub上的活跃期是TensorFlow 1.x时代代码里大量使用了tf.Session、tf.placeholder这类静态图API所以环境的第一个硬约束就是TensorFlow版本。经验值是装tensorflow-gpu 1.15配Keras 2.xPython版本建议3.6或3.7再往上TF 1.x的兼容性就开始出问题。依赖清单里除了TF和Keras还需要opencv-python、numpy、cython、scikit-image、imgaug这几个高频包。pip install tensorflow-gpu1.15.0 keras2.2.5 pip install opencv-python numpy1.17.5 cython pip install scikit-image imgaug逻辑说明numpy锁到1.17.5是因为TF 1.15只跟旧版numpy的二进制接口兼容装新版会出现core dumped之类的奇怪崩溃。参数说明这里没有列matplotlib和jupyter因为那两个notebook如果只是验证COCO API用不上但如果你想逐步调试可视化结果建议顺手装上后面画mask和PR曲线都用得到。3.2 先编译三个C扩展文件bbox.c、maskApi.c、_mask.c是怎么串起来的代码包里那几个.c和.cpp文件初看容易懵它们其实是COCO官方API的Cython加速模块。简单说Python的pycocotools库要想算mask的IoU、做RLE编解码核心计算必须走C代码_mask.c是Cython的胶水层maskApi.c是mask的底层实现bbox.c和nms.c分别负责标注框计算和非极大值抑制加速。gason.cpp是COCO API内部解析JSON标注文件的C库。这些文件不编译成扩展模块后面所有跟mask相关的功能都跑不起来。# setup.py 放在项目根目录下 from setuptools import setup, Extension from Cython.Build import cythonize import numpy ext_modules [ Extension( pycocotools._mask, sources[pycocotools/_mask.c, pycocotools/maskApi.c], include_dirs[numpy.get_include()], define_macros[(NDEBUG, 1)], ), Extension(pycocotools.bbox, sources[pycocotools/bbox.c]), Extension(pycocotools.nms, sources[pycocotools/nms.c]), ] setup(ext_modulescythonize(ext_modules))逻辑说明Extension的第一参数是模块名sources列表决定编译哪些源文件_mask和maskApi必须一起编因为_mask.c里调用了maskApi.c的函数。include_dirs加numpy头文件路径是为了处理mask数组转换时的内存对齐。编译命令是python setup.py build_ext --inplace参数说明--inplace表示把编译好的.so或.pyd直接生成在pycocotools目录里这样import pycocotools时就能直接加载不需要额外的site-packages安装步骤。编译成功的标志是pycocotools目录下出现_mask.cp37-win_amd64.pyd或_mask.cpython-37m-x86_64-linux-gnu.so这类文件。3.3 用pycocotools的mask编码和解码验证编译是否成功编译完别急着跑训练先用一段极短的代码确认COCO API真的能工作。打开pycocoDemo.ipynb你会看到它的核心逻辑是把一张示例图上的标注区域转成二值mask再通过mask.encode转成RLE压缩格式最后用mask.decode还原成mask并计算两个mask之间的IoU。这套来回转换如果没问题说明C扩展层是通的。import numpy as np from pycocotools import mask as cocomask # 伪造一个10x10的二值mask做验证 fake_mask np.zeros((10, 10), dtypenp.uint8) fake_mask[2:8, 3:9] 1 # 编码成RLE再解码 rle cocomask.encode(np.asfortranarray(fake_mask)) decoded cocomask.decode(rle) # 计算mask的小数点IoU iou cocomask.iou([rle], [rle], [0]) print(decoded shape:, decoded.shape) print(iou:, iou[0][0])逻辑说明encode要求输入必须是Fortran连续的数组所以用np.asfortranarray做一次包装iou函数接收两个RLE列表返回两两之间的IoU矩阵。参数说明这里的[0]表示没有iscrowd标记的普通目标如果第三个参数传[1]表示按crowd目标计算IoU的除数会去掉crowd区域。输出iou为1.0就说明编码解码链路没有问题。3.4 写一个最小推理脚本加载权重、预处理、跑检测的可执行骨架当环境和COCO API都确认没问题下一步就是让模型跑通一张图。Defect Eye没有单独提供一套图形化界面推理就是一段Python脚本。下面这个骨架是按这类Mask R-CNN项目的通行工程写法组织的变量名和包内的源码命名可能有细微差别但流程是一致的。import cv2 import numpy as np from mrcnn.config import Config from mrcnn.model import MaskRCNN class DefectInferenceConfig(Config): NAME defect_eye NUM_CLASSES 1 4 # 背景 crack/live_scale/pitted_surface/rolled_in_scale GPU_COUNT 1 IMAGES_PER_GPU 1 IMAGE_MIN_DIM 800 IMAGE_MAX_DIM 800 DETECTION_MIN_CONFIDENCE 0.7 cfg DefectInferenceConfig() model MaskRCNN(modeinference, configcfg, model_dir./logs) # 如果拿到的是转换好的h5权重直接加载 model.load_weights(mask_rcnn_defect_eye.h5, by_nameTrue) img cv2.imread(sample.jpg) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # detect内部会做resize、归一化和padding results model.detect([img], verbose0) r results[0] for class_id, score, box, mask in zip( r[class_ids], r[scores], r[rois], r[masks]): print(class:, cfg.CLASS_NAMES[class_id], score:, round(score, 3), box:, box, mask_size:, mask.shape)逻辑说明配置类里NUM_CLASSES必须写成1加类别数因为Mask R-CNN把背景也当成一个类参与训练IMAGE_MIN_DIM和IMAGE_MAX_DIM控制输入图像的缩放范围800是这类模型的默认值太大显存压力大太小细长缺陷容易丢。DETECTION_MIN_CONFIDENCE是置信度阈值调到0.9会漏检调到0.5会冒出一堆噪声框实际产线一般从0.7起调。参数说明model.detect返回的r[rois]是[y1, x1, y2, x2]格式的框坐标r[masks]是形状为(H, W, N)的布尔数组N是检测到的实例数。提示如果加载权重时报错说变量不存在大概率是h5和ckpt混用了回到2.3节先确认权重格式。4. 避坑复现Defect Eye时的五个典型翻车现场与解决办法4.1 import pycocotools直接ModuleNotFoundError或者编译后仍然导入失败现象执行from pycocotools import mask时报ModuleNotFoundError或者报了ImportError说找不到指定模块。原因代码包的pycocotools目录是从COCO API仓库拷过来的源码不是编译好的安装包。pip install pycocotools只能装官方release版不会自动识别本地目录。更隐蔽的情况是setup.py编译实际失败了但报错信息被刷屏掩盖你只看到了最后几行的ImportError。解决先回到3.2节确认build_ext --inplace是否真的执行成功看根目录下有没有生成.pyd或.so文件。如果编译过程中弹出一堆无法找到pybind11或者缺少Python.h这类错误在Windows上是缺VC Build Tools在Linux上是缺python3-dev。装完编译工具后记得清掉build目录再重新编译避免残留的中间文件干扰。4.2 TensorFlow 2.x直接跑项目报AttributeError或tf.Session不存在现象import tensorflow as tf之后代码里使用tf.Session、tf.placeholder的地方全部报错或者提示Tensor对象没有某个属性。原因TF 2.x默认开启Eager模式TF 1.x的静态图API被整体移到了tf.compat.v1命名空间下。Defect Eye编写时没有考虑TF 2的兼容性直接按TF 1的写法调用。解决最省事的方案是按3.1节装回TensorFlow 1.15这是与代码最匹配的环境。如果必须留在TF 2.x可以在代码最顶部加两行兼容层import tensorflow.compat.v1 as tf tf.disable_v2_behavior()逻辑说明disable_v2_behavior会把TF 2的整体行为切回1.x模式tf.Session和tf.placeholder都会恢复可用。参数说明这个方法只对纯TF 1代码有效如果项目里调用了Keras的tf.keras接口两套API混用时依然会出问题所以只适合临时验证不建议作为长期方案。4.3 加载resnet_v1_101.ckpt时提示unexpected key或者变量不存在现象执行load_weights(resnet_v1_101.ckpt)时报一大堆unexpected key或者提示某个张量的shape不匹配。原因Matterport版Mask R-CNN的load_weights默认只认h5格式当传入ckpt时Keras会把它当作HDF5去解析自然解析失败。即使你强行用tf.train.load_checkpoint去读ckpt里包含的是整棵ResNet-101分类网络的变量而Mask R-CNN模型里只有backbone部分是ResNet-101顶层的1000分类全连接层根本不在模型定义里所以会报unexpected key。解决先把ckpt转成h5。用tf.train.NewCheckpointReader读出所有变量名和shape然后在Keras模型构建完成后按层名逐个匹配赋值最后保存成h5。走过一次这个流程之后后续所有训练和推理都统一走h5不再碰ckpt。4.4 推理时所有图片都没有检测框或者全是低置信度噪声框现象模型加载成功detect也不报错但输出的rois列表是空的或者confidence长期在0.3以下徘徊。原因最常见的是两个。一是输入图片的尺寸和训练时不一致如果训练时anchors是按800x800设计的推理时直接喂一张4000x3000的原图RPN生成的候选框尺度完全对不上。二是图片没有做归一化直接把0到255的uint8数组丢进去而训练时数据流走的是mrcnn.model里的preprocess_image自带mean subtraction两边的数据分布不一致特征自然全乱掉。解决推理时不要让原始图像直接进model.detect先统一走一遍resize到IMAGE_MIN_DIM/MAX_DIM范围内的逻辑。另外确认检测阈值DETECTION_MIN_CONFIDENCE设太低会导致大量噪声框太高就啥也检不出从0.7开始逐步往下调。还有一个容易被忽略的点检查图片是否有Alpha通道四通道图在cv2读取后直接转RGB会出现通道错位。4.5 有人拿Matlab来跑这套代码说解压后打不开现象代码包摘要里混着Matlab相关描述有人就试着用Matlab去打开这些.py、.c、.ckpt文件结果要么识别不了要么直接报错。原因这份代码包是纯Python和C/C实现网络训练和推理全程在TensorFlow的框架里跑跟Matlab没有任何运行关系。摘要里的Matlab描述是通用模板内容不适用于这个包的实际结构。解决把运行环境固定在Python一侧不要尝试用Matlab的Image Processing Toolbox去替代其中的任何环节。如果机器上原本只装了Matlab需要先补一套Python 3.6加TensorFlow 1.15的环境再回到第3章按顺序编译和验证。这不算缺陷只是资源定位要搞清楚。5. 换到自己的缺陷数据集标注格式、训练参数与类别不均衡的处理5.1 数据组织方式从COCO标注到自定义类别的映射跑通官方推理之后绝大多数人要做的是把模型迁到自己的场景里比如轴承外圈划痕、手机屏幕亮点、布匹断纬这时候就要面对训练数据准备。Defect Eye沿用了COCO的标注结构数据要组织成一个JSON文件里面包含images、annotations、categories三个顶层字段。images记录每张图的文件名和尺寸categories定义你的缺陷类别列表annotations是每个缺陷实例的具体标注核心是bbox和segmentation两个字段。{ images: [ {id: 1, file_name: crack_001.jpg, width: 512, height: 512} ], categories: [ {id: 1, name: crack}, {id: 2, name: pitted_surface} ], annotations: [ { id: 1, image_id: 1, category_id: 1, bbox: [120, 80, 240, 20], segmentation: { counts: RLE编码字符串, size: [512, 512] }, area: 4800, iscrowd: 0 } ] }逻辑说明segmentation字段用RLE格式编码不要手写用3.3节验证过的pycocotools从多边形标注mask一条命令转出来cocomask.encode(np.asfortranarray(mask))然后取rle[0]和rle[1]填进去。bbox格式是[x, y, width, height]注意是左上角坐标加宽高不是中心点。参数说明iscrowd是COCO里区分密集目标的标记缺陷检测场景一律填0area可以自己在标注工具里算好也可以让脚本用mask的像素和去填充COCO评估代码在计算AR的时候会用到这个值不要漏。注意类别ID从1开始。如果你的缺陷类别里混入了0COCO API在计算评估指标时会直接报错这个错很隐蔽但出现频率极高。5.2 训练参数怎么起步一份可以直接抄的配置表第一次训练不建议大改网络结构把注意力放在那几个直接影响收敛的训练参数上。这里给出一组典型的起步参数适用于单个GPU、每批1张图的小数据集场景。参数名建议值说明LEARNING_RATE0.001从头微调建议0.001只微调head建议0.0001宁可低不可高WEIGHT_DECAY0.0001标准L2正则系数保持不变STEPS_PER_EPOCH500每个epoch迭代步数不要超过训练图片数VALIDATION_STEPS50验证集每epoch评估步数太少则评估指标波动大DETECTION_MIN_CONFIDENCE0.7与推理时保持一致否则训练和推理口径不对IMAGE_MIN_DIM / MAX_DIM800 / 800改大能提升小缺陷检测上限但显存开销明显上升RPN_ANCHOR_SCALES(32, 64, 128, 256, 512)缺陷尺寸普遍偏小的场景可去掉512加一个16逻辑说明LEARNING_RATE是最敏感的参数。如果你的缺陷和背景的区分度很低比如透明玻璃上的划痕0.001容易让loss在前几百步内剧烈震荡这时候果断降一半观察loss是否稳定下降再决定下一步。IMAGE_MIN_DIM改到1024能带来小目标召回率的提升代价是显存占用几乎翻倍8GB显存基本跑不动。参数说明RPN_ANCHOR_SCALES这组值对应的是原始图像尺度上的anchor边长如果你检测的是小麻点而不是大裂纹把512删掉加上16效果立竿见影。5.3 缺陷样本不够多数据增强和类别不均衡的常用做法工业场景的困境永远是缺陷样本少一个类别可能只有两三百张标注图光靠随机翻转撑不起训练。常用的增强组合是随机旋转不超过15度、水平镜像、对比度拉伸、小幅度高斯噪声。这里有一个工业场景特有的注意点就是不要做垂直翻转。原因很实际很多缺陷有方向性比如焊缝裂纹多沿水平方向延伸垂直翻转会把这种方向先验破坏掉模型学到的东西用在真实产线上会水土不服。类别不均衡的处理优先考虑给loss加类别权重而不是简单复制少数类样本。具体做法是在损失函数里按类别样本占比设置权重系数多数类权重压低少数类权重抬高。如果不想改loss退而求其次的常见做法是离线做over-sample即把少数类样本在数据加载时多复制几份简单直接但要注意别破坏验证集的分布增强只作用于训练集验证集必须保持原始状态。6. 验证缺陷检测效果用COCO评估脚本把mask质量量化别只看视觉效果训练完模型光看几张效果图说服不了自己也说服不了产线。我一般会写一个评估脚本把模型在验证集上的表现量化出来。命名一个路径用COCO API的pycocoEvalDemo.ipynb作为模板把自己的预测结果和GT标注都转成COCO格式然后调用evaluate和summarize两个方法得到AP、AR这些标准指标。如果你只需要关注mask分割质量不用跑完整个COCO评估只算每个类别预测mask和GT mask之间的IoU就够用了。import numpy as np from pycocotools import mask as cocomask def mask_iou(pred_mask, gt_mask): # 两个mask都是HxW的bool数组 pred_rle cocomask.encode(np.asfortranarray(pred_mask.astype(np.uint8))) gt_rle cocomask.encode(np.asfortranarray(gt_mask.astype(np.uint8))) iou_matrix cocomask.iou([pred_rle], [gt_rle], [0]) return iou_matrix[0][0]逻辑说明这个函数把预测mask和GT mask分别编码成RLE再用COCO API算IoU。通常的做法是在验证集上遍历所有图像对每个缺陷实例都算一个IoU然后按类别分组统计IoU的中位数和低于0.5的比例低于0.5的基本上可以判定为检测失败。参数说明iou_matrix是二维数组[0][0]取的是这两个RLE之间的IoU如果预测mask和GT mask尺寸不一致先把两边都resize到原图尺寸再调用。把这一套在验证集上跑完你会得到一个比效果图可靠得多的结论哪一类的AP明显偏低哪一类经常出现mask断裂。从那以后我每换一个数据集都先强制走一遍量化评估再谈调参不再靠肉眼判断好坏这个习惯帮我避开了好几次看起来还行但一上产线就露馅的情况。希望帮到你。本文还有配套的精品资源点击获取

缺陷检测实战：Defect Eye代码包与Mask R-CNN解析

相关推荐

qqp面试必问：5个最佳实践让你告别只会背八股文

重新模糊增强：隐式扩散模型Python实现与避坑指南

PowerDC直流压降仿真实例：从1.5V电源网络设计到优化

更多资讯

PandaMH源码解析：内存读取与SDL覆盖层构建全图调试工具

Cache模拟器实战指南：从地址映射到命中率调优

qq三国新手礼包解析：转行避坑最佳实践

内网时间同步必读：NTP与SNTP原理、chrony配置与避坑指南

Word空白页删不掉？5个最佳实践彻底解决

Pelican 静态页面（Pages）Markdown 编写指南：从最小示例到源码解析

今日更新

2k显示屏性能优化踩坑：版本升级后API全变了，这份源码解析救了我

3步搞定美眉图实战项目，告别官方文档抓不住重点

3步搞定黄金大劫案项目搭建从入门到精通

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？