芒果叶片损伤分割系统：YOLOv8-Seg改进与部署实战-北京尧图网络

做农业视觉项目的朋友应该都有体会看起来是“给图片分个类”实际落地时要命的是分割。芒果叶片上的病斑、虫眼、日灼痕迹形态各异、边缘模糊、背景全是枝叶和泥土光靠整图分类根本满足不了生产需求。我最近在整理一套芒果叶片损伤分类图像分割系统包含完整源码、自采集数据集和部署教程重点做了两条模型改进路线yolov8-seg-CSwinTransformer 和 yolov8-seg-C2f-FocusedLinearAttention。这篇文章把整个项目的设计思路、模型改造、数据标注、训练调参、部署推理和踩坑记录完整梳理一遍既是项目存档也方便想做类似农业病害检测的朋友直接参考复现。1. 项目到底在做什么芒果叶片损伤检测不只是“分类”1.1 从真实农业巡检场景说起芒果种植园里巡检人员最常做的事是翻叶片。炭疽病的圆形褐色斑、叶蝉和螨类造成的密集小白点、日灼导致的枯黄卷曲、机械采收时的撕裂伤每一种损伤的分布位置、扩散形态和严重程度都不一样。传统做法是人工目测打分效率低不说不同人打分标准还不一致。我在实际做这个需求时发现果园想要的不是“这张叶片有病”这种粗粒度判断而是要具体知道哪里有损伤损伤属于哪一类占整片叶面积的百分比是多少只有拿到了这些信息才能对病害扩散趋势做定量分析指导后续打药或修剪决策。这正好对应了图像分割的能力范畴最终选了实例分割方案而不是单纯的目标检测或图像分类。1.2 为什么选择“分类分割”二合一架构YOLOv8-Seg 在官方实现里属于单阶段实例分割模型输入一张图同时输出每个目标的边界框、类别标签和像素级掩码。对芒果叶片场景来说这个设计有两个天然优势边界框可以快速定位叶片和损伤区域方便后续自动化设备去定位拍照或喷洒掩码能精确统计损伤像素面积用于计算真实损伤率这是框框做不到的。如果只用分类网络输出只有一个标签完全不知道损伤在哪里、面积多大如果只用检测网络也只有框面积估算误差极大。YOLOv8-Seg 这套“分类分割”组合刚好覆盖了核心需求。1.3 源码包里到底有什么这份分享内容整理成了三块模型部分YOLOv8-Seg 官方基线、加入 CSWinTransformer 骨干的改进版、加入 C2f-FocusedLinearAttention 模块的改进版数据部分自采集的芒果叶片图像数据集包含原始图片、标注 JSON、转换后的 YOLO 格式分割标签以及类别说明文件部署部分从 PyTorch 权重导出 ONNX、推理后处理脚本、简单 Web 演示接口和边缘设备部署的参考配置。拿到之后不是要看一堆零散文件而是按照下面这套流程从训练到部署走通这也是我写这篇文章的核心目的。2. 模型改造思路从 YOLOv8-Seg 基线到注意力加强版2.1 基线选型为什么用 YOLOv8-Seg 而不是其他分割模型对比过几个主流方案。经典的 Mask R-CNN 两阶段方案精度不差但推理速度慢部署到边缘设备比较吃力SegFormer、DeepLabV3 这类语义分割模型拿不到个体实例的区分叶片与叶片重叠时没法分别输出每个叶片的掩码。YOLOv8-Seg 是 Anchor-Free 结构分割头和解耦检测头共享骨干网络特征在精度和速度之间相对平衡生态也成熟Ultralytics 官方库一直在维护。尤其是训练流程自带数据增强、损失函数、EMA、AMP 混合精度这些工程化实现不用自己搭流水线对于农业项目这种需要频繁迭代数据的场景非常友好。所以基线就锁定 YOLOv8-Seg。2.2 CSWinTransformer 到底在改进什么芒果叶片图像有个特点叶片本身是大尺寸目标但损伤斑点是分散的小目标。局部的病斑纹理要用小感受野去看而叶片整体轮廓和边缘需要大范围上下文来判断普通 CNN 靠堆叠卷积层来扩大感受野效率不高还容易丢边缘细节。CSWinTransformer 核心是 Cross-Shape Window跨形状窗口注意力机制。和 Swin Transformer 用方形窗口不同CSWin 把注意力计算拆成水平和竖直两个方向的条带窗口。这样做的好处是既能捕捉长距离的空间依赖又不至于像全局自注意力那样计算复杂度爆炸。用在叶片分割上细长的叶脉、横向蔓延的病斑区域都能被条带窗口有效感知到。我是在 YOLOv8-Seg 的 backbone 部分做替换把原本 CSPDarknet 的部分 stage 换成 CSWinTransformer 的 stage而不是整个骨干全换这样计算量不会失控。改进后的模型名就是 yolov8-seg-CSwinTransformer。2.3 C2f-FocusedLinearAttention 的定位和作用另一条改进路线是调整 C2f 模块。YOLOv8-Seg 的 C2f 结构通过 split 和 concatenation 操作增加梯度流瓶颈层通常还是普通卷积。我参考 Focused Linear Attention 的思路把瓶颈中的标准卷积注意力计算替换为聚焦线性注意力模块也就是 yolov8-seg-C2f-FocusedLinearAttention。这个模块属于线性注意力的一种变体通过聚焦函数通常是一个可学习的映射突出重要 token以线性复杂度近似 softmax 注意力的效果。相比普通自注意力显存占用更低、FLOPs 更少相比纯卷积又能捕捉长距离依赖。在实际实验里这个改动对小目标的损伤区域召回率有提升原因是聚焦函数能让模型更关注病斑边缘这种高判别性位置。2.4 改造时最容易踩的兼容性坑改模型结构不是改完 yaml 文件就完事有几个兼容性关键点预训练权重加载直接把官方 Ultralytics 的预训练权重加载到改进后模型上经常会报 shape 不匹配。我的处理是分段加载没改的层用 COCO 预训练权重初始化新加的 CSWin stage 和 FocusedLinearAttention 模块用默认初始化然后再训练。通道数对齐CSWinTransformer 输出的通道数必须和后续 Neck 网络输入的通道数一致不然到 FPN/PAN 阶段直接维度报错。我建议先用单张图跑一次 forward确认输出 feature map 的尺寸。计算开销CSWin 的窗口注意力和线性注意力都需要额外算子如果底层的 CUDA 算子没实现会自动走 PyTorch 的 fallback。训练速度会打折但至少不会崩。提示如果环境里是纯 PyTorch 没有额外编译扩展优先选择代码里自带 Pure PyTorch 实现的版本否则部署时会遇到算子缺失的问题。3. 数据集是项目的命门采集、标注与增强3.1 图像采集和初筛流程这次用的数据是在多个芒果种植地块收集的时间跨度覆盖了不同季节目的是让模型看到尽量多的光照条件和叶片状态。采集设备就是普通手机和一台便携微单拍照时保持叶片在画面中占比 60% 以上分辨率统一缩放到合适尺寸。初筛阶段做了两件事剔除严重过曝、失焦、遮挡面积超过 50% 的图像这类图标注质量没保证同一棵树的重复角度照片只保留最清晰的一张避免训练集和验证集之间出现“近似重复”导致指标虚高。最终整理出 1500 多张有效图像其中健康叶片约 30%其余是各种损伤叶片保证模型见过足够多的负样本和多样损伤形态。这部分数据是这套系统能复现效果的基础。3.2 标注规范和格式转换细节标注用的是多边形标注工具不支持的话我用 LabelMe 或 X-AnyLabeling 也都可以。每个实例的标注要点是对于叶片本身标注整个可见叶片轮廓即使部分边缘被遮挡也尽可能贴合可见边界对于损伤区域以视觉可辨的边界为准病斑边缘模糊时取像素过渡带的中点同一个叶片上有多块不相连的损伤分别标成同一个类别的不同实例而不是合并成一个多边形。标完之后导出的 JSON 文件需要转换成 YOLO 分割格式。YOLO 分割标签的每一行是class_id x1 y1 x2 y2 x3 y3 ...所有坐标都要做归一化除以图像的宽和高点数没有固定限制但实测采样 30 到 50 个点之间效果比较平衡。点太少拟合不了弧形边缘点太多容易把标注误差一起学进去。转换完成后我都会做一次可视化检查把标签画到原图上逐张看一眼这一步能过滤掉绝大部分标签错位问题。3.3 类别设计与样本不均衡处理芒果叶片损伤的分类粒度不能太粗也不能太细。我最终确定了四个损伤类别加一个健康类类别编号名称典型特征0健康叶片无明显病斑虫孔表面基本完整1炭疽病斑圆形或不规则褐色斑边缘有黄色晕圈2虫害损伤咬食缺口、密集刺吸点、虫粪附着3日灼损伤叶片局部枯黄或褐色焦枯边界相对清晰4机械损伤撕裂、断裂、压痕边缘不规则但无扩散健康叶片数量偏多而机械损伤样本最少。为了不让模型被健康类带偏训练时对少样本类别做了两种处理一种是在增强时提高重采样概率另一种是针对机械损伤类做额外的旋转和随机形变增强。实验中把类别权重调成按样本数的倒数比例mAP 提升比较明显。3.4 数据增强配置和验证集划分训练时启用了 Mosaic、随机透视、HSV 扰动、翻转、缩放和部分 Cutout。Mosaic 对大叶片和小病斑的组合很有效能让模型学会在不同尺度下识别损伤。但是要小心Mosaic 合成后的图像里叶片边界可能被切断所以我在最后 30 个 epoch 关掉了 Mosaic让模型适应真实分布。验证集划分建议按“地块”而不是按“图片”分。如果同一果园同一棵树的照片同时出现在训练集和验证集模型相当于见过部分答案测试结果会虚高。我按不同采集时间和地块来切分训练集 1200 张验证集 300 张尽量保证独立分布。4. 完整训练流程与关键参数配置4.1 环境搭建和依赖版本训练环境用的是单张 24G 显存显卡系统层面装好 CUDA 和 cuDNN 后建虚拟环境安装依赖。核心依赖版本参考如下python3.10 torch2.0.0 torchvision0.15.0 ultralytics8.0.0 onnxruntime1.15.0 opencv-python4.6.0注意如果你要跑带 CSWinTransformer 的版本最好使用我提供的 requirements 文件锁定版本。Ultralytics 升级到较新版本后某些模块接口变了需要同步调整代码。4.2 训练超参数到底怎么调训练命令本质上还是 Ultralytics 的入口只是换成自定义 yaml 文件。关键参数我记录一下yolo seg train \ modelcfg/yolov8-seg-cswin.yaml \ dataconfig/mango_leaf.yaml \ imgsz640 \ batch16 \ epochs300 \ optimizerSGD \ lr00.01 \ weight_decay0.0005 \ warmup_epochs3.0 \ cos_lrTrue \ ampTrue \ patience50imgsz640对大多数叶片损伤区域已经够用。如果部署设备能接受更高延迟可以试 960小病斑检测精度还会涨一点batch16配合 24G 显存和 AMP 混合精度刚好。显存不足时把 batch 降到 8 并用梯度累积效果等价lr00.01 配合 SGD比较稳。如果换成 AdamWlr0 建议降到 0.001否则头几个 epoch 的 loss 容易震荡cos_lrTrue余弦退火在高 epoch 数下比固定学习率稳定尤其对分割这种细粒度任务有效。4.3 损失函数配置和权重解释Ultralytics 里分割任务的损失由几个部分组成边界框回归损失、分类损失、DFL 损失和分割掩码损失。默认权重基本能用但我调整了分割损失的权重调大了一些因为本项目的核心是掩码质量box: 0.05 cls: 0.5 dfl: 1.0 seg: 0.1分割损失默认使用 BCE目标是每个 mask 的像素级二分类。如果想进一步优化边缘质量可以在源码里把分割损失切换成 Dice 或 BCEDice 的组合。我自己试过纯 Dice训练收敛略慢但掩码边缘更干净最后是 BCE 和 Dice 按 1:1 混合。4.4 训练日志、EMA 和早停判断训练过程中主要盯这几个指标box_loss、cls_loss、seg_loss 整体趋势有没有在 100 个 epoch 附近出现严重震荡mAP50 和 mAP50-95 是否在持续增长如果 30 个 epoch 不涨就考虑降学习率或恢复 checkpointprecision 和 recall 的平衡关系损伤类别多且目标小的模型 recall 往往偏低。EMA指数移动平均在训练中默认开启对最终权重平滑效果很好除非显存实在不够一般不要关。早停 patience 我设了 50实际训练里大约 220 个 epoch 前后达到平台期。保存的最佳权重是 val 集上 mAP50-95 最高的那版而不一定是最新 epoch 的权重。5. 推理部署与落地细节5.1 ONNX 导出和算子检查训练完的 PyTorch 权重部署前先导出 ONNX。Ultralytics 提供了现成命令yolo seg export modelweights/best.pt formatonnx imgsz640 opset12 simplifyTrueopset12 是为了兼容更多推理框架simplify 可以去掉一些冗余结构。导出之后务必用 onnxruntime 先跑一遍测试图确认输出 shape 符合预期。这里有一个易错点Seg 模型导出的输出不止检测头还包括 mask 系数和 prototype mask。后处理时要把检测头筛选出的实例对应的 mask 系数和 prototype mask 做矩阵乘法再通过 sigmoid 得到完整掩码。不要把输出原样当成成品掩码使用。5.2 掩码后处理和损伤率计算得到原始像素级 mask 之后二值化阈值一般取 0.5。如果掩码碎边严重可以做一个开运算去掉零散噪点再做一次闭运算填补小空洞。计算损伤率的方法很简单但容易犯错先统计整片叶片的掩码总面积 A_leaf再统计每个损伤类别的掩码像素数 A_damage损伤率 A_damage / A_leaf。需要注意的是不同损伤类别可能叠加比如炭疽病斑和日灼区域在视觉上交叠计算占比时可以先合并为“所有损伤总面积”再分别输出各类占比。我后来在代码里增加了按叶片实例输出的功能每一片叶子一行 JSON 数据包括损伤类别、置信度以及面积占比方便果园直接导入管理后台。5.3 边缘设备部署的参考方案芒果园现场不太可能一直放着带大显卡的服务器实际部署用边缘设备更现实。我把流程整理成了三条路设备类型部署方式备注服务器或工作站ONNX Runtime / TensorRT优先吞吐量高边缘盒子TensorRT FP16延迟可做到 50ms 以内每图移动端NCNN / TFLite需要进一步量化精度略有损失如果使用 TensorRT建议把输入分辨率固定为 640x640FP16 精度损失很小但推理速度提升明显。不要在 INT8 上强上对分割掩码影响还是比较大的除非做了足够的校准数据。6. 常见问题与排查技巧实录6.1 训练后 mAP 一直不涨排查顺序先看数据再改模型。我先做的检查是验证集标签可视化结果发现少量标签的点序反了导致归一化后多边形变形。这是手工标注转换时常见问题。其次再检查类别是否均衡如果少样本类别只占总量 5% 以下光靠重采样不够还要针对性补充数据。最后才考虑骨干网络是否加载了合适的预训练权重。6.2 小尺寸病斑漏检率高叶片上的虫眼有时候只有几个像素640 输入下很容易被下采样丢掉。我在不改模型结构的前提下先提高 imgsz 到 960mAP50 涨了约 3 个百分点。如果部署端接受不了高分辨率再考虑在检测头增加浅层特征融合或者用切片推理把图像切块后分别推理再拼接结果。6.3 掩码边缘粗糙、锯齿明显这个问题一般出在 prototype mask 分辨率不足和分割损失匹配上。尝试把输出 mask 的分辨率从 160x160 提高到 256x256在 yaml 里调 mask resolution锯齿会明显改善。另外在损失里加 Dice 分量也能让边缘更平滑。实在不行部署后处理阶段还可以加一轮轻量的条件随机场但不是必须。6.4 显存不足和训练速度慢如果 batch16 直接在常规显卡上跑会 OOM我建议梯度累积模拟 batch。Ultralytics 里设置 batch4累积 4 次更新等效 batch16。AMP 必须开启能节省接近一半显存。训练速度方面关闭不必要的可视化输出和调低日志频率可以获得一定提升但别把 EMA 关了。6.5 数据集划分不当导致指标虚高这个问题非常隐蔽。如果同一棵芒果树的照片在训练集和验证集各出现几张模型学习到的可能是照片光照环境和枝条背景特征而不是叶片损伤特征。重新按地块和叶片生命周期切分数据后验证集 mAP50 反而下降了 5 个点左右但这才是真实水平上线后也没有出现明显漂移。7. 经验收尾和一些值得继续做的事这套芒果叶片损伤分类图像分割系统在项目里实际跑通之后我最深的体会是农业视觉项目真正的瓶颈通常不在模型结构而在数据质量、标注规范和部署细节这三件“笨功夫”上。改模型只占总工作量的一部分但把数据管好再训练每一步都能感受到收益。比如把类别重采样和验证集按地块切分这两件事做完mAP 的提升比替换一整个骨干网络还明显这是很多朋友容易忽略的。还有一个小技巧分享给大家训练完不要只看 best.pt把最后验证集上预测错误的样本集中导出来按类别和错误类型做个月度回顾。这些错误样本往往反映了数据分布的新变化比如新出现的虫害形态、不同光照下的成像差异及时把它们补进数据集模型长期跑在田里才会越来越稳。如果你接下来想继续深挖我建议朝两个方向走一是把分割掩码和生长模型结合在芒果产量预测或病害预警里做更前置的应用二是优化端侧推理通过模型蒸馏把两条改进路线的能力再压缩到移动端可用的规模。这套源码和数据集已经把这层地基打好了后面能长出的东西会很多。

芒果叶片损伤分割系统：YOLOv8-Seg改进与部署实战

相关推荐

Spring AI RAG实战：本地知识库检索与向量化落地全解析

open-code-review 实战：把代码审查从人肉活变成半自动化工程

UHF RFID多设备TCP复用设计：连接池与状态机实战

更多资讯

Docker部署Redis全攻略：从镜像选型到生产级配置

从零落地智能写作助手：基于Plate AI的完整工程实践

Kubernetes控制面重启后无法自恢复？根因与修复指南

Point-LIO逐点更新：高动态LiDAR惯性里程计的鲁棒性突破

基于大数据与Hadoop的LSTM股票预测系统设计全流程

时间统计工具的核心设计：状态机、SQLite与跨平台实践

今日更新

悟空开源无代码平台实战：从实体建模到应用设计避坑指南

基于.NET9的多租户权限系统：数据权限与动态API落地实践

场地预约小程序毕设实战：SSM+微信小程序+MySQL数据库设计到避坑

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？