YOLOv8煤矸石检测：高岭石数据集标注与训练实战-北京尧图网络

简介面向煤矿智能化与选煤场景的煤矸石识别数据集提供煤炭、煤矸石、高岭石三类目标的YOLOv8格式标注适用于目标检测模型训练、工业分选算法验证及教学实验可帮助算法工程师与研究人员快速建立煤矸石视觉识别基线。压缩包共205个文件包含102张现场采集的原始jpg图像、102个对应txt标注文件及1个yaml配置文件txt采用YOLOv8格式记录类别与边界框坐标yaml定义了数据集路径和类别映射整体包体仅2.26MB轻量易用。当前已有459人学习/下载说明该数据在相关领域具有一定关注度。资源直接提供可训练的标注数据省去自行采集和标注的时间现场图像覆盖不同角度与光照条件有助于提升模型泛化能力同时适合作为小样本学习的示例也可在此基础上扩充数据或迁移到其他矿物识别任务。1. 煤矿现场的煤矸石识别为什么需要一份带“高岭石”标签的数据集在选煤厂的皮带运输线上煤、煤矸石和高岭石的视觉差异远比想象中小。煤矸石是采煤和洗煤过程中排出的含碳岩石主要成分是碳质页岩、泥岩和砂岩颜色从灰黑到灰白都有高岭石作为煤系地层中的黏土矿物常以灰白色或浅黄色块状出现在矸石堆中单靠灰度阈值或边缘检测很容易把高岭石误判成煤矸石。而YOLOv8要做的目标检测恰恰需要“同一背景下区分三种近色物体”的能力这就对训练数据提出了硬要求——光有“煤”和“煤矸石”两类不够必须把高岭石单独建模否则模型会在高岭石块上产生高置信度的错误框。这份102张现场采集原始图片、按YOLOv8格式标注的数据集正好补上了从“识别煤与非煤”到“识别煤、矸石、高岭石”的中间台阶。对于刚接触工业质检的算法工程师或者需要快速验证选煤厂视觉方案的团队来说用这份数据先跑通YOLOv8训练—验证—推理闭环比从零去现场攒图要省一个量级的时间。2. YOLOv8格式标注的煤矸石数据集目录结构、标签映射与现场采集边界2.1 数据集文件组织与txt标注含义这份数据集虽然只有102张图但文件组织方式是标准的YOLOv8格式。解压后常见结构是dataset/ ├── train/ │ ├── images/ # 训练图片jpg/png │ └── labels/ # 与图片同名的txt标注文件 ├── val/ │ ├── images/ │ └── labels/ └── data.yaml # 类别与路径配置以你拿到的文件名012_png.rf.1fcc9085833b5c1b93d64d030804ac7e.jpg为例对应的标签文件是同一目录下的同名txt。用文本编辑器打开每行代表一个目标框0 0.482421875 0.3567708333134651 0.138671875 0.19322916874289513 1 0.7314453125 0.5833333134651184 0.091796875 0.14166666567325592 2 0.259765625 0.27083333331346512 0.11328125 0.18124999850988388每行的五个数值依次代表class_id x_center y_center width height。注意这里的坐标全部是相对值——x_center是基于图片宽度的比例width也是相对图片宽度的比例范围在0到1之间。这与COCO数据集使用的绝对像素坐标不同YOLOv8在训练时读取的是这种归一化txt而不是画好框的JSON或XML。转换时如果从LabelImg、Roboflow或CVAT导出一定要确认导出的归一化选项已勾选。2.2 类别映射与类别不均衡问题在data.yaml中类别顺序决定了模型输出的class_id顺序。通常写成names: 0: coal 1: coal_gangue 2: kaolinite分别对应煤炭、煤矸石、高岭石。这里有一个容易踩的坑如果从不同标注平台导出类别顺序可能不一致。比如在Roboflow里导出时它会按你设置的标签名排序而不是按标注时的创建顺序。所以在训练前我一般会写个简单脚本统计每类目标数量验证类别顺序与txt中的class_id是否对应import os from collections import Counter label_dir dataset/train/labels counter Counter() for f in os.listdir(label_dir): with open(os.path.join(label_dir, f)) as fh: for line in fh: cls_id int(line.split()[0]) counter[cls_id] 1 print(counter) # 输出如 Counter({0: 87, 1: 56, 2: 23})如果你看到class 2数量明显偏少说明高岭石样本稀缺。102张现场图里高岭石可能只有几十个实例这会导致模型对高岭石的召回率偏低。但请注意不要为了均衡而盲目复制高岭石图片复制只会让模型记住重复样本加剧过拟合。正确处理方式是用数据增强或增加现场采集样本这部分在第4章展开。2.3 现场图片的采集条件与标注质量文件名中的.rf.前缀说明这些图经过Roboflow的预处理流程可能是原始现场照片经过缩放、旋转或自动白平衡增强后的版本。102张现场采集图片意味着拍摄环境分布在一线工况比如皮带上的煤流、矸石堆放区、转运站落料口。这些场景的特点是光照不均匀、粉尘附着在镜头表面、物体存在遮挡和堆叠。标注质量的关键在于“边界明确度”——煤矸石和煤粘连在一起时标注框是严格按照物体轮廓还是粗略框住整体区域这直接影响模型的回归精度。检查标注质量有一个直观方法把标签画回原图看一眼。用YOLOv8自带的绘图函数或OpenCV即可import cv2 img cv2.imread(012_png.rf.1fcc9085833b5c1b93d64d030804ac7e.jpg) h, w img.shape[:2] with open(012_png.rf.1fcc9085833b5c1b93d64d030804ac7e.txt) as f: for line in f: cls, xc, yc, bw, bh map(float, line.split()) x1 int((xc - bw/2) * w) y1 int((yc - bh/2) * h) x2 int((xc bw/2) * w) y2 int((yc bh/2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img, str(int(cls)), (x1, y1-5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0,255,0), 2) cv2.imwrite(check.jpg, img)跑一遍你会发现现场图里三个类别的框大量存在“部分重叠”或“紧贴边缘”的情况。这不是标注错误而是煤矿物堆叠的真实状态。YOLOv8的anchor-free检测头对这种重叠框的回归能力尚可但如果框之间IoU超过0.7训练时的正样本分配会产生歧义导致loss震荡。遇到这种情况后续需要根据实际重叠程度决定是否拆分标注框。3. 基于YOLOv8的煤矸石检测训练从配置到命令3.1 环境配置与依赖版本YOLOv8要求Python 3.8及以上PyTorch 1.8及以上。我通常这样安装conda create -n yolov8 python3.10 conda activate yolov8 pip install ultralytics torch torchvision注意如果你是用NVIDIA显卡比如GTX 1660 Ti这类显存6GB的卡建议安装CUDA 11.8对应的PyTorch版本而不是直接pip install ultralytics一并安装的CPU版本。显存紧张时训练图片尺寸不要默认用640可以改成416或320否则batch size设不上去。GTX 1660 Ti跑YOLOv8s输入640、batch8显存大约4.2GB勉强能跑但用label smoothing或mixup时会OOM。我一般在这种卡上把imgsz设为512batch设为12训练速度大约提升30%mAP下降不到1个点。3.2 数据集YAML编写需要根据数据集实际路径修改data.yaml。如果你的数据集不在一级目录下的train/images里而是像data/train/images这样YOLOv8会根据yaml中路径自动拼接。推荐写成绝对路径path: /home/user/coal_gangue_dataset # 数据集根目录 train: train/images # 相对path的路径 val: val/images nc: 3 names: [coal, coal_gangue, kaolinite]注意val不能为空YOLOv8训练时会用val集做验证并记录mAP。如果分不出验证集可以让val与train指向同一个目录但这会造成mAP虚高不推荐。对于102张图的数据集建议至少分出15张作为val剩下的87张训练。3.3 训练命令与参数解析训练命令如下yolo detect train \ datacoal_gangue.yaml \ modelyolov8s.pt \ epochs150 \ imgsz640 \ batch8 \ lr00.01 \ lrf0.01 \ patience30 \ augmentTrue \ projectcoal_gangue_runs \ nameexp_102modelyolov8s.pt是关键这是用COCO预训练权重做迁移学习。因为我们的类别是煤、煤矸石、高岭石COCO里没有这些类但预训练模型在前几层学习到的边缘、纹理、颜色特征依然有效能显著缩短收敛时间。如果从零开始训练yolov8s.yaml102张图绝对不够loss可能一直降不下去。patience30表示如果连续30个epoch在验证集上的mAP没有提升训练提前停止。小数据集上这个值可以设小一点因为过拟合通常在第40~60个epoch就开始显现早点停能保住最佳权重。3.4 训练过程中的损失函数曲线图与验证指标训练时终端会打印box_loss、cls_loss、dfl_loss和mAP50。我习惯在训练结束后画损失函数曲线图直观判断是否过拟合。ultralytics在runs/detect/exp/下会保存results.csv可以直接用pandas绘图import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(runs/detect/exp_102/results.csv) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(df[train/box_loss], labeltrain box_loss) plt.plot(df[val/box_loss], labelval box_loss) plt.legend() plt.title(box_loss) plt.subplot(1, 2, 2) plt.plot(df[metrics/mAP50(B)], labelmAP50) plt.plot(df[metrics/mAP50-95(B)], labelmAP50-95) plt.legend() plt.show()一个典型的小样本过拟合信号是训练loss持续下降但val loss在第50个epoch后开始上升同时mAP不再增长。如果你看到这种情况说明模型开始记住训练图的具体纹理而不是泛化的“煤矸石”特征。这时候需要调整第2章的类别分布问题并配合下一节的正则化手段而不是单纯延长epoch数。4. 现场部署的坑小样本、光照、粉尘与误检4.1 102张图的小样本过拟合信号102张图训练YOLOv8最直接的表现是val mAP50可能在0.85以上但换到现场另一条皮带上测试掉到0.6以下。这是因为原始图片集只覆盖了采集时的光照和煤种。有一个简单量化方式训练时开启cacheTrue让图片全部加载进内存如果训练准确率在20个epoch内就接近0.98而验证准确率远低于它说明模型容量过高。解决方法是换小模型从yolov8s改成yolov8n或者把width_multiplier、depth_multiplier降低。YOLOv8s的参数量约11M在6GB显存卡上训练没问题但对于100张级数据量yolov8n约3M参数更适合。4.2 数据增强策略针对性调整YOLOv8的默认增强中hsv_h0.015、hsv_s0.7、hsv_v0.4会在训练时随机改变颜色饱和度和亮度。这对煤矿现场是双刃剑适度改变亮度能模拟早晚班光照变化但过度改变饱和会让煤、煤矸石的颜色区分失真。因为煤是低饱和度深色高岭石是相对亮的浅色如果把饱和度增强幅度调大模型可能学会用“饱和度”而不是“纹理”来区分物体导致现场黄灯光下误检。我一般会把hsv_v从0.4降到0.2hsv_s从0.7降到0.3同时开启translate0.1、scale0.4来模拟皮带运动引起的尺度变化。mosaic1.0对102张图来说利大于弊因为拼接后的图片增加了目标上下文多样性但要注意mosaic生成的边角可能被截断导致某些标注框越界ultralytics会过滤掉这些框实际参与训练的框变少。4.3 后处理阈值与NMS参数调优训练完的模型在runs/detect/exp_102/weights/best.pt。推理时默认置信度阈值conf0.25、IoU阈值iou0.45。在煤矿场景这两个默认值往往不合理。因为图片中粉尘多、对比度低真实目标的置信度可能只有0.35而煤矸石纹理又容易产生0.3左右的误检。我的做法是先用conf0.1、iou0.3跑一遍val集把所有预测框画出来统计哪些是误检。然后调高conf到一个平衡点。例如yolo detect predict \ modelruns/detect/exp_102/weights/best.pt \ sourceval/images \ conf0.15 \ iou0.35 \ save_txtTrue \ save_confTruesave_confTrue会把置信度写进输出的txt里方便你按置信度排序分析。如果误检是煤矸石被框成煤说明是分类分支的问题单靠调阈值不行要从loss权重入手。在训练时增加cls1.2默认0.5让分类损失权重加大迫使模型更关注类别区分。4.4 煤、煤矸石、高岭石的难分样本处理三种物体在灰度纹理上的差异其实比较明显煤是脆性断口、均一黑色煤矸石有层理和灰白色颗粒高岭石呈致密块状断口更细腻。但在现场低分辨率图像中这些差异被压缩成几十个像素很难区分。一个实用技巧是按图像亮度分布做针对性增广import random import cv2 import numpy as np def adjust_gamma(image, gamma1.0): inv_gamma 1.0 / gamma table np.array([((i / 255.0) ** inv_gamma) * 255 for i in range(256)]).astype(uint8) return cv2.LUT(image, table) # 训练时对亮度偏低的样本做gamma校正 img cv2.imread(sample.jpg) if np.mean(img) 80: img adjust_gamma(img, gamma0.8) # 提亮但注意这种手动增广要写在自定义Dataset里而不是直接改图保存。直接改图会改变原图与标注的对应关系如果亮度调整导致目标边缘模糊反而增加标注噪声。更安全的方法是使用albumentations库做在线增强在训练每次加载图片时随机应用亮度对比度变换。对于高岭石识别HSV空间中的S通道特别有用因为高岭石往往是低纯度、低饱和的灰白色和煤矸石的高密度纹理有明显区别。可以在训练时对S通道随机乘一个0.8~1.2的系数增强模型对这一维度的鲁棒性。5. 自己扩展数据集并做模型评估的实操技巧5.1 用Roboflow导出格式转YOLOv8遇到的路径问题如果你后续自己标注了新图片从Roboflow导出的压缩包中图片可能被放在train/、valid/、test/下而yaml里的path是空的train字段写的是train/images。直接运行训练会报Dataset not found。常见修复是检查每个目录下是否需要缺省的_darknet.labels文件。ultralytics只需要yaml不依赖其他元文件。如果导出的是zip解压后要把所有图片统一改成jpg格式并去除文件名中的空格否则OpenCV读取失败。我在处理时喜欢用一行命令转换find . -name *.png -exec mogrify -format jpg {} \; # 需要ImageMagick转换后记得同步修改对应的txt文件名保持图片与标签前缀一致。5.2 验证集划分与mAP计算102张图太小手动划分很容易产生分布偏差。假设这102张图来自不同时间点拍摄的皮带画面如果验证集全部取前面的拍摄批次训练集全是后面的批次那么模型验证时遇到的煤种和光照都与训练期不同mAP会偏低。所以划分前先按拍摄时间或场景编号分组然后用train_test_split按组划分from sklearn.model_selection import GroupShuffleSplit groups [] # 每个文件对应的场景ID根据文件名中的序号段提取 splitter GroupShuffleSplit(n_splits1, test_size0.15, random_state42) train_idx, val_idx next(splitter.split(files, groupsgroups))划分后把训练和验证的图片、标签分别放入对应目录。注意groups必须代表独立的现场位置或采集时刻否则同场景的相似图片被分到训练和验证mAP会虚高到0.95以上失去参考意义。5.3 用混淆矩阵定位误检来源训练结束后ultralytics会在验证集上自动生成混淆矩阵confusion_matrix.png。如果高岭石类别行上有不少样本被预测成煤矸石说明这两个类别在模型特征空间里距离过近。这时候除了增加高岭石样本外还可以使用focal_loss或者调整类别权重来加大稀有类的梯度贡献。在YOLOv8中可以通过修改配置文件的cls系数实现不用改代码# data.yaml 中添加 weight: 0: 0.4 # coal 样本多降低权重 1: 1.0 # coal_gangue 2: 2.0 # kaolinite 样本少提高权重如果不想动yaml可以在训练命令后加cls1.5这个系数会应用到所有类别对高岭石的改善有限。我通常结合两者cls1.2加上一个自定义类别权重。另外对验证集预测结果做手动错误分析时把置信度低于0.3的预测单独存下来观察是不是都集中在高岭石边缘遮挡区域。如果是说明训练数据里的高岭石标注框过大包含了周围矸石背景。重新精细标注高岭石边界要比增加更多图更有效因为模型学到的是框内整体视觉模式框内杂质会污染特征。本文还有配套的精品资源点击获取

YOLOv8煤矸石检测：高岭石数据集标注与训练实战

相关推荐

解读 AI 生成实时聊天应用的评分报告：以 Claude Opus 4.5 的 PostgreSQL 聊天应用评测为例

装好 nuclei-templates 模板库，三步跑通首次漏洞扫描

FunASR 云端部署准备：阿里云 ECS 申请、安全组放通端口与 runtime-SDK 一键部署实操指南

更多资讯

litellm遭投毒？Python供应链安全自查与止损指南

core-js 模块直接在浏览器加载产生大量请求怎么解决：打包成单 bundle 上线

Renovate Artifactory Datasource 全解析：让 Renovate 从 JFrog Artifactory 自动发现 Conan 包版本

如何配置环境并运行 PyG 的 CPU 训练基准测试 training_benchmark.py？

Arduino-ESP32 项目全解析：ESP32 系列 SoC 的 Arduino 核心架构、芯片支持矩阵与开发调试实践

Pydantic Evals 第三方评测框架集成：把 Ragas 与 DeepEval 指标封装为自定义 Evaluator

今日更新

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？