【元宝搜索开发者征文大赛】基于机器视觉的矿山油井多模态安全预警风险监测评估研判系统-北京尧图网络

矿山/油井多模态安全风险研判系统系统功能 · 模型链路 · 优缺点 · 创新点基于 Django 5.2 YOLO26-m YOLOE PatchCore开源承诺系统训练集均来自ultralytics官方提供数据系统不会用做任何商业活动Annotate, Train, and Deploy Vision AI on Ultralytics PlatformAi使用说明系统开发过程使用了腾讯元宝、WorkBuddy、QoderCn、TraeCn等多种AgentCli模型搭载DeepSeek-4-Flash、Qwen3-Max、Kimi3等多种主流Api一、系统功能本系统面向矿山与油田作业场景通过计算机视觉与多模态融合技术对现场作业人员、防护装备、矿山设备及危险状态进行实时检测与风险评估实现从被动响应到主动预警的安全管理模式转变。1.1 人员防护装备PPE检测基于 YOLO26-m 微调模型对 11 类人员防护装备进行精确检测检测项说明安全帽检测作业人员是否佩戴安全帽防护手套检测是否佩戴防护手套反光背心检测是否穿着反光背心安全靴检测是否穿着安全靴护目镜检测是否佩戴护目镜未戴安全帽头部违规类直接检出裸露头部非防护鞋违规类检出非安全鞋1.2 矿山设备与危险状态检测基于 YOLOE 开放词汇检测模型通过自然语言提示词定义检测目标覆盖矿山设备与现场危险状态矿山设备矿用卡车、挖掘机、轮式装载机、传送带含损坏检测、抽油机、井口装置、储罐等危险状态明火、边坡裂缝、溢油、油池、油污等消防设施灭火器在位检测1.3 无监督异常检测基于 PatchCore 无监督异常检测算法对无法预先定义的异常状态进行补充检测包括设备异常形变、区域入侵、非标准作业姿势等作为规则化检测的兜底通道。1.4 合规检查清单将多通道检测结果汇总为结构化检查清单每个检查项包含检测目标、检出状态、置信度、判定结果合规/违规支持一键生成巡检报告。1.5 风险评分与告警综合人员违规、设备异常、危险状态等多维度信号计算现场综合风险评分按严重等级触发告警并自动生成整改工单。1.6 数据管理与可视化1.6.1.历史检测记录存储与检索1.6.2.告警工单管理派发、跟踪、闭环系统可自动根据检测识别出的异常点生成对应的整改逻辑链路并配置审批流这样就可以让各个环节监理、施工方进行整改逻辑闭环。1.6.3.统计报表与趋势分析1.6.4.现场图片标注可视化1.6.5.实时风险监测1.6.6.员工管理二、模型链路系统采用多模型并行融合架构三条检测通道各司其职、结果互补最终汇总为统一的风险评估输出。2.1 整体架构输入图像 → 三通道并行推理 → 结果融合 → 检查清单 → 风险评分 → 告警/工单通道职责YOLO26-m 微调通道11 类 PPE 精确检测合规判定主力YOLOE 开放词汇通道矿山设备危险状态检测语言定义长尾目标PatchCore 异常通道无监督异常兜底覆盖未定义风险2.2 YOLO26-m 通道PPE 微调基础模型YOLO26-m中尺寸参数约 42M训练数据1189 张标注图暗光数据增强HSV 亮度扰动 0.6检测类别11 类合规装备 5 类违规状态 2 类辅助类 4 类推理阈值体系人员/中性类 0.45、违规类 0.20、装备正式检出 0.12、护目镜 0.30弱证据机制0.05~0.12 置信度的装备检测保留为 weak_evidence阻止未检出未佩戴的误推断2.3 YOLOE 通道开放词汇基础模型YOLOE-26s-seg带分割能力提示词编码MobileCLIP2 文本编码器将自然语言提示转为 embedding训练数据8041 张图覆盖 7 类有标注目标明火、边坡裂缝、传送带损坏、灭火器、矿卡、挖掘机、轮式装载机特点零样本能力微调增强灵活检测语言定义的长尾风险2.4 PatchCore 通道无监督异常算法PatchCorePatch-based Core-set Anomaly Detection机制在正常样本上构建特征记忆库推理时计算图像 patch 与记忆库的距离作为异常分数阈值ANOMALY_ITEM_THRESHOLD 0.3超过判为异常聚焦区域优先对矿山设备抽油机、井口、防喷器、储罐、矿卡等区域做异常检测2.5 结果融合与风险评分检测结果合并三通道检测框去重、NMS 抑制合规推断基于装备检出状态推断违规弱证据阻止误判风险评分按违规严重度加权计算综合分数告警分级根据评分触发不同级别告警与工单三、优缺点分析3.1 优势多通道互补微调模型保证高频 PPE 精度开放词汇覆盖长尾风险无监督兜底未知异常误报抑制弱证据机制解决装备检出置信度低被误判为未佩戴的常见问题灵活扩展YOLOE 开放词汇支持通过自然语言新增检测类别无需重新训练暗光适配训练阶段引入 HSV 亮度扰动等暗光增强提升矿井场景鲁棒性结构化输出检测结果自动转为检查清单便于巡检报告生成端到端闭环检测 → 评分 → 告警 → 工单 → 报表全流程覆盖3.2 不足数据不均衡YOLOE 仍有 6 类溢油、油池、油污、抽油机、井口、储罐无训练数据依赖零样本能力精度有限小目标精度手套、护目镜等小目标在远距离/暗光下置信度偏低计算开销三通道并行推理单帧延迟高于单模型方案对边缘部署硬件要求较高异常检测局限PatchCore 聚焦区域依赖 YOLOE 设备检出设备漏检时异常通道退化为全图检测训练数据规模YOLO26-m 仅约 1200 张训练图数据增强虽有帮助但上限受限四、创新点4.1 双 YOLO 并行融合架构将 YOLO26-m 微调通道与 YOLOE 开放词汇通道并行部署前者保障高频 PPE 检测精度后者以自然语言灵活覆盖矿山设备与危险状态长尾目标突破单模型精度与泛化不可兼得的局限。4.2 弱证据防误报机制针对工人穿全套装备却被标疑似未佩戴的典型误报设计 0.05~0.12 置信度区间的弱证据保留策略低置信装备检出不画框、不计合规数但作为疑似佩戴证据阻止违规推断在不影响精度的前提下显著降低误报率。4.3 开放词汇无监督异常的双兜底YOLOE 开放词汇负责可语言描述的长尾风险PatchCore 无监督异常负责无法预先定义的未知异常两层兜底机制使系统具备持续适应新场景的能力降低对标注数据的依赖。4.4 面向矿山场景的暗光数据增强针对矿井/油井暗光作业环境在训练阶段引入 HSV 亮度扰动hsv_v0.6、饱和度增强、多尺度缩放等组合增强策略提升模型在低光照、高反差场景下的检出稳定性。4.5 结构化检查清单自动生成将多通道异构检测结果统一映射为合规检查清单含角色、状态、置信度、判定实现从原始检测框到可审计巡检报告的自动转换减少人工整理成本。五、腾讯元宝接入5.1 使用的人•矿山 / 油井安全管理员要判断一条新规、一次事故通报是否影响本单位制度。•一线巡检员、班组长现场遇到不确定的做法时想知道“现在到底怎么规定的”。•系统管理员 / 讲解人员演示系统时经常被问到系统之外、但又和安全直接相关的问题。5.2 原来的三个痛点痛点原来的表现造成的后果知识没有时效本地 Qwen2.5-1.5B 的知识停在训练时点问“今年 / 最新的政策”只能泛泛而谈回答看似合理但可能已过期回答不可溯源本地模型给出结论却拿不出处安全管理人员不敢直接采用弱模型容易跑偏1.5B 模型在通用问题上容易答非所问Qwen 关闭时只能返回固定知识库演示效果和实际可用性都受限5.3 元宝搜索带来的改变•问时效性 / 外部事实问题时先检索公开网页再把摘要交给 Qwen 组织语言•回答下方给出标题、站点、日期、可点击链接做到“有出处”•Qwen 不可用或超时时直接用检索摘要兜底不再只能说“当前 AI 模型未启用”•系统内部问题风险等级、工单、检测、传感器等不检索不增加延迟和费用。一句话让安全问答从“凭模型记忆”变成“先查资料、再回答、能溯源”。搜索位于智能客服链路的“回答前的事实补充”环节用户提问之后、Qwen 生成之前。图 1 智能客服联网检索链路5.4 三种联网模式模式行为适用场景auto默认命中时效 / 外部关键词才检索系统内部问题不检索日常使用兼顾效果与费用force每次提问都检索演示、核查资料off完全不检索断网、控制费用、只问系统功能前端入口客服面板底部“联网·自动 / 联网·强制 / 联网·关闭”三态按钮。5.5 自动模式的判定规则•强外部信号命中即检索最新、最近、今天、今年、新闻、政策、法规、标准、条例、事故、通报、天气、预警、价格、应急管理部、国家矿山安全监察局等。•弱外部信号且不是系统内部问题才检索数据、统计、排名、研究、论文、对比、区别。•系统内部词不检索风险等级、工单、告警、传感器、检测、模型、页面、登录、导出、报表、摄像头、开放词汇、阈值、派单、销号等。•含 URL 或年份 / 日期的问题直接检索。•例“矿山安全最新政策” → 检索“传感器数据怎么看” → 不检索“最新的风险等级规定” → 检索。

【元宝搜索开发者征文大赛】基于机器视觉的矿山油井多模态安全预警风险监测评估研判系统

相关推荐

Python turtle 绘制科赫雪花，实现 0~4 阶分形图形

亚马逊陪跑和录播课怎么选？分清 2 种培训模式，别选错耽误起店节奏

全开源！浙大高飞团队发布CrossFly：面向无人机跨室内外交互导航的全新基准

更多资讯

V4L2应用层编程实战：从open到STREAMON的完整流程与踩坑汇总

MATLAB轻量级病虫害识别系统：离线部署、INT8量化与田间决策闭环

Windows NTP时间同步实战：w32time调优与ntpdate高精度校时方案

PMIC与MCU协同：利用PCA9422和PIC18F66K40实现低功耗电源管理

dom4j实战指南：Java中XML增删改查与常见坑全解析

PHP反序列化调试实战：用Xdebug精准定位类型丢失问题

今日更新

MATLAB缩进快捷键与批量格式化实战指南

用Poco实现Qt风格信号与槽的跨平台C++方案

ESXi裸机虚拟化安装指南：从硬件兼容到虚拟机部署

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？