★宁夏煤矿设计研究院有限责任公司张善兵

选煤厂智能化是工业智能发展的重要组成部分，也是煤炭行业转变发展方式、优化生产结构、提高经济效益的重要途径。目前，选煤厂依靠工人定期巡检选煤设备工作状况或监视选煤过程参数、手动操作现场报警和设备启停，以及监控系统只记录、存储视频，不能为精准决策提供依据，无法满足现代选煤厂对智能化水平的要求。人工智能AI视频分析可实现对选煤厂设备、环境、人员、选煤全流程重要参数的智能监测，进而降低人力成本，提高生产效率，精准监测过程参数，对选煤厂智能化具有重大意义。

1　系统设计

1.1　系统设计思路

通过在选煤厂的皮带、吊装口、危险区等位置区域部署摄像机（防爆摄像机），在厂区控制室的机房部署视觉AI边缘计算设备和监测预警平台，实现对生产过程中人员的非法入侵、作业过程中人员的不安全操作与行为以及设备工作状态异常的安全监测和报警。

1.2　系统简介

选煤厂视频AI智能分析系统集工艺与智能视觉分析为一体，是利用智能视频分析技术实现对选煤厂人员的不安全行为、设备的不安全状态和环境危险因素的检测识别，使得传统监控系统具备了新的能力，解决了传统的视频监控模式下海量视频录像堆砌在中心，需要大量人力投入进行人工查证的问题，同时促成监控业务模式从事后查证到主动视频防控质的飞跃。

选煤厂视频AI智能分析系统基于人工智能视觉、边缘计算、大数据等最新技术及选煤厂场景分析预警模型，为选煤厂构建了一个实时的视频分析安全态势预警平台，避免了重大安全事故，防患于未然，可为企业生产安全保驾护航。

1.3　系统架构设计

系统平台总体采用云架构，分为物、端/边缘、云三大部分，如图1所示。

图1 平台架构

1.3.1　物

物主要指作业场所的摄像机设备。

1.3.2　端/边缘

端/边缘主要是用于接入边缘的设备，接入摄像机视频流数据，经过加工后再转换传递至云端。

1.3.3　云

云是系统应用的核心，云端总体采用IaaS、PaaS、SaaS三层架构。IaaS层通过虚拟化技术，使得整个物理计算资源可动态调配；PaaS层采用容器和调度技术，使得应用发布轻松便捷，同时可监控和动态分配应用资源；SaaS层则主要面向用户提供各种业务应用功能。

1.4　系统核心应用

整个系统核心分为上下两个层次，如图2所示。底部三层为视频数据接入层，主要为现场监控画面与异常检测数据接入、人脸识别数据接入；上层为用户应用系统层，主要为最终用户提供系统功能，应用覆盖智能综合展示、告警事件管理、事件处置管理、配置管理、系统管理、移动APP应用等功能。

图2 功能设计

2　系统关键技术

2.1　图像处理技术

在应用计算机视觉技术时，第一步是图像采集，第二步是对已经采集的图像进行预测分析处理，如果采用宏观检测技术则对图像整体进行分析；如果采用局部微观检测则是将图像进行切割，然后对切割后各图像内容中出现的运动物体影像进行分析。在图像数据处理中常用的技术有背景差分法、视频帧间差分法等。平台主要采用OpenCV图像处理技术，它包含了几百个图像处理和计算机视觉方面的C语言函数和一些C++类，实现了许多流行的图像处理和计算机视觉算法。

2.2　卷积神经网络图像分析技术

卷积神经网络图像分析技术主要对图像进行分类。CNN使用一种局部连接和权值共享的模式，有效控制待学习的参数数量的同时，可逐层提取图像的高层特征信息，使系统实现快速高效识别。

在卷积层，每一层卷积网络采用多个卷积核对图像数据进行卷积操作。在这里卷积核是一个3×3的矩阵，通过卷积核窗口的不断滑动计算，会提取出一张特征图。同一层的神经元可以共享卷积核，并且使用卷积核后图片的尺寸变小也不影响原图的特征，方便后续计算。

池化层则是在局部计算每个窗口的最大值或者平均值。通过这种操作，可以减少参数，只保留有用的特征，提高了运算效率。

最后的全连接层则可以将学到的“分布式特征表示”映射到样本标记空间，起到分类器的作用。通过多层卷积层和池化层的叠加，可以很好地识别出图像的特征信息，保证了识别的精度和速度。

2.3　人脸识别技术

人脸识别技术是基于图像识别，并根据人脸特征信息进行身份判定的技术。人脸识别主要特点是利用人的脸部特征作为一种身份辨识的方式，通过采集含有人脸的图像或视频流，自动对图像或视频中的人脸进行检测定位、图像预处理、特征提取和匹配识别，达到识别不同人身份的目的。因此，人脸识别技术可以在不同场合中实现智能化应用，其优势有以下三个方面。

2.3.1　自然性

所谓的自然性是指通过观察就可以比较人脸来区分和确认身份。

2.3.2　非接触性

相比较其他生物识别技术而言，人脸识别是非接触和非感知的，用户不需要和设备直接接触和感知。

2.3.3　并发性

在实际应用场景中，人脸识别技术可以进行多个人脸的分拣、判断及识别。

2.4　边缘计算技术

智能视觉分析服务与人脸识别系统均采用边缘计算框架进行部署。边缘计算起源于传媒领域，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算框架总体采用松耦合微服务架构，共分为四个核心层和两个辅助服务层。四个核心层分别为。

2.4.1　设备接入服务层

设备接入服务层提供网络摄像机的快速接入。

2.4.2　核心服务层

核心服务层提供核心运行服务，主要包括核心数据服务（搜集持久化设备和传感器等边缘设备数据，并将数据导出到云）、命令服务（负责把命令从设备传到云端，不允许非法命令与设备交互）、元数据服务（主要包括管理设备配置文件，包括设备信息、设备数据结构类型和设备命令）和注册配置服务（微服务配置、执行参数和状态，提供微服务启动所需配置，如端口号等）。

2.4.3　支撑服务层

支撑服务层提供支撑整个系统运行的服务，主要包括告警通知服务（设备发生故障，生成告警，发生告警到目的应端，目前支持E-mail和REST回调）；

日志服务（通过RESTfulAPIs提交日志请求、查询历史日志、移除历史日志，用LOGBack做日志框架，可以通过文件或MongoDB持久化日志）；

调度服务（负责定时清理设备数据，默认每30分钟执行一次）和规则引擎服务（提供了一种边缘事件触发机制，监控边缘设备数据。符合条件，触发行为，通过命令服务下发指令）。

2.4.4　输出服务层

输出服务层主要负责数据到云端的输出服务，主要包括客户端注册（客户端注册为数据接收者，按需过滤流转数据，包括本地分析服务、事件处理器、智能分析引擎等）和分发微服务（基于EAI技术，管道过滤体系。通过消息队列，接收数据，过滤、传输和格式化数据，通过REST、MQTT、OMQ分发数据到特定注册客户端）。

两个辅助服务层：安全服务，支持AAA访问控制，AES256数据加密，唯一证书认证，HTTPS协议流程数据；系统管理服务，提供微服务安装、升级、启动、停止和监控功能。

3　AI视频分析技术在选煤厂的应用

3.1　不安全行为识别应用

不安全行为包括胶带机沿线靠近、胶带机头机尾走廊越线、危险区域闯入、防护栏越界、安全帽检测等。

摄像头录制现场人员的操作画面，并上传到视觉AI边缘计算设备和监测预警平台，视觉AI平台分析视频里的画面，并将人员操作画面放入正规操作图片库中进行比对，判定为违规操作立即报警，并记录到报警历史中。

3.2　杂物识别、皮带跑偏识别应用

利用原在胶带机上已经安装的摄像仪，通过视频分析平台实现皮带上大块物体及杂物的识别、跑偏监测等功能。

3.3　刮板机断链、斜链、飘链监测保护识别应用

利用在块煤配筛刮板机、煤泥刮板机上已经安装的摄像仪，通过视频分析平台实现刮板机断链、斜链、飘链的监测保护等功能。其中刮板机断链、斜链监测保护可与原有机械保护装置互为验证。

4　AI视频分析技术在选煤厂推广价值

4.1　边效益比突出

通过本方案可以在原有监控系统的基础上做AI视频分析的功能应用，不需要再另行增加视频监控摄像头和传输设备，大大降低了成本并可确保原有系统的投资。

4.2　安全可靠

视觉的最大优点是与被观测对象无接触，因此对观测对象与被观测对象都不会产生任何损伤，安全可靠，这是其它监测设备及方法无法比拟的。另外，人员无法长时间观察对象，机器视觉则不知疲劳，能全天候进行观测，所以机器视觉可以广泛地应用于全天候、恶劣的工作环境。

4.3　连续性

智能视觉系统可以使人免受疲劳之苦，不再需要人时刻进行值守，当出现异常情况时，系统可进行及时告警并显示现场情况，并通过相关人员进行处置。

5　结论

将视觉AI技术应用于选煤厂实际生产过程当中，实现选煤厂的智能控制，是将来选煤厂科技创新及技术改造的一个重要方向。视觉AI技术是用图像摄取装置代替人眼从客观事物中提取图像信息，并通过计算机加以处理，最终实现实际测量、分析和控制。随着计算机与图像处理技术的发展，视觉AI技术在各个工业领域都将得到广泛的应用。

作者简介：

张善兵（1972-），男，宁夏银川人，高级工程师，现就职于宁夏煤矿设计研究院有限责任公司，研究方向为煤矿信息化、智能化。

参考文献：

[1] 赵亮, 孙魁元, 韩宝虎, 等. 基于人工智能视频分析的选煤厂安全管理研究[J]. 中国安全科学学报, 2021.

[2] 折小江, 刘江, 王兰豪. AI视频图像分析在选煤厂智能化中的应用现状与发展趋势[J]. 工矿自动化, 2022, 48 (11) : 45 - 53, 109.

[3] 张康辉, 王卫东, 刘子琪, 等. 煤炭加工中异物的计算机视觉检测注意力CNN[J]. 工程人工智能的应用, 2021, 102 : 116 - 128.

[4] 刘开南. 基于递归卷积神经网络的煤矿智能监控安全生产管理平台关键技术研究[J]. 中国煤炭, 2018, 44 (12) : 84 - 87.

[5] 宗春英. 基于人工智能的故障监测和诊断系统的研究[J]. 制造业自动化, 2012, 34 (7) : 52 - 54.

[6] 樊国方, 岳长青, 吴胜平. 皮带打滑测速装置的改进[J]. 水泥, 2012 (8) : 60 - 61.

[7] 高文. 智慧矿山智能决策支持技术架构设计[J]. 工矿自动化, 2017, 43 (9) : 21 - 25.

摘自《自动化博览》2023年4月刊