★ 固博机器人（重庆）有限公司

1 方案目标概述

1.1 建设背景及行业面临的挑战

（1）监控系统发展需求：在监控系统的发展过程中，从前端摄像头到信号传输到后台存储再到后台对前端设备的控制，各种技术和设备一直在进行着突飞猛进的发展，然而绝大部分存量的公共空间分散应用系统依然要靠24小时人为不间断通过大屏幕观察解决异常情况的监控问题。

（2）工业智能化的需求：随着智慧水电站、智慧电站、智慧工厂等各工业领域智能化建设的推进，对智慧安防监控技术的需求旺盛，通过系统将原来的工业摄像头数据进行接入，获取数据信息，进行统一识别分析，对原有监控系统进行智能升级。

（3）在很多工业现场，目前仍采用传统的人工作业方式，存在效率偏低，及时性、安全性不高，可靠性、稳定性偏弱，误报、漏报现象时有发生，无法及时快速追踪现场情况等诸多问题。引入工业智慧运维系统辅助、替代人工检查，提高检查效率和运行可靠性。

1.2 主要目标

工业智慧运维系统以智慧监控为基础，充分将云计算、人工智能、深度学习算法、大数据等各项技术高度融合，在监控中心远程操控，实现定时、周期遥控巡检，监控及数据报表分析、及时识别各种报警和异常等数字化、智能化的管理与反馈机制，助力智慧工业的建设。

1.3 总体概述

工业智慧运维系统是基于传统视频监控系统的智能识别+报警系统，通过硬件承载软件系统组成。工业智慧运维系统产品架构图如图1所示。

图1 工业智慧运维系统产品架构图

工业智慧运维系统主要通过工业现场现有的监控设备，采用国内领先的深度学习算法、大数据处理和分布式集群管理技术，实现并发不少于240路1080P实时视频实战平台分析或不少于240路离线高清视频的目标结构化分析，实现在海量历史视频文件和图片中快速查找目标完成工业场景预警或者嫌疑人锁定。可实时输入区域内的所有监控点的视频监控抽帧图片，运用深度学习算法分析出所有行人特征、车辆特征以及公共场合内行人行为、设备运行状态分析。其识别类型主要分为：

（1）人员违规行为识别

对监控视频中人员的行为规范方面进行识别，如有无正确佩戴安全帽，着装是否规范、是否存在睡觉、看手机等异常行为。

（2）设备运行状态类识别

对监控视频中设备是否存在跑、冒、滴、漏等异常现象，以及设备是否存在缺陷进行识别并报警。

（3）作业结果类识别

针对自动化或半自动化作业的结果进行无人检查并反馈结果。

（4）作业过程类识别

对作业过程情况进行无人化检查。如输煤系统皮带停止、皮带跑偏、皮带堆料等异常进行识别报警。

2 方案介绍

2.1 系统架构

系统采用分布式系统构架，主要由大数据接入、大数据结构化及存储、大数据应用平台三部分组成。

大数据接入负责接入现场各个监控视频资源，同时支持直接导入离线视频；大数据处理采用深度学习算法，负责对视频、图片数据进行转换、分析处理，将非结构化数据转化为标准的结构化数据集，供挖掘和分析使用。目前可以支持对视频中的人、车辆及人的行为、设备运行状态进行分析，形成以上目标的矢量特征。大数据存储中心构建在成熟的云存储体系之上，具备存储的复杂均衡，软硬件的动态扩展和删除以及数据的自动备份和恢复功能，负责对结构化数据集进行管理，同时负责维护系统建立的各种专题库。大数据应用以IE客户端方式提供各类视频流和图片的可视化展示，诸如统计、报表、报警信息可视化展示，配备声光报警设备等服务应用。

工业智慧运维系统架构如图2所示。

图2 工业智慧运维系统架构

2.2 硬件平台

（1）PC桌面电脑带显卡

（2）NVR数字硬盘录像机（用户现场提供）

（3）运行环境

接口系统：独立服务器Web端；

CPU：双核1.5G以上；

显卡：1024*768，16位色以上。

2.3 软件平台

（1）系统开发

操作系统：windows、linux；

集成开发环境为eclipse、Myeclipse、IDEA，码云作为源代码管理工具。

（2）系统运行

系统采用基于web平台的java技术作为主要的开发技术，jdk版本为1.8.0以上，兼容浏览器IE（7.0以上）、360SE、Chrome、Safari、QuikTime、FireFox。

2.4 数据通信

本系统的数据、命令通信协议采用TCP/IP（Socket）、SOAP、HTTP等协议。接口系统与web端采用json格式数据进行通信。

2.5 安全措施

（1）系统应用于特殊巡检，故重点考虑数据储存、数据传输的安全性，以及系统的物理安全和管理安全。采用成熟、先进的技术开发，确保系统的稳定性。

（2）工业智慧运维系统满足“技术先进，安全可靠；功能完善，使用简便；灵活机动，部署快捷”的应用要求，通过专业化、规范化的运维服务，达到行业规范和标准的要求，保证设备和系统处于最佳运行状态，发挥系统的最大效能。

（3）系统设有安全权限管理。不同范围的人员对不同功能模块有不同的使用权。

3 应用情况

工业智慧运维系统已在输煤皮带廊、钢厂（四高及精整包装线）、热电厂（零米汽机、GIS室、控制室）等场景下开展应用，且运行效果俱佳，切实提高了工业领域的设备健康水平和管理水平，取得良好示范效应。

下面以输煤皮带廊智慧运维系统为例具体说明解决方案。

输煤皮带智慧运维系统为输煤系统提供一套完整的无人值守巡检解决方案，具备输煤系统无人化检查、输煤系统皮带停止、皮带跑偏、皮带堆料识别报警等核心功能，配套输煤系统集控软件能够对整个输送带监控设备控制、并能够对大量的输送带系统数据进行采集与大数据分析、系统报警为一体的智能化运维。

输煤皮带智慧运维系统提供了完整的解决方案，可提高工作人员的巡检进度，对巡检质量实现由人工管理到电子化管理的转变，并进行考评，保证检查工作的正常开展。管理者可以通过该系统对阀门、各管道、线路等设施的巡检实现科学化的管理，同时依托大数据计算技术，能够对异常状况进行提前预判分析，在办公室内足不出户即可通过各类电子报表掌握巡检的实施质量和设施的运行状况。

（1）系统采用多种通用协议：WebSocket协议、HTTP协议、TCP/UDP协议、FTP文件传输协议、RTSP实时流传输协议，可接入其他系统及接收其他设备数据。

（2）具有可视化地图管理模块，可实现地图创建、地图编辑、巡检点采集等基本功能，便于巡检任务的指定。

（3）后台界面可根据采集到的数据自动产生巡检报告，分为日、周、月、年和监控报表，并支持对报表的管理、查询、自定义。

（4）多巡检任务进行管理，巡检列表中包括巡检点设置、巡检任务计划制定、巡检任务浏览和巡检任务跟踪等任务。

（5）提供所有巡检数据日志报告的导出。

（6）监控后台能摄像头进行手动操作。

（7）服务器存储不少于3个月的设备巡检图片。系统定期自动备份数据库数据，防止数据丢失。

（8）集控平台建设遵循“统一规划、分级应用”的建设思路，制定一体化的系统架构，实现数据规范、功能模块的统一与标准化，具备标准化的数据接口，实现数据高速交互，数据能够与运维自动化系统等专业系统互联互通。同时，系统设计具备良好的功能扩展性，既满足现阶段生产需求，又考虑未来功能升级或网级巡检中心的数据采集要求。

（9）能将站内已有的安防系统、视频系统、监控系统融合到我们的机器人进行识别分析，并将识别结果存到数据库，可在管理界面查看，并将故障展示到显示界面。

（10）平台架构采用B/S模式，实现与其他系统的数据通信，按照数据类型将数据层划分为多个独立模块，增加数据的处理效率和提高稳定性。

（11）与第三方平台进行数据对接

操作方式有三种：

一是把系统的单个功能网页给用户，用户把网页嵌入到用户已有系统，进行对应的数据展示；

二是给用户提供数据接口，用户可以通过接口获取巡检系统相应的数据；

三是甲方提供数据接口，可以向用户的数据接口写入相应巡检的数据，进行对应的数据展示。

①历史数据查看功能

可以查看近一年的所有巡检历史数据、图片等。可以从时间和检测对象两个维度进行查看。

②报表功能

巡检数据可自动形成巡检报告，并可导出巡检报表和故障报表。

③报警功能

具备设备检测数据的分析、诊断、预判及报警功能；报警发生时，立即发出报警信息，并伴有声光提示，并能人工退出/恢复；报警信号能远传。

识别流程图如图3所示。

图3 识别流程图

4 代表性及推广价值

4.1 技术亮点

（1）智慧能力库建设：已建立了工业领域的能力库，借助图像视频采集、标注、深度学习算法，让“工业智慧巡检系统”在各类工业应用场景中快速应用，持续优化演进。

（2）全信息感知：系统自动监控，全信息感知；用户可进行定制化、全天候持续不间断地数据采集。

（3）灵活易用：借助APP工具，对任何一个摄像头可进行灵活部署和识别能力的赋能，用户可进行任意的更改，扩展性强，操作简单方便。

（4）协同共享：针对NVR\DVR一个系统范围内装一台工业智慧巡检系统，多台可汇集共享一个后台系统。

（5）边缘智能+云智能

工业智慧运维系统通过搭载具有高可用高稳定性的智能算法板，对实时产生的巡检数据做实时智能AI运算处理及数据分析。同时判断告警系统是否产生了预警信息，如果产生了预警信息告警系统会通过声音，亮灯等方式进行实时预警。同时会把处理好的数据结果保存到系统服务当中，如果告警系统当前和云服务已经联通，通过边缘智能处理的数据会实时地传输至云服务器，云服务器可以对数据进行大数据分析，分析每个点位出现预警频率，在数据足够充分的情况下甚至能分析出哪些设备将要出现预警，可以提前告知工作人员，提前进行查看维护。

边缘智能，将云计算能力拓展至用户现场，可以提供临时离线、低延时的计算服务，包括消息规则、函数计算、AI推断。随着收集数据并将其转换到云端进行处理的物联网设备数量增加，边缘智能应运而生。基于边缘计算这一新型的计算模式，边缘智能在更加靠近用户和数据源头的网络边缘侧这一位置训练和部署深度学习模型，从而改善人工智能应用的性能、成本和隐私性。

作为云计算向网络边缘和终端用户的扩展，边缘计算将计算资源和服务从远离用户的云端下沉到网络边缘侧，从而有效降低网络延迟和带宽消耗，并加强隐私保护。相比于传统应用，物联网场景下的基于视频分析、图像和语音识别技术等新兴人工智能应用的计算和数据都更为密集，对延迟和隐私保护要求也更为严苛。同时大大地降低了用户在服务器集中进行运算的硬件成本。

（6）巡检点位智能快速部署

自动获取NVR的监控设备信息，并对监控设备当前位置进点位行初始化。

4.2 经济效益/商业价值

“工业智慧运维系统”直接替代目前部分（大部分）人工观察大屏幕监控职责；其二是进行异常图片智慧保存，建立快速检索机制，进一步提升存量系统的建设价值、解放大量低级无趣工作下的劳动力并对新构建的分散性监控系统提升价值。在大数据技术支持下，对公共空间的安全风险进行预测和警报，真正提升公共空间的安全性降低各种安全风险。

“工业智慧运维系统”产品具有存储轻量化（视频数据经过结构化处理，输出形式为图片甚至文本，极大地降低了占用的存储空间和传输压力）、处理高效化（具有高性能并行处理能力，并支多线程图片帧抓取，能成倍提高视频数据的结构化处理能力）、应用多样化（系统内嵌应用管理系统，能够提供统计、报表、报警信息可视化展示，配备声光报警设备等各类丰富应用）特点，其应用面广，用户接受度高，商业价值高。

4.3 社会价值

“工业智慧运维系统”充分将云计算、人工智能、深度学习算法、大数据处理等各项技术高度融合，实现定时、周期遥控巡检，监控及数据报表分析、及时识别各种报警和异常等数字化、智能化的管理与反馈机制，解决现有监控系统的痛点问题（如系统自身无法提前预警、人工监视存在遗漏、人式监视低效枯燥、事后取证复杂、存储时间受限、存储数据价值无开发等），减轻（替代）人工作业（检查、监视）劳动强度，提高作业效率、解决及时性、安全性、可靠性及稳定性问题。

随着智慧水电站、智慧电站、智慧工厂等各工业领域智能化建设的推进，以及智慧城市、智慧医院、智慧学校等其它领域智能化建设从概念走向落地，对智慧安防监控技术的需求旺盛，通过系统将原来的工业摄像头数据进行接入，获取数据信息，进行统一识别分析，形成智慧运维系统（智慧化视频监控），解决公共空间监控系统的直接升级。

摘自《自动化博览》2022年10月刊