★中国铁塔股份有限公司闫亚旗，冉沛，张阔，刘文睿，唐琳

关键词：边缘计算；视频监控；边缘智能网关；云边协同

1　引言

随着5G、大数据、人工智能、产业互联网及数字经济的发展，以云计算为核心的传统处理模式越来越难以为继，而以边缘计算为代表的算力下沉成为新的发展趋势。边缘计算是指在网络边缘执行计算任务和数据处理的一种分布式计算模式，它将原本集中在云端的数据处理任务下沉到靠近数据产生源的网络边缘，通过边缘节点就近提供计算服务，有效降低了数据传输的延迟和带宽消耗，同时减轻了云端的计算和存储压力。

近年来，人们对于个人和社会安全的关注度不断提升，视频监控作为一种有效的安全防范手段，其市场需求迅速增长。特别是在疫情期间，公共场所、交通枢纽、医疗机构等关键区域对视频监控的需求更加迫切，视频监控业务飞速发展。然而，大量摄像头终端的接入及其产生的海量数据以及数据隐私泄露风险，对传统以云计算为核心的视频监控系统提出了极大的挑战，因此基于边缘计算的视频监控系统成为当下业界研究的热门。边缘计算其本质上是云计算的扩展和延伸，边和云各有所长，在边云协同的工作架构中，边缘节点和云端各自扮演着重要角色，云端负责统筹管理各个边缘节点，确保它们能够高效地协同工作，包括任务的分配、资源的调度以及节点的状态监控等，同时利用大数据和人工智能技术对边缘上报的数据进行有价值的洞察，并利用这些数据对算法模型进行持续的迭代优化，提升识别和预测的精准度。边缘节点对视频监控数据进行预处理操作，剔除冗余和无效的视频帧，并在云端的统筹下执行部分或全部的计算任务，并将计算结果及其他关键数据上报给云端。

2　基于边缘计算的视频监控系统

传统视频监控系统通常采用云端架构，前端摄像机实时采集视频流，通过有线或无线网络接入中心云平台，实现视频信息的存储、分发、智能分析、业务应用及管理等，为用户提供了多样化的视频应用。基于边缘计算的视频监控系统，在前端摄像机和中心云平台之间增加了具有智能计算能力的边缘层，形成了弹性更强的端边云协同架构。该架构从逻辑功能上分为终端层、边缘层、平台层和应用层，如图1所示。

图1 基于边缘计算的视频监控系统架构

终端层是整个系统的神经末梢，负责现场数据的采集。实际应用中，视频往往需要与物联网配合实现联合检测和反馈控制（如水质监测、灯具控制等）。除摄像机外，接入终端形态还包括各类传感器、控制器等物联网设备。

边缘层收敛汇聚现场终端送来的非结构化视频数据和物联网数据，按需加载AI算法，就近进行边缘智能分析，按既定规则触发动作响应，同时将处理结果及关键数据上报给云端。边缘层可按需部署一个或多个AI算法，对不同的数据流进行相应的智能计算处理。

平台层由设备管理、视频管理、算法管理等模块构成，主要负责全局信息的处理、存储和管理，承担边缘层无法执行的计算任务，并向边缘层下发业务规则和AI算法模型，以及为各类应用的开放对接提供标准的API。根据业务量和管理需要，平台层可设置若干个区域下沉节点，以减少跨地域的数据传输和相应的时延及成本。

应用层利用平台层分析处理的结构化/半结构化数据，结合特定的业务需求和应用模型，为用户提供具体的垂直应用服务。

3　边缘智能网关产品设计

3.1　边缘智能网关主要功能

边缘智能网关是边缘网关形态的边缘计算。边缘智能网关具备设备接入、通信、计算、存储、管理等关键能力，为AI算法和智能应用的部署运行提供了通用开放的软硬件环境。边缘智能网关主要由接口单元、网络通信、边缘计算、运行环境及设备管理等功能模块组成，如图2所示。

图2 边缘智能网关功能架构

接口单元模块主要为边缘智能网关的组网连接提供物理通道，包括用于各类终端接入的RJ45网口（LAN）、RS232/RS485串口、DI/DO开关量接口，用于将数据上传云端的RJ45网口（WAN）、4G/5G以及Wi-Fi无线接口，以及USB、HDMI、外置天线等其他接口。接口的类型和数量可视实际业务需要来选择。

网络通信功能模块是边缘智能网关实现网络接入、组网通信以及数据交换、转发、路由的主要部件，它包括有线网卡通信模组、4G/5G无线通信模组、Wi-Fi无线通信模组，以及路由模组。通常情况下，一款边缘智能网关仅需具备一或两种类型的通信模组即可，避免造成资源闲置浪费。

边缘计算功能模块主要负责数据的智能分析处理，包括对视频流的GB/T28181、ONVIF、RTSP协议解析，对物联网数据的MQTT协议适配，对各类接入终端的设备注册、参数配置、状态监测和资源调度，对AI算法的加载、关联、启停和统计监测，对视频流的抽帧、编解码、质量检测等，以及对烟火、人员、车辆、行为及异常事件的智能分析识别等操作。

运行环境模块主要为视频网关运行提供必要的软硬件环境，包括CPU/GPU/DSP等核心处理单元（SoC）、Linux操作系统、Docker容器，以及TF卡、EMMC、内置/外挂硬盘等存储空间。

设备管理功能模块主要保障视频网关可用、可管、可控、可靠，包括对网络、存储、容器等资源的管理调度，对微服务、电源、告警、日志、安全认证等的管理，以及固件的在线升级等。

3.2　智能分析流程

智能分析是边缘智能网关边缘计算功能的核心部分，它从技术实现上通常包括视频取流、解码、抽帧、预处理、推理、后处理以及编码输出等主要环节，如图3所示。

图3 智能分析流程

（1）视频取流

视频取流是指从摄像机获取实时视频数据的过程，通常情况下前端摄像机默认支持GB/T28181国标协议和ONVIF协议，并以RTSP格式将视频流传递给边缘智能网关进行处理分析。

（2）视频解码

在视频传输过程中，为了提升传输效率，通常会对视频数据进行编码。视频编码的主要作用是将视频像素数据压缩成为视频码流，从而降低视频的数据量，以便于网络传输和存储。目前视频业务中常用的视频编码方案为H.264和H.265。解码与编码相对应，边缘智能网关在获得视频流后，需对其解码重构，通过对数据协议（HTTP、RTSP等）、封装格式（MP4、FLV等）、码流格式（H.264、H.265等）、颜色空间（YUV、RGB等）进行逆向操作，还原成未经压缩的视频图像流。边缘智能网关既可以采用GPU或CPU硬件解码，也可以选择利用FFmpeg等工具进行软件解码。解码的同时，还可以根据需要进行不同图像分辨率、码率、编码格式、比特深度、颜色空间等之间的格式转换。

（3）抽帧

视频流从严格意义上讲就是逐帧播放的单幅画面，其主要是利用眼睛的视觉暂留特性，从而产生连续动画的错觉。抽帧就是从这些画面中抽出单幅画面，通常存在关键帧（IPB帧）抽取、均匀间隔抽帧、特定时刻帧抽取等操作模式。不同业务对及时性的要求直观反映在抽帧频率上，时延敏感型业务需要采用较高的抽帧频率，如25fps甚至30fps，而实时性要求不高的业务可选择较低的抽帧频率，如每1秒、5秒甚至更长时间才抽取1帧。为提高系统资源效率，系统应对视频流进行统一抽帧，并将抽帧后的图片文件按视频通道、时间戳等信息存入帧池（公共文件夹）中，供不同的算法共用。同时，要尽量减少抽帧图片在CPU和GPU之间往返数据拷贝，降低抽帧时延和内存带宽占用。

（4）预处理

为提高数据质量、提升AI算法推理效果和运行效率、加速收敛、防止梯度爆炸和塌陷，在进入神经网络前，需对待分析的图像进行必要的预处理操作。最基本的处理内容包括图像缩放、平移、旋转、透视变换、颜色空间及灰度变换、类型格式转换、边缘检测、二值化操作、平滑处理等，实现数据标准化、归一化和增强，适应神经网络结构和处理要求。同时，对样本数据进行提纯，消除图像中无关的信息，恢复有用的真实信息，降低数据处理体积，改进特征提取、图像分割、匹配和识别的可靠性。

（5）智能推理

AI算法模型从构建到实际应用会经过训练（Training）和推理（Inference）两个阶段。训练就是用大量标记过的数据来学习、调优和拟合相应的神经网络模型，使之可以适应特定的功能；推理则是指利用训练好的模型，使用新数据预测或推断出各种结论。边缘智能网关的智能分析（推理）效果高低与否，根源在于算法选择和训练的好坏，也取决于算法部署和软硬件适配情况。算法正常加载后，就可以从输入的抽帧图片中选取可能包含目标对象的感兴趣区域（ROI），并进行特征提取和检测分类，计算出目标对象的类别和置信度。

（6）后处理

后处理就是对算法预测的结果进行后期处理，改善输出效果并进行可视化，如增加识别标签、标注对象边界框、分类以及添加用户自定义的参数等。

（7）编码输出

实际应用中，有时要直接在视频画面显示分析结果，就需要进行编码操作，通过时间戳、图片ID等将原始视频流或抽帧图片与识别的结构化数据进行关联，并按照平台接口规范重新编码和输出显示。

3.3　定制化设计要点

3.3.1　软硬件解耦

边缘智能网关融合了网络、计算、存储等基础能力，并为智能算法及应用提供了基础的运行环境。为适应不同业务场景的应用需求，边缘智能网关须较强的业务适应性，支持智能算法、业务应用及规则的灵活加载与应用部署。基于软硬件解耦的理念，边缘智能网关采用容器化方式对AI算法及应用进行部署和管理。与物理机和虚拟机相比，Docker容器运行环境更轻量高效、可移植性强，更适合边缘节点部署。

在AI算法部署方面，边缘智能网关支持基础镜像、完整镜像和独立进程等多种算法部署模式，并支持本地磁盘导入、远程下载导入及云端算法仓远程下发等导入方式，可结合不同场景的需要灵活加载不同的算法模型，满足了不同场景的业务需求。（1）基础镜像：系统内置默认镜像，提供算法运行所需的通用基础依赖环境，仅需提供算法App可执行程序包，通过基础镜像创建容器，将App程序包放入容器中运行。基础镜像模式，算法App文件包较小，但对基础镜像的依赖程度比较高。（2）完整镜像：提供完整算法镜像，并通过导入的镜像创建容器运行算法。相较于基础镜像，完整镜像文件较大，但对系统环境依赖度较小。

（3）独立进程：算法应用直接在宿主机上运行，不通过docker容器。该模式让算法应用兼容性更强、更灵活。

3.3.2　外观结构统一

在外观接口配置方面，结合使用需求和成本考虑，边缘智能网关上行通信支持有线和4G/5G无线，可满足多路视频流实时回传和远程调阅的需要。摄像头可以通过以太网口直连边缘智能网关，也可以通过汇聚交换机转接。在部分场景中，摄像头还存在远端供电需求，因此LAN口要保留吉比特、百兆以太网口和POE端口等多种类型。为了方便物联网终端的接入，边缘智能网关还配置了一定数量的RS485、RS232、CAN、DI/DO等行业应用场景常用的接口。

定制边缘智能网关外观结构和接口布局完全统一，如图4所示，其兼容不同厂商AI芯片（CPU+GPU/NPU）。外观结构的统一，有利于降低一线安装维护人员面对异厂商不同形态设备时的学习成本，大幅简化了安装部署实施过程中的操作复杂度。

图4 定制边缘智能网关外观结构

3.3.3　模块化设计

为进一步提升边缘智能网关产品的业务场景适应性，定制边缘智能网关采用模块化的设计理念，即“核心板+主板+通用接口”的设计模式。其中核心板为包含AI芯片模组的主控制板，由CPU、GPU/NPU、内存单元、图像处理单元、编解码处理单元等组成；主板用于布局通用功能单元的母板/系统板，主要包括电源模块、4G/5G无线模块、路由模块、存储单元、POE供电模块等；底板通过260pin的连接器与核心板进行连接，如图5所示。

图5 结构爆炸图

边缘智能网关各主要部件采用模块化设计，包括4G/5G通信模组、硬盘、TF/SD卡、算力扩展卡等，可按需增减配，形成多种差异分级的产品规格，有利于提高产品性价比和竞争力，如图6所示。

图6 边缘智能网关产品规格

3.3.4　软件功能架构设计

在软件功能设计方面，边缘智能网关以分层架构和模块化设计为核心，不仅降低了各模块间的依赖，还实现了功能的灵活配置与动态加载，可轻松应对多样业务场景。各功能模块之间采用标准化的接口设计，为后续功能的快速更新与扩展提供了极大便利。更重要的是，它能与北向云平台、上层智能应用软件以及智能算法应用无缝对接，确保了高效的数据传输与处理。其架构设计如图7所示。

图7 软件功能架构

边缘智能网关软件功能架构总体分为五层，分别为硬件层、驱动层、系统层、业务能力层和用户层，各层协同工作，确保各项功能的高效稳定运行。硬件层是整个架构的基础，包括设备CPU、内存、网卡等关键部件，以及供电单元和硬件接口，为网关提供稳定的硬件支持。驱动层则包含操作系统对硬件的驱动文件，确保设备能够被正确识别并顺畅运行。系统层作为程序运行的基础环境，承载着进程调度、内存管理等重要功能。同时，它还提供了基本维护工具软件、标准系统调用库以及应用软件通用依赖库，如NPU固件库、音视频编解码和图形处理等，为上层应用提供丰富的功能支持。业务能力层是边缘智能网关的核心，由核心基础业务服务与扩展业务服务构成。核心基础业务服务提供诸如系统管理、网络管理、视频通道管理等基础服务，为上层应用奠定坚实的业务能力基础。而扩展业务服务层则针对实际业务场景需求和平台建设情况，实现算法应用的安装部署、云平台协议对接、数据交互和设备控制等高级功能。用户层则服务于操作使用边缘智能网关本地管理系统的用户，以及对接边缘智能网关的外部平台，确保用户能够便捷地管理和使用网关。

4　基于边缘计算的典型场景与应用实践

4.1　森林防火

森林火灾对自然环境、人身财产安全的危害性极大，每年全球各地类似事件时有发生。由于森林环境的复杂性和广阔性，传统的防火方法往往难以及时、准确地发现火源，从而错失最佳的灭火时机。基于边缘计算的森林防火检测系统，如图8所示，直接在监测点与汇聚点部署边缘智能网关产品，摄像机数据就近接入边缘智能网关，并在本地进行直接智能分析识别，可快速发现火情并及时将相关告警信息上报云端通知给相关处理人。相比于传统集中式的方案，基于边缘计算的方案在算法灵活性、业务响应实时性、网络带宽成本等方面有着较为明显的优势，根据数据监测统计可以得出其实际的数据流量支出不到原来的10%。由于采用了边缘智能算法分析，其原有的存储视频变成了视频片段和图片，存储空间的使用也是快速下降，按照统计计算只有原有存储支出的8%左右，在提升服务响应的同时，大大降低了服务成本，取得了较好的应用效果。

图8 基于边缘计算的森林防火解决方案

4.2　智慧加油站

加油站属于危化品行业，如何在日常加油卸油作业过程中保障人员、财产安全是重中之重。目前，国内加油站日常管理主要依靠人为管控、监控摄像头监督及人工巡检等方式，管控手段存在低效性和滞后性，迫切需要将人工智能、边缘计算等技术应用到日常监管工作中，由“人工监督”升级为“智能监控”，强化加油站安全风险管控。基于边缘计算的智慧加油站解决方案，如图9所示，借助部署了AI算法的边缘智能网关，对加油站人员抽烟打电话等危险行为、加油站工作人员着装规范、卸油工作流程等实时监测，同时将AI自动判定识别的危险源、危险行为、违规操作等，进行实时告警，并将信息推送至监管中心，从而提高了现场安全生产作业的监控效率，降低了危险事件发生的概率。

图9 基于边缘计算的智慧加油站解决方案

4.3　智能运维

智能运维是通过数智化手段实现铁塔站址资源运维生产的自动化、无人化和智能化，包括巡检作业、资源管理、出入站管理、电费管理、发电管理、故障管理等功能的智能化实现。边缘智能网关是智能运维系统中的重要边缘节点，它作为站点智慧大脑，可对机房及设备运行状态进行实时监测和智能识别，从而实现智能巡检、智能出入站、智能资管等业务功能。

（1）智能巡检

通过摄像头及AI算法对基站进行远程周期自动巡检和事件触发巡检，逐步替代传统上站巡检，减少人工上站，提升生产效率。

（2）智能出入站

应用电子围栏、人形检测、人脸识别等AI算法，结合智能门禁系统，对出入站的6个关键环节实现智能化管理。

（3）智能资管

定期自动拍照，AI识别变动，发现设备差异自动派单核查，保证资源资产数据的真实性和准确性，同时实现资源管理的3D展示。

基于边缘计算的智能运维解决方案如图10所示。

图10 基于边缘计算的智能运维解决方案

经天津、辽宁、河南三个省市智能维护试点验证，基于边缘计算的智能运维解决方案可大幅降低数据传输成本、快速发现异常事件、提升维护效率效益。其具体优势如下：

（1）提升组网兼容性，实现机房内多个摄像机统一管理，对国标、onvif、海康大华私协等各类主流的摄像机协议进行适配并转换为符合铁塔标准的统一协议回传平台。

（2）提升边缘AI能力，实现AI计算能力下沉和摄像机的智能升级，有效减少平台侧AI计算能力要求，降低摄像机终端成本。

（3）仅将告警相关信息进行回传，避免摄像机视频流全量回传，节约网络回传成本（回传数据量仅占全部本地视频录制文件数据量的不足1%）

（4）提升设备管理效率，支持摄像机控制功能前置，简化摄像机控制信令及业务数据链路，提升拍照、拉流成功率。

（5）提升安装调参效率，通过边缘网关自适应完成码流、网络端口等大多数参数设置，简化一线施工人员对摄像机及边缘网关参数配置，有效提升安装及维护调参效率。

4.4　市场推广情况

目前边缘智能网关产品已广泛应用于铁塔视联、智能维护、加油站施工安全监测等业务场景。面向铁塔视联业务，在智慧水利、渔业禁捕、森林防火/秸秆禁烧、铁路护路、乡镇综治、智慧社区、智慧工地等业务场景进行试点，并分别在河南、云南、福建等地智慧加油站、边防监控、地铁隧道等场景进行商业落地。在智能维护方面，我们协同运营维护部推进智能维护前期试点及深化试点工作，在15省市部署边缘智能网关6.3万台，助力了公司运维专业化和数智化能力提升。针对通信发展部基站施工安全监测业务场景，我们打造基于边缘智能网关产品的场景化解决方案，完成了端到端业务流程的测试拉通，并在雄安、四川、江苏、上海、重庆、郑州6省市进行试点应用，进一步加强了施工现场的安全质量生产管理，提升了安全风险防控能力。截至2024年6月，我们对外提供服务落地合同额达3000余万元。

5　结束语

算力下沉至边缘已成为确定性趋势，在摩尔定律已经失效而量子计算远未成熟之前，智能泛在的边缘计算将是未来算力网络的关键基础。随着技术的不断成熟和应用场景的拓展，基于边缘计算的视频监控系统将在更多领域发挥重要作用，并具有广阔的应用前景。

作者简介：

闫亚旗（1988-），男，河南许昌人，高级工程师，硕士，现就职于中国铁塔股份有限公司，研究方向为物联网、边缘计算、算力网络相关技术及产品创新。

冉　沛（1981-），男，湖南人，高级工程师，学士，现就职于中国铁塔股份有限公司，研究方向为物联网及边缘计算。

张　阔（1988-），男，辽宁鞍山人，高级工程师，硕士，现就职于中国铁塔股份有限公司，研究方向为通信电子和人工智能。

刘文睿（1996-），男，山东曲阜人，工程师，硕士，现就职于中国铁塔股份有限公司，研究方向为边缘计算及算力网络技术。

唐　琳（1998-），女，河北沧州人，硕士，现就职于中国铁塔股份有限公司，研究方向为算力网络及边缘计算。

参考文献：

[1]周科,杨淑娟,徐雷,吴庆勋.智能城市中的边缘计算:一项全面调查[J].IEEE物联网杂志,2020,7(1):1.

[2]史文,曹静,张强,李艳明,徐雷.边缘计算:视野与挑战[J].IEEE物联网杂志,2016,3(5):637-646.

[3]左丹,李雷,钟胜明,杨阳,贺琼林.基于深度边缘计算的视频监控系统综述[J].IEEE工业信息学报,2021,17(3):2025-2036.

[4]Satyanarayanan,M.边缘计算的兴起[J].计算机,2017,50(1):30-39.

[5]王强,任颖,张云,胡林.边缘计算系统综述[J].IEEE会议记录,2020,108(8):1518-1538.

[6]葛畅,白光伟,沈航,等.基于边缘计算的视频监控框架[J].计算机工程与设计,2019,40(1):32-39.

[7]潘三明,袁明强.基于边缘计算的视频监控系统及应用[J].电信科学,2020,36(6):6.

摘自《自动化博览》2024年12月刊