★长扬科技（北京）股份有限公司闫印强，赵子刚，姚兴仁

关键词：AI安全模型；叶片健康诊断巡检模型；智能巡检；计算机视觉技术；智慧风电厂

随着我国风电装机数量和容量的不断增长，风力发电机组正朝着大型化、高效化和智能化的方向发展。同时，风机叶片的规模、尺寸不断增加，使得其造价占到风电机总成本的比例越来越高，风机叶片的安全检测变得尤为重要。然而，由于风电机组的工作环境十分复杂恶劣，运行时间越长，风机叶片出现变形^[1]、裂纹^[2]、鼓包、油污、砂眼^[3]和风蚀等损伤的可能性就越高。若风机叶片在工作过程中出现开裂、变形等现象，如不立即停机检修而是让机组继续运转，可能会引发机械故障，如叶片折断或摔落^[4]，这种严重事故将给用户带来巨大财产损失。因此，检测并发现叶片损伤情况的及时性尤为重要，这也一直是困扰业界的主要问题之一。

目前，风机叶片风险隐患监测识别的方法和工具主要有振动^[2~5]、光纤传感^[6]、无人机^[7]。依靠振动和传感的检测方法，主要缺陷是它无法精准定位问题的根源，且有些领域无法覆盖。通过无人机的监测方法的主要缺陷是不能实现实时监测，一方面是因为无人机飞行状态受天气情况影响大，另一方面这种检测需要机组停机才能检测，所以只能定时巡检。

鉴于现有技术手段的缺陷和不足，本文提出了基于高清可见光视频+热成像技术的视觉AI检测技术，通过使用深度神经网络构建叶片健康诊断模型，对风机叶片运行过程中出现的损伤进行实时检测与识别，实现了对叶片生产过程中的健康状态实时监测的智能巡检，攻克了现有传统安全监测方法的缺陷和不足。

1 安全巡检现状分析

目前国内外风机叶片的巡检技术主要包括：传感器检测技术^[8]、超声波^[9]和激光监测技术^[10]、无人机与机器人监测巡检技术^[11]这3种。

1.1　传感器检测技术

基于传感器的检测技术目前主要体现在3个方向：声发射传感器检测技术^[12、13]、光纤光栅传感器检测技术^[14]和SCADA传感器检测技术^[15]。这些技术都需要使用传感器作为依托，部署到风机叶片的待检测区域，通过传感器捕获的转速等信号来进行分析，从而检测出叶片是否发生故障或者损伤。基于传感器的检测方法存在两个比较明显的检测缺陷：一个是检测范围的局限性高，例如鼓包、油污、砂眼、风蚀、着火、雷击烧灼等现象通过传感器的方式无法检测，只能检测到断裂、变形等情况；另一个是无法精确定位故障发生的原因，例如叶片折断故障，传感器能从转速判断叶片出现了故障，但发生故障的原因不止一种，不能准确地定位出是叶片折断导致的。

1.2　超声波和激光监测技术

超声波和激光监测技术目前主要用于叶片内部与较深部位的检测。大型叶片内部质量问题无法显性判断异常缺陷的位置和大小，需要利用超声波和激光监测技术进行内部探测。超声波主要应用于玻纤纤维层合板较厚和胶黏剂粘接的区域检测，激光散斑干涉主要应用于叶片夹层结构层的检测^[16]。在实际应用中可通过不同设备检测优势相结合的方式来实现叶片的整体无损检测。该方法存在的比较明显的不足是只能作为定时定点检测工具停机检测，无法在工作状态下实时检测。此外，目前超声波和激光的检测主要针对叶片的内部进行检测，不合适叶片外面的检测，故有一定的局限性。

1.3　无人机与机器人监测巡检技术

机器人与无人机作为定期巡检的工具，是一种通过可见光摄像机进行叶片损伤巡检^[17、18]，实现可视化的故障检测技术，相比于前2种方法有一定改进，然而不足也依然明显，例如只能停机检测，且只能定时巡检，无法做到实时检测。另外，受外界环境干扰比较大，尤其是无人机，如遇到刮风下雨等天气就不能按时巡检，且巡检过程中受到外界信号的干扰大，容易产生偏航等现象^[19]。

基于现有风机叶片检测技术的研究现状，针对现有传统检测技术无法精确定位、需要停机检测、无法实时检测等问题，本文提出了基于视觉AI的检测技术，通过使用高清视频和热成像设备，达到对叶片故障进行实时检测和精准定位故障的目的。

2　相关技术

基于高清视频+热成像的视觉AI分析技术构建的叶片健康诊断的智能巡检系统，是集多学科于一体的技术综合性检测方法，除涉及传统较为完善的机械、电工电子、通信、自动化等技术外，更融合图像与视频识别、红外成像、人工智能等前沿技术。

2.1　图像目标检测与识别算法

基于图像的目标检测与识别算法是构建神经网络，对二维图像进行特征提取和学习得到算法模型，使用模型识别图片中是否包含特定目标的过程。国内外在目标检测识别方面的研究目前已有非常成熟的理论和成果，比如以rcnn^[20]系列为代表的two-stage方向和以YOLO^[21]系列为代表的one-stage方向，还有近年比较火热的基于transformer^[22]在目标检测方面的应用。在众多的目标检测算法中，YOLO在速度和精度上的综合表现优异，深受业界从业者喜爱。为了研究成果具备普适性，本文选择工业界目前广泛使用的YOLO5^[23]版本模型作为目标检测算法。YOLO5版本的backbone主要由CBL、BottleneckCSP/C3以及SPP/SPPF等组成，其中BottleneckCSP模块借鉴引入了ResNet^[24]的跨层和连接，可以保证网络加深后不会出现特征消失的现象。

2.2　热成像技术

红外成像技术是一项在图像领域应用十分广泛的成熟技术，在智能巡检设备上安装红外成像摄像头或红外成像元器件对巡检区域进行红外成像，即可测量设备表面温度。系统对红外成像进行图像去噪处理，对图像配准叠加多幅图像后，将去噪处理后的红外图像回传至数据处理中心进行处理。红外热成像设备通常分为制冷焦平面热像仪和非制冷焦平面热像仪^[25]。制冷焦平面热成像技术，是由于早些时候焦平面探测器材料以及工艺存在缺陷，所以需要通过对成像仪制冷以提高成像精度。随着新材料的研发和制造工艺的提升，用于红外成像的焦平面阵列探测器不进行冷却也可满足成像精度要求，这就是非制冷红外热像仪，它的优势在于无需制冷、体积小、功耗低，是目前智能巡检系统使用的主流产品。在对叶片进行监测过程中，可采用红外成像对叶片温度进行检测，在风机塔筒上安装红外成像摄像头或红外成像元器件对叶片进行红外成像，即可测量其表面温度。

3　基于AI技术的叶片智能巡检的设计研究

3.1　系统总体设计

系统总体采用“端+边+云”的架构。“端”侧主要指安装在风机叶片上的视声觉AI监测装置，负责采集现场的视频和声音数据；“边”侧主要是接入“端”侧推送的视频流和音频流数据的视觉AI工程机，通过其上部署的AI模型对视频、图像或声音进行智能分析，并将检测分析结果发送到“云”侧；“云”侧部署叶片健康监控预警平台，主要是接收“边、端”推送来的检测分析结果，经研判生成报警，并对报警进行闭环处理，同时对数据进行多维度、多粒度的综合展示，用户也可通过接口与风机生产管理系统进行数据对接。视声觉AI监测装置安装在风机塔筒现场端，视觉AI工程机（用来对采集的视频和图像进行AI模型计算分析）安装在中控室端，叶片健康监测预警平台安装在虚拟化的“云”侧。

系统部署环节主要分为现场侧部署和中控室侧部署，现场侧主要部署红外与可见光的双目摄像机和声音传感器；中控室侧主要部署视觉AI工程机、虚拟化的平台应用服务器、视频交换机和视频存储服务器，现场侧和中控室侧通过光纤进行连接和通信。

系统的总体业务流程是双目摄像机获取视频和图像信息后通过光纤传输到视频交换机上，然后根据监测任务的不同，将视频或图像分发到对应的视觉AI工程机上；工程机上的AI模型再对采集的视频和图像进行智能分析，最终把检测分析结果传给云端的叶片健康监测预警平台；预警平台可依据分析结果进行预警、报警、决策和通知。平台也具备模块的配置与更新、边缘设备和误报库的管理以及系统权限设定、组织角色配置等功能。系统总体架构如图1所示。

图1 系统总体架构图

3.2　叶片监测设备的布局设计

监测叶片健康状态的视声觉AI监测装置，主要部署在风机塔筒上机舱下面，高度以能清晰地拍摄到叶片的表面状态为准。在风机塔筒两侧各部署一台摄像机，分别监测叶片的正反面损伤，一台为双目摄像机（红外与可见光），另一台为可见光摄像机。可见光摄像机主要用来识别叶片的变形、裂纹、折断、鼓包、覆冰、油污、砂眼、风蚀、着火、雷击烧灼等损伤；红外线摄像机主要用来监测叶片上的砂眼、鼓包、裂纹等损伤。检测部署示意图如图2所示。

图2 监测设备布局设计图

3.3　叶片健康AI诊断模型的设计

叶片健康AI诊断模型总体设计思路是，基于深度学习图像处理算法，结合红外热成像技术下呈现的叶片隐患损伤状态，构建可诊断叶片健康状况的视觉AI模型。经过模型训练、误差调整和精度优化等迭代过程，获得最优权重进行模型部署和测试。诊断模型主要分为基于可见光和红外的2种情况。

通过高清可见光摄像机和热成像摄像机对叶片发生变形、裂纹、折断、鼓包、覆冰、油污、砂眼、风蚀和雷击烧灼等损伤的异常和正常状态进行拍照，并进行原始图像数据的采集，包括可见光和热成像两种类型的图片样本，所以需要分别训练针对图片类型的两种目标检测模型。对收集到的原始样本进行合规性、完整性和准确性等的处理，如：数据转换、分组、筛选、排序、补全、纠错和删除不合规的记录等清洗操作，以及对图片样本进行数据标注和数据增强处理。数据标注使用labelme对样本图片中的各种故障类型进行拉框标注，形成coco类型的数据集；数据增强采用mixup、cutout、双光增强等方式，能改善数据均衡、增加数据丰富性等。得到样本集之后，通过样本集对诊断模型进行大量运算和训练，在运算训练中依据识别的误差，需要多次迭代训练，包括更换优化器、调整迭代次数、调整anchor大小等方式，并对主要参数进行调整，包括：估计量、最小样本分割数、学习率、损失量、最大深度、迭代次数、特征分值、阀值、类型、范围、权重和偏置等^[26,27]。根据模型的训练结果，进行预测、测试和评估，如果权重精度测试结果多次不合格，就需要更新训练样本集数据，直至在训练样本集范围内达到允许的准确度和精度。

AI诊断模型对叶片可见光样本图片损伤的检测流程如图3所示。

图3 AI诊断模型对叶片可见损伤的检测流程图

AI诊断模型对叶片热成像样本图片损伤的检测流程如图4所示。

图4 AI诊断模型对叶片热成像损伤的检测流程图

4　基于AI技术的叶片智能巡检的应用研究

风机叶片的巡检识别功能，是通过联网的摄像机配合AI模型来进行风机叶片状况的实时检测，并完成自动实时的巡检工作。自动巡检工作可以由在监控区域里安装的摄像机联合操作来完成，具体方案是，平台可获取和设置每个摄像机的状态、参数，因此平台可以把每个摄像机作为一个巡检点，根据巡检任务来规划巡检线路和巡检顺序，配置的巡检内容有叶片的变形、裂纹、折断、鼓包、覆冰、油污、砂眼、风蚀和雷击烧灼等，并设置好巡检周期，可以是3分钟至24小时内的任何时间段，设置完成后可以在平台上启动巡检任务，可在平台上在线看到现场情况和收到报警信息。

4.1　基于可见光摄像机叶片智能巡检的应用

高清可见光摄像机主要巡检的内容有叶片发生的变形、裂纹、折断、鼓包、覆冰、油污、砂眼、风蚀和雷击烧灼等损伤的异常情况。通过在风机塔筒的高空可见光摄像机对叶片发生以上的异常和正常状态进行拍照和视频，并采用以上基于可见光的叶片健康视觉AI诊断模型的视觉AI智能视频分析技术，可实时检测现场的视频和图片，从中及时发现叶片的异常状态，并将检测结果和现场情况进行抓图，自动上传至上级管理用户进行结果复核。

智能巡检叶片损伤监测场景实际应用效果如图5、图6和图7所示。

图5 叶片裂纹、变形、折断监测点

图6 叶片鼓包、覆冰、油污监测点

图7 叶片砂眼、风蚀、雷击烧灼监测点

4.2　基于红外摄像机叶片智能巡检的应用

红外线摄像机是通过红外热成像技术，利用叶片的向光和背光和叶片各部分之间的温度差或辐射差异形成的红外辐射特征图像，来发现和识别叶片上的砂眼、鼓包、裂纹等安全隐患现象^[28]。智能巡检叶片损伤监测场景实际应用效果如图8所示。

图8 叶片砂眼、鼓包、裂纹监测点

4.3　模型训练结果分析

基于风机叶片安全生产需求对不同检测功能构建智能巡检所需要的AI模型，并通过模型训练、精度评价及优化模型等最终选择最优模型进行模型部署、模型测试。

其中最优模型的分数计算方式为：

F1_score=0.4×P+0.3×R+0.3×AP@0.5

AI模型精度数据如表1、表2所示。

表1 可见光图像模型精度评价表

表2 红外图像模型精度评价表

5　结束语

本文提出了一种基于可见光+热成像的叶片健康视觉AI检测方法，可对叶片的变形、裂纹、折断、鼓包、覆冰、油污、砂眼、风蚀和雷击烧灼等安全隐患进行实时可视化地监测探伤、及时发现、即刻告警、及时处置，减小了安全事故发生的概率，降低了事故发生带来的损失。本方法为非接触实时检测，将AI算法应用到实际业务中，并创新地将可见光和热成像技术结合，克服了传统检测方式定期巡检、停机检测、无法精确定位故障原因等不足和缺陷，既为风机叶片健康监测提供了一种新的检测方法和思路，又为推动AI在风电行业的落地进程添砖加瓦，还能解决实际应用巡检问题，起到了降本增效的作用，具备良好的推广价值。

作者简介：

闫印强（1969-），男，河北石家庄人，工程师，硕士，现就职于长扬科技（北京）股份有限公司，主要从事工业互联网安全态势感知平台及安全生产一体化管控平台咨询规划与建设。

赵子刚（1973-），男，内蒙古锡林浩特人，工程师，学士，现就职于长扬科技（北京）股份有限公司，主要从事大型项目的解决方案架构设计。

姚兴仁（1991-），男，贵州黔南州人，高级信息系统项目管理师，硕士，现就职于长扬科技（北京）股份有限公司，主要从事AI视觉模型开发及视觉AI产品落地。

参考文献：

[1] 李丹, 吴莉莉, 姚卫星. 风力机GFRP叶片弯曲变形规律[J]. 风机技术, 2012, (05) : 54 - 57.

[2] 李录平, 李芒芒, 晋风华, 等. 振动检测技术在风力机叶片裂纹故障监测中的应用[J]. 热能动力工程, 2013, 02.

[3] 李春雷, 王洪江, 尹常永, 等. 风机叶片故障诊断技术的研究进展[J]. 沈阳工程学院学报(自然科学版), 2022, 18 (03) : 1 - 5, 19.

[4] 陈斌杰. 浅析风机叶片常见故障原因及处理措施[J]. 科技创业家, 2012, (20) : 76.

[5] 谭滔. 基于LabVIEW的海上风力机叶片远程状态监测系统设计与开发[D]. 长沙: 长沙理工大学, 2017.

[6] 吕安强, 魏伦. 基于光纤传感技术的风机叶片故障检测技术研究进展[J]. 高压电器, 2022, 58 (07) : 83 - 92.

[7] 茅宇琳. 基于无人机采集图像的风机叶片多种表面缺陷检测研究[D]. 北京: 北京交通大学, 2020.

[8] 董礼, 王千, 苏宝定, 等. 一种风力发电机叶片与塔筒状态监测系统: 中国, CN201320490251.3[P]. 2014 - 04 - 02.

[9] 史俊虎. 风电叶片超声波检测应用综述[J]. 应用化工, 2015, (S1) : 106 - 111.

[10] 羊森林, 赵萍, 王锋, 等. 大型风电叶片缺陷及其无损检测技术研究[J]. 东方汽轮机, 2012, (01) : 26 - 34.

[11] 张志飞. 变电站机器人智能巡检系统应用研究[D]. 北京: 华北电力大学, 2015.

[12] 潘仁前, 朱永凯, 田贵云, 等. 基于声发射传感器阵列的风力机叶片结构健康监测方法研究[C]. 2010远东无损检测新技术论坛论文集, 2010 : 107 - 112.

[13] 陆元明, 张乃正. 风力机叶片裂纹在线监测系统[J]. 电工技术, 2017, (04).

[14] 徐萍. 风力机叶片损伤监测技术研究[D]. 南京航空航天大学, 2016.

[15] 庞艳华. 基于SCADA数据时空特征挖掘的直驱风电机组故障诊断[D]. 秦皇岛: 燕山大学, 2021.

[16] 徐阳, 刘卫生, 乔光辉. 兆瓦级大型风力发电机叶片的无损检测[J]. 玻璃钢/复合材料, 2013, (03) : 76 - 79.

[17] 仇梓峰, 王爽心, 李蒙. 基于无人机图像的风力发电机叶片缺陷识别[J]. 发电技术, 2018, 39 (03) : 277 - 285.

[18] 邓小文, 杜胜磊, 高庆水, 等. 一种风力机叶片状态监测系统: CN206448905U[P].

[19] 陆凡, 包洪兵, 谢振华, 等. 一种基于图像识别的风力机叶片巡检无人机和巡检方法: CN111038721A[P]. 2020.

[20] Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2013.

[21] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[J]. arXiv e - prints, 2018.

[22] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need[J]. arXiv, 2017.

[23] Zhu X, Lyu S, Wang X, et al. TPH - YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone - captured Scenarios[J]. 2021.

[24] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[J]. IEEE, 2016.

[25] 刘小波, 杨洪波, 孙强. 非制冷焦平面红外热像仪光机热分析[J]. 电光与控制, 2009, 16 (05) : 63 - 64, 77.

[26] 吴荣. 数字图像相关算法研究及在风力发电叶片健康诊断中的应用[D]. 上海: 上海大学, 2017.

[27] 杨永跃, 邓善熙, 何革群. 风力机叶片检测中的机器视觉技术[J]. 太阳能学报, 2003, 24 (2) : 5.

[28] 肖劲松, 严天鹏. 风力机叶片的红外热成像无损检测的数值研究[J]. 北京工业大学学报, 2006, 32 (1) : 6.

[29] 申振腾. 风力机叶片在线视觉监测与故障诊断系统研究[D]. 天津科技大学, 2018.

[30] 谢源. 风力发电机组叶片实时状态监测与故障诊断系统及方法: CN102539438A[P].

摘自《自动化博览》2023年5月刊