1  技术特点

基于前端边缘计算、公网远程控制技术的小型无人机在输电线路的应用技术特点：

1.无人机搭载公网控制模组

无人机内置公网网络连接模块，可进行5G通信，向下兼容4G。远程控制飞行之前，用户在远程控制终端根据地图和点图规划航线，将航线文件加密后通过公网发送至无人机或转存至服务器。

2.远端地面控制站通过基站网络与云端服务器进行连接，并经过服务器与被控无人机建立连接链路，实现无人机通过公网链路的远程无限距离控制。

无人机搭载公网控制模组，公网信号控制模块将飞机串口控制信号实时转换成UDP或TCP数据包，并通过公网基站向云端服务器进行发送。另外一方面，远端地面控制站通过基站网络与云端服务器进行连接，并经过服务器与被控无人机建立连接链路，实现无人机通过公网链路的远程无限距离控制，远程管控平台通过网络与服务器进行连接，同时可根据无人机回传数据进行无人机飞行指令控制，同时可进行远距离定点降落进行人工换电，无人机飞控距离达到公网信号所及之处皆可及的“无限远”。

3.边缘数据实时处理标注

飞行过程中，无人机自动航线巡航视频画面实时直播，无人机飞行参数及航线位置等信息显示，特殊情况可切手动模拟杆飞行。

无人机巡检同时，进行图像、视频等数据采集工作，使用无人机机载边缘计算NPU算力进行线路通道山火，线路通道机械施工，杆塔边坡塌方，导线飘挂物等隐患进行实时标注，为节省功耗采用轻量级AI模型，模型在完成训练下载到无人机边缘计算终端上，代入实采数据实时外部隐患标注，并将异常隐患信息推送至远程控制终端。

4.轻量化模型技术应用

模型轻量化移植技术可大致分为：

1）低秩分解：将神经网络每一次的参数看作是一个矩阵（例如全连接层是一个二维矩阵、卷积层是个四维矩阵），然后通过矩阵分解与低秩近似将一个大矩阵分为多个小矩阵，从网络层面即将一个层分解为多个计算量总和更小的层，以达到加速的效果，代表方法有SVD分解、Tucker分解等。

2）剪枝：模型剪枝分为三种，非结构化剪枝、结构化剪枝以及自动化剪枝方法。

非结构化剪枝：非结构化剪枝是将模型权重矩阵中“unimportant”的元素置零，得到一个稀疏矩阵，再通过稀疏化存储的方式进行存储，降低模型存储量，以达到压缩效果。

结构化剪枝：结构化剪枝是将模型的一个完整的结构剪除，比如channels、filters、layers等，移除掉完整的结构之后，模型可以在现有框架上实现加速的效果。

自动化剪枝：基于神经网络结构搜索（NAS），利用模型剪枝得到的网络结构相比其保留的参数更为重要的特性，并且用实验论证了在相同的剪枝结构下，无论是否保留原始模型的参数，实现剪枝网络最终都能训练到相近的性能。

3）量化：一般的量化指的是低比特量化，通常的神经网络训练框架，模型的参数以及激活值都是FP32类型，量化是在推理的时候将其转化为INT8类型，从而加快网络推理的速度；更极端的，是将网络训练为二值网络，仅有0跟1的网络。并且利用数值对齐，包括对称量化与非对称量化等，量化网络的训练，反量化等，保证量化后网络的精度

4）知识蒸馏：神经网络在我们看不见的地方（看得见的是网络参数），存在 Dark Knowledge ，这个Dark Knowledge可以作为监督信息来监督网络训练，一般的方法是将大模型的Dark Knowledge作为监督信息来指导小模型进行训练，从而使得小模型学习到更多知识，提升小模型性能。大模型到小模型的知识迁移过程，可以看作是模型压缩过程。

5）轻量化模型设计：采用Depthwise+Pointwise的卷积来代替传统的卷积，以减少参数的计算量。实现轻量化网络设计高效、轻量的神经网络，在代替传统庞大网络的同时，保证了网络的性能的目标。

5.算法的设计与调优

1）智能调光

智能调光算法用于解决当前巡检过程中，无人机拍照遇到的照片过暗、过曝问题。借助大疆无人机提供的相机调光接口，通过自研图像处理算法找到合适的接口参数，进而调用接口调整相机曝光参数，最终将相机画面内目标实体的亮度调至适宜亮度。

2）总体流程：

无人机在拍摄点位悬停之后，截取当前视频流的画面，并对当前帧进行灰度化。在此灰度图中，假设当前点位目标处于画面中心，截取该区域进行本征图像分解（Image Intrinsic Decomposition）。

本征分解即从原始图像去估计反射率图与亮度图。本征分解模型会假设亮度图是单波段的灰度图像，而反射率图与原始图像均是包含了红、绿、蓝三个波段的彩色图像。反射率图反映了物体在无色均匀光照下的颜色和表面材质属性，即物体的本征反射属性。而亮度图则由场景中的各种光照和物体的几何形状构成，反映了场景中各个位置的光照信息。

利用Retinex和图像序列约束，对灰度图进行本征图像分解，得到亮度谱。以此方法应用于该帧画面划分出的所有区域，根据亮度谱的值寻找与目标亮度最接近的区域，控制无人机云台相机针对该区域进行调光，即可获得对目标来说最为合适的曝光参数，从而减少过曝与欠曝的情况。

图：调光效果

3）缺陷检测算法

RK3588机载计算设备通过大疆PSDK与大疆无人机通信，读取无人机本机文件系统中的设备图像，直接送入基于边缘计算模块的缺陷检测算法进行杆塔本体及塔上设备的缺陷识别，单张不高于4K图片完成检测的时长低于0.5s，并生成缺陷检测报告。

支持销钉脱出及缺失、鸟巢、蜂窝、绝缘子自爆等不低于10个类别的缺陷检测算法。

4）模型结构调优

模型部署至边缘端设备后可能出现运行时间变长的情况，为进一步减小模型尺寸，加速运行，需要对模型进行剪枝。

通常网络模型的参数都含有冗余，即有些参数的值接近0，或者某些层的输出为0，在网络实际进行推理时，这些参数的贡献也几乎为0， 所以就可以将这些多余的参数从网络中移除。在剪枝之前，通过计算L1和L2范数来衡量参数的数值大小，观察网络层的输出变化。按照参数重要性排序，从而删减不重要的参数。

将剪枝之后的模型用训练数据进行微调，以减小剪枝带来的模型精度损失。

5）模型量化、部署

模型量化是将深度学习模型部署到边缘端设备上的关键。模型量化以较低的推理精度损失将连续取值（或者大量可能的离散取值）的浮点型模型权重或流经模型的张量数据定点近似（通常为int8）为有限多个（或较少的）离散值的过程，以更少位数的数据类型用于近似表示32位有限范围浮点型数据，而模型的输入输出依然是浮点型。

边缘端设备支持低比特参数的加速，原理是在寄存器中加法的运行速度比乘法要快，如果将参数量化为低比特，很多乘法运算可以简化为加法，从而达到缩小模型文件尺寸、减少模型内存消耗及加快模型推理速度的目的。

将压缩过的模型部署在边缘端设备上，需要将模型文件转换为可以在RK3588边缘端芯片上运行的文件格式，以便于在RKNN加速引擎上运行目标识别同时需要对模型的输出进行后处理，例如通过NMS算法对冗余的检测框进行删减，通过分数阈值剔除置信度较低的检测框等等；在完成部署之后，深度学习模型即可在边缘端设备上以较高的效率运行。

2  应用成效

基于前端边缘计算、公网远程控制技术的小型无人机在输电线路的应用成效：

1.航线远程规划，内嵌4G/5G模块，解绑遥控器，实现超远距离无人机自主飞行

按照工作需要通过远程控制终端，实时规划航线，并自动生成航线，现场人员只需要打开无人机电源开关，远程控制终端启动“一键飞行”模式，无人机按照预设航线开展全自动巡检任务，减少人力成本。

2.高续航供电与接续充换电技术

通过叠加无人机动力电池容量，使得无人机飞行航程距离增加50%。面对长距离线路通道巡检任务，可通过多点人工换电，无人机与遥控器自动对屏技术，实现无人机跳飞接力式飞行，满足线路通道长距离快速通道巡检需要。

3.低投入，部署灵活

使用大疆无人机御3行业机和无人机远程控制机载边缘计算终端即可使用，只要有公网区域即可部署使用，无人机远程控制终端可控制多个无人机进行多机巡检任务。

4.轻量AI模型与边缘数据处理

利用已有典型线路通道外部隐患案例进行线路通道隐患识别算法训练，将训练后的算法经过模型轻量化处理，部署于无人机机载边缘计算终端，实现无人机在巡检过程中，线路通道隐患的自主识别，并通过积累外部隐患数据库，实现算法种类和深度的迭代更新。

5.机载边缘计算硬件全国产化自主可控

目前国内AI应用所采用的AI芯片市场份额95%以上被美国英伟达、AMD等占据，对未来的人工智能战略造成巨大的业务延续性和“卡脖子”风险。更为严重的是，近年来美国持续打压中国高科技企业，把我国大量企业列入实体清单。美国实体清单打压的重点对象就是高科技人工智能企业，导致这些领域的供应安全受到严重的破坏。因此，人工智能领域对于“自主可控”的诉求越来越强烈。实现从底层硬件到上层应用的国产化，成为解决“卡脖子”难题的唯一路径。

6.小目标识别行业领先，最小目标6*6像素

无人机使用场景很多需要大图中精准识别出极小目标，其检测至关重要，面临很多难点。

难点1：检测框的高宽比多变，出现极端的高宽比，漏检率比较高；

难点2：背景杂乱，误检率比较高；

难点3：数据源稀缺，没有丰富的数据训练；

难点4：图片大，检测框小，所以漏检率高。

使用的机载边缘计算终端有效优化性能，检测最小目标达到6*6像素，保证了线路通道隐患识别的准确性。

3  技术路线

基于前端边缘计算、公网远程控制技术的小型无人机在输电线路的应用技术路线：

无人机搭载公网控制模组，公网信号控制模块将飞机串口控制信号实时转换成UDP或TCP数据包，并通过公网基站向云端服务器进行发送。另外一方面，远端地面控制站通过基站网络与云端服务器进行连接，并经过服务器与被控无人机建立连接链路，实现无人机通过公网链路的远程无限距离控制，远程管控平台通过网络与服务器进行连接，同时可根据无人机回传数据进行无人机飞行指令控制，同时可进行远距离定点降落进行人工换电，无人机飞控距离达到公网信号所及之处皆可及的“无限远”，实现终端采集图像、视频信息实时回传和地面端远程无线距离控制。无人机远程控制依赖于“远程规划、本地执行、实时修正、边缘处理、长距续航、自动对屏接续飞行”技术，解决实现在信号覆盖区域的互联互通、超视距控制、远距离巡检，数据实时回传、边缘数据实时处理标注、多设备协同等。

第一，无人机内置公网网络连接模块，可进行5G通信，向下兼容4G。远程控制飞行之前，用户在远程控制终端根据地图和点图规划航线，将航线文件加密后通过公网发送至无人机或转存至服务器。

第二，飞行前的无人机连接公用网络，从远程WEB控制端或服务器接收航线文件，解密并配置飞行路径。

第三，无人机根据规划好航线进行自动飞行。

第四，飞行过程中，无人机自动航线巡航视频画面实时直播，无人机飞行参数及航线位置等信息显示，特殊情况可切手动模拟杆飞行。

第五，无人机巡检同时，进行图像、视频等数据采集工作，使用无人机机载边缘计算NPU算力进行线路通道山火，线路通道机械施工，杆塔边坡塌方，导线飘挂物等隐患进行实时标注，为节省功耗采用轻量级AI模型，模型在完成训练下载到无人机边缘计算终端上，代入实采数据实时外部隐患标注，并将异常隐患信息推送至远程控制终端。

4  应用场景

基于前端边缘计算、公网远程控制技术的小型无人机在输电线路的应用场景：

1.线路通道往返快巡

一个起飞点大小号侧飞行两个自动航线往返架次，覆盖直径12公里。适用于：密集通道区快速巡视，及重点外部隐患区，山火区段，防汛区段，防冰区段等现场特殊快速巡视飞行。巡视过程中发现隐患可由自动巡检任务切换手动控制，对隐患区进行全面高空勘察。可使用红外双光无人机进行远程测温。

2.无人机施工现场安全监管

控制终端远程控制无人机手动飞行，对施工现场360度进行监控，实现画面实时显示，拍照及录制视频功能，并具备无人机搭载扩音设备进行现场喊话功能。

3.实现线路全线快速巡视

通过无人机前端AI识别技术，电池扩容增程技术，及远程控制技术的运用实现无人机远距离单程15-20公里航线自动跳棋飞行，距离起飞点15-20公里线路通道路径处设置自动降落点，进行人工换电池，控制终端远程控制无人机继续延线路通道进行下一个15-20公里航线飞行任务，直到巡视任务完成，可实现快速规划航线，远程操控无人机实现航线自动飞行及手动飞行，巡视过程中发现隐患可由自动巡检任务，切换手动控制，对隐患区进行全面高空勘察。无人机视频实时传输，视频及图片下载。线路通道山火，线路通道机械施工，导线飘挂物，杆塔边坡塌方等隐患前端AI识别及自动标注及实时隐患推送功能。

5  典型经验和推广前景

为了进一步提高基于前端边缘计算、公网远程控制技术的小型无人机在输电线路的应用效果，考虑从以下三方面进行提升：

1.制定无人机远程控制通道巡检工作规范

根据不同线路巡检工作任务，制定合理的规范化无人机远程控制巡检作业规程，保障远程无人机通道巡检作业规范有序进行。

2.开发无人机中继充电停机坪

开发无人机中继充电停机坪，使得无人机跳飞过程不依赖人工换电方式进行接续飞行任务，无人机中继充电停机坪具备低成本，部署简单要求，无人机遥控器自动对拼技术，不依赖无人机RTK多种精确降落方式实现精准降落。

3.全局征集典型缺陷案例数据集进行缺陷识别算法训练，普及人工智能边缘计算在各个场景的使用

利用已有典型缺陷案例进行缺陷识别算法训练，将训练后的算法通过模型轻量化处理，部署于无人机机载终端，实现无人机在巡检过程中，缺陷隐患的自主识别，并通过积累缺陷隐患数据库，实现算法种类和深度的迭代更新。

算法种类包括但不限于：杆塔类缺陷识别算法、绝缘子类缺陷识别算法、护套类缺陷识别算法、锈蚀类缺陷识别算法、异物类缺陷识别算法、电线类缺陷识别算法。

来源：金巡奖