ABB
关注中国自动化产业发展的先行者!
CAIAC 2025
2025工业安全大会
OICT公益讲堂
当前位置:首页 >> 资讯 >> 行业资讯

资讯频道

双目视觉和点云分割算法在高压电缆隧道巡检机器人自主导航中的应用
  • 点击数:1902     发布时间:2022-12-19 02:10:42
  • 分享到:
为解决巡检机器人在高压电缆隧道狭窄环境中运行时无法识别可通行路径并自主规划前进路线的情况,本文提出一种基于双目视觉的导航方法。双目摄像机扫描隧道内点云数据,然后抽帧并通过点云精简方法对点云数据进行简化。之后根据相邻点的位置计算各点的法向信息,而后经过K-Means聚类算法提取法向量相近的点集分割出水平面点云。由于无法区分步道平面和两侧水平地面,因此再以水平面点集的高度值用K-Means聚类做一次二分类用加以区分。在最终点集中提取左右边界并计算中心线,通过拟合得到步道走向信息。最后通过分析拟合曲线在图像中下端点与摄像头视觉中线的关系以及下端点切线与视觉下边界的关系解算出机器人当前所处位置以及前进修正信息。

★ 国网北京市电力公司电缆分公司 冀然,吴建旺

★ 北京卓越电力建设有限公司 张东,高祥,王辰松,张亮

近年来随着高压电缆体量的快速增长,完成必需的巡检工作所需的人力也大幅增加,因此巡检工作的智能化替代是必不可少的。与固定式在线监测设备负责重要节点全天候实时监测相互补,巡检机器人可以满足电缆全长温度监测、隧道环境监测等移动监测工作。目前主流的隧道巡检机器人可分为轨道式和无轨道式。常见的轨道式巡检机器人其运行轨道固定在隧道的顶板上,因此机器人在轨道长度内可以自由活动。同时由于其悬挂在吊轨上,其自身重量、电池容量均无太大限制所以可搭载的监测设备也更加全面。但是因为建设轨道式巡检机器人其投资巨大,因此要想建设覆盖全部高压电缆隧道的轨道式机器人其花费难以估量。也正因如此轨道式巡检机器人尚未大面积普及。目前主流的无轨道巡检机器人分为无人机和地面巡视两类,本文主要讨论地面巡视类机器人的路径规划思路。地面巡检机器人在电缆隧道中运行时由于隧道内空间较为狭窄,因此在自主前进时对行进路线有较为严格的要求。以某市高压电缆隧道为例,其剖面图如图1所示。

image.png

图1 高压电缆隧道截面图

如图中所示其可供地面巡视机器人通行的宽度约为50厘米,目前大部分地面巡视机器人机体宽度约为40~50厘米,因此对机器人路径规划的要求极为严苛,稍有偏差即有可能导致机器人无法继续前进。目前巡检机器人普遍采用标示线法进行路径规划,即人为在可通过路径中心或对称位置粘贴一条或两条颜色鲜明的标示线,机器人摄像头识别标示线并以此为依据判断前进路径。此方法简单可行,但是需要人为粘贴大量标示线显然难以满足大规模应用需要。因此识别隧道内固有特征并转化为路径规划依据具有较高的实用性。在常见高压电缆隧道中步道是供巡视人员行走的通路,步道表面较为平直可供机器人通过,其高于左右两侧地面约10cm,因此其结构特征可以作为良好的路径规划依据。

1 点云数据采集与存储

在本文中获取场景的点云数据信息和普通图像信息使用的是用ASU SXtion PRO Live摄像头。ASU SXtion PRO Live设备包含一个可见光RGB摄像头和一个深度摄像头。深度摄像头与红外发生器配合得到视场内的深度信息。通过此设备可直接得到宽度×高度为640×480的RGB图像及深度图像。与常用的Microsoft Kinect摄像头相比ASUS Xtion PRO Live的USB2.0接口可以同时完成供电与数据传输两项功能,因此当搭载在机器人上时其占用的硬件资源更少。

PCD文件格式是一种用于点云存储的文件格式。相较于PLY、STL、OBJ等常规格式,其使得组织化点云的处理更方便。组织化点云数据一般来源于体感、立体摄像机、飞行时间摄像机等具有结构化行列信息的设备,其毗邻的点与点之间有明确的空间关系。PCL的IO模块将XtionPRO获取的RGB图像与深度图像融合为组织化的点云数据。

本文采用行列为640×480的点云输入,因此每帧包含307200个点,每个点均附带空间中三维坐标值及RGB色彩值。隧道内步道RGB图像和深度图像如图2所示。

image.png

image.png

图2  隧道RGB图像和深度图像

2 路径规划流程

图3为自主导航流程框图,描述了从点云数据采集到最终完成路径规划的几个主要步骤。

image.png

图3 自主导航流程框图

3 点云精简算法

深度摄像头所采集到的点云数据中有大量的噪声点和冗余点,在输入神经网络训练之前需要通过点云精简的方法尽可能多的去掉噪声点和冗余点,用以提高神经网络的训练效率和训练效果。下文主要介绍几种常见的点云精简方法。

3.1 空间划分和点云特征

基于空间划分和点云特征的方法中空间划分使用的方法通常有kd-tree、八叉树、均匀网格,点云特征一般使用曲率、法向量或邻域点距离。

3.2 均匀网格法

均匀网格法(even grid)[3],首先对整个点云构建一个大的方形网格,然后在X轴、Y轴、Z轴上设定最小步长,将包裹全部点的大网格分割为若干个小的网格,最后使用每个小网格中离网格中心最近的一个点,代替小网格中的所有点。此种方法可以较大程度上减少冗余点的出现,但是个别离群的采样点由于单独处于一个小网格中因此仍然无法消除。并且从图2中可以发现深度摄像头对于处在摄像头中心近距离步道的采集密度远高于两侧噪声点,通过均匀网格法将会使全部最小网格内的采样点密度下降到同一水平,反而放大了需要过滤的噪声,因此均匀网格法不适用于此种适用环境。

3.3 曲率法

曲率法是另一种基于区域特征的精简方法,这个方法首先找出每个点的K个近邻点然后再使用这些点的拟合成一个曲面。这个曲面的曲率可以反映这个区域的复杂度。其中曲率比较大的区域则是形状较为复杂的区域因此应保留更多的点。此方法旨在使模型较为复杂的地方保留更多的点,在较为平坦的区域舍弃更多的点。在本文讨论的适用场景下我们关注的反而是较为平坦的步道区域,因此无需保留模型复杂处的点。同时由于曲率计算需要复杂的矩阵运算,尤其是当处理大量点云数据时其运算量巨大,因此其运算时间和功耗都是需要实时解算的巡检机器人难以承受的。因此本方法也不适用于本文讨论的高压电缆隧道巡检机器人。

3.4 随机精简法

随机精简的方式是指使用随机抽取的方法,按照设定比例抽取部分点构成新的精简点云的方式。这种做法有两个特点。第一,能够降低系统误差,随机方法的实现和思想虽然简单,但是由于选取点的随机性,使得精简后的模型在全局的精简度都比较的均匀。第二随机精简的方式计算量小,实现简单,但是在精简过程中容易失去模型部分特征,因为随机精简在特征密集区域和平坦区域的采样程度是一样的,这就会导致在平坦区域采集过多的点,而在特征集中的区域采样点不足,从而造成误差增加。在本文所讨论的隧道环境下,需要分割的反而是比较平坦的步道区域,因此随机精简法的缺点将成为其优点。在实验中发现保留20%点时点云中的目标平面特征依旧明显,即精简80%的数据后识别效果无明显影响。

4 提取平面

点云经过精简后需要对所需的步道平面点进行筛选用于后续计算。文献[1]中通过对点云的法向特征进行聚类来分割场景中的平面。首先,计算点云数据的法向量。然后,将法向一致的点云聚类到一起。最后,对每一簇点云在这一簇点云中心方向上进行距离空间的聚类便可获得各自独立的平面点簇。本文在第二步聚类时,使用第3节中获取的平面参数作为指导,从第一步聚类的结果中选取最接近运动平面法向量的类簇,然后单独在这一类簇上进行距离空间上的聚类,省去了对无关类簇的计算。表面法向计算采用文献[2]中的SDC(Smoothed Depth Changes)算法来计算点云的法向量。SDC算法的本质上是通过相邻点的特征关系来拟合一个局部平面片。即位于(x,y)处点p的曲面法向image.png可通过计算其相邻点的叉积得到。从组织化点云中选取行列上4个邻点。如图4所示,image.png由横向两邻点计算,image.png由纵向两个邻点计算。

image.png

深度信息在计算点云空间位置时起到重要作用,而噪声的影响会造成计算所得点云的空间位置不准确,在通过式(1)计算法向时在平面边缘处往往得不到应有的结果,可通过均值化来平滑深度信息上的噪声。为了避免平滑过程中目标边缘信息的丢失,在遇到潜在的边缘时调整平滑区域的半径。在本文讨论的使用场景下,由于步道左右对称,因此边缘信息的丢失也呈对称状,通过试验对比发现去掉均值化步骤对步道中心线的识别无明显影响,因此省略此步骤。

5 基于法向信息的平面分割

若需判断两个平面共面,应满足文献[3]中所述的两个条件:(1)局部平面的法向量具有一致性,即在同一平面上的各个点邻域内法向的朝向应该是一致的。(2)两个平面上各取两点构成的向量在各自局部平面法向上的内投影应足够小。文献[4]中将上述两个条件以数学方式表示为:

image.png

其中,n1与n2分别是两个局部平面片的法向量;αthresh为夹角阈值;dthresh为投影长度阈值如图5(a)所示。

对于已被归一化的法向量,本文近似用欧氏距离代替角度可将第一个公式调整为

image.png

其中,emax为法向距离阈值,即在法向空间上两者的欧式距离应足够接近。对已具有共向性的点簇,应满足

image.png

其中,image.png,其中A=[a,b,c,d]为平面系数;p=(x,y,z)为具有共向性点簇中的一点;dmax为平面片间的最大距离阈值。平面系数A的前3个元素描述了平面法向的朝向,可用具有共向性点簇的朝向来代替。任选一点p另ax+by+cz+d=0可解出d的值。式

(4)表示点族内两点到平面距离的差值应足够小。

image.png

图5 平面共面判别条件

image.png

图6 平面分割效果

6 聚类识别步道平面

在得到各点的法向量后需要判断哪些点属于同一个平面,此时需要运用K-means聚类算法。K-means算法属于无监督学习算法,可以在缺少分类标签的情况下依据每个点自身的法向量判断其是否在一个平面内,其算法流程如下:第一步首先随机初始化k个“质心”,计算各个点到每个质心的距离,在本文中距离以各点法向量的夹角余弦值代表。

image.png

第二步遍历完全部点后将得到k个点簇,计算每个点簇中各点的平均法向量以及各点法向量与质心向量的方差,将平均法向量作为新的质心,并重新进行第一步。通过多次迭代可以发现各点簇的向量方差将逐步收敛,证明拥有相似法向量的点被划分成了一类。由于深度摄像机视角内最大的平面就是隧道的地面,因此只需选取包含点数最多的点簇即可完成属于水平面上点的筛选。

由于步道和两侧地面为平行关系,因此仅通过法向量聚类无法区分步道和两侧地面。此时需要对这一簇点舍弃掉x、y维度的信息,仅以高度数据进行一次k值为2的一维聚类。这样就可以完成步道平面和两侧地平面的区分,其中高度较高的一簇即为从步道上所采集到的点。

7 边界提取

由于路径规划依靠识别步道的中线并计算摄像头中心线与步道中心线的关系进而修正前进路线,因此还需要识别出步道两端的边缘。对于点云图像边缘的提取[5]中介绍了很成熟的算法。其原理为利用数据点的拓扑关系以及数据点法矢等信息构造最小二乘平面,然后根据邻域内数据点在平面上的投影点之间分布均匀性提取边界。设点p为点云中的某一点,先利用kd-tree检索该点的k邻域,然后构建最小二乘平面,并将邻近点投影到其最小二乘平面上(如图7所示),过p点作平行于坐标轴平面xoy,xoz,yoz的平面xpy,xpz,ypz,以xpy,xpz,ypz为参考平面,当其邻近点中位于某一平面一侧的点与位于另外一侧的点数差与邻近点总数的比大于一定阈值时,该点即为边界点。

image.png

边界点的具体计算流程如下:

(1)由p点的邻近点,计算出p点的法向量,然后构造最小二乘平面T;

(2)将p点的邻近点投影到平面T上;

(3)过p点作平行于xoy,xoz,yoz的平面,并计算出位于三个平面两侧的点;

(4)若位于平面两侧的点数之差占邻近点总数的比例大于或等于某一阈值,该点即为边界点。

由于经过前文中对点云数据的特征提取已经从点云中提取了平面特征,因此在应用上述算法提取边界时可以进一步简化算法。算法可以简化为先利用kd-tree检索该点的k邻域,确定点p的临近点,过p点做平行于面xoz的平面,计算出其邻近点在平面的哪一侧,若位于平面两侧的点数之差占邻近点总数的比例大于或等于阈值,该点即为边界点。这样避免了计算最小二乘平面以及计算临近点投影的计算量,进一步减小了处理器的运算压力。边界提取效果如图8所示。

image.png 

图8 边界提取效果

8 解算控制信息

提取到左右两侧边界点后,取其x坐标相等的点为一对计算其中心点,得到此x坐标下的步道中心。多个中心点连线即是步道中线。在步道中线上取三个点进行拟合可以得到步道的基本走势。若拟合曲线通过视角底部中点则可以判断当前机器人位于步道中心。若拟合曲线端点在镜头右侧则表明机器人当前处于步道中心偏左位置需要向右平移,反之需要向左移动。取拟合曲线下方末端切线,切线朝向即位当前位置隧步道走向,因此机器人向切线方向旋转即可保证机器人前进方向始终与步道走向一致。中心线拟合效果如图9所示。

image.png 

图9 中心线拟合效果

9 总结与展望

本文提出了一种针对高压电缆隧道步道点云特征的机器人路径规划方法。本方法可以基本满足轮式和四足式巡检机器人在步道中的导航需求。但是本方法还存在诸多不足之处有待改进以满足更多场景的应用。(1)高压电缆隧道中存在集水坑等特殊地形,本方法无法识别。(2)本方法无法识别步道上的台阶碎石等障碍物。对于上述崎岖地形条件,基于点云的路径规划应该比视觉、SLAM等其他路径规划方式更加有优势,值得继续研究开发。同时本方法的实验数据计算均基于笔记本电脑处理器,其运算效率和搭载在机器人上的微型处理器有很大差距,因此计算的实时性还需要另外加以验证,若无法满足实时解算的要求则机器人的控制效果将大打折扣。若运算时间无法满足要求则可以考虑在点云精简时进一步提高精简率以更少的点云提取特征,牺牲一部分准确性换取运算速度提升。

作者简介:

冀然(1996-),男,山西平遥人,助理工程师,硕士,现就职于国网北京市电力公司电缆分公司,从事电缆运维检修工作。

吴建旺(1977-),男,北京人,助理工程师,现就职于国网北京市电力公司电缆分公司,从事电缆运维检修工作。

张东(1989-),男,北京人,工程师,学士,现就职于北京卓越电力建设有限公司,从事电缆运维检修工作。

高祥(1992-),男,北京人,助理工程师,现就职于北京卓越电力建设有限公司,从事电缆运维检修工作。

王辰松(1988-),男,北京人,工程师,学士,现就职于北京卓越电力建设有限公司,从事电缆运维检修工作。

张亮(1985-),男,北京人,助理工程师,现就职于北京卓越电力建设有限公司,从事电缆运维检修工作。

摘自《自动化博览》2022年11月刊

热点新闻

推荐产品

x
  • 在线反馈
1.我有以下需求:



2.详细的需求:
姓名:
单位:
电话:
邮件: