★山信软件股份有限公司耿浩，翟诺，崔丽敏

关键词：深度学习；kmeans；欧氏距离；3D视觉；焊标机器人

1　引言

螺纹钢广泛用于房屋、桥梁、道路等土建工程建设。在螺纹钢生产加工的过程中，需要对成捆的螺纹钢进行焊接标签，以标明该螺纹钢的炉号、钢号、支数、重量等信息。整个后补收集区域的工作流程是，打捆机打捆完成后，钢捆通过输送辊道运输到收集区域，经过对齐挡板的对齐后，提升移钢链条上升，把钢捆抬起脱离辊道，然后运输到称重位置，提升移钢链条下降，钢捆放到称重台架上进行称重，称重完成后，提升移钢链条上升，将钢捆运输到平移链条，焊标人员从打印机中取出打印好的标牌，手持焊枪并填装焊钉，将带有钢材信息的标牌焊接到合适的钢筋端面上。工艺流程图如图1所示。

焊标机器人是指代替人工实现螺纹钢的焊标签牌的工作，其中机器人相当于人的手臂，而3D相机相当于人的眼睛，3D视觉引导算法相当于人的大脑，通过分析钢筋图像，从中选择出两个合适的位置命令机器人进行标签焊接，焊接的最佳位置为成捆钢筋左右中心点。

图1工艺流程图

2　现场情况概述

本文所选用的成像设备是单目结构光3D相机。该相机固定安装于机械手末端，每次钢捆到来时会触碰到对应位置的接近开关，从而触发相机进行拍照。该相机一次拍照可以获取一张200万像素的灰度图、一张200万像素的RGB图像和一幅与灰度图像对应的点云图。该相机成像所用的结构光为红外结构光，在现场能够较好地规避环境杂光产生的影响。图2为现场生产中钢筋捆的灰度图和点云图像。

图2现场灰度图和点云图像

3　钢筋识别AI模型

该算法第一步是获取到灰度图像中的所有钢筋中心坐标，但由于工业现场环境复杂，且环境恶劣无法对现场进行环境改造，极易出现成像中存在大量的干扰像素。传统的图像处理算法很难查找到图像中所有的钢筋，鲁棒性极差，因此这里使用Yolov4深度学习目标检测算法^[8]。

Yolov4算法具有较强的实时性和较高的模型检测精度，能够满足现场3s以内准确地获取引导坐标的实时性要求。Yolov4网络结构如图3所示，其主要由主干网络层、特征增强层和分类回归层组成^[1,4]。本钢筋识别模型设定的输入图像尺寸为608×608，图像首先经过CSPDarknet53主干网络进行特征提取，然后先后通过SPP和PANet特征金字塔结构进行特征增强和融合处理，最终得到76×76、38×38和19×19三种不同尺度的特征图，最后通过分类回归层得到最终的检测结果。

本文共使用47张现场实际生产图像，图像中棒材的规格涵盖现场生产的12mm～25mm规格的所有钢筋，每种规格钢筋至少3张以上的图片，包括白天黑夜各种天气状态下的照片。小规格钢筋的数量在120根一捆左右，大规格钢筋在30根一捆左右，数据集展示图如图4所示。

图3输入608的Yolov4网络结构图

图4数据集展示图

通过反复迭代优化训练模型，即便Yolov4具有较强的鲁棒性，但是对于复杂的工业现场依然存在误判的情况^[5]。因此本文提出了三种优化方式：一是通过反向标记数据的方式，以减少光线因素对识别的影响，主要操作方式为将影响的背景因素标注为除钢筋外的第二类目标物体，背景因素中主要是窗户和堆积的之前的焊标钢筋料垛，标注图片如图5所示，并将其训练到网络中，以降低识别的错误率。经过实际现场验证，该方法具有较高的实用性。如图5所示，红色标识部分为深度学习识别的钢筋坐标中心，绿色部分为图像识别的其他目标；二是为了进一步降低复杂背景对钢筋识别的影响，在现场钢筋上方增加了高温石棉布遮挡杂乱背景，进一步提高了设备的稳定性；三是针对现场大规格钢筋由于冷却原因容易出现蓝头的问题，蓝色反射红外光线能力较弱，整体图像偏向黑色，因此在数据集中，增加了较多大规格的钢筋捆图像数量。

图5反向标注及识别效果

通过上述三种方式的优化，极大提高了Yolov4钢筋识别模型在现场识别的成功率，目前现场正确识别成功率可达99%以上。在实际生产过程中，钢筋捆的停靠范围基本上维持在设定位置1m左右的范围内，在相机成像图片设置固定的列坐标范围，在Yolov4获取所有的钢筋中心坐标后，在程序中对所有钢筋的坐标点进行筛选，一旦出现超过正确坐标范围的坐标点，将自动进行过滤。当检测到大量坐标点在不正确范围内时，将进行报警，从而提高了设备运行的安全性。

4　点云滤波算法

在获取出所有的钢筋坐标后，需要根据图像坐标从点云空间中找到所有点的点云坐标。但是由于3D相机的成像固有的问题及工业现场的电磁干扰，点云图像容易出现空洞、飞点等问题，因此需要对所有点云坐标进行滤波计算^[7]。首先以每个中心坐标点为中心，根据上下左右作出一定的偏移，数学描述如下：

假设灰度图像坐标系为XOY，点云坐标系为XYZ。钢筋AI识别模型识别的坐标集合为所有{C}，{C}中的点均为钢筋的图像中心坐标点，取其中一点坐标记为（X,Y），首先设偏移量为N，则取（X,Y）周围上下左右四个坐标点可得（X-N,Y）、（X+N,Y）、（X,Y-N）、（X,Y+N）的点图上坐标，设该坐标集合为{A}，找到集合{A}在XYZ点云坐标系下的对应点坐标，并将对应的Z值添加到集合{A}中形成以Z值为键平面中心坐标为值的键值对，按照Z值进行非0数据排序处理，首先对非零数据进行统计记为{C}，设定一旦{C}小于设定阈值E，其中E取值范围为（0～4），则说明该钢筋中心点周围存在大量空洞数据，舍弃本次数据；否则按照Z取出集合的最大值Max{A}记为M，最小值为Min{A}记为L，若M-L>D，其中D为判定飞点的阈值，若D较大时则说明存在飞点，因此舍弃本组数据。在空洞和飞点滤波算法通过后，则根据自中心开始顺时针方向优先从{A}中选择一个合适的XYZ坐标均不为0的点，最后依次对{C}中所有的数据进行处理，可以得到一个过滤后的数据集合{α}。点云滤波算法流程图如图6所示。

图6点云滤波算法流程图

5　Kmeans确定左右中心点

根据现场生产要求，需要对现场钢筋左侧和右侧各进行一次焊牌动作，形成如图7中的效果。因此根据该需求将整捆钢筋分割成左右两部分，并分别确定左右两侧的钢筋中心，该点即为需要焊标的点。

图7实际焊牌效果图

针对现场的工艺分析，本文提出了通过K-Means聚类算法来实现钢筋左右中心点的确定。在一个二维平面中，一簇数据点的质心的横坐标就是这一簇数据点的横坐标的均值，质心的纵坐标就是这一簇数据点的纵坐标的均值，因此聚类所得的结果就是左右两侧中心^[3]。因此对过滤后的可用点集合{α}进行K-Means聚类计算，指定其簇的个数为2，就可以得到左侧钢左右两侧的两个钢筋的集合{L_α}和{R_α}，以及左右两侧的质心坐标，如图8所示黄色圈内为钢筋的左右质心。

图8聚类中心结果图

6　焊点选择算法

在焊标的过程中，首先要确定距离两质心最近的钢筋，这里将质心与周围钢筋中点的远近通过欧式距离来确定。取左半部分为例，设左质心坐标为（X_c，Y_c），整个集合{L_α}内任意一点为（X_n，Y_n），两点间的距离为P_n，如式（1）所示：

对{α}中所有点进行上式计算，可得各点与其中心的距离P₀P₁P₂.....P_{_n}，记为集合{P}，并向集合{P}中添加对应坐标组成键值对，通过对{P}的排序，确定出左右两部分钢筋点的中心钢筋L_c、R_c，左右两侧有序集合{LO_α}和{RO_α}。

又根据现场焊枪头与周边卡具的机械结构，且由于现场实际生产中，钢筋捆头部存在参差不齐的情况，因此L_c、R_c点的焊接钢筋与周围m根钢筋的高度差不得超过一个规定值n毫米，其中n和m可以根据实际现场的机械结构设定数值。

以左侧钢筋为例，以L_c为中心从{LO_α}中取前m根钢筋的集合{M}，并从点云空间XYZ中找到集合{M}所有数据对应的Z向信息，将Z为键添加到{M}中形成新键值对集合，并以Z键从大到小进行排序，确定出集合中的最大值，并与中心L_c进行Z向的绝对值差值计算，若差值小于n则符合条件，A点为最终焊标点，否则将集合中的最高点赋值为中心点，重新应用公式（1）对{L_α}进行排序，再次得到有序集合{LO_α}，并重复继迭代以上算法，直至确定出正确的坐标点，具体流程如图9所示。

图9 焊点确定算法

上文所选择的Lc坐标点为3D相机坐标系下的坐标，在实际使用过程中需要将其转换到机器人坐标系下，该焊标机械手与钢筋捆为垂直姿态，在Z方向的坐标转换为机械手启动焊接点与3D相机的相对固定位置^[6,2]；XY方向的坐标转换通过九点标定法确定，通过人工控制机器人到棋盘格上选定的角点位置处，记录下此时的机器人XY坐标，然后在平面图中找到对应的角点位置的XY坐标，再从点云空间中找到对应角点的XY点云坐标，将两组进行计算，得出变换齐次矩阵。在实际使用过程中每次将所选择的L_c坐标点带入公式，得到机器人焊接坐标位置，实现对机器人的成功引导。

7　结论

根据现场实际使用情况，该算法能够准确地选出一捆钢筋中的焊接点。该算法通过特殊反向标注的数据集训练了Yolov4钢筋识别模型，使其能够准确地从图中获取出钢筋图像坐标位置，有效降低了现场干扰，具有较强的鲁棒性；该算法通过点云滤波算法能够有效地过滤飞点和点云空洞问题，提高了引导成功率；该算法通过K-Means聚类算法和欧式距离算法遍历整个点云空间，选择最佳焊接位置，有效规避了钢筋长短不一损害设备的问题，提高了设备的使用寿命。

该算法已经应用于永锋、莱钢等多台焊标机器人，效果良好。该算法不仅可以应用于机器人焊标场景，还可以应用于无序抓取、无人行车等3D视觉引导场景。该算法通过在2D图像进行图像处理而不是在三维空间直接进行数据处理，极大地缩短了图像处理的速度，且通过训练各种AI检测模型，其能够快速准确地找到物料目标，并且针对点云图像提供了高效的滤波和选点算法，具有较高的工程应用价值。

作者简介：

耿　浩（1992-），男，山东济南人，工程师，硕士，现就职于山信软件股份有限公司，主要从事钢铁行业人工智能机器视觉应用方向的研究。

翟　诺（1980-），女，高级工程师，学士，现就职于山信软件股份有限公司，主要从事自动化控制、人工智能应用方向的研究。

崔丽敏（1999-），女，助理工程师，学士，现就职于山信软件股份有限公司，主要从事钢铁行业人工智能机器视觉应用方向的研究。 

参考文献：

[1] 周晋伟, 王建平. YOLO物体检测算法研究综述[J]. 常州工学院学报, 2023, 36 (1) : 18 - 23.

[2] 江舟. 基于双目识别机器视觉技术的机械臂抓取研究[J]. 机械设计与制造工程, 2022, 51 (11) : 49 - 52.

[3] Rafacel C. Gonzalez, Richard E Woods, Steven L. Eddins等著. 阮秋琦等译. 数字图像处理[M]. 北京: 电子工业出版社, 2005.

[4] Alexey B, Wang C Y, Hong Y. YOLOV4: Optimal Speed and Accuracy of Object Detection[J]. Computer Vision and Pattern Recognition, 2020, 10 (9) : 34 - 51．

[5] 杨畅畅, 李慧玲, 潘广通. 基于改进 YOLOv4 算法的铝型材表面缺陷检测[J]. 组合机床与自动化加工技术, 2022, (11) : 66 - 69.

[6] 王栋, 花文超, 李祺, 等. 工业机器人实验平台设计[J]. 中国高新技术企业, 2016, (23) : 27 - 29.

[7] 王鹏. 基于双目视觉的目标识别与定位研究[Ｄ]. 秦皇岛: 燕山大学, 2020．

[8] 刘允浩. 机器视觉在智能制造中的应用[J]. 计算机与图像技术, 2022, (24) : 186 - 190.

摘自《自动化博览》2025年8月刊