摘要：飞机表面的制造质量将直接影响飞机的性能，装配后必须进行几何检测。本文提出了一种基于数字相移的飞机表面制造质量检测方法。首先采用数字相移测量方法获取表面点云数据和图像数据。通过图像边缘跟踪和霍夫变换算法，高效地识别铆钉区域，然后映射到空间点云中，实现铆钉的定位和几何测量。反向标定投影仪的参数后，实现特征信息的可视化标注。实验结果表明，本文中提出的方法具有较高检测精度和效率，具有取代传统检测手段的应用潜力。

关键词：数字相移；飞机表面；相位误差；铆钉识别

Abstract: The manufacturing quality of the aircraft surface will directly affect the performance of the aircraft which must be geometrically inspected after assembly. Based on digital phase shift, this paper proposes a inspecting method for the manufacturing quality of aircraft surface. First, the surface point cloud data and image data are acquired by digital phase shift measurement. Through the image edge tracking and Hough transform algorithm, the rivet area is efficiently identified and then mapped into the spatial point cloud to realize the positioning and geometric measurement of the rivet. After the parameters of the projector are reversely calibrated, the visual annotation of the feature information is realized. The experimental results show that the proposed method has superior detection accuracy and efficiency, and has the potential to replace traditional detection methods.

Key words: Digital phase shift; Aircraft surface; Phase error; Rivet identification

1　引言

作为20世纪最重要的发明之一，飞机是非常重要的交通和运输工具，在国民经济和国防军事领域都具有十分重要的地位。根据制造工艺，飞机表面主要是由包围在机翼骨架外围的蒙皮构成，其表面制造质量对飞机的气动特性、飞行安全性、飞行成本以及对隐身性等都具有重大影响^[1~5]。因此，为了保障飞机的飞行性能，在飞机装配制造以及出厂交付时，需要对其表面制造质量进行严格检测。影响飞机表面制造质量的因素主要包括：飞机翼身对接面、蒙皮与蒙皮及表面紧固件之间形成的阶差，蒙皮表面凹坑与凸起，表面划痕等损伤^[6~10]。

早期，由于技术水平的限制，人们主要通过手工观察、量具测量等传统方式对表面质量进行检验。这种方法只能单一判断被测量是否合格，难以精确地描述零部件的真实状态，且接触式测量的速度慢，效率极低。由于没有合适的工具，某些复杂结构的检测结果受人的主观因素影响严重，甚至无法测量。随着科技的发展，这种传统测量方法显然难以满足快速的非接触式制造需求。因此，迫切需要一种快速、非接触式、数字化的飞机表面制造质量检测方法。

2　数字相移原理

本文采用数据相移技术实现飞机表面的三维数据采集。数字相移技术，又叫面结构光测量技术，是基于结构光的三维测量技术中的一种，是一种非常重要的三维测量方法。根据结构光类型的不同，可将基于结构光的三维测量技术分为三种：点结构光、线结构光和面结构光测量技术。根据相机个数的不同，又可将面结构光测量技术分为单目面结构光测量和双目面结构光测量。由于面结构光测量技术一次测量即可得到整个幅面的点云数据，相较于点结构光和线结构光，测量效率大大提升，并且由于单幅测量的时候不需要拼接，因此，在测量单个幅面的时候测量精度明显高于点结构光和线结构光。由于单目面结构光测量精度不如双目面结构光高，因此，现阶段多使用双目面结构光测量技术。本文中讨论的数字相移技术即为双目面结构光测量技术，使用投影装置向物体表面投射一系列预先设计好的正弦光栅图像，该图像经被测物体表面调制后，会发生变形，相机拍摄获得变形后的光栅图像，经计算机处理后求得每一点所对应的相位，并将其作为立体匹配时的特征量，根据三角测量的原理即可获得被测物体表面的三维点云数据。

3 特征区域分析

采用图像处理的方法提取铆钉区域，参见文献^[11]。从图像中提取出特征区域后，需要对特征区域对应的三维点云进行数据处理与分析。对于铆钉区域，需要分析出铆钉上表面与周边区域的相对距离和铆钉上表面与周边区域的铆接角度。

假设铆钉周边区域近似为一平面，如图1所示，可以在铆钉内外分别取一圈圆环点，采用RANSAC（Random Sample Consensus）的思想对这两圈圆环点分别进行平面拟合。如图1（b）所示，那么两平面法向量之间的夹角即为铆钉铆接的角度，另外也可求出铆钉内圆环点相对于铆钉外平面的平均距离、最大距离与最小距离。

图1 铆钉区域数据分析

4　特征结果的可视化标注

为提高工作效率，使测量结果更加直观，本文采用一种将特征结果直接投影到被测件表面的可视化显示方法，并且投影的检测结果直接和缺陷区域相对应，避免了操作员需要反复确认的问题。

如2所示，投影信息直接显示在检测区域附近，在铆钉表面投射不同的颜色来区别其相对于表面高低差的大小，其中红色表示高低差严重超出范围，蓝色表示稍微超出误差范围，但是仍在容忍的范围之内，绿色表示高低差符合要求。此外，每一个铆钉区域附近，也投影出了其实际的高低差数值。

图2 可视化显示原理

本方法中的关键是如何将检测信息准确地投影到检测区域。如图2所示，取被测件上的点p进行分析，其在左右相机图像中的投影点分别为pl和pr，根据双目标定信息，可以求出其在左相机坐标系下的三维点坐标。在投影仪上建立与相机坐标系类似的投影仪坐标系，若已知投影仪坐标系与左相机坐标系之间的位置关系，则可将点p在左相机坐标系下的坐标转换到投影仪坐标系下，根据投影仪标定的内参数信息，可以求出该点在投影仪图像平面的投影点pp。如果在pp点设置投影信息，则该信息将会被投影仪投射到被测件上的p点。若已知被测区域的点云数据，根据上述步骤，求出在投影仪图像中的相应投影坐标，在这些坐标处设置该区域的分析信息，则该信息将会被投射到相对应的检测区域，从而完成检测信息的可视化显示过程。

5　实验结果

实验系统主要由两个工业相机、投影仪、图像采集卡和计算机组成，并进行了轻量化的设计，最终开发出的原型系统如图3所示。

图3 开发的试验系统

相机通过网线、路由器和图像采集卡与计算机连接，DLP投影仪通过USB、HDMI与计算机连接。相机与投影仪通过连接板固定在三脚架上，可实现三个方向的任意调节。由于三维测量时需要保证左右相机是同步拍摄的，因此，相机与投影仪进行了硬件连接，当投影仪投射光栅图像后，会触发相机进行同步拍摄。此外，编写了系统测量软件，具有系统标定、三维重建、特征分析、可视化显示等功能。

为了更加直观地显示所提可视化方法的有效性，我们给出了一个彩色的例子，如图4所示。实验结果表明，该方法可准确地将检测信息投影到被测件表面，显示结果直观，可大大提高检测效率，因此，具有极大的实用价值。目前，铆钉的检测精度可达+/-0.02mm，平均检测时间为8s。

图4 可视化显示结果 （a）待测件（b）检测结果投影图像 （c）检测结果

6 结论

在这篇文章中，我们研究了一种基于数字相移的飞机表面制造质量检测方法，被测特征区域为铆钉。提出了一种基于边缘跟踪和霍夫变换的铆钉提取算法，具有较高的效率。通过点云拟合计算，可提取铆钉区域的特征信息，并使用投影仪将其结果投影到被测表面。实验结果表明，本文的方法可以用于飞机铆钉的在线检测。

参考文献：

[1] Kundu AK, Raghunathan S, Cooper RK. Effect of aircraft surface smoothness requirements on cost[J].  Aeronautical Journal. 2000, 104 ( 1039 ) : 415 - 420.

[2] Gong MZ, Yuan PJ, Wang TM, Yu LB, Xing HW, Huang W, et al. A Novel Method of Surface-normal Measurement in Robotic Drilling for Aircraft Fuselage Using Three Laser Range Sensors[C]. IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM), 2012, 450 - 455.

[3] Salazar F, Barrientos A. Surface Roughness Measurement on a Wing Aircraft by Speckle Correlation[J]. Sensors. 2013, 13 ( 9 ) : 11772 - 11781.

[4] Jang B, Kim M, Park J, Lee S. Design Optimization of Composite Radar Absorbing Structures to Improve Stealth Performance[J]. International Journal of Aeronautical and Space Sciences. 2016, 17 ( 1 ) : 20 - 28.

[5] Panwar R, Lee JR. Performance and non-destructive evaluation methods of airborne radome and stealth structures[J]. Measurement Science and Technology. 2018, 29 ( 6 ) : 1 - 31.

[6] Siegel M, Gunatilake P, Podnar G. Robotic assistants for aircraft inspectors[J]. Industrial Robot. 1998, 25 ( 6 ) : 16 - 30.

[7] Liu Z, Forsyth DS, Marincak A, Vesley P. Automated rivet detection in the EOL image for aircraft lap joints inspection[J]. Ndt & E International.2006, 39 ( 6 ) : 441 - 448.

[8] Wang JH, Wang MR. Handheld non-contact evaluation of fastener flushness and countersink surface profiles using optical coherence tomography[J]. Optics Communications. 2016, 371 : 206 - 216.

[9] Lavoie J. Improvement of Aircraft Mechanical Damage Inspection with Advanced 3D Imaging Technology[C]. 5th International Symposium on NDT in Aerospace, 2013.

[10] Zhang WW, Zhuang BH. Non-contact measurement of scratches an aircraft skins and windows. Three-Dimensional Imaging and Laser-Based Systems for Metrology and Inspection Iii[J]. Proceedings of the Society of Photo-Optical Instrumentation Engineers (SPIE). 1997, 32041997 : 90 - 94.

[11] Chen SL, Xia RB, Zhao JB, Zhang HY, Hu MB. Analysis and reduction of phase errors caused by nonuniform surface reflectivity in a phase-shifting measurement system[J]. Optical Engineering. 2017, 56 ( 3 ) : 033102.

作者简介：

夏仁波（1977-），男，贵州遵义人，研究员，博士，现就职于中国科学院沈阳自动化研究所，主要研究方向为计算机视觉、智能制造。

苏　润（1994-），男，湖北荆州人，硕士研究生，现就职于中国科学院沈阳自动化研究所，研究方向为图像处理、三维重建。

赵吉宾（1970-），男，山东济南人，研究员，博士，博士导师，现就职于中国科学院沈阳自动化研究所，主要研究员方向为计智能制造、机器人控制；

陈月玲（1987-），女，山西大同人，硕士，助理研究员，现就职于中国科学院沈阳自动化研究所，研究方向为图像处理、三维重建。

付生鹏（1985-），男，山东济南人，博士，副研究员，现就职于中国科学院沈阳自动化研究所，主要研究员方向为视觉测量。

摘自《自动化博览》2019年5月刊