★中国航空制造技术研究院邰月柠，霍志宇，闫利强

关键词：人工装配；混合现实；空间定位；虚实融合

1　研究背景

飞机、发动机等航空产品的人工装配环节，由于装配零件数量多、种类复杂，且作业周期长、参与装配人员众多，极易发生错装、漏装问题^[1]。同时，装配场景的复杂性给装配质量检验工作带来了挑战。通过数字化技术的应用，充分利用产品数字化定义和数据组织，可成为质量监管人员管控装配质量的重要手段^[2]。然而，利用当前航空制造中运用的数字化设计制造工具进行装配质量管理所面临的挑战日益凸显：

（1）在航空产品装配结果检验过程中，产品设计、制造信息通常通过包含文字描述和图表的文档在产品、工艺设计人员与装配、质检员之间进行传递，其形式是半面的、静态的，严重依赖现场人员的技能经验水平和对文档的理解^[3]。

（2）航空产品的复杂性，造成装配结果检验周期长、质检员工作疲劳程度大，极易引起漏检错检问题，且此类问题难以追溯，难以形成可靠的检验过程记录。

（3）制造现场的质检员所使用的传统规格的平板电脑、智能手机等终端设备往往只作为平面图纸和工艺检验规程文档的简单替换，难以体现航空产品设计制造数字化、信息化的优势。

混合现实（Mixed Reality，MR）是虚拟现实技术的一个重要分支。与传统虚拟现实（Virtual Reality，VR）所要达到的完全沉浸的效果不同，MR技术是要借助显示技术、交互技术、多种传感技术和计算机图形与多媒体技术将虚拟环境与用户周围的现实环境混合为一体^[4]。将MR应用到飞机装配结果检验任务，使质检员在混合现实环境看到虚拟物体和真实环境的混合场景，可增强用户对业务场景的感知能力^[5]，有助于使质检员将实际装配结果与产品数模进行直接比对，从而提升检验信息传递准确程度并减轻质检员工作强度。此外，通过混合现实设备可录制检验过程以便于追溯检验结果，确定故障原因。

MR设备平台和算法软件技术在国内外均处于快速发展和频繁迭代的阶段，并在航空制造等行业中得到广泛应用^[6]。在混合现实产品的研发方面，国外的波音、空中客车、洛克希德·马丁等航空企业与微软、达索系统等企业紧密协作开发了包括BARK、MOON、DiotaAR等混合现实软硬件产品和解决方案，在辅助装配、远程专家支持、虚拟训练、虚拟方案验证等任务中发挥了重要的作用^[3]。国内混合现实企业围绕行业中的痛点问题，如安防、巡检、远程专家协助、虚拟培训等任务研发了多款针对性的产品，并取得了良好的效果，促进了传统工业行业向智能化转型^[7]。

2　相机在空间中的定位技术

2.1　相机位姿估计

相机位姿估算就是建立图像像素坐标系与三维空间坐标系之间的映射关系。根据已知其世界坐标系下点的像素位置，计算相机在三维空间坐标系下的位置和姿态。相机位姿估计可通过N点透视位姿求解（Perspective-npoints，PnP）算法实现^[8]。该方法如图1所示，根据观测到图像上n个已知位置的特征点的像素位置，通过直接线性变换（Direct Linear Transformation，DLT）或非线性优化（Non-linear Optimization，NLO）的方法求解出估计相机位姿。其中，根据非线性优化的方法可减少三维空间坐标系不够准确的特征点对结果的影响，使位姿估计结果准确、可靠。

图1  相机位姿[R,t]估计示意图

2.2　平面标志物识别与虚实注册

平面标志物的检测、识别与跟踪是通过在平面区域上制作特殊图案化标志，从应用场景中获取的图像中识别并定位跟踪该标志进行虚实空间的注册，从而实现虚实融合的效果。虚实注册（Registration）或者是配准是将虚拟对象与真实对象之间坐标系对齐的过程^[9]。虚实注册最主要的任务是通过观察当前场景获得相机相对于已知标识的位置和姿态，使得虚拟场景正确的与真实场景进行叠加。基于标识的跟踪注册过程为：系统通过真实场景的视频进行分析，对该图像进行提取、检测与识别，以此来确定标识的ID；识别出标识以后，可以计算出相机相对于该标识的6自由度（6DoF）位置和姿态；然后根据外部参数矩阵设置虚拟相机位置渲染3D虚拟模型图像实现虚实叠加显示效果输出到显示设备中。基于标志物的跟踪注册方法计算复杂度较低，具有较好的实时性和准确性，技术也较为成熟^[10]。

2.3  基于视觉SLAM的相机位置跟踪

相机位置跟踪可以通过视觉SLAM（Simultaneous Localization and Mapping）实现。SLAM技术通过计算机视觉方法同时实现特征点云地图构建和相机6DoF位姿计算^[11]。SLAM过程中，相机通过特征点检测、跟踪、三角定位的方法建立特征点云，并通过滤波或非线性优化的方法匹配特征点云并计算相机的位置，从而在三维空间内定位AR设备。

3  系统设计

3.1　整体设计

MR装配结果检验辅助系统以智能平板电脑为平台，通过叠加显示各类虚拟信息引导质检员完成对装配结果的检查。质检员开始质检后，AR设备将自动开启全程录像。通过AR眼镜，质检员可以在检验现场查看到流程中每一步骤的检验内容、操作指导等数字信息，还可通过语音进行程序控制、质检项目选择、检测结果输入等。在完成整个场景后，将检验信息上传到质检后台，后台支持相关数据的查询、展示及报告的生成，从而使得装配结果检验过程实现了工单无纸化、信息标准化、检验电子化、管理可追溯等目标，助力了航空产品生产单位在装配结果检验环节效率提升。

3.2　功能模块

MR装配结果检验辅助系统具备MR空间注册及自定位、虚实叠加显示、检测流程控制、检验提示信息加载及显示、装配问题标注、装配结果检验报告自动生成6项主要功能。这6项功能通过系统的6个主要功能模块实现，每个模块的功能描述和实现途径如图2所示。

图2  MR装配结果检验辅助系统6项主要功能模块示意图

（1）MR空间注册及自定位模块。MR空间注册通过二维码平面标志物实现。二维码平面标志物具有易识别、易跟踪、定位精确的优点。通过在场景中的固定位置设置平板标志物，可准确获得MR设备自定位过程中相对于检验场景的初始位置，从而实现MR设备自定位结果与装配场景坐标系间的配准，从而实现空间注册。空间注册完成后，MR设备通过视觉SLAM算法实现检验场景坐标系下连续的自定位。

（2）MR虚实叠加显示模块。MR虚实叠加显示模块通过视频流显示和3D渲染虚拟相机共同实现。其中，在MR设备屏幕区域播放MR设备视频相机所获得的视频流，同时设置与MR设备屏幕区域，即视频流播放区域等大的3D渲染窗口，并以MR设备视频相机内参为依据设置用于渲染3D场景的3D渲染虚拟相机的投影矩阵，投影矩阵用于计算三维空间中一点在相机图像所渲染的位置^[12]。假设相机内参如图3（a）所示，m、cx、cy分别为相机焦距和相机光心坐标，w、h分别为图像横向、纵向分辨率，则3D渲染虚拟相机的投影矩阵为A可由以下公式求得。其中，l、r、t、b、n、f为图3（b）所示的投影矩阵参数，该参数定义了3D渲染区域的形状和大小。当视频流显示窗口与3D渲染虚拟相机如图3（c）所示重合并同步播放视频流和渲染3D场景时即可实现MR虚实叠加显示效果。

图3  虚实叠加中相机参数模型与投影模型示意图

（3）装配结果检验流程控制模块。装配结果检验流程控制模块读取预先编制的检验流程描述文件获得每个装配零件的检验次序。检验顺序依照人工装配环节每个零部件的装配顺序，引导质检员对每个零件的装配结果依次完成检验。

（4）装配结果检验提示信息加载和显示模块。装配结果检验提示信息加载和显示模块用于在每个零部件装配结果的检验中载入外部文件构建虚实融合的检验场景。每个零件检验所需的信息包括固定于装配位置显示的3D模型和固定于MR设备屏幕像素位置显示的零件名称、编号、图样，以及检验所需的注意事项信息。

（5）装配问题标注模块。装配问题标注模块采用射线碰撞检验技术实现三维空间中的标注功能。当质检员发现当前待测零件存在安装问题时，可将MR设备对准零件位置点击标注，随后在弹出的窗口中输入装配问题描述信息。同时，系统自动拍摄问题位置的图片并进行标注。检验者最后可选择保存信息从而将存在装配问题零件、所在位置、场景图像、质检员、检验时间、问题描述等存储为数据文件。这样不仅可以保存问题信息，还可通过MR功能使其他质检人员可以通过载入数据文件快速定位装配问题所在位置并回溯所发生的装配。

（6）装配结果检验报告自动生成模块。装配结果检验报告自动生成模块可加载装配问题数据文件，并通过模板生成包含整个检验任务中所有零件检验结果的报告文本，并对于每个检验到的装配问题进行描述。

3.3　系统界面设计

图4为系统界面设计。系统通过各类显示控件实现以三维模型、图片、文本为载体的检验信息提示，并通过按键、文本输入框等交互控件实现质检员对检验环节、检验内容的控制。

图4  MR装配结果检验辅助系统界面设计示意图

4  案例验证

如图5（a）所示构建MR装配结果检验辅助系统的简易验证场景。该场景包括1块底板和10个零件，每个零件均指定固定的装配位置。检验系统依次提示检测人员每个零件的装配位置从而引导质检员完成检验任务。图5（b）显示了系统运行时虚实叠加显示检验提示信息的效果。

（a）MR装配结果检验辅助系统的简易验证场景：零件实景（左）、零件场景三维数模（右）

（b）MR装配结果检验辅助系统运行效果示意图

图5  案例验证场景及MR装配结果检验辅助系统运行效果

5  结论

随着新时期航空制造业发展的需要，大批军民用飞行器不断研制、生产。由于航空产品具有科技含量高、结构复杂、性能先进的特点，因此对各类型号研制、装备生产和使用中的质量检验工作，特别是装配环节的质量检验提出了更高的要求。目前我国航空产品生产中的质量检验环节主要采用人工检验的模式进行，对质检员经验和责任心要求高。同时，检验专家缺乏导致任务负担重，检验的效率和可信度都受到影响。在装配结果检查中运用MR技术，可有效提升质量检验环节的数字化、信息化水平，进而提升检验效率和检验结果的置信度，从而有效降低质量检验的成本，实现航空产品生产提质增效。

作者简介：

邰月柠（1996-），女，贵州贵阳人，助理工程师，硕士，现就职于中国制造技术研究院，主要从事数字化制造技术方面的研究。

霍志宇（1988-），男，河北磁县人，高级工程师，博士，现就职于中国制造技术研究院，主要从事数字化制造技术方面的研究。

闫利强（1994-），男，山西吕梁人，工程师，硕士，现就职于中国制造技术研究院，主要从事数字化制造技术方面的研究。

参考文献：

[1] 邵绪威. 数字化制造技术在航空航天领域应用及发展趋势研究[J]. 中文科技期刊数据库 (全文版) 工程技术, 2024 (1) : 43 - 46.

[2] 胡桂新, 彭鹏. 我国民用航空工业数字化发展的思考与建议[J]. 机电产品开发与创新, 2024, 37 (1) : 171 - 173.

[3] Maryam Safi, Joon Chung, Pratik Pradhan. Review of augmented reality in aerospace industry. Aircraft Engineering and Aerospace Technology, 2019, 10 (7) : 1187 - 1194.

[4] 杨慧丽, 官炳政, 李金成, 等. 基于混合现实技术的智能装备向导应用[J]. 橡塑技术与装备, 2024, 50 (3) : 67 - 69.

[5] 中国增强现实行业分析[J]. 中国科技信息, 2023 (5) : 2 - 7.

[6] 汪嘉杰, 王磊, 范秀敏, 等. 基于视觉的航天电连接器的智能识别与装配引导[J]. 计算机集成制造系统, 2017, 23 (11) : 2423 - 2430.

[7] 霍志宇. 高精度增强现实辅助装配空间定位技术研究与应用[J]. 航空制造技术, 2022, 65 (18) : 105 - 110.

[8] Lepetit V, Moreno-Noguer F, Fua P. Epnp: An accurate o (n) solution to the pnp problem[J]. International journal of computer vision, 2009, 81 (2) : 155 - 166.

[9] Garrido-Jurado S, Muñoz-Salinas R, Madrid-Cuevas F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47 (6) : 2280 - 2292.

[10] 面向移动增强现实的场景识别与跟踪注册技术研究[D]. 北京: 北京理工大学, 2014.  

[11] Aulinas J, Petillot Y, Salvi J, et al. The SLAM problem: a survey[C] // Proceedings of the 2008 Research and Development: Proceedings of the 11th International Conference of the Catalan Association for Artificial Intelligence. conference on Artificial Intelligence 2008: 363-371.

[12] 刘浩君. 旋转物体三维影像投射的研究[J]. 电子技术与软件工程, 2015 (11) : 105 - 106.

摘自《自动化博览》2024年9月刊