1  引言

随着国家经济建设的快速发展，传统的航空制造方式已经越来越难以满足航空机载设备的专用精细化零件日益增大的需求量，此外，在其他工业领域，也存在着传统工业制造技术对操作人员专业水平要求过高的现象，我国的劳动力资源丰富，而过高的专业技术要求不利于充分发挥我国的人口红利优势[1]。为此，中国航空制造技术研究院工业网络与自动化实验室开发出了一套智能人工作业系统。该系统是一个具有模块化、网络化、交互式特点的人工作业系统，符合人体工程学和精益生产原理。系统由投影指示/体感摄像、触摸显示、物料存取、工具作业等功能区组成，形成一套完整的智能化人工作业系统。有一个可自由配置的系统操作软件，它将物理工作站与虚拟模块连接起来，具备全面联网、模块扩展、简易集成、灵活装卸等优点。该作业系统可为员工提供多种产品装配的技术指导。工作计划直观呈现在触摸屏上，作业过程逐步说明显示给员工，或通过投影仪和按灯取货来引导作业步骤，最大限度降低了对操作人员专业技能的要求，同时多种辅助外设也可以有效保证产品的装配质量[2~3]。

本系统集成了大量的辅助外设，因此如何实现对辅助外设的有效控制便成为了系统高效运行的重要指标，本系统采用以Cortex-A53为核心的实验室自研边缘控制器，将云计算能力下沉到边缘侧、设备侧，外设响应延迟大幅度缩短，数据处理更加快速，实验室云平台仅负责数据存储和管控，由此带来的成本、能耗及带宽也大幅度降低。云边协同使整个智能人工作业系统具备更低的能耗和带宽成本以及更高的系统集成化、实时性和简易性。

2  边缘控制器介绍

本系统采用了工业网络与自动化实验室自研的边缘控制器，该设备具有四个基于ARM架构的Cortex-53内核，主频最高可达1.3GHz。此外，边缘控制器内核还集成了一个Cortex-M4内核，板载2GB RAM、8GB ROM。图1是边缘控制器的实物照片，图2是边缘控制器接口图示。

图1 边缘控制器实物照片

图2 边缘控制器接口图示

边缘控制器Cortex-A53内核基于Linux5.4系统，Cortex-M4内核基于RT系统；具备两个可以自行设置不同网段的10/100Mbps自适应以太网接口；拥有一个1080P HDMI接口；8路24V~0V I/O输出接口，16路24V~0V I/O输入接口；两个USB3.0接口；RS232和RS485串口各一个；工作温度：-40℃～+85℃；存储温度：-55℃～+85℃。除了较为宽松的温湿度条件外，边缘控制器还具备多项抗电磁干扰特性，如静电放电干扰、辐射电磁场干扰、快速瞬变干扰、工频磁场干扰、衰减振荡波干扰、射频传导干扰等。

3  系统设计

3.1   系统组成

图3是智能人工作业系统的整体实物照片，其中系统各部分组成设备名称如下：1-脚踏开关；2-蜂鸣器；3-三色按钮；4-夹具；5-夹具按钮；6-扫码枪；7-一体机；  8-电子秤；  9-LED灯带；  10-零件料盒；  11-拧紧器；12-三色灯；13-深度摄像机；14-投影仪；15-RFID读卡器；16-游标卡尺；17-边缘控制器

图3 智能人工作业系统组成

3.2   系统网络连接

图4是系统网络连接图，可以看出，深度相机由TX2作为GPU模块进行直接控制，这是由于机器视觉相关函数库的配置需要，其中一体机因用户与系统进行信息交互，边缘控制器、一体机和TX2通过网线连接至交换机，利用MQTT网络协议进行信息交互。同时，为了满足云边结合的需求，边缘控制器通过网线连接至实验室云平台，实现系统操作数据的上传。

图4 系统网络连接图示

3.3   系统工作流程

图5是智能人工作业系统的工作流程图，演示了对一个专用航空机载设备零件的加工过程，使用到了智能人工作业系统的全部辅助外设，从操作人员登录开始至零件测距称重结束。可以看出，每一步的操作信息都是预设好的，需要辅助外设及时准确地进行配合，因此，边缘控制器对各外设的有效控制十分重要。

图5 系统工作流程图示

3.4   辅助外设的边缘控制实现

为实现边缘控制器对多种不同功能的辅助外设的有效控制，需要充分利用边缘控制器的各项交互功能，就本系统来说，需要用到的有USB接口、USB转串口、RS232串口、GPIO、网络接口、HDMI接口、PWM输出等。由于本系统边缘控制器基于Linux5.4操作系统，为便于用户与系统进行交互，本文给出的控制程序均通过QT5.13.2交叉编译实现。表1是辅助外设的汇总表及每种辅助外设的边缘控制实现方法。

表1 辅助外设统计

3.4.1   脚踏开关

脚踏开关用于发出加工步骤结束信息，通过USB与边缘控制器连接。脚踏开关的工作方式与键盘相同，即踩下脚踏开关的动作相当于按下键盘的特定字符键。在本系统的设计中，没有输入光标，因此采用按键事件触发函数来捕捉脚踏开关信号，即通过函数void MainWindow::keyPressEvent（QKeyEvent*ev）实现按键信号捕捉，同时，为了保证所有的输入均表达为按键事件触发，在构造函数中需执行语句this->grabKeyboard()。

3.4.2   蜂鸣器

蜂鸣器用于操作错误时的提示报警，通过边缘控制器的GPIO实现控制，当边缘控制器得到错误信息提示时，将蜂鸣器对应的输出I/O置为高电平并持续一定的时间。

3.4.3   三色按钮

三色按钮的用途与脚踏开关一致，也是用于发出加工步骤结束信息，由于操作台面积较大，操作人员在进行不同的操作步骤时，可能会处于不同的位置，为了方便人员操作，在与脚踏开关相对的位置加装了三色按钮，三色按钮的控制方式与脚踏开关不同，其通过边缘控制器输入I/O控制，操作人员按下按钮的时间并不固定，因此边缘控制器需要时刻监控I/O口的电平变化，为此在程序中设置单独的线程来实现，通过语句thread_1 = new thread_one(this)创建新的线程，  接着通过语句connect(thread_1, &thread_one::over,this, &MainWindow::dealover)将该线程的结束信号与主程序的槽函数连接，在槽函数中创建while(1)永续循环来持续监控输入I/O的电平变化。

3.4.4   扫码枪

扫码枪用于扫描产品任务条形码或二维码来获取产品加工任务信息，  通过USB与边缘控制器连接，  扫码枪的工作方式与脚踏开关相同，也是键盘输入的方式，不同的是扫码枪得到的信息是字符串而非单个字符，同时字符串以回车符为结尾，因此在按键事件触发函数中需要针对性地加入判定机制。

3.4.5   电子秤

电子秤用于零件加工结束后的重量称量，通过USB转串口与边缘控制器连接，在串口通信建立后，每次称重数值稳定后，电子秤会将称重数据经串口发送给边缘控制器。创建串口的语句为serial = newQSerialPort；  接着是需要打开的串口名称serial->setPortName("ttyUSB0")，随后打开串口serial->open(QIODevice::ReadWrite)，并加以适当的延时Delay_MSec(500)以保证数据的完整接收，最后存储通信数据buf = serial->readAll()。

3.4.6   LED灯带

LED灯带用于提示操作人员需要拿取的加工零件 所 放 置 的 位置，   本 系 统 所 使 用 的 LE D灯 带型 号 为WS2812b[4] ，该型号灯带通过特定的方波信号来驱动LED灯珠亮灭，在边缘控制器上集成了特定的PWM信号输出I/O口，专门用于驱动LED灯带。

3.4.7   拧紧器

拧紧器用于加工零件的连接与紧固，本系统所使用的拧紧器为Desoutter马头高级拧紧系统，该拧紧器也通过串口与边缘控制器进行通信，与电子秤不同的是，  拧紧器通过边缘控制器的RS232芯片实现串口通信 [5] 。每次通信，拧紧器会将扭矩信息与角度信息通过串口发送，同时拧紧系统还预设了扭矩与角度信息，用于判断拧紧结果是否正确并向边缘控制器发送结果信息。

3.4.8   三色灯

三色灯的功能与蜂鸣器类似，也有提示操作错误信息的功能，不同的是，当操作步骤正确时，其同样会进行绿灯提示，当系统出现其它故障问题时，三色灯会进行红灯报警。三色灯通过输出I/O进行控制，边缘控制器会根据具体信息来置高对应颜色报警灯的I/O口。

3.4.9   投影仪

投影仪用于在工作台上实时显示当前步骤的加工信息指导、操作结果及员工信息，  通过HDMI与边缘控制器连接，   由边缘控制器通过MQTT网络协议接收需要显示的文字及图片信息实现，这里的关键在于图片的传输，边缘控制器接收的图片信息为from64类型数据，  需要通过QByteArray::fromBase64(message.payload())将数据类型转换并存储显示。

3.4.10   RFID读卡器

RFID读卡器用于操作人员登录智能人工作业系统，本系统使用的读卡器型号为D-Think501。操作人员开机后刷卡，RFID读卡器将读取员工姓名及工号，并获得登录时间。RFID读卡器通过USB转串口与边缘控制器连接。D-Think501使用专用的通信协议读取卡片，本系统使用的协议为ISO14443A[6]。与按钮单线程监控类似，RFID读卡器同样使用单独的线程持续对读卡行为进行监控。

3.4.11   游标卡尺

游标卡尺用于零件加工过程中及加工结束后的尺寸 测量，使用USB线与边缘控制器连接，  每次测量完毕后按下数据发送键发送至边缘控制器。游标卡尺也使用键盘输入的工作方式，因此控制程序中也对其设置了按键事件触发函数用于读取游标卡尺的读数。

3.4.12   深度摄像机

深度摄像机用于识别手部位置，除了LED灯带的提示，深度摄像机也用于监控操作人员拿取零件是否正确，当拿取错误时，错误信息反馈至边缘控制器，边缘控制器驱动蜂鸣器和三色灯对操作人员进行报警提示。深度相机与GPU模块共同完成手部识别，本系统的GPU模块为Nvidia TX2，反馈结果信息则通过MQTT网络协议传输至边缘控制器[7]。

3.5   系统的云边协同技术实现

3.5.1   云边协同技术

智能人工作业系统作为航空制造等工业生产活动中的通用生产设备，可以用于大规模产品制造，但系统数量逐渐增加，所产生的系统和工作数据也将急剧增加。随着互联网技术的发展，云计算从最初的新兴概念成为成熟的应用。在现代工业生产中，云计算的应用也非常广泛。然而，生产规模的扩大导致云计算所要面对的数据规模成倍增加，如今的云计算面临着新兴计算场景、小数据实时处理等方面的挑战，云计算的发展出现了一些瓶颈，需要新技术来突破。这便涉及到了一个新的概念——云边协同，将云计算的能力下沉到边缘侧、设备侧，并通过中心进行统一交付、运维、管控，将是重要的发展趋势。在本文中，边缘控制器承担边缘计算工作，与用户交互并控制外设执行相关操作；整合系统数据向云平台上传，而实验室云平台仅承担数据存储、调用与管控工作。这样一来，系统的数据计算与处理工作在边缘节点进行，更加贴近用户，减少了中间数据传输的过程，数据的处理延迟大幅度降低，保证了用户指令的实时处理；此外，由于数据处理不需要上传到实验室云平台，边缘计算不需要使用太多的网络带宽，随着网络带宽的负荷降低，智能设备的能源消耗在网络的边缘也将大幅度减少。

3.5.2   数据交互实现

无论是边缘计算，还是云平台数据存储，云边协同技术都离不开数据交互。在本文中，智能人工作业系统的数据交互过程是通过MQTT网络协议来实现的。MQTT协议是一种基于发布/订阅（Publish/Subscribe）模式的轻量级通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大的优点在于可以以极少的代码和有限的带宽，为远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，MQTT在物联网、小型设备、移动应用等方面都有着广泛的应用[8]。

本文中，云平台所存储的数据包括操作信息及加工信息两部分，具体的信息内容及主题如表2所示。

表2 边缘控制器上传信息及主题

图6和图7分别为云平台数据库所存储的部分系统操作信息与加工信息，可以看到，智能人工作业系统的全部系统数据被完整地记录在云平台，便于随时随地访问获取。

图6 操作信息

图7 加工信息

4  应用验证

本节将智能人工作业系统加工某一专用航空机载设备零件的操作过程进行部分实物图片展示，其中加工零件的操作流程依据3.3节的系统工作流程图。

图8是智能人工作业系统的登录界面，这里演示的是刷卡登录，系统同时支持账号密码登录；图9为某一专用零件加工过程中第1步拿取零件的指导界面，由于篇幅限制这里只展示一个操作步骤，可以看到，指导界面有产品步骤进度、具体操作信息以及步骤图片指导等信息。

图8 智能人工工作站登录界面

图9 智能人工作业系统零件加工指导界面

5  结论

本文利用以Cortex-A53为内核的自研边缘控制器，结合多种辅助外设，在MQTT网络协议下实现了具有云边协同工作能力的智能人工作业系统，该系统具备多种航空机载设备零件的专用化、定制化加工功能。通过边缘设备的有效控制，各辅助外设的信息反馈全面准确，指令响应及时，符合工业生产对生产效率的要求；此外，通过云边协同，数据处理工作由边缘控制器完成，实验室云平台仅承担系统数据的存储、调用与管控工作，由此将带来更低的能耗与带宽，工业生产的成本将会进一步下降。

作者简介：

刘平凡  （1995-），男，河北唐山人，工程师，硕士，现就职于中国航空制造技术研究院，从事嵌入式、边缘计算、工业网络与自动化等研究工作。

邹   方  （1965-），男，湖南娄底人，研究员，硕士，现就职于中国航空制造技术研究院，从事智能制造基础技术、系统控制与集成技术、边缘计算、工业网络与自动化等研究工作。

何昭岩  （1991-），男，吉林人，工程师，硕士，现就职于中国航空制造技术研究院，从事嵌入式、边缘计算、工业网络与自动化等研究工作。

刘诺石  （1997-），男，湖北荆门人，工程师，硕士，现就职于中国航空制造技术研究院，从事嵌入式、边缘计算、工业网络与自动化等研究工作。

参考文献：

[1] 互联网快闻. "人口红利" 下的隐忧: 中国制造业何去何从[EB/OL]. 

[2] 刘诺石, 邹方, 何昭岩, 等. 一种智能防错的辅助人工作业系统开发与应用[J]. 航空制造技术, 2021, 64 (5) : 89 - 97.

[3] 魏中雨, 黄海松, 姚立国. 基于机器视觉和深度神经网络的零件装配检测[J]. 组合机床与自动化加工技术, 2020, (3) : 74 - 77, 82. [4] WS2812B规格书[Z]. 2016.

[5] 崔道阔. 自动拧紧技术在发动机装配方面的应用[J]. 内燃机与配件, 2018, (17) : 59 - 61.

[6] Wowocpp. 智能卡ISO14443协议解读[EB/OL]. 

[7] 穆欣伟, 孙晋豪, 邹方. 人机协作视觉手部保护系统设计[J]. 工业控制计算机, 2020, 33 (2) : 83 - 86.

[8] 安现峰. MQTT协议详解[EB/OL].

摘自《自动化博览》2022年2月刊