★赵鑫，郭永生，简珣，徐大超，李文兴（哈工大机器人国际创新研究院，安徽合肥230601)

摘要：随着人工智能技术的发展和成熟，工业领域越来越多地开始采用人工智能技术解决复杂场景下的控制问题。但是，目前工业现场控制常用的编程语言（IEC 61131）和编程平台，都不能自然地引入人工智能方法和技术。随着强调开放和复用的新一代工业控制标准IEC 61499的演进，4PIC平台创新性地把人工智能技术与IEC 61499相结合，将智能传感、智能建模和智能控制封装为IEC 61499的功能块，实现了人工智能技术与工业现场控制编程的无缝融合。目前该平台已经在水泥，冶金等领域实际项目落地，提高了工厂的智能化水平。

关键词：IEC 61499；工业现场控制；人工智能；模型预测控制；视觉传感

1 引言

工业4.0在早期已经显现了一些优势，例如人工智能和机器学习算法极大地提高了运营流程的质量，可在设备故障发生前对其进行预测以减少意外停机时间，可根据原材料现货价格实时优化生产工作，以及可以实时优化生产计划，从而尽可能提高产量。但是当真正深入到工业现场控制时，这些人工智能和机器学习算法并不能真正地起到作用。

造成这一局面的原因多种多样，且与员工、流程和技术相关。在技术方面，大多数主流制造商无法从这些技术中获得更高回报的最大原因是其运营的工厂系统是一套封闭的专有系统。

当今大多数自动化系统均基于20世纪70年代和80年代形成的原理而开发。该技术对实时控制进行了高度优化，但并未充分利用IT领域内日新月异的最新技术。而这些最新技术（包括分析、人工智能/机器学习、面向对象/面向服务的架构等）正是实现工业4.0愿景的重要因素。

另外，当今的自动化系统都是以硬件为中心的业务模式。虽然硬件方面的进步有助于优化现有环境，但这不是实现数字化转型优势最关键的部分。真正的关键在于以智能化的方式基于软件进行创新。

IEC 61499就是针对目前封闭的自动化系统提出的新一代工业自动化的标准。在最近五年，该标准得到了工业界和学界的广泛关注。国外的工业自动化公司如罗克韦尔自动化和施耐德电气都推出了自己的基于IEC 61499的工业自动化平台^[1]。上海交通大学戴文斌教授等人将目前工控领域应用最广的OPC UA与IEC 61499的建模标准做了集成^[2]。戴文斌、刘建康和翟振坤^[3、4、5]等人提出了结合IEC 61499，微服务和容器化技术解决工业现场控制问题的技术。上海乐异自动化公司提出了自己的基于IEC 61499标准的工业控制平台的解决方案。奥地利的Alois教授^[6]和P.Lindgren^[7]等人深入研究了基于IEC 61499的实时性方案。芬兰的Vyatkin教授将IEC 61499应用在变电站领域^[8]。翟振坤将IEC 61499应用在数控领域^[9]。

本文呈现了笔者研发的基于IEC 61499的工业智能分析和控制平台4PIC的平台架构，尤其是4PIC与人工智能算法的接口设计，并且展示了4PIC平台的落地应用。

视觉相关的人工智能技术是目前研究和应用的热点，YOLO模型是比较常见的深度学习模型。所以，以4PIC集成YOLO V3的目标检测模型为例。^[10、11]

同时，在工业控制领域，模型预测控制是最常用的先进控制算法。Alois教授曾经在PLC上基于IEC 61499实现模型预测控制^[12]。C.A.Garcia等人将IEC 61499和模型预测控制算法应用在石油输送管道上^[13]。4PIC封装了模型预测控制算法以及OPC通信协议，可以在DCS之上实现工业过程的先进控制。

2 IEC 61499简介

2.1体系结构

IEC 61499-1定义了分布式系统的体系结构。IEC 61499用事件驱动模型取代了IEC 61131的循环执行模型。该模型明确了功能块的执行顺序。IEC 61499使以应用程序为中心的设计成为可能，即先进行整体系统设计，随后将完成设计的功能块网络划分为一个或者多个应用程序被分配到不同的设备上。所有使用该系统的设备都被称为设备模型。系统的拓扑结构反映在系统模型中。关于应用的分布被称为映射模型。因此，系统内所有应用程序可被分布部署但仍能连接在一起。类似于IEC 61131-3的功能模块，IEC 61499功能模块类型同时明确了接口与逻辑实现方法。不同于IEC 61131-3，IEC 61499的界面在数据变量输入与输出之外，包含了事件输入与输出。各种事件可以通过WITH限制WITH constraints与数据输入与输出相关联。IEC 61499规定了几种功能模块类型，包括服务接口功能模块（SIFB）、基本功能模块（BFB）、复合功能块（CFB）、适配器接口、子应用程式。为了方便维护设备中的应用程序，IEC 61499提供了管理模型。设备管理器可以为任何设备资源提供全生命周期维护，并且通过管理指令实现软件工具（例如配置工具，代理技术）之间的信息交互。通过软件工具的接口及管理指令，可以实现IEC 61499应用程序的动态重构。

2.2 软件工具要求

IEC 61499-2规定了兼容IEC 61499标准的软件工具的要求。该要求包括IEC 61499各元素的表达及可移植性，以及在不同软件工具间以DTD格式传输IEC 61499的元素。如今已有一些兼容IEC 61499标准的软件工具面世。其中有商业软件，也有用于学术和研究的开源软件工具。通常IEC 61499开发环境都必须提供兼容的运行环境。

2.3 兼容文件的规则

IEC 61499-4描述了IEC 61499与其他系统、设备或软件工具的兼容规则。这些规则包括交互操作性、可移植性和可重构性。如果两种设备可以在同一系统配置下同时工作并实现各自功能，则二者可以交互操作。与IEC 61499兼容的应用程序必须具有可移植性，这表示此类应用程序可以在不同供应商的软件工具中传输，只要该软件工具符合IEC 61499-2中的描述。供应商的设备必须达到与IEC 61499相兼容的软件工具的配置。

3 4PIC

3.1 整体软件架构

4PIC在研发时的愿景是通过“一次搭积木式的构建项目，任意跨平台部署先进控制、人工智能和工业互联网项目”，为了实现以上目标，将4PIC平台分为DataViewer、IDE和RTE三部分。它们分别服务于先进控制实施的不同阶段，通过类似于Linux管道的设计，将不同的工具连接起来完成整个先进控制的实施。每个工具功能完整，可独立更新。

4PIC IDE服务于工业自动化工程师。自动化工程师按照IEC 61499的先整体设计，后划分设备的流程，在4PIC的IDE上编写二次程序（功能块网络）并且将二次程序下发到设备执行。为了屏蔽不同设备、不同操作系统之间的区别，我们设计了4PIC RTE，即运行时环境，运行于设备的操作系统之上。RTE的源代码是由运行时环境的基础C++源代码和功能块库源码组成的。经过目标操作系统的编译工具链编译和链接，生成了4PIC RTE。4PIC的整体软件架构图如图1所示。

图1 4PIC的整体软件架构图

DataViewer是可视化工具，在先进过程控制和人工智能算法实施时，帮助进行数据前处理和后处理的工作。

3.2 AI功能块以及功能块网络 

3.2.1功能块类型选择

如前所述，IEC 61499规定了功能块的类型和适用场景，我们选择基本功能块（BFB）来封装人工智能模型。

在IEC 61499标准体系中，基本功能块是最核心的功能单元，也是所有应用设计的起点。如图2所示，基本功能块由外部接口、执行控制图表（Execution Control Chart, ECC），以及相应的算法（Algorithm）和内部变量（Internal Variable）四个主要部分组成。基本功能块的外部接口构成遵从3.2.1节中的定义，包含事件输入和输出，数据输入和输出，以及事件与数据的关联关系；基本功能块的内部行为和状态则由其算法和执行控制图表共同决定，其中前者定义基本功能块可以提供的内置功能，后者描述事件输入、算法执行和事件输出之间的因果关系。

图2 基本功能块

每个IEC 61499功能块可以含有0个或多个算法，每个算法都满足下面的要求：

（1）可以读取所在基本功能块的输入、输出、和内部变量，并更改输出和内部变量的值，其中内部变量可以跨算法使用，相当于功能块内的“全局变量”，随着功能块执行完毕而“消失”。

（2）算法内可以有临时变量（相当于局部变量），但需要在算法中定义，该变量可以赋值，但仅限在该算法内使用。

（3）不可访问任何在其所在基本功能块之外的数据，以确保功能块的独立性。

（4）可以单独使用任何一种高级编程语言编写，只要该语言的数据类型和变量与功能块的输入、输出以及内部变量存在明确的映射关系。

3.2.2 AI功能块

目前深度学习在学界和工业界的研究和开发成果呈爆炸性增长，在设计AI功能块时，首要的考虑是如何将已有的研究开发成果和我们目前的平台相结合，避免重复发明轮子。

目前最主要的深度学习开源框架基本都采用Python和C++。而4PIC平台采用了C++语言开发。在集成深度学习的C++SDK时，可以使用动态库加载的方式；在嵌入python脚本时，首先初始化python的解释器，然后调用python脚本中的深度学习模型。

在实际项目实施时，封装了两类的AI功能块，一类是智能视觉传感AI功能块，一类是模型预测控制AI功能块。以YOLO为例，来说明如何设计和实现AI功能块。

YOLO算法全称是You Only Look Once: Unified,Real-Time Object Detection.是目标检测领域兼备准确性和快速性的算法之一。其算法开源，实现众多，是目前工业界应用最广的目标检测算法。

以YOLO功能块为例，来说明以IEC 61499的基本功能块的形式封装人工智能功能块HRG_OBJ_DET。

图3 HRG_OBJ_DET功能块

图3是4PIC封装的目标检测功能块。其中数据管脚见表1。

表1 数据管脚

该功能块的事件为初始化、初始化结束、请求和确认四种事件。以下状态机（如图4所示），展示了外部事件和内部实现的方法，与功能块状态的转换关系，在状态转换的同时，触发外部事件并且修改输出数据管脚的值。

图4 HRG_OBJ_DET状态机

HRG_OBJ_DET在执行时，需要一个训练好的YOLO网络，而HRG_OBJ_DET本身的执行，其实是做一个推理任务。此时，HRG_OBJ_DET就能够扮演智能视觉传感器了。

在封装模型预测控制功能块时，封装了目前工业界和学界流行的GEKKO框架^[14][15]。该框架是用python实现。4PIC平台封装的功能块如图5所示。

图5 预测控制功能块

状态机如图6所示。

图6 预测控制功能块状态机

该HRG_MPC_MIMO功能块就可以作为智能控制器使用，用于多变量，大时延的复杂控制系统。

3.2.3 功能块网络

单独的AI功能块，能完成的功能是智能传感和智能控制。将这些AI功能块和其他功能块一起组合为功能块网络，才能够完成现场复杂的控制功能。这是因为AI功能块本身的功能带有一定的不确定性。

比如，在工业领域应用视觉检测技术时，即使使用最先进的人工智能技术和最完备的数据集，误检和漏检也是不可避免的。简单列举以下情形和相应的功能块网络解决方案。

（1）在工厂的烟雾检测场景中，如遇到积水反光、大雨等情形可能会误报烟雾。此时，利用IEC 61499的标准功能块，通过实现一定的时序规则，可以过滤掉等间隔时间和同样的ROI的报警，避免误报。

（2）多视频源目标检测，此时通过相关的摄像头之间的多图目标检测规则来提高mAP。一个示例规则如下：

·设置一个上限阈值，找出单张图score的最大值。如果最大值大于上限阈值（比如0.90），那就没有必要再看其他的图片，或者说其他图片的检测效果大概率不好。

·设置一个下限阈值，找到单张图片score的最小值。不满足规则1的情况，如果存在图片score低于下限阈值，则为反例。否则，进行规则3校验。

·设置一个综合阈值，对所有图片score求和。不满足规则1、2的情况，总和低于此阈值，则为反例，高于此阈值，则为正例。

（3）简单语义分析，如对于在某些工业控制场景的安全检查是依赖人工利用视频检查无人无车之后操作，那么可以用目标检测结果的逻辑运算之后解决。另外，比如吸烟等场景，可以利用头、手、烟三者的识别做逻辑“与”运算。

4 实际案例

4.1 某水泥厂原料磨机自动控制案例

辊式立磨是一套通过磨辊和磨盘之间转动，将物料碾磨成粉状的装置。碾磨装置的运动由磨盘回转并相应带动磨辊滚动，碾磨压力除了磨辊自重外，主要靠液压装置对磨盘物料加压。碾磨后的物料经配套的选粉机分选，粗粉回到磨盘再次粉磨，合格的成品经收尘和输送系统送入成品库。辊式立磨集细碎、烘干、粉磨、选粉、输送于一体，具有粉磨效率高、烘干能力大、产品细度易于调节、噪音小、电耗低、工艺流程简单、磨耗小、运行费用低等优点，被广泛应用于大型化的建材、冶金等工业生产线的粉磨领域。

基于4PIC平台设计的辊式立磨控制系统包含两部分，一部分是基于滚动时域估计模型的预测控制系统，另一部分是基于YOLO算法的磨机自动启停算法。

整体系统软件框架图如图7所示。

图7 系统框架图

其中，除了DCS和OPC SERVER之外，均由4PIC实现。MPC是指为了实现预测控制和自动启停算法编写的function block network（FBN）。如图8所示。

图8 原料磨机自动控制系统FBN

磨机的自动一键启停本身是一个离散顺序控制问题，正是4PIC擅长的领域。传统的实现方式是人工确认环境安全后的顺序控制。人工确认环境安全主要是磨机周围没有“人”和“车”经过。

封装的YOLO块，在此场景下，强调零漏报，满足安全第一的原则。

通过与人工操作的历史数据进行对比分析，4PIC优化控制系统投用后，帮助该原料磨系统实现了提产降耗和节能减排：平均台时产量提高3.1%，吨电耗降低3.5%，系统自动控制投运率＞98.3%。手动自动控制电耗对比如图9所示。

图9 手动自动控制电耗对比

5 结束语

本文创新性地基于IEC61499开发了一套人工智能工业分析与控制平台，将以人工智能技术为基础的智能传感、智能建模和智能控制封装为IEC61499的功能块，实现人工智能技术与工业现场控制编程无缝融合。

将4PIC平台应用在水泥原料磨机自动控制系统中，封装了YOLO视觉检测功能块，模型预测控制算法功能块等人工智能功能块，项目实施结束后，原料磨平均台时产量提高3.1%，吨电耗降低3.5%，系统自控率>98.3%。

★基金项目：安徽省科技攻关计划——智能服务机器人关键技术及核心部件研究(202003a05020015)。

作者简介：

赵鑫 （1981-），男，山西阳泉人，中级工程师，硕士，现就职于哈工大机器人国际创新研究院，主要研究方向为人工智能、工业控制。

郭永生 （1992-），男，安徽亳州人，中级工程师，硕士，现就职于哈工大机器人国际创新研究院，主要研究方向为人工智能、工业控制。

简珣 （1982-），男，四川成都人，硕士，现就职于哈工大机器人国际创新研究院，主要研究方向为人工智能。

徐大超 （1988-），男，安徽合肥人，中级工程师，本科，现就职于哈工大机器人国际创新研究院，主要研究方向为人工智能、工业控制。

李文兴 （1982-），男，安徽宿州人，高级工程师，硕士，现就职于哈工大机器人国际创新研究院，主要研究方向为机器视觉、工业机器人。

参考文献：

[1] L. Sonnleithner, A. Zoitl. A Software Measure for IEC 61499 Basic Function Blocks[A]. 2020 25th IEEE International Conference on Emerging Technologies and Factory Automation (ETFA)[C]. 2020: 997 - 1000.

[2] W. Dai, Y. Song, Z. Zhang, P. Wang, C. Pang, V. Vyatkin. Modelling Industrial Cyber-Physical Systems using IEC 61499 and OPC UA[A]. 2018 IEEE 16th International Conference on Industrial Informatics (INDIN)[C]. 2018: 772 - 777.

[3] 刘建康. 面向集群部署的微服务架构数控系统研究[D]. 哈尔滨: 哈尔滨工业大学, 2020.

[4] 戴文斌. 基于微服务与容器化的工业边缘计算应用设计[J]. 自动化博览, 2021, ( 2 ) : 30 - 32.

[5] F. Yang, Y. Zhang, B. Lv, W. Dai. A Task-Oriented Automatic Microservice Deployment Method For Industrial Edge Applications[A]. IECON 2020 The 46th Annual Conference of the IEEE Industrial Electronics Society[C]. 2020 : 2149 - 2154.

[6] A. Zoitl. Real-Time Execution for IEC 61499. Durham North Carolina[A]. International Society of Automation[C]. 2008: 35 - 48.

[7] P. Lindgren, M. Lindner, A. Lindner, V. Vyatkin, D. Pereira, L. M. Pinho. A real-time semantics for the IEC 61499 standard[A]. 2015 IEEE 20th Conference on Emerging Technologies & Factory Automation (ETFA)[C]. 2015: 1 - 6.

[8] C. Yang, V. Vyatkin, A. Mousavi, V. Dubinin. On automatic generation of IEC61850/IEC61499 substation automation systems enabled by ontology[A]. IECON 2014 - 40th Annual Conference of the IEEE Industrial Electronics Society[C]. 2014: 3577 - 3583.

[9] 翟振坤. 面向服务的开放式数控系统设计关键技术研究[D]. 广州: 华南理工大学. 2018.

[10] 王兵, 李文璟, 唐欢. 改进YOLO v3算法及其在安全帽检测中的应用[J]. 计算机工程与应用, 2020, 56(9) : 33 - 40.

[11] 冯国臣, 陈艳艳, 陈宁. 基于机器视觉的安全帽自动识别技术研究[J]. 机械设计与制造工程, 2015，44(10) : 39 - 42.

[12] Wenger, Monika & Hametner, Reinhard & Zoitl, Alois & Roither-Voigt, Andreas. Industrial Embedded Model Predictive Controller Platform[A]. IEEE International Conference on Emerging Technologies and Factory Automation[C]. 2011.

[13] C. A. Garcia et al. MPC Under IEC-61499 Using Low-Cost Devices for Oil Pipeline System[A]. 2018 IEEE 16th International Conference on Industrial Informatics[C]. 2018: 659 - 664.

[14] Hedengren, J. D. and Asgharzadeh Shishavan, R., Powell, K.M., and Edgar, T.F. Nonlinear Modeling, Estimation and Predictive Control in APMonitor[J]. Computers and Chemical Engineering, 2014 : 133 – 148.

[15] Beal, L.D.R., Hill, D., Martin, R.A., and Hedengren, J. D. GEKKO Optimization Suite[J]. 2018, 6 (8).

摘自《自动化博览》2022年10月刊