文献标识码：B文章编号：1003-0492（2024）03-064-06中图分类号：TP274

★李戎，孙继超（杭州和利时自动化有限公司，陕西西安710075）

关键词：数据模态；多模态数据融合；智能优化控制；多模态数据闭环控制

在市场竞争日益激烈和技术发展的双重推动下，工业自动化正经历着从传统模式向数字化和智能化的深刻转变。这一转变被广泛认为是工业领域未来发展的主要趋势，有望在提升生产效率、降低运营成本、提高产品质量以及创造更加可持续的产业环境等方面取得重大突破。

以流程行业为例，该行业具有生产规模大、生产工艺复杂等特点，涵盖了工程设计、实施、运行、维护等多个方面。特别是在工业控制领域，面临着大时滞、非线性、多变量、强耦合、参数时变等复杂特点，建立准确的机理模型难度较大，因此传统的自动化技术在该领域的进步空间相对有限。

随着人工智能和机器学习的快速发展，工业自动化正逐渐注入智能元素。通过建立数据驱动的模型和算法，工厂能够实现自主决策、优化控制和故障预测等功能。智能化工业自动化系统能够根据不同情景和需求做出灵活的反应，并能够在持续学习和优化自身性能的过程中实现更高水平的自动化。

这场变革为工业自动化开辟了新的前景，为企业提供了更灵活、更高效、可持续的解决方案。随着技术的不断演进，工业自动化有望迎来更加智能、创新和可持续的发展。

1　流程行业智能化升级条件成熟

流程行业的企业用户面对日益激烈的市场竞争，对“节能、减排、降本、增效”的需求十分迫切。同时，客户需求变得更加多样化，个性化生产和及时交付需求上升，这要求更灵活的生产方式。在政策引导和实际需求推动下，许多工业客户近年来已通过升级改造达到了较高的自动化水平，并建立了统一的数据平台，完成了数字化转型，奠定了自动化和数字化基础。

随着技术的进步以及国产硬件厂商技术的突破，基础硬件成本降低，包括传感器、CPU、GPU、AI芯片、存储及通信设备等。智能仪表、智能控制器等先进的硬件设备不断应用到生产过程，为流程工业智能化提供了硬件基础。同时，软件技术发展迅速，包括操作系统、虚拟化、容器化、数据库、中间件、Web等均有标准化的产品及开源组件，极大地降低了软件开发成本，使开发人员更加专注于业务本身。在算法方面，自动化控制技术已经较为成熟，人工智能算法在科研方面取得了显著进步，并且持续迭代快速发展。计算机视觉、自然语言处理、时间序列分析、AIGC等技术在消费领域得到了广泛应用，并产生了巨大的社会效益。随着人工智能持续火热，人工智能技术迅速普及，大量人工智能技术型人才得到了补充，为工业智能的普及提供了坚实的人员基础。

由以上可知，流程行业无论从市场需求侧还是技术供给侧已经具备了由自动化、数字化向智能化转型的条件，具有广阔的发展前景。

2　流程行业智能化升级面临的挑战

目前，工业智能在流程行业普及程度相对较慢，大多在细分领域有一定应用，但各领域之间的应用尚未实现有效整合，在功能上基本处于“锦上添花”，而少有解决用户痛点的“雪中送炭”的应用场景。综合来看，工业智能在流程行业的推广还面临着数据、算法、异构集成、工程化及人才建设等多方面的挑战。

2.1　数据层面-多模态数据尚未有效利用

目前，大部分流程行业的工业智能应用采用单一来源数据，其单模态数据承载信息有限，难以满足应用场景对功能及可靠性的需求。流程行业生产控制具有一定的复杂性，需要有丰富经验的工作人员综合多种信息才能对流程生产工况做出较准确的判断，进而做出相对合理的决策。然而，基于单一数据源的工业智能往往由于自身的限制，难以达到更高效果。例如，现有回转设备诊断大多采用振动/声音场景，但局限于传感器电池限制，采样数据间隔只能以小时、天为单位，且需要专家判断辅助，这使得设备异常的实时性难以提高。虽然基于DCS能达到较高的自控率，但对于个别生产环节，仍然需要操作人员对设备、环境及产品品质观察才能做出控制决策。

流程行业的企业不仅在生产过程中产生了大量动态数据，而且在流程行业工程项目建设过程中以及大量专家及熟练操作工人也积累了大量静态数据。这些数据本身带有大量关于设备、工艺、生产、操作经验等的先验信息，但目前并没有得到充分且有效的融合利用，导致工业智能水平难以进一步提升。

2.2　算法层面-现有智能算法未能完全适应工业场景

人工智能技术虽然已经得到了飞速发展，但相对于在消费场景的广泛应用，它面对流程行业工业应用场景却表现出明显的水土不服。其主要原因为流程工业应用对智能算法具有十分严格的要求，主要表现在以下几个方面：

（1）数据依赖问题

以神经网络为代表的联结主义类型的人工智能技术对工业数据依赖，训练较为合格的模型需要包含各种工况标注且均衡的数据，并根据数据特征合理调整模型参数，容易造成欠拟合和过拟合现象。在实际工业场景中难以获取带有标注的异常数据以及覆盖各个工况且均衡的数据。在不满足这些前提条件的情况下，基于数据驱动的智能算法难以满足工业场景需要。

（2）实时性/确定性问题

在生产过程中，控制或决策要求算法具有实时性及确定性，即对确定的输入条件、算法需要在规定时间内输出确定的结果。大部分智能算法与效果模型参数相关，复杂算法往往意味着更大参数以及计算量，导致无法在要求时间内完成。在具有迭代优化的算法中，实时性更是难以保证。大部分智能算法输出的并非是确定数值，而是具有一定置信度的数值，或者是具有一定置信度的范围。这对现有实时性/确定性的算法自动化控制算法显得十分格格不入，当这种置信度较低时，会产生较大不确定性及风险，进而影响整个系统的可靠性。

（3）适应性问题

基于数据驱动的智能算法一般只适用于具体个例场景，难以迁移适用同类场景。基于数据驱动的智能算法对数据十分敏感，同类但不同个体间均存在不同程度的差异，如环境、人员操作习惯、设备运行状态等均会造成不同的影响。这些差异在黑盒不可见情况下难以人为干预和调整，只能针对每一个具体个例重新训练模型。在流程行业场景中，大多工艺复杂且设备数量较大，导致基于数据驱动的智能算法成本较高，难以工程化大面积推广。

（4）可解释性问题

流程行业非常注重生产安全，在关键环节进行操作时需要较明确的依据，且需要专业人员负责把控。模型是否具较清晰的可解释性，是模型推理结果是否被采信的主要前提。但目前以神经网络为主的数据驱动模型，其内部基本为黑盒，并涉及到重大生产安全场合，追踪与溯源困难，且难以实现安全生产，难以在关键控制或决策中被采用。基于数据驱动的模型的可解释性作为重要研究方向取得了一定成果，但仍然难以满足现有流程行业关键领域的要求。

2.3　软硬件层面-模型异构集成成本高

现有的工业智能应用大多面向垂直领域实现单一功能，其实现技术各不相同且进行深度封装，使得不同应用在软件技术实现与硬件部署均具有较大的差异。大多数智能应用采用API方式，虽然在开发层面具有一定的灵活性，但在工程化实现时还需要开发人员进行代码编写，在集成时还需要针对各个不同的定制化开发接口，导致集成成本高昂，难以实现更高层次的智能应用。

在流程行业实现不同层面的异构算法在软硬件层面均有较大差异，给实现异构算法层面的集成带来了困难。硬件层面差别较大，如资源有限的嵌入式控制器、适合复杂运算的服务器以及支持并行运算的GPU、AI芯片等硬件设备。软件层面不同专业算法也包括运行环境，操作系统、驱动程序、编程语言、编译器/解释器、语言环境、数据通信、调用接口、运行环境等均有较大差异。

2.4　工程化层面-工程化方式差异较大

人工智能技术与工业自动化技术在解决实际问题的工程化方面存在较大差异，使得在已有自动化工程师习惯及经验基础上，实施智能化升级具有较大难度。人工智能技术与自动化技术在工程化方面的差异如表1所示。

表1 工业自动化技术与人工智能技术在工程化方面对比

2.5　人员层面-跨领域人员稀缺，跨域协作缺乏支撑

为了完全理解和充分利用工业智能技术，系统设计及开发人员不仅需要具备深入的工程学、控制理论、数据科学和机器学习等多领域的知识，还需要熟悉生产工艺及痛点。这样的跨领域人员是难以培养且稀缺的。随着技术的快速发展，设计开发人员需要投入时间、资源技更新技能才能赶上技术及应用。另外，企业员工可能因为对新技术不熟悉和担忧对工作有影响而对其产生抵触。这需要企业进行培训和文化变革，以确保员工接受并采纳新技术。操作人员和维护人员也需要接受专业培训，对这些系统有了深入的了解才能有效地进行智能工具。

3　多模态异构算法编排工具解决方案

支持多模态数据处理能力以及异构算法运行的工业智能算法编排工具针对以上问题提供了解决方案，具体分析如下。

3.1　多模态信息接入、处理及融合能力

单模态数据携带的信息有限，在实现单一简单应用时尚能满足基本功能要求，但在处理结果时仍然存在较大不确定性，尤其在流程行业复杂应用场景中，各部分功能强耦合的情况下，计算结果的不确定性累积放大进而造成系统风险失控而不可用。

多模态数据可以较全面地反映被监控对象信息，再结合不同模态信息的特点进行有机整合，有效降低了不确定性。如DCS数据控制较为成熟，具有较高的准确性；视觉/声音信息虽然有较高不确定性，但与人类感觉相似，方便专家依据经验进行软件转化。另外，气体检测、激光雷达、超声波等新技术作为人类感官功能的延伸，其数据也方便理解并处理使用，提升了系统的智能化水平。

在通用人工智能领域，多模态信息更多采用神经网络进行融合，在针对特定领域融合时需要大量数据、算力及人工成本进行训练。另外，精度难以满足工业控制级要求，在复杂工业应用场景难以工程化实现。多模态数据异构算法编排工具是应对流程行业复杂应用场景需求，实现灵活易用、成本低、可解释性强的多模态信息融合的有效解决途径。

表2 工业生产中数据的形式、内容及普遍性

3.2　支持不同异构算法运行环境

单独使用人工智能算法难以满足复杂应用场景要求，需要结合机理、专家经验以及数据驱动智能算法的优势来解决问题。

不同的算法调用不同的软件逻辑和硬件资源，如硬件包括CPU、内存、GPU算力等，软件包括操作系统、运行环境、硬件驱动、语言编译及解释器等，具有部分软件存在冲突，现有虚拟化、容器化技术以及IT技术为不同异构算法运行环境提供了条件，以此不同领域的算法也逐渐进行标准化。这些算法可以对不同模态的数据进行处理及融合。

表3 工业控制领域常用算法及运行形式

3.3　机理与数据驱动、专家经验混合编排能力

在应对流程行业复杂场景时，单一类型的模型由于自身的劣势难以满足项目要求，需要不同异构模型根据其优点相互补充以达到更好效果。在实际应用中除了数据通信外，针对不同模型集成，还需要对数据进行必要的数据处理、运算、不确定性处理以及生产过程逻辑保护等。

表4 不同类型模型的优缺点

多模态异构算法编排工具应支持机理、数据驱动及专家规则等标准形式的模型以算法为单位进行灵活编排，充分有效地利用各自模型的优势，同时应支持对数据进行处理、加工及流向控制，应支持不同周期及事件触发驱动方式，以满足工程师对不同工程项目的定制需求。异构模型混合排序可以支持不同分层控制策略、安全保护机制、可靠性设计、动态切换等方式。

3.4　符合工程师习惯的功能块组态方式

传统的DCS控制系统项目由DCS工程师基本采用符合IEC61131-3的LD/CFC/FDB/SFC等图形化语言组态，一方面降低了基于文本的编程语言的学习成本，另一方面在保证工程配置灵活性的同时完成了控制逻辑的编程、调试和部署。此种方式已经深入工程项目生命周期的设计、实施、运行及维护的工程师习惯。因此，在进行智能化升级推广时，其主要的集成开发及编排工具应在满足工程师习惯的基础上实现升级及扩展功能，同时应支持在线调试，所见即所得，缩短调试实时周期，以减少工业智能升级的成本与阻力。

3.5　促进不同人员分工协作

多模态异构算法编排工具支持将复杂方案进行模块化拆分，不同领域的专家专注于专业特长，各个模块可以有相同功能算法，可灵活替换并快速验证效果。工具支持标准化模型导入及管理，其最大化复用了现有各领域先进成果，促进了不同领域人员跨时间和跨地域进行协作，促进了模型成果的流通及工业算法模型生态的形成。

4　多模态异构算法编排工具应用举例

4.1　智能优化控制应用场景

智能控制是工程控制与智能算法的有机组成，其中控制算法可以实现自适应、自学习等复合，并可在控制中将每个控制部分进行分解。

控制理论将各个控制算法分成不同功能模块，如软测量、过程模型、优化模型、评估算法等，这些模块可根据需要进行同类替换和调试，以达到最佳效果。因此，在控制过程中由于工具支持模型设置触发方式，可根据重要性以及算法运行时间进行调整。为了确保底层控制的稳定性和准确性，制定不同的分层控制策略。同时，利用功能框图形式，方便工程人员对现有主要工艺参数进行必要的逻辑保护。由于各个功能算法不同的服务，可以制定不同的可靠性设计。由于不同类型的功能模型服务独立运行，可保证故障扩散，根据不同策略实现恢复机制，提高了控制系统的可用性。

图1 智能集成优化控制应用场景

在操作优化层面，如图2所示，数据驱动模型具有一定优势，它可以根据历史最优操作情况进行匹配，但由于其前提条件为处于稳态的历史操作，因此具有一定局限性。配合优化控制场景，它可以较好地平衡效果性与实时性。

图2基于数据驱动的操作优化控制应用场景

4.2　设备异常检测场景

基于设备振动、视觉以及DCS数据设备工艺参数设备预测性诊断，提高了预测准确率。它利用多元数据提高了预测准确性，针对设备预测性维护方面可以实现多模态进行处理“望、闻、问、切”综合进行诊断提高了其可靠性。其中“望”为视觉检测、红外热成像、激光传感器等光学外在检测，其优点是监测范围广、可解释性好、检测周期可以达到亚秒级。“闻”主要采用振动和声音信号处理实现智能判别进行识别，大多采用无线传感器，其具有低功耗的特点，检测周期较大，一般为数小时。“问”大多关于设备的运维数据及设备资料，其运算周期较长，需要借助历史库及知识库进行智能算法分析，检测周期以天为单位。“切”利用DCS实时运行重要点项对设备进行分析，检测周期为秒级。

多模态算法工具可以将独立诊断检测结果进行整合，从而提高了检测的准确率，同时可制定策略弥补周期上的不同步，这对不同识别结果组合制定不同的处置策略，如在高确定性时可触发报警甚至DCS动作。此种应用场景可以将不同领域专家进行分工，处理策略更适合工艺专家，类似功能块组态方式具有较好的可扩展性、可解释性及可维护性，并大大提高了检测的可靠性。

图3 多模态设备故障检测算法示意图

由图3可知，各单模态数据检测结果的准确性并不高，但由于不同模态数据的检测相对独立，综合设备的检测精度能提高至1-（1-80%）（1-85%）（1-73%）（1-65%）=99.7165%，可以作为决策的较为可靠的参考依据。同理，灵活的组态工具处理方式可以将专家经验软件转化，实现对设备故障类型的精度检测。

4.3　多模态数据分析控制闭环应用场景

流程行业应用场景通常面临长时滞、多变量、强耦合、非线性等问题，常规自动化技术难以直观处理其物性状态，众多场景不仅需要经验人员通过感官判断来进行控制调整，还需要人在环路进行控制参数调整以达到较优的效果。由于人无法进行连续工作，而采用间歇检查方式，难以达到调节相对滞后，且调节效果不稳定、劳动强度大，因此生产效率难以提高，专业人员经验难以传承。

在离散制造行业，由于其生产处理功能相对简单、范围有限，且光源环境等相对理想且稳定，因此以视觉为控制环路生产线得到了广泛应用。但在流程行业复杂应用场景，其范围大、生产环境恶劣，且光照不稳定，传统图像处理方式难以适应复杂应用场景。人工智能技术可以较好地解决部分传统图像处理算法的适应性问题。行业专家可以结合智能识别结果和现有自动化系统采集的数据，通过多模态组态工具制定参数调整策略以及保护逻辑。由于智能识别结果仍然存在不确定性和风险，策略组态允许过滤异常结果以及参数调整保护逻辑，保证了参数调整结果不低于自动化控制水平，有效将复杂场景进行了工程分解，有效控制了不确定性和风险，具有良好的可解释性，不仅方便了不同领域专家分工协作，也方便了知识经验的定量化继承及持续优化。

在流程行业有多重应用场景，包括冶金行业中球团矿制备、垃圾发电炉膛火焰监测、制药行业生产监控等场景，具有较为广泛的应用前景。

图4 球团矿制备智能视觉应用示意图

5   总结与展望

多模态工业数据可以解决现有单模态信息的不可靠性、不可解释性、不确定性等问题，它支持异构算法运行的工具，不仅能够有效将现有各领域成果进行集成，包括控制计算、专家知识、优化算法等，还能够有效利用现有技术成果，降低复杂性，有利于不同专业人员进行分工协作，最大程度复用现有成果。多模态异构算法组态工具以流程行业生产过程控制为基础，很大程度上解决了工业智能应用落地在数据、算法、异构集成、工程化、人才等方面的挑战，加速了人工智能向工业智能的转化，也推动了流程行业智能化水平的快速提升。

作者简介：

李　戎（1975-），高级工程师，现就职于杭州和利时自动化有限公司，从事智能工厂应用及智能工厂建设工作。

孙继超（1983-），高级工程师，现就职于杭州和利时自动化有限公司，从事智能工厂相关技术及应用研究工作。

参考文献：

[1] 王飞跃, 陈俊龙. 智能控制方法与应用(上册)[M]. 北京: 中国科学技术出版社, 2020.

[2] 王飞跃, 陈俊龙. 智能控制方法与应用(下册)[M]. 北京: 中国科学技术出版社, 2020.

[3] 潘泉. 多源信息融合理论及应用[M]. 北京: 清华大学出版社, 2013.

[4] 韩崇昭, 朱洪艳, 段战胜. 多源信息融合(第3版)[M]. 北京: 清华大学出版社, 2022.

摘自《自动化博览》2024年3月刊