★北京首钢自动化信息技术有限公司

★首钢京唐钢铁联合有限责任公司

★首钢技术研究院

1 项目背景介绍

随着新一代信息技术的不断突破和向制造业的加速渗透，钢铁产业变革得以深入发展。2021年，国家“十四五”发展规划明确提出了产业数字化发展要求，同年4月，中国钢铁工业协会组织成立了钢铁智能制造联盟，引领和规范钢铁企业数字化转型发展。钢铁企业的数字化转型已不是选修课，而是助推企业高质量发展的必由之路。自“十三五”以来，众多钢企一直在探索智能制造发展路径，研究领域涉及数据平台研发、装备、生产及服务等，各领域都有亮点工作，但取得的成效主要体现在供应链管理效率提升方面，如采购、营销、物流、财务等数据信息的贯通与融合。对于生产数据的价值挖掘远远不足，现有质量管控多数集中在基于阈值或简单规则的判定，质量溯源和基于数据的分析模型一直难以落地。近年来，围绕制造层面的智能化落地问题，宝武集团等先进企业开始探索“云-边-端”协同体系，首钢也在同期开始关注车间层级的智能工厂发展，聚焦“生产过程”智能管控体系建设及“云-边-端”管控架构。

热轧是钢铁生产流程中的重要环节，也是控制变量多、控制难度高、控制功能最为复杂的环节。在热轧场景下，从原料到加工，最后输出给下一环节，由于传统的信息化都是单环节运维控制，单环节分析，最终综合分析指标数据，反馈产线相对滞后，没有从整体上考虑流程，做全程把控，一直都存在着资源利用率低，运维成本高的痛点问题。随着国内钢铁产能的持续高位运行，钢铁产品的市场竞争也愈加激烈，激烈的市场竞争促使企业更加期望达到生产和设备稳定运行，质量最优可控，成本最少、人员最少。目前来看，传统的制造方式发展能力有限，很难满足这些要求。

近年来，大数据、物联网、移动互联、云计算等新一代信息技术广泛普及并推动生产方式变革。利用智能制造解决上述企业难题已经成为当前有效的方法。目前国内各大钢企争相开展智能制造，如宝钢与艾默生、首钢与阿里等。

因此，如何有效整合热连轧生产各区域段（加热炉、粗轧、精轧、层冷及卷取等）的数据，建立全量数据中心，开展各类智能应用研究，快速准确地解决生产、质量、设备、成本、物料等各方面问题，稳定提升产品质量，提高生产和工作效率，是目前各个热连轧生产厂亟需解决的难题。

2 项目目标与原则

首钢京唐热轧智慧管控平台项目“一平台七中心”以首钢工业互联管控平台为核心，通过通用数据接口平台，向上分别适配并赋能七个中心，分别为热轧设备智能运维中心、热轧质量智能管控中心、钢卷无人库区和智能物流中心、机器人及智能视觉装备应用中心、热轧能源管理和成本中心、环保消防监控中心、数据报表中心。该项目为解决如下问题：

（1）热轧数据分布在分散且不同层的系统或不同物理空间的生产区域中，数据孤岛状况严重，数据提取和处理只能靠人工来回拷贝后再进行导入处理，并且数据接口协议繁杂、数据结构类型多样，不同维度的系统数据无法形成交织关联，数据关联分析能力明显不足，并且缺乏相应的数据采集技术来完成实时、海量、高频、异构和多接口协议的数据采集；

（2）现场数据体量庞大、数据残缺和无效项过多，缺乏相应的大数据平台对数据进行统一且有效的清洗、归集和存储。传统的离线存储方式需要大量物理硬盘，残缺数据无法实时还原及重现，并且数据安全性无法得到保证，此问题需要基于数据异构压缩、纠删码技术的数据还原和冷热备技术，有效解决数据平台存储空间大、投资大的问题；

（3）现场数据分层管理和追溯难度大，无法满足精益生产优化管控方面需求，需要构建可视、可追溯和可应用的数据体系来满足需求；

（4）现场数据归集多采用时间维度，相应的数据时空转换技术不成熟，难以满足实物质量分析和溯源过程中使用空间维度数据的需求。

一个平台七个中心是热连轧厂区的核心框架，在此基础上，向下不断优化采集汇聚数据，泛化数据接入能力，向内整合梳理数据，积累模型经验、精准数据指标、规范主题分类、沉淀数据价值，向上以多元多能数据赋能各中心，持续优化中心应用，深度适配场景需求，最终达到七个中心覆盖热轧全流程轧制流程，全面把控生产成本、进度、质量，成就一流热轧产业。

3 项目实施与应用情况

为解决项目中的科学和技术难题，项目团队研究开发了以下技术来解决：

（1）基于多维技术协同的工业互联网平台技术；

（2）全量数据统一采集存储与实时融合服务模型技术；

（3）面向数据资产血缘关系可追溯治理的技术；

（4）时空转换与全息化“数字钢卷”开发技术。其具体工作内容如下：

3.1 基于多维技术协同的工业互联网平台

基于项目现场实际情况和自有技术群，深度构建基于多维技术协同的工业互联网体系，整合了多协议转换技术体系、大数据接入体系以及大数据存储体系等多维复杂关键技术，使各平台达到了纵向联动L0-L4级数据，横向联动各工序、多物理空间的设备及系统，从而实现全面细粒度管控要求，平台架构如图1所示：

图1 工业互联网平台整体架构

工业互联网平台自底向上主要分为三个核心层级，设备物联层、平台层以及应用层，具体细分为物联感知层、物联数据层、数据规范化管理层、数据总线层、数据中台层、业务中台层、服务总线层及应用层。通过不同层次之间的技术叠加实现对数据、业务、管控和迭代的多维度服务能力。针对在热轧现场，数据来源众多，使用各种类型协议进行数据传输，导致各个系统间进行数据通信基本都需要进行深度解析开发，而由于很多软件都是外国厂家提供的，软件更新周期长，甚至遥遥无期，并且现场的系统不能统一更换，也无法在短周期内做到协议统一。

为了解决现场数据孤岛和多维协议的问题，项目团队研发了多协议转换技术体系、设备协议统一管理体系以及数据通信统一设计体系。协议转换功能结构图2所示，核心工作内容如下：

（1）多维协议转换体系建设：项目团队集成常用协议诸如TCP/IP、OPC、MQTT和多种JDBC到一个功能模块中。

（2）设备协议统一管理体系：项目团队兼并融合了现场设备和机组所用软件常用SDK和接口，为软件与多协议转换模块中的协议建立映射关系。

（3）数据通信统一设计体系：项目团队为现场设备和机组所用软件、设备协议统一管理功能模块、多协议转换功能模块构建统一的数据通信结构和网络拓扑。

图2 协议转换功能结构图

项目团队在覆盖工业现场全协议的基础上，实现了多源异构数据接入的协议转换配置即用功能，只需要配置来源数据所用协议和地址等相关信息，就可以将数据从原有系统中抽出，降低了使用门槛。该技术体系成功解决了现场数据孤岛和多维协议问题，使各系统数据具备统一进入一个平台的基本能力，达成了数据统一汇聚使用的目标。

此外，引入数据总线模块来实现整套架构的数据采集和数据传输功能。根据平台整体管控设计和要求，任何维度、层级、体量和结构的数据都需要经过数据总线来进行内容的传输，从而实现统一化管控。项目团队研发的数据总线可以实现灵活配置以应对不同类型的数据与大数据平台交互。为了实现这个功能，项目团队构建数据交换共享平台来作为数据总线，承接底层的数据源，并做整合和预处理，提供给中层的存储组件或计算框架使用。通过对数据总线的功能强化和配置，使其在不同场景下可以做到无缝切换、弹性伸缩和数据可追溯，提供了超越传统数据总线的总线服务能力。

3.2 全量数据统一采集存储与实时融合服务模型技术

热轧工业现场数据异构、高频、海量、统一接入难度大，此外数据质量整体水平较低，缺失项较多，项目团队基于开源消息中间件Kafka进行重构开发，优化了原有Kafka能力，与此同时引入流计算、分布式计算及批处理等多框架，实现对数据的高效接入、清洗、存储与应用等功能；使用自研优化的Kafka集群接入高频高吞吐量数据，经过几轮迭代和优化，该功能模块目前能够达到热轧现场要求的以10ms频率接入“10万+”一级点位数据。而对于低频的关系型数据，根据数据适配的数据结构，通过协议转换模块抽取到数据后，写入到集群对应的Mysql、Postgres等数据库中。

在数据处理层面，项目团队结合大数据Lambda和Kappa数据处理架构，基于热轧数据和业务特性，构建针对不同维度数据进行快速处理和出入库处理操作的处理流程。当数据进入自研Kafka集群后，数据处理后移，通过流处理组件实时拿到数据，离线应用的数据持久化到HDFS分布式集群中做周期性数据分析汇总，并定期导出存入外部介质做灾备，实时应用的数据经过清洗、脱敏、标准化和自研算法服务分析后进入到缓存中，由前端调取展示。该处理流程能够高时效并发和快速响应多元异构数据业务要求。

在残缺数据还原方面，项目团队引入全新一代纠删码技术实现对数据的补偿还原。纠删码技术的底层核心理念就是借助矩阵计算理论进行实现的，Erasure-Code算法的最底层的基本的数学原理：行列矩阵中一种特殊矩阵的性质：即任意M×N（M行N列{M<N}）的行列式，其任意M×M的子矩阵都是可逆，以实现数据恢复运算。基于此，我们对特定关注数据进行纠删码伴随式计算，实时进行数据校验以及数据还原工作。结合首钢京唐热轧现场生产环境、计算资源环境以及数据特点，引入RS+Stripe PlaceMent结合的联动方式，合理的StripeUnit的方案作为底层的纠删码方案来落地相关领域应用。

在数据存储方面，引入差值存储、异构存储和比对存储的不同存储方式来进行优化存储体量和逻辑，在保证可以快速检索数据的前提下，实现最小体量的存储，做到绝不浪费“1KB”资源。

在数据安全方面，不仅配置了网络软硬墙，也解决了软件接口调用数据的隐患，引入数据加密技术对特定核心数据进行加密处理，结合实际情况选择MD5、SHA1、HMAC、AES和DES等多种不同加密算法，从而做到“因数施法”的基本能力。

3.3 面向数据资产血缘关系可追溯治理的技术

众多工厂的设备管理工作都很完善，但是对基于设备产生的数据和生产的全量数据的管理则参差不齐。热轧现场原有数据管理体系无法跟踪数据血缘，数据存在缺失和丢失后无法准确定位的问题；同时无法清晰明了地对数据进行年度盘点工作，不能有效分析数据使用率，判断或利用数据价值；更严重的情况是故障发生时，故障分析中经常需要调用大量人力、物力来协调沟通查看数据，故障恢复时间长，进而影响生产。

项目团队研发了数据资产可视、可溯源及可操作三位一体的完整管控体系，通过“大数据资产大盘”收集、汇聚、整理和展示平台的计算资源、存储资源和一键溯源数据血缘。数据资产大盘可视化如图3所示。

图3 数据资产大盘可视化

项目团队围绕数据状况、数据使用逻辑、数据来源判定与梳理等多个维度，设计血缘网络拓扑、数据治理逻辑与规则、数据统一管控逻辑以及数据生命周期监控逻辑等，通过对数据血缘的细粒度划分达到对数据管控的统一设计、分步实施、逻辑合并和对数据高效应用的深度与广度。

项目团队借助数据中台核心数仓实现了对数据的全生命周期管控、多维数据关联分析、不同数据间血缘网络体系建设和“同轴”数据的上下游解析判定等多层次功能。通过处理、设计和组合设备类、控制类和管理类等不同维度数据，开展检索数据、查验数据、抽取关键数据等多维度聚合的数据应用。

3.4 时空转换与全息化“数字钢卷”开发技术

原有业务的高频曲线、人工数据、海量非结构化数据融合与统一难度大，异常轧制下的带钢数据时空转换难度大，业务响应要求时效高，缺少数据全链条关联关系。

项目团队研发了时空转换技术体系，建设以“数字钢卷”为核心的机理模型和数据模型来解决上述问题，实现了“数字钢卷”的时空变换、数据判异、物料匹配、分类归档、优化跟踪。该功能上线后，现场一、二级数据追溯分析准备从2小时缩短到5分钟以内，用户可清晰获取物料从第一道工序到最后工序的物料变化历程，实现多维度数据追溯，进而发现异常。

项目团队研发了数据仓库体系，基于大数据技术统一标准化数据中心的数据，解决了热轧业务需要数据融合和维度聚合的痛点问题，最终将数据归集到“卷”维度，形成“数字钢卷”。项目团队所建数据仓库中的主题模型层对下连接所有数据，对上承接所有业务，承载了数据融合与维度融合的关键内容。

项目团队构建了基于人工智能技术的基础理论载体，运用自主研发的深度学习框架丰富填补工业互联网平台技术能力和实现多维度模型，自研深度学习框架兼容多个外部公用框架，具备良好的通用性和适配性，算法服务平台总体架构如图4所示。

图4 算法服务平台总体架构

项目团队引入了以深度学习技术为基础的模型体系来构建数值数据分析和工业视觉分析两个功能模块。该技术体系除了具备围绕生产工艺质量、控制的模型自学习能力以外，还支持实现以强化学习为基础的深度学习模型来实现工业视觉领域的应用赋能。

项目团队建设的算法平台和模型体系用来支撑已汇聚数据的数值分析的需求。如图5所示，围绕敏捷业务构建基于业务闭环的多维开发智能引擎，方便数据分析人员进行数据开发工作。项目团队为算法服务平台引入核心算法库，实现与数据仓库的数据主题库之间的无缝连接，为敏捷业务的迭代与优化提供强有力的支撑；同时引入微服务框架体系，解耦不同业务单元，实现业务单元的敏捷上下线与合并重组，极大提升平台横向扩展与业务迭代能力。

图5 模型体系与智能应用

实现完整的“数字钢卷”，实现按需分级，成本到卷。在大数据数据仓库体系的基础上，通过多维数据协同、时空转换等技术手段，项目达成了“数字钢卷”的多维建设。为提升精益制造管控粒度，项目团队基于多维技术协同的工业互联网平台技术，抽象归纳贴源层、明细层、主题模型层和业务层主数据，低成本、高频数据适配度高，界面友好。在人工智能技术的加持下，赋能数字钢卷精细化落地，提升了整体的可用度及应用范围，成果如图6所示。

图6“数字钢卷”可视化展示

通过该4项技术的研究与应用，研究并建立了基于工业互联网的开源重构数据扁平压缩体系，首创数据下沉的边缘侧大数据协同管控平台，攻克了热轧实时、海量、高频、异构数据和多接口协议复杂的难点，首次提出面向数据血缘关系可溯源治理的资产大盘可视化技术，解决了L0-L4海量数据的多层次、多维度、多模态等难以融合的问题，实现了多协议适配、边缘侧数据处理以及全流程生产运行数据采集，采集分辨率达50ms-1s，长度方向分辨率20mm-1m，满足了热轧生产过程的质量诊断、设备预警、生产过程协同控制的需求。

摘自《自动化博览》2023年3月刊