1、 项目背景介绍

在钢铁生产行业，对于物料、机械、生产过程和工艺的精细化管控，是实现产线高质量、低能耗、高效率生产的基础条件。在中厚板产线，因为工艺设计的限制，中间一些核心环节依然处于人工控制的阶段，没有完全实现自动化控制生产。这主要体现在两个方面：

其一是针对冷床、检查台架、横移台架的板坯跟踪。在轧制、剪切等基于辊道的生产工序间，穿插了冷床、检查台架、横移台架等设施，最终形成了中厚板产线的非线性生产流程，这些中间设施需要通过额外的设备和系统实现局部的跟踪，最终实现精整产线的跟踪和管控。

其二是针对转钢过程的自动化控制。转钢过程是中厚板产线轧制过程的起点，其主要作用是通过配合转钢和对钢坯在横纵两个不同方向上的轧制，使中厚板板坯达到目标轧制宽度。目前转钢过程依然有人工参与控制，未纳入自动化管控之中。

其三，在中厚板轧制过程中由于来料两侧厚度、温度不一致、轧机牌坊刚度、液压缸相应的两侧差异、侧导板对中跑偏等原因容易导致轧制过程中出现镰刀弯。产线缺乏检测设备和自动化控制手段，一旦镰刀弯纠偏不及时，轻则降低成品成材率，重则影响生产甚至损坏设备，现场迫切需要一套系统全面的镰刀弯控制方法。

因为上述问题的存在，中厚板产线未能完全实现自动化控制，进而导致精细化管理的不足，后流程数据反馈也比较繁琐和之后，很大程度上影响了产线的生产质量和产线的整体效益。

2、 项目目标与原则

本案核心解决如下关键痛点：

1. 针对特殊场景的基于机器视觉的跟踪技术

本案可以实施的核心原因之一是采用机器视觉技术，在满足低成本、高稳定性的条件下，实现了冷床等中间设施上的物料跟踪能力。机器视觉技术有一定的普适性，针对大多数物料可以清晰识别的场景，都可进一步实现对其的跟踪。

2. 针对非线性的精整产线的跟踪和管控

在解决痛点1，补全了从热矫直机到双边剪、剖分剪间，冷床、检查台架和横移台架等中间流程的跟踪信息后，结合原有产线辊道跟踪系统的数据，实现了精整产线的物料跟踪。并在此基础上，通过对流程接口的控制和中间设施的调度优化，实现了生产过程管控的优化提升。

3. 针对转钢过程的自动化控制

利用机器视觉技术，实现对转钢过程的实时监控和转动角度反馈，使过程控制系统有了自动判断转钢到位的依据，实现该过程的自动化控制。

4. 对物料、机械和生产过程的综合管控

通过实现了精整线的自动控制，可以进一步利用工业互联网平台的能力，为整个产线关键内容的全量数据采集，以及经过数据分析完成对产线生产过程的综合管控打下基础。本案首先针对中厚板产线设计和实施，主要适配于任何钢铁生产企业中的中厚板、宽厚板生产线的物料跟踪和综合管控场景。经过业务功能调整，可以推广到其他连续、离散制造业产线。

5.板型缺陷检测

通过深度学习技术的语义分割能力，提取板材板型轮廓，进行板材的舌头、鱼尾、镰刀弯等板型缺陷分析。

3、项目实施与应用情况详细介绍

一、 核心优势

1)   利用先进的人工智能技术解决精整线控制的核心痛点问题

本案为国内外首个将机器视觉应用到中厚板物料跟踪领域，通过普通摄像机实时跟踪钢板位置，成本低，效果好，稳定性强。目前针对中厚板精整产线的跟踪和管控平台应用还没有找到其他对标企业，其中一个核心原因主要还是因为中间设施上物料跟踪问题未得到较好的解决。目前的主要方案是采用传感器技术，在中间设施下方部署大量的光栅传感器。考虑到现场的温度、粉尘、氧化铁皮震落等问题，光栅传感器本身的环境抗性要求就比较高，导致设备本身较为昂贵。同时，因为要求的覆盖面积广阔，传感器需求数量非常巨大，进一步增加了实施成本。最关键的，一旦发生传感器表面粉尘、氧化铁皮堆积，传感器检测就会失灵，稳定性低。而且因为传感器安装于产线下方，不易维护，一旦发生问题，系统的投用时间就会大打折扣。相比于传感器方案，基于机器视觉的物料跟踪方案从几个根本性问题上解决了原有的高成本、易失效、难维护的问题。首先，中厚板物料产品特征明显，尺寸巨大，利用普通的高清监控摄像机即可实现基于机器视觉的跟踪；可以从高处大范围进行拍摄和图像识别，根本上避免了近距离检测需要考虑的环境问题，并减少了设备数量；拍摄条件限制较少，可选位置广泛，且安装在上方，可从多个角度避免环境客观因素导致的系统失灵，提高系统运行稳定性。基于机器视觉技术的转钢过程控制同样具有上述特点，实现中厚板轧制过程的起点的自动化控制。

2)   高度融合大数据和人工智能能力的架构

将大数据平台和算法服务平台相融合，似的大数据平台在进行数据处理时能够更容易的使用人工智能算法的能力。而算法服务平台在构建新的智能化分析服务时，可以利用大数据平台实现更加便利的对数据的管理和应用。二者相辅相成，形成真正的对工业场景的智能化赋能。

3)   利用数据可视化、数字孪生等技术让数据活起来

为了更好的体现数据的价值和数据分析的结果，平台广泛利用了数据可视化和数字孪生等技术，使生产过程状态可以更加清晰的展现出来，为生产过程的监控带来便利，真正为产线工人提供帮助。

二、 架构设计

1)   整体设计

智慧中厚板视觉分析平台由一套完整的工业互联网平台支持研发完成。自底向上大体分为物联层、数据中台层、业务中台层、应用层。具体包括物理设备构成的物联感知层、直接从物联设备获取数据的软件系统构成的物联数据层、对数据进行统一的接入、清洗、存储、时空标准管理的数据规范化管理、统一负责大数据平台与外部数据交互的数据总线、核心负责数据数据存储、处理、分析并进行数据的业务主题映射的数据中台层、结合数据主题整合业务主题的业务中台层、实现统一接口服务并进行服务管理的服务总线层、支撑平台对外服务的业务层以及基于平台生成的看板数据及数据可视化的驾驶舱层。各层配合对外提供工业互联网平台的各种能力。

自主研发的大数据平台是整个工业互联网平台的数据管理核心，支持进入平台的全量数据的接入、存储、组织和一部分处理工作。平台底层以Hadoop体系为核心，构建分布式架构下的数据存储、资源调度和状态管理。数据接入方面以自研Kafka为最常用的数据接入方式，同时也支持其他多种时效性和多样数据源的数据接入方式。数据处理方面，平台整合了MR、Spark、Storm的能力对外可以提供批处理计算、流处理计算以及更为直接的数据挖掘能力，覆盖了全部常用的数据处理需求。数据存储方面，通过整合多种专项用途的数据库的能力，配合分布式文件系统，实现了对异构数据的合理存储。最后，统一进行用户、权限和安全管理，实现平台功能对外的安全赋能，并支持多种方式实现平台能力的调用。

算法服务平台基于人工智能和神经网络的多种算法库和模型设计框架为基础设施、以多种机器学习算法和深度学习模型为核心赋能工具，利用数据处理、模型训练等模型优化功能，完成工业智能化场景的高性能实现和落地。

结合大数据平台的数据管理能力，利用独特的双向控制服务模块，辅以针对特殊设备定制数据采集/接入模块，实现算法服务与大数据服务的统一管理、调度和对外赋能。同时支持处理结果反馈到大数据体系实现数据闭环和业务闭环。利用容器管理技术，方便平台服务在“云”（数据中心）上的横向扩展和环境迁移，同时也有利于环境的整体边缘化部署，形成“云-边-端”的边缘计算分层服务体系，以提供更快的响应速度，更低的带宽占用。

2)   技术路线

a)   分布式和微服务架构

平台各核心模块均采用分布式、微服务架构的思想进行实现。做到高度解耦，自由扩展。核心的精整线跟踪功能基于工作流思想实现，底层利用大数据流式处理进行开发，充分利用了大数据应用开发的扩展能力。应用开发基于Spring Cloud的微服务架构，实现了模块解耦。智能分析中，各模块基于Docker，并将高内聚模块封装成K8s的pod，以方便进行微服务管理和扩展。

b)   自研大数据平台

  平台以自研大数据平台为基础构建，覆盖全量数据的采集、接入、组织、存储、管理和应用。将大数据平台的能力与其他各个模块有机结合，进一步提升平台各模块的能力。

c)   采用先进的机器视觉分析算法

  在进行图像处理过程中，采用深度卷积神经网络，完成图像中物料的识别和定位，进而分析出物料和物料间的相关数据。利用最新研究的卷积技术和激活函数调整，优化网络结构，提升网络分析速度，以满足实时跟踪的处理性能要求。网路框架采用PyTorch，利用其良好的向前兼容性，尽量减少了在未来应用中的模型返工的可能性和工作量。

d)   高清成像系统

  采用高清监控相机和高分辨率工业面阵相机，以满足相应场景下的图像清晰度要求，为分析精度提供保障。

e)   数字孪生

  数字孪生，是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。

三、 方案功能

方案主要功能有四个，一是对精整线物料跟踪，二是对生产流程的优化，三是质量控制和工艺优化，四是精整线综合管控。

1)   精整线物料跟踪

为实现的物料跟踪，针对中厚板精整产线这种非线性的生产过程，主要分为两个步骤：实现阶段性流程中的局部跟踪和进行跟踪数据归集并通过界面分析拼接多个阶段的跟踪数据，完成整体的物料跟踪。

a)   实现局部跟踪

利用多种方式实现物料的阶段性局部跟踪，对于辊道生产过程阶段，现有的生产控制系统对物料的定位，已经可以在精度和稳定性等方面满足物料跟踪的实际需求，本案通过接口服务，直接与相关系统进行通信并获取数据。

针对本案中提到的特殊设施，如冷床等，则采用基于机器视觉的智能化分析方式，利用拍摄和采集到的图像，对设施上的物料进行整体的识别和定位，实现过程中物料位置数据的提取。

在拿到不同的来源的位置数据后，构建物料的生产过程状态模型，利用这些数据反映物料所处的阶段和动向，尤其反映出物料在阶段的进入和离开的动向信息，以便实现前后阶段跟踪的拼接。

b)   实现数据归集和跟踪拼接

在阶段性的局部跟踪中，以产线为主体，反映其上的物料所在的位置和相对于该阶段产线的状态。在跟踪拼接后，以物料为主题，反映其目前属于的生产流程阶段和相应状态。为此，需要实时进行各阶段生产流程的数据归集，利用物料的唯一标识，整合物料在各阶段的状态模型，尤其针对每一时刻的物料进入、离开产线的动向信息进行向前、向后的匹配，从而实现跨生产流程阶段的物料跟踪拼接。进而可以实现精整线的物料跟踪。

2)   生产流程的优化

以物料识别、定位和跟踪为基础，可以进一步实现多个中厚板产线的自动化控制、过程调度、质量跟踪等生产流程优化能力。

a)   自动化上下料

中厚板产线冷床等设施的物理传送结构，是整体联动的，部分冷床可以实现区域性局部运动，但依然存在对整体运动的影响。因此，在物料进入或离开设施时，可能是需要整个设施上的所有物料一同移动的。因此，在执行上料、下料时，需要根据实际情况，判断是否在同时进行上下料操作和该操作是否有相互影响，进而判断是否满足上下料的物料传动条件。利用对产线冷床等设施上的物料位置分析，可以自动判断设施当前是否上下料的条件，进而实现该过程的自动化控制。

b)   调度优化

  在上述设施中，冷床段的主要用于实现中厚板产品的自然冷却。为了更高效的利用冷床上的空间，可以通过图像分析的方式智能化实现该功能。在生产密集的周期内，在中厚板板坯进入冷床时，入口工业相机开始工作，监控冷床入口最后一块进入板坯和新一块进入板坯间的距离，以此来把控区域的物料密集度。在生产不密集的周期内，通过物料跟踪的监控摄像机，可以实现相对较低精度的产线物料排布控制。综合两种排布分析和控制，整体把控冷床设施的利用率。

3)   质量控制和工艺优化

  利用人工智能技术对生产过程的特定数据进行分析检测，用于判断产品质量并根据分析结果指导工艺优化。本案中实现了中厚板板坯镰刀弯控制，通过对轧制过程中的板坯的版型进行分析，判断是否出现镰刀弯的情况，并计算镰刀弯的曲率，从而指导后续道次对板坯轧制的工艺参数。

四、 技术内容

1)   成像硬件系统

  成像硬件系统主要由高清摄像机和工业面阵相机组成。

  工业面阵相机用于进行入口上料区域的图像获取，以控制两个钢板间的边缘距离，使之满足一定的最小距离限制，以便后续图像分析中可以正确区分相邻的钢板个体。

  高清摄像机整体覆盖冷床、检查台架、横移台架以及中间库区的整个设施范围，用于进行钢板分布的视频图像采集，用于进行钢板位置识别和跨摄像机的物料跟踪分析。

2)   模型服务模块

  模型侧服务模块基于Docker封装为镜像，具有较好的独立性，通过接口与外部实现低耦合的通信和协作，同时同样具有较好的扩展性。处理模型由机器学习算法、机器视觉算法库以及深度神经网络共同完成，用于对连续的视频帧进行静态分析和动态关联，最终实现整体的跟踪能力。

a)   调整语义分割模型Unet，提升模型精度

  为了解决Unet无法对远程上下文交互和空间依赖性进行建模的问题，我们将U形结构与Transformers的注意力机制相结合形成了一个新的语义分割网络。自注意模块(MHSA)位于编码的末端、解码器的前端，作用在最抽象的特征图上，它将每个元素相互连接起来，从而访问包含所有输入图像的感受野，以此来获取图像远程上下文信息。交叉注意力模块(MHCA)通过减弱跳连(skip connection)特征中与钢板无关的区域的权重，增强相关区域的权重，来滤除非钢板像素，最终实现UNet解码器中的精细恢复。最终实现了模型钢板识别精度的提升。

b)   采用空洞卷积进行加速

  为了在保证算法模型准确率的前提下提升算法性能，将5x5的标准卷积替换成了3x3的空洞卷积。经试验，算法准确率基本不变，速度提升一倍。

3)   平台侧服务模块

   平台侧服务模块基于Spring框架，可以快速将现有MVC架构调整为Cloud架构，以方便后续的微服务化、大数据整合或性能横向扩展的需求发展。包括：数据存储、平台应用服务、接口服务、精整线跟踪服务、数据总线和监控管理。

a)   平台应用服务

  平台应用服务提供用户界面，展示实时跟踪情况、查询历史记录，并提供相关业务操作以及监控报警等功能。服务采用B/S架构，可以在网络内任意支持版本的浏览器上进行访问和监控。

b)   接口服务

  平台提供统一的接口服务，实现平台应用服务与其他服务的解偶，同时作为生产二级系统与平台进行数据交互的统一界面。精整线跟踪所需的二级系统数据以及二级系统需要平台协助完成的跟踪和调度任务，均通过接口服务进行配置打通数据通道。通过与二级系统的数据交互，真正做到精整线的物料可追溯，为实现全流程可控制打下坚实基础。接口服务支持多种通信协议的动态配置以及通过消息中间件MQ、Kafka等将数据接入工业大数据/工业互联网，极大程度上适配工业生产场景的通信接口和通信方式的要求。

c)   中厚板精整线跟踪服务

  通过将从二级系统和智能分析得到的跟踪数据进行归集，结合工作流设计中明确的界面数据关联方式，利用大数据流式计算的能力进行数据分析和整合，实现精整线物料跟踪的能力。

d)   数据存储

  平台产生并需要记录的数据具有异构性，有常规的生产记录、跟踪记录等关系型数据，也可能要保存阶段性视频数据等非结构化数据用于故障分析。平台数据存储结合数据库和文件系统，满足多种存储需求。

e)   数据总线

  利用数据总线，完成平台内部数据存储、智能分析服务和中厚板精整线跟踪服务间的数据交互，提供高内聚的数据交互方式。

f)   监控管理

  监控管理统一对平台内的一切状态变化进行记录，包括操作监控、接口监控、服务监控以及硬件监控。

五、 具体应用案例介绍

1)   应用企业简介

   首钢京唐公司中厚板部为本案产品需求的提出方。目前在生产过程中，因为中间设施的自动化物料跟踪困难，依然采用人工跟踪的方式，在中厚板板坯从设施离开时，人工观察板坯上喷印的唯一标识，手工输入到后续的生产系统中，实现物料的跨辊线跟踪。人工跟踪效率低下，非常影响生产节奏，特别是在冷床设施，因其用途本身就是对大量中厚板板坯进行自然冷却，其上存储数量较多。尤其在生产密集的周期内，如果无法快速的进行板坯下线，容易造成冷床堵塞等问题。

同时，冷床本身的利用率无法得到精确的控制，通过人工进行观察和控制，容易造成机械动作区间的判断不精确，容易操作板坯错误的运动，导致冷床上板坯碰撞，或错误的判断板坯无法运动，导致冷床上的板坯间距过大，降低冷床利用率。

中厚板部考虑过采用传感器的方式实现冷床区间的物料跟踪，但因为其成本较高，稳定性较差，最终放弃了。但中间设施的自动跟踪和精整线的智能化跟踪管控，依然是中厚板部的迫切需求。

2)   应用步骤

本案实施过程中，首先实现了对中间设施智能化的局部过程跟踪。通过在设施合适位置安装工业相机和高清摄像机，完成覆盖全区域的图像采集系统，通过对图像的分析实现物料的识别和定位。利用物料的分析识别结果，实现局部过程的物料跟踪，同时对相应中间设施实现自动上下料过程和调度优化。

同步的，打通平台与现场生产控制系统的数据通道，获取辊线物料位置信息，分析得到辊线流程的物料跟踪数据。综合各局部过程跟踪数据，拼接实现精整线的过程跟踪数据。

在实现了精整线的自动化控制以及数据通道打通后，可以利用大数据平台的数据管理能力，接入全产线的物料、机械设备、生产过程数据，对数据进行组织、存储和主题化的管理，为数据应用做好准备。同时可以，进一步完成精整产线综合管控，通过大数据和人工智能数据分析，对存储的数据资产进行利用。同时，可以实现基于数据可视化和数字孪生技术，实现对产线的实时仿真和状态展示。

最终实现工业互联网平台真正对产线进行优化，为工厂带来经济和管理上的益处。

4、效益分析

本案产品采用先进的人工智能技术、高清成像技术、大数据技术以及分布式计算和边缘计算技术，具备本地云扩展和接入工业大数据/工业互联网的能力，充分考虑了厂区技术革新的扩展和兼容性需求。作为首个基于人工智能技术的中厚板产线物料跟踪系统，填补了国内板材跟踪领域的空白，具有非常明显的技术示范效果和模范带头作用。

通过部署本案产品，首钢京唐公司中厚板产线，有效地提高了中厚板产线物料跟踪过程的稳定性和准确度、提高了转钢到位的准确率，极大的缩减了相关人工辅助跟踪工作量，避免了因为人工失误导致的产品损伤问题，降低了损耗。通过优化转钢控制流程、冷床控制流程，综合产能提升带来约615万元效益提升。通过优化镰刀弯检测，改善产品质量，提升成材率带来约223万元效益提升。同时，统计能源消耗优化效果，带来约185万的效益提升。共计产生1023万元经济效益，具有显著的经济效益提升。

5、提供清晰工程现场照图，照片分辨率>300DPI

精整线物料跟踪

板坯旋转测控系统

镰刀弯检测系统

中厚板精整线综合管控平台