1　目标和概述

随着工业制造水平的不断提高，用户和生产企业对产品质量的要求越来越高，除要求满足使用性能外，还要有良好的外观，即良好的表面质量。但是，在制造产品的过程中，表面缺陷的产生往往是不可避免的。表面缺陷是产品表面局部物理或化学性质不均匀的区域，如表面的划痕、斑点、孔洞、褶皱等。表面缺陷不仅影响产品的美观和舒适度，而且一般也会对其使用性能带来不良影响，所以生产企业对产品的表面缺陷检测非常重视，以便及时发现，从而有效控制产品质量，还可以根据检测结果分析生产工艺中存在的某些问题，从而杜绝或减少缺陷品的产生，同时防止潜在的贸易纠纷，维护企业荣誉。

传统检测产品表面缺陷的主要方法是人工检测，该方法抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大，而基于机器视觉的检测方法可以很大程度上克服上述弊端。

利用机器视觉代替人工完成产品的表面缺陷检测。机器视觉是一种无接触、无损伤的自动检测技术，能在无需对产线设备和生产工艺进行改造的前提下，完成产品表面缺陷的自动化检测，是一种低投入、高回报的自动化技术。本解决方案是一套基于机器视觉的表面无人质检系统，包括：数据采集、数据标注、模型训练及优化等功能。该系统通过机器学习、深度学习、边缘计算等前沿技术不断提高对产品表面质量缺陷识别与定位的精度和速度，加速设备自动化、智能化改造，代替人工在恶劣环境下进行不间断工作，提高生产效率，最终实现无人值守生产的目标。

AI表面无人质检系统是一套基于边缘计算的机器视觉识别系统，它通过深度学习和图像处理算法，自动识别视频流中产品的瑕疵，以达到大幅节省人力，提高产品生产效率及产品质量的效果。AI表面无人质检系统部署将AI应用下沉到生产车间，在靠近设备的地方进行AI视觉分析，减轻视频传输对带宽压力，缩短了应用响应时间，提高了业务实时性，解决生成成本；同时，检测结果无需上传云平台，仅需要把少量无法识别图片上传训练库进行模型训练，降低了数据泄露风险，保障了数据的安全。

2　解决方案介绍

2.1　业务流程

AI表面无人质检系统业务流程如图1所示。

图1 AI表面无人质检系统业务流程图

AI摄像机实时采集待检产品视频数据，智能网关设备拉取视频流，抽取其中图像清晰的关键帧图片进行产品表面缺陷识别，如果存在缺陷，那么进行缺陷的位置定位，并通知质检员进行缺陷处理。当存在缺陷不能被识别的时候，质检员通过数据标注工具对缺陷进行标注后将图片上传到训练库中，通过训练引擎进行模型训练，最后将模型训练生成的模型更新到智能网关中，持续提升缺陷识别的准确性。

2.2　系统架构

AI表面无人质检系统的系统架构图如图2所示。

图2 AI表面无人质检系统的系统架构图

AI表面缺陷无人质检系统包括平台层、存储层、边缘层和设备层。平台层主要提供模型训练功能和应用管理功能，包括：数据标注模块、训练引擎模块和模型下沉模块。存储层主要提供视频图片数据的存储功能，包括：生产库和训练库。边缘层主要提供表面缺陷识别与定位功能，包括缺陷识别引擎、视频流拉取模块、关键图像抽取模块、结果展示&通知模块。设备层主要用于采集待检产品的视频流，摄像机可以包括：IP摄像机、工业摄像机。

2.3　机器视觉表面缺陷检测实现

机器视觉是一种无接触、无损伤的自动检测技术，具有安全可靠、光谱响应范围宽、可在恶劣环境下长时间工作和生产效率高等突出优点。机器视觉检测系统通过适当的光源和图像传感器（CCD摄像机）获取产品的表面图像，利用相应的图像处理算法提取图像的特征信息，然后根据特征信息进行表面缺陷的定位、识别、分级等判别和统计、存储、查询等操作。

2.3.1　照明系统

照明系统由工业摄像机、光学镜头、光源及其夹持装置等组成。在光源的照明下，通过光学镜头将产品表面成像于相机传感器上，光信号先转换成电信号，进而转换成计算机能处理的数字信号，完成产品表面图像的采集。

工业摄像机采用CCD线阵工业摄像机。光源采用LED光源，其体积小、功耗低、响应速度快、发光单色性好、可靠性高、光均匀稳定。现场采用暗场照明，将相机与光源部署在同侧，使间接接收光源在目标上的散射光，获得高对比度的图像。

2.3.2　基于算法仓的缺陷识别系统

为了提高表面缺陷的识别成功率，实现了一种基于算法仓的缺陷识别系统。该系统根据算法融合策略预测出最终结果，其特征在于多算法融合策略包括：投票融合算法、线性加权融合算法、瀑布融合算法、预测融合算法。

（1）投票融合算法是将多个算法的模型预测结果中多数相同的结果作为最终结果。

（2）线性加权融合算法是为每个算法的预测模型设置一个权重，将算法SDK的模型预测结果进行加权平均。

（3）瀑布融合算法是将前一个算法的模型预测结果作为下一个算法SDK模型预测结果的候选集合输入，层层递进，最后筛选出最优的结果。

（4）预测融合算法是对所有的算法的模型预测结果进行二次模型训练，然后使用训练后得到的模型进行模型预测，并生成最终模型预测结果。

（5）数字图像处理算法

数字图像处理算法处理流程包括图片预处理，特征提取，分类器缺陷分类。

由于工业现场采集的图像通常包含噪声，图像预处理主要目的是减少噪声，改善图像的质量，使之更适合人眼的观察或机器的处理。图像的预处理通常包括空域方法和频域方法，其算法有灰度变换、直方图均衡、基于空域和频域的各种滤波算法等。

图像的特征提取是从高维图像空间到低维特征空间的映射，其基本思想是使目标在得到的子空间中具有较小的类内聚散度和较大的类间聚散度。主要采用纹理特征、颜色特征、形状特征等。

最后通过分类器进行缺陷类型分类，分类器算法包括：SVM（支持向量机），MLP（多层感知器）。

（6）神经网络算法

• 卷积神经网络

该方法首先进行图像的分割，把图像阵列分解成若干个互不交迭的区域，每一个区域内部的某种特性或特征相同或接近，而不同区域间的图像特征则有明显差别，主要采用基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法；然后进行卷积神经网络算法识别缺陷，主要使用的卷积神经网络算法包括：Vggnet算法、ResNet算法等。

• 目标检测

该方法是找出图像中所有感兴趣的目标（物体），确定它们的位置和大小，主要使用的算法有ssd_mobilenet算法，faster_rcnn算法。

（7）无监督学习

工业现场在某些场景下难以获得足够数量的缺陷样本进行学习，而无论是数字图像处理方法还是神经网络方法都严重依赖于足够的样本数。无监督缺陷检测的方法具有不需要标签数据也可预测缺陷能力。首先，结合GAN和Autoencoder算法进行图像样本修复（重建），然后，利用LBP算法比较恢复后的图像和原始输入图像，从而更准确的找到缺陷的位置。

2.4　产品功能

（1）缺陷识别&定位

通过对视频流进行分析，系统识别出视频图像中产品的缺陷类型的预测结果，并用矩形框标注出缺陷所在的位置。

（2）缺陷库管理

支持通过向缺陷库导入产品缺陷图片完成对产品缺陷特征的提取，可持续进行模型训练，提升预测模型。

（3）抓拍库管理

系统支持自动识别视频流中的产品及产品缺陷，并从视频流中抽取包含这些产品和产品缺陷的图片存放到抓拍库中。

（4）结果通知

系统支持在识别产品缺陷或者出现未能识别的新缺陷的时候通知质检员进行相关处理。结果通知可以包括声光报警、系统消息推送、短信通知、邮件通知等。

（5）数据标注

质检员可以通过数据标注小工具对抓拍库中的产品进行复检，并标记出未能识别的新缺陷或者遗漏识别的缺陷。

（6）生产经营报表

系统提供产品缺陷统计分析报表，包括：产品次品率报表，产品缺陷分析报表，缺陷类型分析报表等。

2.5　部署方案

AI表面质量检查系统基于边缘计算进行部署，将AI表面缺陷识别模型应用部署在车间现场的智能网关设备中，直接拉取通过车间现场的摄像机的视频流进行图像识别和智能分析，现场声光报警告知。

将模型训练部署于拥有强大计算资源的云计算中心，接收智能网关上传的缺陷图片进行模型训练，最后将训练后的预测模型自动部署到智能网关中。AI表面质量检查系统架构图如图3所示。

3　代表性及推广价值

当前制造业产品表面缺陷检测主要有人工质检和机器视觉质检两种方式，其中人工质检占90%，机器视觉质检只占10%。人工质检成本高、误操作多、生产数据无法有效留存。在线钢生产过程中，质检员基于传统作业方式采用手电筒作为光源，对线钢进行挨个抽样检查。这种方式对经验依赖程度较高，人工质检存在较大的主观因素，长期作业导致的视觉疲劳也会影响质检精度与效率，漏报、漏检的情况屡见不鲜。且线钢余温烫伤质检员的事故屡有发生。由于职业因素，质检行业人员流动性较高，带来较重的培训和用工成本。AI表面无人质检系统可以帮助成千上万的一线质检工人，减轻大量高重复性、高频次的工作，提升效率，解放更多劳动力。与传统人工质检相比，AI表面无人质检系统具有如下优势：

（1）节省人力

传统人工检测方式，如果对产品依次进行检查，工作强度大，需要大量的人力投入，通过机器视觉智能诊断，可以将人力从大量的重复质检工作中解脱出来，大幅度节省人力成本。

（2）提高质量保障

传统质检全靠人工一个一个检查产品瑕疵或者采用抽检的方式进行，但是这会受到人工的经验、个人情绪等主观因素和抽检概率的影响，导致质量控制无法保障。机器视觉通过大量数据训练后算法识别精度可以非常稳定，持续为产品质量保驾护航。

（3）提高生产效率

传统质检方式识别缺陷效率低，往往成为生产瓶颈，影响生产线的自动化。机器视觉可以实现7×24小时持续检测，减少生产线的人工干预，提高生产效率。

（4）识别精准&持续优化

AI表面无人质检系统基于网宿多年在人工智能技术上的积累，赋能工业质检领域。通过深度学习技术和图像处理算法，预测准确率高达97%以上，且准确率随着数据量提升可持续优化。

图3 AI表面质量检查系统架构图

（5）实时响应

相对于传统云计算技术，依赖于云计算中心资源，工业现场视频数据需要全部上传云计算中心进行计算，这不仅会带来带宽成本增加，而且网络延迟也不能适应实时生产控制的需求。AI表面无人质检系统采用先进的边缘计算技术，将AI应用下沉到生产车间，在靠近设备的地方进行机器视觉分析，降低视频传输对带宽需求，缩短了应用响应时间，提高了业务实时性。

（6）信息安全

基于边缘计算的AI表面无人质检系统，在本地进行缺陷识别，检测结果也无需上传云计算中心，仅需要把少量无法识别缺陷图片上传位于云计算中心的训练库进行模型训练，从而降低了企业生产数据泄露风险，保障了数据的安全。

未来，AI表面无人质检系统可在钢铁、汽车、纺织、家居等各个领域进行推广应用，可以有效地实现企业生产自动化、提升检测和生产效率，增强市场竞争力，具有良好的行业复制性。

摘自《自动化博览》2020年10月刊