1　背景

集成电路芯片已广泛应用于多个领域，但是制造过程中产生的缺陷会直接影响集成电路芯片的寿命和可靠性。传统的人工检测方法，存在耗时长、劳动强度大、误检率高等缺点，已无法适应生产的需求。通过机器视觉检测技术对产品进行分析处理，检验产品是否符合质量要求，对保障产品质量，提高产品合格率起到了关键作用。

芯片封装技术的基本工艺流程，包括硅片切割、芯片贴装、芯片互联、封装成型、切筋成型等工序。装片工段目前未配备自动检测设备，芯片质量依靠人工判断，人工采用单批次产品首件检查、定时抽检、定时巡检等手段效率较低、准确率低。打线工段目前设备配备有工业相机，设备可以存储图片，但由于每天生产芯片数量庞大，设备无法存储如此庞大的数据，设备无图片分析算法。因此，产品工艺与设备问题导致的质量问题无法准确预知。

本项目“基于5G和工业操作系统在芯片封装领域的机器视觉检测应用”，主要针对芯片封装领域的芯片贴装与焊线等工艺工序，旨在利用5G、机器视觉等融合技术，助力企业实现高分辨率、高速度的封装检测。

2　案例实施与应用情况

（1）项目实施方案

本次方案以5G边缘控制器预装Intewell操作系统为核心，基于软件定义控制，扁平化传统网络架构，以统一开放灵活的平台架构面向多种工业应用场景，实现5G通信技术、机器视觉检测、运动控制与大数据分析的融合。在现场层，发挥5G网络高带宽、低延时、高可靠、方便部署等特点，实现5G边缘控制器与粘片机、焊线机的稳定通信。边缘计算层通过5G边缘控制器，基于软件定义控制的理念，实现一台设备代替多个PLC/DCS，同时将PLC控制与和视觉采集功能融合于同一平台。在应用层，视觉采集软件采用高级语言开发环境结合工业相机厂商提供的SDK软件驱动包实现视觉采集、视觉图像处理和PLC控制系统之间通过MODBUS/TCP或者共享内存（Shared Memory）接口直接通信，与之前PLC和计算机网络通信性能相比，基于软件之间的通信可有效确保数据通信实时性和稳定性，满足自动化控制与图像处理的需求。系统架构如图1所示。

图1 系统架构图

5G低延时高速率的特性适合此场景应用，一方面芯片行业生产速率极高，工业相机在芯片生产过程中需要在极短的时间内完成芯片图片取图，并在边缘侧完成分析与运动控制，对于网络速率、实时控制方面要求极高。另一方面由于图片数量多，3D相机拍摄的图片数据大，在进行视觉处理时就需要大带宽的网络传输。

（2）项目实施效果

广州某芯片封测厂基于5G和工业操作系统在芯片封装领域的机器视觉检测应用项目于2020年10月开始筹备立项、论证、进行项目可行性分析，同时进行了5G专网、基于机器视觉的芯片表面缺陷检测子系统、国产化高实时虚拟化Intewell操作系统、MaVIEW软件定义PLC子系统、数据采集等功能模块建设，2021年9月项目完成建设任务并投入正常使用，项目实施周期为11个月。

截止2021年9月30日，项目所包含建设内容已经全部完成，项目建设了基于5G和工业操作系统在芯片封装领域的机器视觉检测应用系统，通过低时延、高可靠的5G网络，融合基于Intewell操作系统打造的芯片缺陷检测系统，实现比人眼视觉检测更可靠、更高精度的产品检测。结合控制，可实现产品的自动检测、可追溯性和质量控制。

图2 上片工序视觉检测

图3 焊线工艺视觉检测

图4 大数据分析看板

3　应用创新性、重点与难点问题

基于机器视觉的芯片封装表面缺陷检测的关键技术，涉及到了图像处理算法的设计、选取和改进，以及分类算法的设计和选取。缺陷产生的原因及其特征描述如表1所示。

表1 缺陷产生原因及特征描述

产生上述缺陷容易导致焊接不牢等危害，为保证该芯片焊接后的稳定性与耐久性，需在焊接前对芯片进行缺陷检测，剔除不合格产品。基于以上目标釆取图5所列出的方案路线，最终实现用决策树法和K近邻法两种算法对缺陷特征数据进行分类。方案路线如图5所示。

图5 方案路线图

（1）芯片缺陷图像预处理方法

通过照相设备得到的芯片图像可能存在各种误差，不能直接使用算法进行缺陷提取，必须对图像进行预处理操作。如对比度増强、滤波等步骤，以突岀图像灰度特征。如图像存在光照不均匀和倾斜情况，还需选择适当的算法对图像进行光照校正和倾斜校正，以此来为后续操作提供高精度的输入图像。

（2）芯片缺陷图像阈值分割方法

针对芯片图像中缺陷部位提取这一情况，探索选取最适合步骤的阈值分割算法，比较选取了多种阈值分割算法。最终根据芯片图像的特点，选取了最大类间方差法并进行改进来实现缺陷位置的提取，最终取得了良好的分割效果。

（3）芯片缺陷图像轮廓提取方法

为实现对缺陷轮廓的完整提取，比较选取了五种边缘提取算子，最终选取了效果最好的Canny算子对缺陷轮廓进行提取，以获取缺陷位置的面积、周长等各项数据，为后续的分类操作奠定基础。

（4）芯片缺陷分类识别算法

根据对芯片缺陷样本数据值和设定的缺陷类型，采用决策树分类法和K近邻算法同时对测试数据集进行检测分类，比较得出采用K近邻分类算法更适用芯片表面的封装检测。

（5）基于国产高实时操作系统的边缘计算的二值化图像处理技术

图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，二值图像占有非常重要的地位，特别是在实用的图像处理中，以二值图像处理实现而构成的系统是很多的，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像，这样子有利于在对图像做进一步处理时，图像的集合性质只与像素值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。

（6）基于国产高实时操作系统的边缘计算的几何特征定位技术

真正的几何特征定位技术（Geometrical Object Locator）不是灰度相关性技术（Normalized Grayscale Correlation）的变种，它基于对象的边缘轮廓的提取和表述，能对自由形状的物体进行识别和定位，且具有强大的去模糊算法，能对复杂背景下的物体实现准确的识别和精准的定位。好的几何特征定位器能做到1/40亚象素的平移重复定位精度，0.02度旋转重复定位精度，速度往往能达到毫秒级。几何特征定位技术的特点:

基于对象轮廓或边缘找寻和定位零件。

容许重叠、阴影，对比度低，边缘不清，凌乱或背景噪音。

基于模板操作，能找到相同或不同模板的多个事件。

定位器返回每个找到事件的X.Y坐标，旋转角度和大小比例。

两个零件碰到一起了，定位器能找到，还能分出哪个是哪个。

图6 软件处理图

大小比例不同的对象，基于相同的模板，能找出来，还能计算比例系数。看图象对比度很差，但不影响定位。

图7 软件处理图

背景很零乱，但不影响识别和定位；有对比度突变，和背景极其零乱。

图8 软件处理图

黑乎乎的，图象质量很差，定位器能力强大。

图9 软件处理图

用传统的图象处理软件，一般得不到上面的结果，由此就能看出几何特征定位技术的强大功能。

4　效益分析

（1）项目实现月产能达到420万只。按此产能测算，项目生产设备月创造产值134.40万元，利润达到4.66万元，达到项目预期指标。

（2）项目在建设前，生产线故障品由人工去检查，这种检查方式产生质量误判率很高，同时通过人工主动检查判断的方式，所有判断标准均处于主观人工判断，人工判断的情况就会导致较明显的芯片错误才能发现（例如芯片缺失），而很多轻微的需要经过仪器精密检测的缺陷不能及时发现，导致成品失败率较高。项目建设后，生产线故障品由系统自动检查，这种做法依据人工定制主观标准阈值，同时通过机器拍照辅助判断，人工不需要进行装片和焊线缺陷的判断，可以在此环节及时发现不良产品，避免缺陷品流入下一环节，同时能够及时反馈上一个工序。

项目建设后，生产线故障品检出自动化率，由实施项目前的0提升到90%以上；生产过程数据可视化率，由实施项目前的0提升到90%以上，达到项目指标。

项目在建设前，生产线的直接操作人员每人可以操控5台焊线机；项目完成建设后，生产线运行过程中，直接操作人员能有效降低生产过程中的抽检及确认产品品质的频率，因此生产线的直接操作人员，由实施项目前的2.5人次减少为2人次，下降20%，达到项目指标。

（ 3 ） 装片工段的不良率由实施项目前的1665PPM降低至800PPM；焊线工段的不良率由实施项目前的234PPM降低至160PPM；批量性的产品报废批数由实施项目前的1批次以上降为0，有效避免了此类因人为误操作产生的批量性产品报废。达到项目指标。

5　案例意义

本项目完成建设，有利于推动我国半导体封装测试业的自主创新发展，提升我国半导体封装测试的竞争力，也同时有利于半导体封装测试业上下游相关产业发展，推动国民经济的健康持续发展。项目建成，有利于提升行业从业人员的技术水平和收入。

本项目为我国自主高端电子制造装备和系统建设提供了难得的全流程示范，为我国高端电子制造领域的产业安全提供了技术保障，其推广应用能够大幅度地提高我国复杂电子控制类产品的设计研制效率和降低制造成本，有力地支撑了中国制造2025战略目标在电子设备类离散型智能制造领域的达成。

摘自《自动化博览》2022年4月刊