一种电子元器件x射线检查缺陷自动识别方法
技术领域
本发明涉及电子元器件X射线检测缺陷自动识别
技术领域
，尤其涉及一种电子元器件X射线检查缺陷自动识别方法。背景技术
军用电子元器件是国防军工电子系统的基础元件，主要包括半导体分立器件和集成电路等微电子器件以及继电器、传感器等特种器件。军用电子元器件是核、航空、航天、船舶、兵器、电子等信息系统的物质保证，其稳定性和可靠性直接影响信息系统的功能和性能指标。
军用电子元器件的封装缺陷是影响其质量的主要因素之一。X射线检查是一种无损检测元器件内部缺陷的手段，可以快速检查出键合、焊接、密封等封装过程中出现的缺陷，在元器件筛选、鉴定检验、DPA、失效分析中均要求进行X射线检查。X射线检测对电子元器件进行X射线成像，其图像能反映电子元器件的内部缺陷，目前的X射线检查主要依靠人工识别，由检测人员浏览X射线图像，根据检测标准进行人工判读、分析。然而，随着电子元器件加工制造水平的不断发展，电子元器件封装形式越来越多、封装密度也越来越高，电子元器件的检测数量和任务也日益增多，人工识别的速度和准确度已无法满足，这种人工判读分析方式受试验人员经验和身体状况等主观因素的影响，检测效率和可靠性低，元器件检测质量难以有效保证，给元器件的使用带来风险与隐患，已无法满足军用电子系统日益增加的需求。因此，需要借助计算机视觉检测技术，形成电子元器件X射线检查缺陷自动识别方法。
随着计算机视觉和人工智能技术的发展，基于深度学习的计算机视觉检测技术因其模拟人脑视觉的处理机制，具有自动学习样本特征的特点，在目标检测识别领域比其他传统方法有更大的性能优势，已经广泛应用于航空、航天、电子、医学、工业制造等各种领域。
针对电子元器件X射线检查缺陷自动识别需求，深入研究基于深度学习视觉检测技术的电子元器件X射线检查缺陷自动识别方法，是军工电子元器件质量检测的迫切需求。
目前，国内对于电子元器件进行的缺陷检测，主要集中在印制电路板(PCB板)焊点缺陷检测、贴装元器件检测以及SMT表面封装等进行的相关研究，关于元器件芯片图像的检测方法很少。
发明内容
鉴于上述问题，针对现有电子元器件缺陷检测技术所存在的局限性，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的电子元器件X射线检查缺陷自动识别方法，主要利用深度学习视觉检测技术，获得不同缺陷形式的电子元器件X射线缺陷自动检测方法，实现对于电子元器件不同缺陷形式的自动检测功能。
本发明提供一种电子元器件X射线检查缺陷自动识别方法，
该方法包括如下步骤，步骤一：对X射线图像进行去噪、增强预处理；
对采集的电子元器件X射线图像通过直方图均衡和灰度变换的方法进行对比度增强。
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据电子元器件的封装和缺陷形式，对待检测的电子元器件存在的缺陷类型进行分类。待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类。
步骤四：利用基于卷积神经网络的语义分割方法实现对步骤三中四类空洞缺陷的检测。
空洞类缺陷包括单层芯片焊接区空洞和多层混合集成电路的芯片焊接区空洞；对于单层芯片焊接区空洞，采用基于卷积神经网络算法进行空洞区域的分割，通过灰度投影法对芯片焊接区进行检测，并应用像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据判别准则对其合格性进行判别:焊接区空洞超过整个焊接面积的1/2；或单个空洞横向或纵向贯穿芯片焊接区且空洞面积超过芯片焊接区的10％时，判定为不合格。
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞的干扰。通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到分割结果。分别沿垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域。对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别。芯片与基板焊接区空洞在不同角度成像结果间的位移更为显著，基板与管壳焊接界面空洞在各图上的位置则比较固定。
对于密封区空洞检测，采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射进行密封区检测，分别自动计算空洞区域和密封区的宽度；根据相应的规则对芯片的合格性进行判断:空洞区宽度超过密封区宽度的75％时，判定为不合格。
对于焊球空洞检测，进行基于卷积神经网络的空洞分割，采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。当空洞的直径超过焊球直径的25％时，该焊球被判为不合格。
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测。
通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；采取基于卷积神经网络的图像配准方法来实现。首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，该待检测图像与配准后的合格品图像间仍会存在较大差异。通过对比分析差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。
步骤六：芯片安装倾斜与凹切缺陷的检测与识别。
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不超过10°。
在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。研究中拟首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
实现该方法的检测系统包括：空洞类缺陷检测单元、一致性缺陷检测单元和角度类缺陷检测单元。
所述空洞类缺陷检测单元，采用基于卷积神经网络的语义分割算法，基于DeeplabV3+基本架构设计，与传统分割算法相比，具有更强的通用性。传统方法往往需要针对每一类缺陷问题设计相应的分割算法，并根据经验设定相关参数。利用基于卷积神经网络的语义分割算法可实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，可实现对各类空洞缺陷的精确分割，极大提高缺陷自动识别效率。
进一步的，对于芯片焊接区空洞(单层)，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别。解决以往无法进行自动计算和单纯靠人工进行判别的问题。
进一步的，对于混合集成电路的芯片焊接区空洞(多层)，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测。首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。进而根据不同层空洞在多角度图像上的位置关系，进一步排除基板粘接层空洞的干扰，得到准确的分割结果。解决了以往单纯靠人工进行判别的问题。
进一步的，对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，进而分别自动计算空洞区域和密封区的宽度。最后根据相应的规则对芯片的合格性进行判断。解决了以往无法进行自动计算和单纯靠人工进行判别的问题。
进一步的，对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。
所述一致性缺陷检测单元，采取基于卷积神经网络的图像配准方法来实现，通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别。
进一步的，首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装等缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。通过对比分析这一差异，实现对缺陷位置及其类型的有效检测。
所述角度缺陷，包括芯片安装倾斜与凹切缺陷的检测与识别。首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。
进一步的，在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
与现有技术相比较，本发明提出的基于深度学习的计算机视觉检测技术的电子元器件X射线检查缺陷自动识别方法，解决了以往单纯依靠人工识别而导致的检测效率和可靠性低、元器件检测质量难以有效保证等问题。
采用基于卷积神经网络的语义分割算法，克服了传统方法需要针对每一类缺陷问题设计相应的分割算法的问题，具有更强的通用性，可实现对于各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，极大提高了缺陷自动识别效率。同时，通过灰度投影法对芯片焊接区及密封区等进行检测，并通过像素统计的方法分别自动计算空洞区域、宽度以及焊接区域面积和密封区宽度等，最后根据相应的判别准则对其合格性进行判别。解决以往无法进行自动计算和单纯靠人工进行判别的问题。
采取基于卷积神经网络的图像配准方法，通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；通过对比分析差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。解决以往单纯靠人工进行判别的问题。
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞产生的干扰，根据不同层空洞在多角度图像上的位置关系，通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。解决了混合集成电路中的基板与管壳焊接界面空洞的干扰问题。
附图说明
图1为本发明实施例的空洞区域网络分割结构示意图；
图2为本发明实施例的图像配准网络结构示意图。
图3为本发明实施例的缺陷检测算法整体架构示意图；
图4为本发明实施例的单层芯片焊接区空洞检测流程示意图。
图5为本发明实施例的多层混合集成电路焊接区空洞检测流程示意图。
图6为本发明实施例的金属陶瓷封装密封区空洞检测流程示意图。
图7为本发明实施例的焊球空洞缺陷检测流程示意图。
图8为本发明实施例的基于图像配准的一致性缺陷检测流程示意图。
图9为本发明实施例的芯片安装倾斜与凹切缺陷检测过程示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明实施例，一种电子元器件X射线检查缺陷自动识别方法，如图1所示。电子元器件X射线缺陷自动检测算法的流程如下：
步骤一：对X射线图像进行去噪、增强等预处理；
预处理是各类图像分析与识别的首要环节。由于成像原理的特殊性，X射线图像的分析识别中面临的主要问题是对比度偏低，因而前期的预处理环节主要以对比度增强为主。针对电子元器件X射线图像的典型特点和后续缺陷识别的特定需求，主要通过直方图均衡和灰度变换的方法进行对比度的增强。
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据器件的封装和缺陷形式，对待检测器件可能存在的缺陷类型进行分类。
根据判别方法的不同，电子元器件的缺陷类型可分为空洞类缺陷、一致性缺陷和角度缺陷等三大类。其中，空洞类缺陷指由于芯片焊接接触区、密封区或者焊球等位置的空洞超过相关准则而引起的缺陷问题。一致性缺陷指待检测芯片的实际情况与设计的理想情况不符的情景，如多余物、键合丝数量不符或断裂，混合集成电路中的元器件或者键合丝不符等。角度缺陷指芯片特定位置的角度不符合要求的情况，如芯片安装倾斜或者凹切等。
步骤四：利用基于卷积神经网络的语义分割方法实现空洞缺陷检测。
与传统分割算法相比，基于卷积神经网络的语义分割算法具有更强的通用性。传统方法往往需要针对每一类缺陷问题设计相应的分割算法，并根据经验设定相关参数。利用基于卷积神经网络的语义分割算法实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，可实现对各类空洞缺陷的精确分割，极大提高缺陷自动识别效率。
见图2，基于DeeplabV3+基本架构，并针对X光图像的特点和空洞区域分割任务的具体需求，对网络的各个环节进行优化设计，从多个角度提高网络对有效特征的提取和判别能力，达到更好的分割效果。
对于芯片焊接区空洞(单层)，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别，见图3。
对于混合集成电路的芯片焊接区空洞(多层)，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测。首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。进而根据不同层空洞在多角度图像上的位置关系，进一步排除基板粘接层空洞的干扰，得到准确的分割结果。分别沿常规垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域。对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性，排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别，见图4。芯片与基板焊接区空洞在不同角度成像结果间的位移更为显著，而基板与管壳焊接界面空洞在各图上的位置则比较固定。
对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，进而分别自动计算空洞区域和密封区的宽度。最后根据相应的规则对芯片的合格性进行判断，见图5。
对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别，见图6。
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测。
通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别。采取基于卷积神经网络的图像配准方法来实现，见图7。
首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装等缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。通过对比分析这一差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。见图8。
步骤六：芯片安装倾斜与凹切缺陷的检测与识别。
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出，见图9。该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不应超过10°。
在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。研究中拟首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：一种钢筋头计数、定位方法及系统
