一种针对模糊成像环境的印刷品缺陷检测方法
技术领域
本发明涉及印刷品缺陷检测。
背景技术
近年来，包装印刷工艺在不断地进步和发展，人们对印刷品品质的要求从最初的简洁大方到如今的美观高档。通过质检员对产品外包装进行缺陷检测的传统方法存在很多弊端：受个人的主观意识影响大，生产效率低下，人力成本高，漏检率高。为了提高检测质量，检测人员使用色差仪、密度计、偏光应力仪等仪器对产品外包装进行缺陷检测。但印刷品缺陷种类繁多、情况复杂，颜色失真、错位漏印、针孔黑点、文字模糊等都是印刷过程中经常出现的缺陷。借助手持仪器的方法无法满足实际生产中大批量、高速度、智能化等需求。机器视觉技术可以克服传统印刷品缺陷检测方法所存在的弊端，当检测装置投入生产线运行后，能够长期执行标准化、自动化的流水线工作，从而极大地减少人力资源，降低企业的生产成本。
复杂工业环境下的图像清晰化处理是计算机视觉中的一个重要任务。高精度的印刷产品表面缺陷检测依赖于高质量的图像，在目标快速移动、相机摇晃、失焦等影响下，相机捕捉的图片会有一定程度的失真，从根本上阻碍了印刷品缺陷检测的精度提升，严重影响计算机视觉应用。传统的图像清晰化技术采用高斯混合模型、低秩估计、字典学习等技术。虽然能够取得一定效果，但是由于目标快速移动、相机摇晃、失焦等影响因素在图像中表现为多方向、多密度、多类别，简单地使用传统方法难以建模图像中的复杂影响因素。因此，传统技术在复杂的工业环境中降低了其原有的性能。
随着深度学习的广泛应用，卷积神经网络已应用于图像去模糊。传统的方案需要先估计模糊核再来做模糊图像复原工作，且估计过程对噪声敏感，易产生振铃现象。而后产生了大量基于深度学习的端到端模型去重建模糊图像，解决了未知运动类型去模糊问题，且在不同任务中存在一定的泛化能力。本发明提出一种针对模糊成像环境的印刷品缺陷检测方法，以有效提高复杂工业环境中印刷品缺陷检测的准确性。同时利用马尔可夫随机过程增强训练数据集，减少模型对数据量的需求。将深度学习与传统机器学习方法相结合的模式应用于实际工业应用中，提高了印刷品缺陷检测的鲁棒性。
发明内容
本发明的目的是为了解决缺陷检测任务中复杂环境和镜头畸变所导致的误检和漏检问题，从而提出一种针对模糊成像环境的印刷品缺陷检测方法。
上述发明主要流程分成两个阶段：一阶段是建立模板；二阶段是缺陷检测。
一阶段主要是通过以下技术方案实现的：
S1、采集不同印刷图案的清晰图像和模糊图像对，制作训练数据集；
训练数据集由基础数据集和增强数据集构成，通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像对，作为基础数据集；随机选取一组不同印刷图案的清晰图像进行数据增强，作为增强数据集，数据增强的具体方法包括以下步骤：
S1-1.利用马尔可夫随机过程生成随机轨迹矢量，再将亚像素插值应用于轨迹矢量来生成模糊核；
每个轨迹矢量都是一个复数矢量，对应着一个连续域中的二维随机运动物体的离散位置，轨迹生成由马尔可夫过程完成，轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的，轨迹矢量的公式如下：
式中，*为卷积操作，M为轨迹矢量长度，Lmax为两个时刻间最大移动长度，M和Lmax为常量，vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量，公式如下：
式中，v0为一个复数，cos(φ)为v0的实部，sin(φ)为v0的虚部，φ∈(0,2π)为随机初始化角度，ps为随机脉冲扰动，旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动，pg为高斯扰动，I为惯性分量，pg和I服从N(0,0.7)高斯正态分布，nrand为标准正态分布N(0,1)中的单个随机数，St为0-t时段随机生成的轨迹矢量，Dnext为下一个时刻轨迹矢量随机生成的方向，公式如下：
S1-2.利用退化模型获取清晰图像对应的模糊图像，退化模型的公式如下：
B＝W*K+N (4)
其中，B为模糊图像，W为清晰图像，K为模糊核，N为高斯噪声。
S2、利用对抗方式训练去模糊模型DeblurGAN；
通过对抗方式训练生成网络和判别网络，生成网络将模糊图像作为输入并产生预测图像，判别网络计算预测图像和清晰图像的特征差异，并输出它们之间的距离，引导生成网络生成更为清晰的图像。
S3、采集一组同一印刷图案的无缺陷产品的图像，制作模版图像集合；
S3-1.通过工业相机获取一组同一印刷图案的无缺陷产品的图像，作为模版图像集合，然后对其进行预处理，预处理内容包含：通道筛选、灰度化、光照补偿；
当待检测印刷图案色彩较为单一时，利用通道筛选可提高检测准确率，通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作；当待检测印刷图案色彩较为丰富时，利用灰度化降低计算复杂性；当待检测印刷图像光照不均匀时，利用光照补偿减少光源或光路不均匀的影响，光照补偿的公式如下：
其中，Fi(x,y)为图像Fi在(x,y)处的像素灰度值，Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值，u为目标灰度均值；
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数，模糊分数越低则表明图像的清晰度越高，利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理，并更新模糊分数；清晰度评价函数Tenengrad的计算公式如下：
其中，di为图像Fi的清晰度，t为控制检测计算灵敏度的阈值，G(x,y)为图像Fi在(x,y)处的梯度值，定义如下：
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值，其计算公式如下：
S4、选择模版图像，选定感兴趣区域，生成上限图像和下限图像；
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像；由于整张图像分析会带来较大的计算冗余，通过感兴趣区域的选定可极大的提高缺陷检测效率，根据实际检测任务选定模版图像的感兴趣区域，生成目标图像；
S4-2.印刷图案的成像结果易受光照影响，成像位置不同所获得的光照情况则不同，从而导致相同区域的灰度值产生一定范围的波动，如果直接利用目标图像做缺陷检测会导致较高的误检率；因此，利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键，边缘图像为目标图像提供正常的灰度值波动范围，可有效提高缺陷检测的鲁棒性；
首先利用sobel算子对目标图像进行边缘检测，生成边缘轮廓，再通过膨胀操作填充边缘轮廓，生成边缘图像，边缘检测的计算公式如下：
其中，E(x,y)为模板图像在(x,y)处的边缘梯度值；
上限图像和下限图像的计算公式如下：
Tmax(x,y)＝Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)＝Fm(x,y)-max{a,bE(x,y)} (12)
其中，Fm(x,y)为目标图像Fm在(x,y)处的灰度值，Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值，Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值，a,b为常量。
阶段二主要是通过以下技术方案实现的：
S5、采集待检测图像，预处理后进行图像配准；
利用工业相机获取待检测图像，通过S3-1中所述内容对待检测图像进行预处理，然后计算模糊分数，利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理，然后利用模板匹配对待检测图像与目标图像做图像配准；
模板匹配方法为基于形状的模板匹配，利用待检测图像相对于目标图像的位置偏移和旋转角度等信息，通过仿射变换将待检测图像最优映射到目标图像位置，进而获得配准图像。
S6、利用上限图像和下限图像进行缺陷检测；
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限，当配准图像中像素点灰度值未在上、下限的范围内时，该像素点则被视为异常像素点，判别像素点是否异常的计算公式如下：
其中，Oj为缺陷检测生成的异常图像，当Oj(x,y)为0时，待检测图像Fj在(x,y)处的像素点正常，当Oj(x,y)为1时，待检测图像Fj在(x,y)处的像素点异常；
将异常图像中相邻的异常像素点连通形成异常区域，计算异常区域的面积，由实际检测要求设定阈值，根据阈值筛选出缺陷区域。
发明效果
本发明提出了一种模糊成像环境下印刷缺陷检测方法，利用机器学习方法进行图像预处理和光照补偿，再利用已训练好的深度学习网络对超过模糊阈值的图像进行去模糊处理，在确保图像最大真实性的情况下恢复图像，有效去除影响缺陷检测结果的模糊区域，进而提高缺陷检测的正确率。同时，由于物体在相机视野的不同位置会导致采集到的图像会产生畸变，这会使印刷图案边缘被误检成缺陷。为了解决相机畸变带来的误检问题，提出利用模板匹配方法来矫正模板图像和待测图像的位置差异。实验表明，该方法可以有效地改善由于相机畸变导致图像边缘部分误检的壁垒，提升了缺陷检测的准确性。
附图说明
图1缺陷检测流程示意图；
图2去模糊的效果图；
图3去模糊后进行缺陷检测的效果图；
具体实施方法
具体实施方式
一：
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示本发明提供的一种针对模糊成像环境的印刷缺陷检测方法，包含建立模板和缺陷检测两个阶段。
所述建立模板包含如下步骤：
S1、采集不同印刷图案的清晰图像和模糊图像对，制作训练数据集；
S2、利用对抗方式训练去模糊模型DeblurGAN；
S3、采集一组同一印刷图案的无缺陷产品的图像，制作模版图像集合；
S4、选择模版图像，选定感兴趣区域，生成上限图像和下限图像；
所述缺陷检测包含如下步骤：
S5、采集待检测图像，预处理后进行图像配准；
S6、利用上限图像和下限图像进行缺陷检测。
本发明实施例首先利用机器学习方法进行图像预处理和光照补偿。然后在模型训练阶段利用马尔可夫随机过程增强训练数据集，减少模型对数据量的需求。而后利用已训练好的深度学习网络对超过模糊阈值的图像进行去模糊处理，在确保图像最大真实性的情况下恢复图像。接着利用模板匹配使待测图像的感兴趣区域与模板图像的感兴趣区域进行配准。最后检测待测图像的感兴趣区域中每个像素的灰度值是否合法，筛选出缺陷区域。
下面对本发明实施例进行详细的说明：
建立模板包含步骤：
S1、采集不同印刷图案的清晰图像和模糊图像对，制作训练数据集；
训练数据集由基础数据集和增强数据集构成，通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像100对，作为基础数据集；随机选取50张不同印刷图案的清晰图像进行数据增强，作增强数据集，数据增强的具体方法包括以下步骤：
S1-1.利用马尔可夫随机过程生成随机轨迹矢量，再将亚像素插值应用于轨迹矢量来生成模糊核；
每个轨迹矢量都是一个复数矢量，对应着一个连续域中的二维随机运动物体的离散位置，轨迹生成由马尔可夫过程完成，轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的，轨迹矢量的公式如下：
式中，*为卷积操作，M为轨迹矢量长度，Lmax为两个时刻间最大移动长度，本实施例中M＝2000，Lmax＝60，vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量，公式如下：
式中，v0为一个复数，cos(φ)为v0的实部，sin(φ)为v0的虚部，φ∈(0,2π)为随机初始化角度，ps为随机脉冲扰动，旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动，本实施例中ps＝0.001，pg为高斯扰动，I为惯性分量，pg和I服从N(0,0.7)高斯正态分布，nrand为标准正态分布N(0,1)中的单个随机数，St为0-t时段随机生成的轨迹矢量，Dnext为下一个时刻轨迹矢量随机生成的方向，公式如下：
S1-2.利用退化模型获取清晰图像对应的模糊图像，退化模型的公式如下：
B＝W*K+N (4)
其中，B为模糊图像，W为清晰图像，K为模糊核，N为高斯噪声。
S2、利用对抗方式训练去模糊模型DeblurGAN；
通过对抗方式训练生成网络和判别网络，生成网络将模糊图像作为输入并产生预测图像，判别网络计算预测图像和清晰图像的特征差异，并输出它们之间的距离，引导生成网络生成更为清晰的图像。
S3、采集一组同一印刷图案的无缺陷产品的图像，制作模版图像集合；
S3-1.通过工业相机获取10张同一印刷图案的无缺陷产品的图像，作为模版图像集合，然后对其进行预处理，预处理内容包含：通道筛选、灰度化、光照补偿；
当待检测印刷图案色彩较为单一时，利用通道筛选可提高检测准确率，通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作；当待检测印刷图案色彩较为丰富时，利用灰度化降低计算复杂性；当待检测印刷图像光照不均匀时，利用光照补偿减少光源或光路不均匀的影响，光照补偿的公式如下：
其中，Fi(x,y)为图像Fi在(x,y)处的像素灰度值，Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值，u为目标灰度均值，本实施例中u＝125；
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数，模糊分数越低则表明图像的清晰度越高，利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理，并更新模糊分数；清晰度评价函数Tenengrad的计算公式如下：
其中，di为图像Fi的清晰度，t为控制检测计算灵敏度的阈值，本实施例中t＝0.6，G(x,y)为图像Fi在(x,y)处的梯度值，定义如下：
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值，其计算公式如下：
S4、选择模版图像，选定感兴趣区域，生成上限图像和下限图像；
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像；由于整张图像分析会带来较大的计算冗余，通过感兴趣区域的选定可极大的提高缺陷检测效率，根据实际检测任务选定模版图像的感兴趣区域，生成目标图像；
S4-2.印刷图案的成像结果易受光照影响，成像位置不同所获得的光照情况则不同，从而导致相同区域的灰度值产生一定范围的波动，如果直接利用目标图像做缺陷检测会导致较高的误检率；因此，利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键，边缘图像为目标图像提供正常的灰度值波动范围，可有效提高缺陷检测的鲁棒性；
首先利用sobel算子对目标图像进行边缘检测，生成边缘轮廓，再通过膨胀操作填充边缘轮廓，生成边缘图像，边缘检测的计算公式如下：
其中，E(x,y)为模板图像在(x,y)处的边缘梯度值；
上限图像和下限图像的计算公式如下：
Tmax(x,y)＝Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)＝Fm(x,y)-max{a,bE(x,y)} (12)
其中，Fm(x,y)为目标图像Fm在(x,y)处的灰度值，Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值，Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值，a,b为常量，本实施例中a＝30，b＝1.5。
缺陷检测包含步骤：
S5、采集待检测图像，预处理后进行图像配准；
利用工业相机获取待检测图像，通过S3-1中所述内容对待检测图像进行预处理，然后计算模糊分数，利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理，然后利用模板匹配对待检测图像与目标图像做图像配准；
模板匹配方法为基于形状的模板匹配，利用待检测图像相对于目标图像的位置偏移和旋转角度等信息，通过仿射变换将待检测图像最优映射到目标图像位置，进而获得配准图像。
S6、利用上限图像和下限图像进行缺陷检测；
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限，当配准图像中像素点灰度值未在上、下限的范围内时，该像素点则被视为异常像素点，判别像素点是否异常的计算公式如下：
其中，Oj为缺陷检测生成的异常图像，当Oj(x,y)为0时，待检测图像Fj在(x,y)处的像素点正常，当Oj(x,y)为1时，待检测图像Fj在(x,y)处的像素点异常；
将异常图像中相邻的异常像素点连通形成异常区域，计算异常区域的面积，由实际检测要求设定阈值，实施例中异常区域的面积阈值为5个像素点，根据面积阈值筛选出缺陷区域。
最终的实现效果如图3所示，从图中可以看出去模糊后的可以有效提高缺陷检测精度，降低复杂环境和镜头畸变所导致的缺陷误检和漏检现象。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。
