一种基于结构光场视频流的缺陷检测方法和装置
技术领域
本发明涉及计算机视觉与数字视频处理领域，特别是涉及一种基于结构光场视频流的缺陷检测方法和装置。
背景技术
机器视觉缺陷检测是以光学传感器捕获的图像作为输入，通过计算机视觉方法提取物体表面图像特征，进而对其物理缺陷进行识别的技术。与传统人工识别相比，该技术检测精度高，检测速度快，在工业质检领域具有广阔的应用前景。然而，传统图像识别和立体视觉技术大多依赖于图像特征点与纹理信息，面对低纹理或无纹理的待检测物体以及工作场景时往往无能为力；基于结构光的检测技术能够重建物体表面的三维信息，但这类系统造价高昂，检测精度受待检测物体材质、加工工艺影响明显。此外，以上基于传统视觉传感器的方法在检测微小缺陷时鲁棒性差，虚检、漏检较多，处理表面结构复杂的物体时需多次多角度成像，效率低下。
光场成像技术通过特殊的光路结构设计同时捕获包含空间维和角度维的四维光线信息，实现了单曝光多角度立体成像，但光场数据维度高，处理复杂，很难实现实时检测处理，将光场成像技术应用于工业检测应用的相关研究尚处于起步阶段。
需要说明的是，在上述
背景技术
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有机器视觉缺陷检测技术准确性、稳定性、鲁棒性以及实时性较差的问题，本发明提出了一种基于结构光场视频流的缺陷检测方法和装置。
为实现上述目的，本发明采用以下技术方案：
一种基于结构光场视频流的缺陷检测方法，包括如下步骤：
A1：构建包含基于主动式编码结构光源和光场视觉传感器的检测装置；
A2：使用白图像对所述光场视觉传感器进行标定，根据标定结果对所述光场视觉传感器获取的结构光场视频流进行解码，得到实时微透镜图像视频流；
A3：对所述实时微透镜图像视频流进行运动校正、灰度校正以及感兴趣区域校正后计算帧间相似度，建立对微透镜的局部缺陷检测结果；
A4：利用光场视频的空域、时域相关性，统计缺陷特征在相邻微透镜上的分布情况，得到最终的结构光场视频缺陷检测结果。
进一步地：
所述检测装置包含能够发光并显示特定编码图案的主动式编码结构光源系统和具备光场视频流采集能力的光场视觉传感器系统，其中所述主动式编码结构光源系统发出的光经待检测物体反射后被所述光场视觉传感器系统所捕获；其中，所述主动式编码结构光源系统由计算机程序控制，能够根据程序的要求在指定时间显示指定的编码图案，优选地，所述编码图案包括二维方波条纹、二维正弦波条纹、二维棋盘格中的一种或多种；所述光场视觉传感器系统包括一至多台具备单曝光立体成像功能的视觉传感器设备，优选地，采用基于多路复用技术的光场相机或相机阵列式光场相机。
所述步骤A2中：
对于光场视觉传感器捕获的白图像，使用边缘检测算法对白图像中对应的微透镜中心进行初始估计后，将微透镜中心初始估计值输入与相机微透镜分布对应的优化模型，经过非线性优化后得到与光场视觉传感器微透镜几何分布对应的网格矢量，进而得到微透镜中心的精确像素坐标；优选地，具体操作如下：
上式中：
r—微透镜几何分布网格矢量；
θ—与微透镜阵列匹配的微透镜角度分布参数；
H—从像素坐标系到微透镜坐标系的变换矩阵；
xk,yk—第k个微透镜中心的像素坐标值的初始估计；
rrefined—优化后的微透镜几何分布网格矢量；
Hrefined—根据rrefined生成的新变换矩阵；
xk,refined,yk,refined—第k个微透镜中心的精确像素坐标值。
优选地，光场视频流指使用光场视觉传感器连续采集的光场图像序列；对序列中的每一帧光场原始图像，遍历所述标定结果中的所有微透镜中心，以其精确像素坐标值xi,refined,yi,refined为中心，选择与微透镜尺寸相近的邻域大小进行分割，得到实时微透镜图像视频流。
所述步骤A3包括：
A31：对实时微透镜图像视频流进行灰度校正；
A32：对实时微透镜图像视频流进行感兴趣区域(ROI)校正；
A33：对实时微透镜图像视频流进行运动校正；
A34：根据校正后的帧差视频流实时计算帧间相似度，建立对微透镜的局部缺陷检测结果。
所述步骤A31中：
对于步骤A2得到的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，计算两帧图像灰度均值，并对灰度较小的一帧进行线性变换以得到灰度变化一致的视频流；优选地，具体操作如下：
上式中：
I(t)—t时刻的实时微透镜图像；
Δt—光场视觉传感器的帧采样间隔；
I(t+Δt)—t时刻后的第一帧微透镜图像；
I′(t)—t时刻灰度校正后的实时微透镜图像。
所述步骤A32中：
对于步骤A31得到的灰度一致的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，计算两帧图像ROI的交集部分作为新的ROI，去除ROI以外的无效信息；优选地，具体操作如下：
I″(t)＝∩{Bin[I′(t)],Bin[I′(t+Δt)]}·I′(t) (6)
上式中：
Bin()—二值化运算；
I″(t)—t时刻ROI校正后的实时微透镜图像。
所述步骤A33中：
对于步骤A32得到的灰度、ROI一致的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，移动前帧的位置并计算不同位移对应的帧间MSE，具有最小MSE值的位移即为两帧间的最佳运动估计，根据该估计值可对前帧运动误差进行修正；优选地，具体操作如下：
It″′(i,j)＝It″(i+ut,j+vt) (9)
上式中：
It″—t时刻灰度、ROI一致的实时微透镜图像；
M,N—微透镜图像尺寸；
i,j—用于遍历的微透镜图像像素坐标；
u,v—用于遍历的帧间位移估计；
MSEt—t时刻对应所有用于遍历的帧间位移估计的MSE值；
ut,vt—t时刻的最佳帧间运动估计；
It″′—t时刻灰度、ROI一致、无运动误差的实时微透镜图像。
所述步骤A34中：
对于步骤A33得到的灰度、ROI一致且无运动误差的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，选择适合具体任务的相似性测度函数，对帧间相似度设置阈值判断，输出对微透镜的局部缺陷检测结果；优选地，具体操作如下：
Result(t)＝Bin[Similarity(I″′t,I″′t+Δt)] (10)
上式中：
Similarity()—相似性测度函数；
Result(t)—t时刻该微透镜的局部缺陷检测结果。
所述步骤A4包括：
A41：利用光场图像的空域相关性，统计缺陷特征在相邻微透镜上的分布情况，建立单帧差光场图像中的缺陷位置检测结果；
A42：利用光场视频的时域相关性，统计缺陷位置在相邻帧间的变化规律，建立最终的结构光场视频缺陷检测结果。
优选地，所述步骤A41中：
使用步骤A34所得到的微透镜实时局部缺陷检测结果，生成一系列具有缺陷的微透镜中心空间位置分布，计算当前光场图像帧各处对应的缺陷微透镜密度，密度越大则存在物理缺陷的可能性越大；更优选地，具体操作如下：
FrameResult(k)＝Bin[D(k)] (12)
上式中：
Dist()—距离测度函数，包括但不限于欧氏距离、高斯距离等；
S—当前帧存在缺陷的微透镜总数；
D(k)—第k个微透镜中心处的缺陷密度；
FrameResult(k)—当前帧第k个微透镜中心处的缺陷位置检测结果。
优选地，所述步骤A42中：
使用步骤A41所得到的单帧差光场图像缺陷位置检测结果，对于可能存在物理缺陷的区域，如果该区域在相邻的数帧之间均检出缺陷，且区域位置在各帧间移动速度与检测装置设定的物体移动速度接近，则判断该位置存在缺陷的可能性较大；在光场视频流上对这种存在时域相关性的缺陷位置进行实时标记和输出。
一种基于结构光场视频流的缺陷检测装置，包括处理器和基于主动式编码结构光源和光场视觉传感器的检测装置，所述处理器执行计算机可读存储介质上的计算机程序时，实现所述的基于结构光场视频流的缺陷检测方法的步骤A2-A4。
本发明具有如下有益效果：
本发明提出了一种基于结构光场视频流的缺陷检测方法和装置，结合编码结构光技术与光场成像技术，利用主动式编码结构光源将待检测物体表面物理缺陷转化为物体表面反射编码图案的几何畸变，利用光场成像在更高的维度上通过更少的曝光次数捕捉这种几何畸变，将传统相机视域内的大范围不明显畸变转化为光场微透镜图像水平上具有空域相关性的小范围显著畸变。与现有方法相比，本发明的方法能够有效提升结构光缺陷检测的准确度与稳定性，解决了复杂工件光场视觉缺陷检测“从无到有”的问题，同时显著提升了光场视频检测方法的实时性，对于精密机械加工等行业以及光场成像技术的推广应用具有重要意义。
附图说明
图1为本发明实施例的基于结构光场视频流的缺陷检测方法的流程图。
具体实施方式
以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
本发明提出一种基于结构光场视频流的缺陷检测方法和装置，主要思路为：结合编码结构光技术与光场成像技术，利用主动式编码结构光源将待检测物体物理缺陷转化为编码图案的几何畸变，利用光场成像在更高的维度上通过更少的曝光次数捕捉这种几何畸变，将传统相机视域内的大范围不明显畸变转化为光场微透镜图像水平上具有空域相关性的小范围显著畸变，实现了对于多种材质物体物理缺陷的准确、高效且稳定的检测。在一些实施例中，如图1所示，所述缺陷检测方法包括如下步骤：
A1：构建包含基于主动式编码结构光源、光场视觉传感器的检测装置；
A2：使用白图像对光场视觉传感器进行标定，根据标定结果对该传感器获取的结构光场视频流进行解码，得到实时微透镜图像视频流；
A3：对实时微透镜图像视频流进行灰度校正、感兴趣区域校正以及运动校正后计算帧间相似度，建立对微透镜的局部缺陷检测结果；
A4：利用光场视频的空域、时域相关性，统计缺陷特征在相邻微透镜上的分布情况，得到最终的结构光场视频缺陷检测结果。
在具体实施例中执行以上步骤时，可以按照以下方式操作。需注意的是，在实施过程中所采用的具体方法都仅为举例说明，本发明所涵盖的范围包括但不局限于所列举的以下具体方法。
A1：构建包含基于主动式编码结构光源、光场视觉传感器的检测装置。
具体地，装置包含能够发光并显示特定编码图案的主动式编码结构光源系统和具备光场视频流采集能力的光场视觉传感器系统。主动式编码结构光源系统由计算机程序控制，能够根据程序的要求在指定时间显示指定的编码图案。编码图案包括但不限于二维方波条纹、二维正弦波条纹、二维棋盘格等包含空间调制信息的图案，光源系统硬件载体包括但不限于编码图案覆盖的摄影灯、灯箱以及可由计算机程序控制的电子显示屏等显示设备。光场视觉传感器系统由一至多台具备单曝光立体成像功能的视觉传感器设备构成，其硬件载体包括但不限于基于多路复用技术的光场相机、相机阵列式光场相机以及其他能够通过解码得到光场图像的立体成像设备。系统中光源系统发出的光经待检测物体反射后被光场视觉传感器系统所捕获。
A2：使用白图像对光场视觉传感器进行标定，根据标定结果对该传感器获取的结构光场视频流进行解码，得到实时微透镜图像视频流。
具体地，对于光场视觉传感器捕获的白图像，使用Hough圆变换等传统边缘检测算法对白图像中对应的微透镜中心进行初始估计后，将微透镜中心初始估计值输入与相机微透镜分布对应的优化模型，经过非线性优化后得到与光场视觉传感器微透镜几何分布对应的网格矢量，进而得到微透镜中心的精确像素坐标。具体操作如下：
上式中：
r—微透镜几何分布网格矢量；
θ—与微透镜阵列匹配的微透镜角度分布参数；
H—从像素坐标系到微透镜坐标系的变换矩阵；
xi,yi—第i个微透镜中心的像素坐标值的初始估计；
rrefined—优化后的微透镜几何分布网格矢量；
Hrefined—根据rrefined生成的新变换矩阵；
xi,refined,yi,refined—第i个微透镜中心的精确像素坐标值。
光场视频流指使用光场视觉传感器连续采集的光场图像序列。对序列中的每一帧光场原始图像，遍历上述标定结果中的所有微透镜中心，以其精确像素坐标值xi,refined,yi,refined为中心，选择与微透镜尺寸相近的邻域大小进行分割，即可得到实时微透镜图像视频流。
A3：对实时微透镜图像视频流进行灰度校正、感兴趣区域校正以及运动校正后计算帧间相似度，建立对微透镜的局部缺陷检测结果。
A31：对实时微透镜图像视频流进行灰度校正；
具体地，对于步骤A2得到的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，计算两帧图像灰度均值，并对灰度较小的一帧进行线性变换以得到灰度变化一致的视频流。具体操作如下(假设灰度较小的一帧为前帧)：
上式中：
I(t)—t时刻的实时微透镜图像；
Δt—光场视觉传感器的帧采样间隔；
I(t+Δt)—t时刻后的第一帧微透镜图像；
I′(t)—t时刻灰度校正后的实时微透镜图像。
A32：对实时微透镜图像视频流进行感兴趣区域(ROI)校正；
具体地，对于步骤A31得到的灰度一致的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，计算两帧图像ROI的交集部分作为新的ROI，去除ROI以外的无效信息。具体操作如下：
I″(t)＝∩{Bin[I′(t)],Bin[I′(t+Δt)]}·I′(t) (6)
上式中：
Bin()—二值化运算；
I″(t)—t时刻ROI校正后的实时微透镜图像。
A33：对实时微透镜图像视频流进行运动校正；
具体地，对于步骤A32得到的灰度、ROI一致的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，移动前帧的位置并计算不同位移对应的帧间MSE，具有最小MSE值的位移即为两帧间的最佳运动估计，根据该估计值即可对前帧运动误差进行修正。具体操作如下：
I″′t(i,j)＝It″(i+ut,j+vt) (9)
上式中：
It″—t时刻灰度、ROI一致的实时微透镜图像；
M,N—微透镜图像尺寸；
u,v—用于遍历的帧间位移估计；
MSEt—t时刻对应所有用于遍历的帧间位移估计的MSE值；
ut,vt—t时刻的最佳帧间运动估计；
It″′—t时刻灰度、ROI一致、无运动误差的实时微透镜图像。
A34：根据校正后的帧差视频流实时计算帧间相似度，建立对微透镜的局部缺陷检测结果。
具体地，对于步骤A33得到的灰度、ROI一致且无运动误差的实时微透镜图像视频流，截取其中相邻的两帧微透镜图像，选择适合具体任务的相似性测度函数(包括但不限于绝对误差、均方误差、二维相关系数、频谱相关系数等相似性测度)，对帧间相似度设置阈值判断，输出对微透镜的局部缺陷检测结果。具体操作如下：
Result(t)＝Bin[Similarity(I″′t,I″′t+Δt)] (10)
上式中：
Similarity()—相似性测度函数；
Result(t)—t时刻该微透镜的局部缺陷检测结果。
该方法可输出对于每一个微透镜的实时局部缺陷检测结果。
A4：利用光场视频的空域、时域相关性，统计缺陷特征在相邻微透镜上的分布情况，得到最终的结构光场视频缺陷检测结果。
A41：利用光场图像的空域相关性，统计缺陷特征在相邻微透镜上的分布情况，建立单帧差光场图像中的缺陷位置检测结果；
具体地，使用步骤A34所得到的微透镜实时局部缺陷检测结果，生成一系列具有缺陷的微透镜中心空间位置分布，计算当前光场图像帧各处对应的缺陷微透镜密度，密度越大则存在物理缺陷的可能性越大。具体操作如下：
FrameResult(k)＝Bin[D(k)] (12)
上式中：
Dist()—距离测度函数，包括但不限于欧氏距离、高斯距离等；
S—当前帧存在缺陷的微透镜总数；
D(k)—第k个微透镜中心处的缺陷密度；
FrameResult(k)—当前帧第k个微透镜中心处的缺陷位置检测结果。
A42：利用光场视频的时域相关性，统计缺陷位置在相邻帧间的变化规律，建立最终的结构光场视频缺陷检测结果。
具体地，使用步骤A41所得到的单帧差光场图像缺陷位置检测结果，对于可能存在物理缺陷的区域，如果该区域在相邻的数帧之间均检出缺陷，且区域位置在各帧间移动速度与检测装置设定的物体移动速度接近，则该位置存在缺陷的可能性较大。在光场视频流上对这种存在时域相关性的缺陷位置进行实时标记和输出，即可得到最终的实时结构光场视频缺陷检测结果。
本发明基于结构光场视频流的缺陷检测方法和装置，结合编码结构光技术与光场成像技术，在更高的维度上捕捉表面缺陷在光场视频流中导致的编码图案几何畸变，提高了机器视觉缺陷检测的准确度与稳定性。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：透明基板薄膜的瑕疵检测方法及其系统
