具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了解决相关技术从连续拍摄得到的多张图像中获取清晰画面的计算复杂度高、计算速度慢的问题，相关技术中出现了以下方法：

方法一：对若干时序连续的动态图像进行滤波处理，从中得到清晰的图像，该方法的主要缺点是不同时序的动态图像的内容会有差异，直接使用滤波并不能完全反应图像中的相应内容的清晰度。

方法二：使用关键部件检测模型与清晰度检测模型计算预测框内清晰图像子块的占比，并根据预测框内清晰图像子块的占比判断图像清晰度是否符合阈值判断清晰度，该方法的主要缺点是模型采用的是ResNet152，内存占用太多，处理速度慢，而且模型的泛化能力不强。

方法三：对分块以后的图像使用sobel算子进行滤波，然后计算分块图像的方差，通过判断筛除空白或失焦图像块后的图像块是否大于阈值来判断图像清晰度，该方法的主要缺点是使用CPU对图像分块与计算sobel滤波，不支持多批次并行处理图像，且sobel算子不是基于图像灰度进行处理，不能将图像主题与背景严格分隔开。

方法四：计算划分图像子块后的子块边缘图的清晰度，然后进行从大到小排序，基于排序后多个子图像块中的前预设数量个子图像块的清晰度确定整个图像的清晰度值，该方法的主要缺点对于预设数量个子图像块为1的场景不通用，具有局限性。

基于此，本申请希望提供一种能够解决上述技术问题的方案，其详细内容将在后续实施例中得以阐述。

根据本申请的实施例，提供了一种图像处理方法。

图1是根据本申请实施例的图像处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S102，获取多张图像，并将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像。

具体地，多张图像可以是采用医疗内窥镜连续拍摄得到的图像，由于连续拍摄时针对的内容是动态的，导致得到的多张图像的内容存在差别，因而，将多张图片的相同内容进行位置对齐，便于后续对多张图片的相同内容进行处理。

在连续拍摄得到的多张图像的数量较多的情况下，为了提高对图像的相同内容进行对齐的效果，可选地，在本申请实施例提供的图像处理方法中，获取多张图像，并将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像包括：获取对目标对象进行连续拍摄得到的多张第一图像；根据拍摄时间顺序对多张第一图像进行分组，并从分组后的图像中获取一组图像，得到多张图像；从多张图像中确定标定图像，并基于标定图像，将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像。

在一种可选的实施方式中，可以采用医学内窥镜中对同一病变部位进行拍摄，得到一段视频，根据预设视频帧数从前到后对该段视频包含的多张图像进行分组，得到多组图像，使得每组图像中的各个图像包含的内容不会发生非常大的变化。

进一步的，为了便于对每组图像中的相同内容进行位置对齐，可以在一组图像中选择标定图像，将其他图像的内容与标定图像的内容进行位置对齐，从而实现多张图像中每张图像的相同内容的对齐。

标定图像的选取对多张图像中的相同内容的确定存在影响，可选地，在本申请实施例提供的图像处理方法中，从多张图像中确定标定图像包括：获取多张图像中第一张图像的拍摄时间和最后一张图像的拍摄时间之间的时间区段，得到目标时间区段；从多张图像中获取拍摄时间位于目标时间区段的目标图像，并将目标图像确定为标定图像。

具体地，由于医学内窥镜的视角并不是固定不动的，因此拍摄到的一组图像的内容具有差异，为了减少边缘区域的图像内容对一组图像的清晰度比较产生的影响，可以选择一张中间时序的图像作为标定图像，使得根据标定图像进行位置转换后的一组图像具有一块较大的共有区域，从而便于对相同内容进行清晰度的计算与比对。

可以采用特征提取和特征匹配的方式获取图像的相同内容，可选地，在本申请实施例提供的图像处理方法中，基于标定图像，将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像包括：对多张图像中的每张图像进行特征提取，得到每张图像的特征点；将多张图像中的每张非标定图像的特征点分别与标定图像的特征点进行匹配，得到多组匹配特征点对集合，其中，非标定图像为多张图像中标定图像以外的图像，匹配特征点对集合为非标定图像与标定图像的相同内容的特征点构成的集合；基于每组匹配特征点对集合，对每张非标定图像的特征点进行位置转换，得到多张位置变换后的图像。

具体地，可以采用ORB算法(Oriented FAST and Rotated BRIEF，快速特征提取与描述)对图像进行特征提取，得到每张图像的特征点，采用BruteForce算法(暴风算法)将标定图像的特征点与非标定图像的特征点进行匹配，得到标定图像与非标定图像的最优匹配特征点对集合，并根据最优匹配特征点对集合对非标定图像的特征点进行位置转换。

可选地，在本申请实施例提供的图像处理方法中，基于每组匹配特征点对集合，对每张非标定图像的特征点进行位置转换，得到多张位置变换后的图像包括：根据每组匹配特征点对集合计算单应性矩阵；根据单应性矩阵对匹配特征点对集合对应的非标定图像的特征点进行位置转换，得到位置变换后的图像。

具体地，计算每个最优匹配特征点对集合对应的单应性矩阵，单应性矩阵表征标定图像与组内其他非标定图片的变换关系，采用单应性矩阵对标定图片以外的图像进行图像变换，从而使得多张图像的相同区域的内容一致。

具体地，单应性矩阵定义如下：

其中[A_2×2，T_2×1]代表仿射变换矩阵，a₁₁、a₁₂、a₂₁、a₂₂、t_x、t_y代表仿射变换参数，t_x、t_y为仿射变换参数中的平移变换参数，V^T＝[v₁,v₂]表示图形变换后边缘交点的关系，v₁、v₂代表投影变换参数，v₁、v₂满足v₁x+v₂y＝1，与分别为直线与x轴与y轴的交点，s代表与V^T＝[v₁,v₂]相关的缩放因子。

步骤S104，对多张位置变换后的图像进行掩膜处理，得到多张包含相同区域内容的图像。

具体地，由于多张位置变换后的图像的相同内容位于相同的位置，可以采用同一个图像掩膜对多张位置变换后的图像进行掩膜处理，实现图像内容的剪裁，得到多张仅包含相同区域内容的图像。

图像掩膜是掩膜处理的关键要素，可选地，在本申请实施例提供的图像处理方法中，在对多张位置变换后的图像进行掩膜处理，得到多张包含相同区域内容的图像之前，该方法还包括：获取每张位置变换后的图像在位置变化的过程中形成的目标区域，得到多个目标区域，其中，目标区域为像素值小于预设值的区域；根据多个目标区域构建图像掩膜，其中，图像掩膜为掩膜处理中使用的掩膜。

具体地，预设值可以为0，目标区域为像素值小于0的区域，也即黑色区域，首先统计所有图像在变换的过程中产生的黑色区域，根据所有图像的黑色区域得到图像掩膜，然后使用得到的图像掩膜对每张图像进行掩膜计算，将多余的图像区域的像素值取0，使得所有的图像都具有相同的像素值为0的边缘区域为，同时具有相同的内容区域。

步骤S106，基于多张包含相同区域内容的图像，确定多张图像中各张图像的清晰度参考信息。

为了在保证图像处理效果降低模型的复杂度，可选地，在本申请实施例提供的图像处理方法中，基于多张包含相同区域内容的图像，确定多张图像中各张图像的清晰度参考信息包括：将多张包含相同区域内容的图像输入图像处理模型，得到多张图像中各张图像的清晰度参考信息；其中，图像处理模型是通过如下方式得到的：根据图像的像素值的二阶导数计算公式确定目标卷积核；基于目标卷积核确定神经网络模型的卷积层的权重参数，得到图像处理模型。

具体地，图像处理模型可以是用于确定图像的边缘清晰程度的模型，而图像的边缘清晰程度可以反映图像的清晰程度，图像处理模型对图像进行处理的结果为清晰度参考信息，清晰度参考信息表征图像的清晰度，例如，清晰度参考信息可以为0到1之间的分值。

具体地，图像处理模型可以为包含一层卷积层的神经网络模型，可以采用设定固定的卷积层的权重参数的方式代替多次训练得到权重参数的方式，达到简化模型训练过程的目的。

而图像处理模型的处理效果取决于卷积层的权重参数，需要说明的是，一个函数的一阶导数在原图像变化大的地方值会相应变大，该现象在图像的边缘位置同样适用，因此可以在图像二阶导数为0的地方得到极大值，从而获取到图像边缘位置，因而，可以基于图像二阶导计算公式确定卷积核参数，也即卷积层的权重参数。

具体地，图像二阶导计算公式如下：

其中，Δf为图像的二阶导数，x和y分别代表图像横坐标与纵坐标方向。

需要说明的是，由于图像内容是离散的，因此可以用差分来近似微分，分别对图像的x方向和y方向求二阶导数。

其中，图像在x方向的一阶导数以及二阶导数分别如下式所示：

其中，图像在y方向的一阶导数以及二阶导数分别如下式所示：

因此，将x方向与y方向合并起来，得到整幅图像的二阶导数：

进一步的，根据上述图像二阶导数的表达式中每一项的系数，可以得到如下3×3的卷积核：

采用上述卷积核作为神经网络模型的卷积层的权重参数，使得神经网络对图像进行处理后，可以得到图像的二阶导数，而图像的二阶导数可以表征图像的边缘区域的清晰晨读，也即，神经网络对图像进行处理的结果可以表征图像的边缘清晰程度。

需要说明的是，由于传统滤波方法计算速度慢，不支持多批次并行运行，而深度模型方法模型过大，速度过慢，通过本实施例，采用图像的二阶偏导数确定卷积核，将卷积核作为神经网络模型的卷积层的权重参数，使得算法可在GPU上并行处理多批次图片，从而快速高效的得到图像的清晰度值。

步骤S108，基于各张图像的清晰度参考信息，从多张图像中确定出清晰度满足预设条件的图像。

确定清晰度满足预设条件的图像的方式可以有多种，可选地，在本申请实施例提供的图像处理方法中，清晰度参考信息包括表征对应的图像的清晰程度的清晰度参考值，基于各张图像的清晰度参考信息，从多张图像中确定出清晰度满足预设条件的图像包括：确定各张图像的清晰度参考值的方差，并将方差最大的清晰度参考值对应的图像，确定为清晰度满足预设条件的图像；或将大于清晰度参考值阈值的清晰度参考值对应的图像，确定为清晰度满足预设条件的图像；或基于各张图像的清晰度参考值的大小，对多张图像的清晰度参考值进行排序，并将排序在指定位置的清晰度参考值对应的图像，确定为清晰度满足预设条件的图像。

具体地，在一种可选的实施方式中，对图像处理模型的处理结果计算方差，也即对图像的清晰度参考信息计算方差，此结果可视为图像的边缘的变化剧烈程度，也即，图像的清晰度检测结果，从而将方差最大的图像确定为清晰度满足预设条件的图像。

其中，方差的计算公式如下：

其中，方差为s²，x为图像的均值，x_i为图像每个位置的像素值，n为图像的像素点个数。

在另一种可选的实施方式中，先确定一个用于衡量清晰度是否满足预设条件的清晰度参考值阈值，将图像处理模型处理得到的各个图像的清晰度参考值分别与清晰度参考值阈值进行比较，将大于清晰度参考值阈值确定为清晰度满足预设条件的图像。

在另一种可选的实施方式中，将各个清晰度参考值进行排序，得到排序结果，可以将排序在最开始的N个值对应的图像确定为清晰度满足预设条件的图像，也可以将排序在最后的N个值对应的图像确定为清晰度满足预设条件的图像，还可以将排序在中间的N个值对应的图像确定为清晰度满足预设条件的图像，本实施例不限定指定位置的具体位置。

本申请实施例提供的图像处理方法，通过获取多张图像，并将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像；对多张位置变换后的图像进行掩膜处理，得到多张包含相同区域内容的图像；基于多张包含相同区域内容的图像，确定多张图像中各张图像的清晰度参考信息；基于各张图像的清晰度参考信息，从多张图像中确定出清晰度满足预设条件的图像，解决了相关技术中从连续拍摄得到的多张图像中获取清晰画面的计算复杂度高、计算速度慢的问题。通过获取每张图像的相同内容，得到多张包含相同区域内容的图像，并采用图像处理模型对得到的图像进行处理，进而达到了高效获取多张图像的清晰画面的效果。

图2是根据本申请实施例的可选的图像处理装置的示意图。如图2所示，该方法包括：

首先，使用医疗内窥镜采集一组图像，选择中间时序的一张图像作为标定图像，将标定图像与组内其余图像进行特征提取与特征匹配，得到最优匹配点对集合；并计算所有最优匹配特征点对集合的单应性矩阵，采用单应性矩阵对标定图像以外的组内其余图像进行变换。

进一步的，计算变换后的所有图像的公共掩膜，并将公共掩膜应用到各个图像，得到剪裁的具有相同内容区域的图像。

最后，将剪裁的图像输入清晰度检测模型，得到每张图像的清晰度得分，取一组图像中的最大清晰度得分对应的图像，即为该组图像中最清晰的图像。

通过本实施例，对一组图片内的非标定图片使用图像配准算法得到与标定图片的对应区域位置，使用掩膜计算得到图片组的公共内容区域，使得图像比较内容相同，接着将对应的区域图像块输入清晰度检测模型，输出每个区域块的清晰度得分，通过比较各个清晰度得分得到清晰度质量最优的图片，提高了获取一组图像中清晰图像的准确度和效率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种图像处理装置，需要说明的是，本申请实施例的图像处理装置可以用于执行本申请实施例所提供的用于图像处理方法。以下对本申请实施例提供的图像处理装置进行介绍。

图3是根据本申请实施例的图像处理装置的示意图。如图3所示，该装置包括：第一获取单元10、第一处理单元20、第二处理单元30和第一确定单元40。

具体地，第一获取单元10，用于获取多张图像，并将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像。

第一处理单元20，用于对多张位置变换后的图像进行掩膜处理，得到多张包含相同区域内容的图像。

第二处理单元30，用于基于多张包含相同区域内容的图像，确定多张图像中各张图像的清晰度参考信息。

第一确定单元40，用于基于各张图像的清晰度参考信息，从多张图像中确定出清晰度满足预设条件的图像。

可选地，在本申请实施例提供的图像处理装置中，第一获单元10包括：获取模块，用于获取对目标对象进行连续拍摄得到的多张第一图像；分组模块，用于根据拍摄时间顺序对多张第一图像进行分组，并从分组后的图像中获取一组图像，得到多张图像；第一确定模块，用于从多张图像中确定标定图像，并基于标定图像，将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像。

可选地，在本申请实施例提供的图像处理装置中，第一确定模块包括：第一获取子模块，用于获取多张图像中第一张图像的拍摄时间和最后一张图像的拍摄时间之间的时间区段，得到目标时间区段；第二获取子模块，用于从多张图像中获取拍摄时间位于目标时间区段的目标图像，并将目标图像确定为标定图像。

可选地，在本申请实施例提供的图像处理装置中，第一确定模块还包括：特征提取子模块，用于对多张图像中的每张图像进行特征提取，得到每张图像的特征点；匹配子模块，用于将多张图像中的每张非标定图像的特征点分别与标定图像的特征点进行匹配，得到多组匹配特征点对集合，其中，非标定图像为多张图像中标定图像以外的图像，匹配特征点对集合为非标定图像与标定图像的相同内容的特征点构成的集合；转换子模块，用于基于每组匹配特征点对集合，对每张非标定图像的特征点进行位置转换，得到多张位置变换后的图像。

可选地，在本申请实施例提供的图像处理装置中，转换子模块包括：计算子模块，用于根据每组匹配特征点对集合计算单应性矩阵；位置转换子模块，用于根据单应性矩阵对匹配特征点对集合对应的非标定图像的特征点进行位置转换，得到位置变换后的图像。

可选地，在本申请实施例提供的图像处理装置中，装置还包括：第二获取单元，用于在对多张位置变换后的图像进行掩膜处理，得到多张包含相同区域内容的图像之前，获取每张位置变换后的图像在位置变化的过程中形成的目标区域，得到多个目标区域，其中，目标区域为像素值小于预设值的区域；构建单元，用于根据多个目标区域构建图像掩膜，其中，图像掩膜为掩膜处理中使用的掩膜。

可选地，在本申请实施例提供的图像处理装置中，第二处理单元30还用于将多张包含相同区域内容的图像输入图像处理模型，得到多张图像中各张图像的清晰度参考信息；其中，图像处理模型是通过如下方式得到的：根据图像的像素值的二阶导数计算公式确定目标卷积核；基于目标卷积核确定神经网络模型的卷积层的权重参数，得到图像处理模型。

可选地，在本申请实施例提供的图像处理装置中，第一确定单元40包括：第二确定模块，用于确定各张图像的清晰度参考值的方差，并将方差最大的清晰度参考值对应的图像，确定为清晰度满足预设条件的图像；或第三确定模块，用于将大于清晰度参考值阈值的清晰度参考值对应的图像，确定为清晰度满足预设条件的图像；或第三确定模块，用于基于各张图像的清晰度参考值的大小，对多张图像的清晰度参考值进行排序，并将排序在指定位置的清晰度参考值对应的图像，确定为清晰度满足预设条件的图像。

本申请实施例提供的图像处理装置，通过第一获取单元10获取多张图像，并将多张图像中每张图像的相同内容进行位置对齐，得到多张位置变换后的图像；第一处理单元20对多张位置变换后的图像进行掩膜处理，得到多张包含相同区域内容的图像；第二处理单元30基于多张包含相同区域内容的图像，确定多张图像中各张图像的清晰度参考信息；第一确定单元40基于各张图像的清晰度参考信息，从多张图像中确定出清晰度满足预设条件的图像，解决了相关技术中从连续拍摄得到的多张图像中获取清晰画面的计算复杂度高、计算速度慢的问题，通过获取每张图像的相同内容，得到多张包含相同区域内容的图像，并采用图像处理模型对得到的图像进行处理，进而达到了高效获取多张图像的清晰画面的效果。

所述图像处理装置包括处理器和存储器，上述第一获取单元10、第一处理单元20、第二处理单元30和第一确定单元40等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中从连续拍摄得到的多张图像中获取清晰画面的计算复杂度高、计算速度慢的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请实施例还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，程序运行时控制非易失性存储介质所在的设备执行一种图像处理方法。

本申请实施例还提供了一种电子装置，包含处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种图像处理方法。本文中的电子装置可以是服务器、PC、PAD、手机等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。