具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种图像目标针对性增强方法，如图1所示，包括以下步骤：

S101、构建并训练自动抠图模型；如图2和图3所示，自动抠图模型包括用于生成目标Mask的分割模块、用于根据分割模块生成的目标Mask产生可抠图的Trimap的Trimap生成模块，以及用于根据Trimap生成模块产生的Trimap，对分割模块生成的目标Mask进行边界修正的抠图模块；

S102、利用训练好的自动抠图模型提取出原始图像中的目标Mask；

S103、对提取出的原始图像中的目标Mask的图像信息特性进行增强，得到增强后的目标部分；需要说明的是，该步骤针对性地只增强提取出的目标部分的颜色、形态等图像信息特性，使原来不清晰的目标变得清晰，强调出目标纹理形态等特征，扩大图像中目标与背景的差距，但能保留背景的原始信息；

S104、将增强后的目标部分的像素值赋值给原始图像中，生成目标增强图像。

在本发明实施例提供的上述图像目标针对性增强方法中，利用自动抠图模型先提取粗略的目标Mask，再用抠图对目标Mask进行修正，然后针对性地仅对图像中所需观察的目标进行增强，扩大图像中目标与背景的差距，同时保留背景原始信息，能使图像在整体不失真的情况下，更加凸显目标，使得对图像中目标的观察能更清晰准确，改善了目标在整图中的视觉效果。

下面以内镜图像为例，将内镜图像中的腺管作为目标进行增强。本发明可以采用基于自动抠图模型提取腺管Mask，再将腺管部分进行增强后，像素赋值给原始图像，从而得到仅针对腺管增强的增强图像。

在具体实施时，在本发明实施例提供的上述图像目标针对性增强方法中，分割模块可以由第一深度学习分割模型Unet构成；第一深度学习分割模型Unet是以图像样本和对应的标注Mask样本作为训练集进行训练的。

当以内镜图像中的腺管为目标时，在分割模块中，基于第一深度学习分割模型Unet提取腺管Mask，该模型根据一定的腺管图像以及腺管标注Mask样本进行训练，得到一定的分割精度之后，固定模块参数，用于提取目标对象的Mask。也就是说该模型是经过事先训练数据准备(腺管图像样本采集、腺管Mask标注)、Unet分割模型训练并调参优化后保存下来的，且所训练出的模型具备能分割出一定精度的腺管Mask的功能。

进一步地，在具体实施时，在本发明实施例提供的上述图像目标针对性增强方法中，如图4所示，第一深度学习分割模型Unet可以包括特征提取部分(左边部分)和上采样部分(右边部分)。在特征提取部分中，输入图片每经过一层卷积层提取一层特征，每经过一层池化层就是一个尺度，即可以输出一个尺度的特征图，以实现在不同尺度上对图像特征进行多尺度特征识别；具体地，模型中总共5个尺度，即模型实现了在5个不同的尺度上对图像特征的多尺度特征识别。在上采样部分中，U-net采用将特征在channel维度拼接在一起的融合方式，每一次上采样均将上采样的输出和对应的特征提取部分的特征输出，在channel通道上进行拼接融合，形成更厚的特征。

如图5所示，第一深度学习分割模型Unet训练就是根据已有图片及对应的Mask，训练出一个Image-To-Image的模型，模型通过对原始图像的学习，生成其对应的预测Mask，再将标注Mask则作为Mask，通过最小化实际标注Mask和模型预测Mask的误差来提升模型的识别分割能力，识别出那些属于腺管的像素，将其分割出。

可以理解的是，本发明在采用分割模块分割提取腺管Mask之后，由于部分腺管存在可视边界不清，边界模糊等特性，提取出的腺管Mask必然会含有部分非腺管部分内容以及杂质，腺管边界或存在一定的误差。所以本发明进一步采用了基于抠图模块产生用于抠图的Trimap，进一步优化腺管Mask，目的是将剔除部分非腺管以及精确腺管边界。

在具体实施时，在本发明实施例提供的上述图像目标针对性增强方法中，Trimap生成模块可以包括膨胀处理部分、骨架提取部分和Trimap产生部分；如图6所示，在膨胀处理部分中，将分割模块生成的目标Mask进行膨胀操作，得到第一前景Mask0(即可能的前景)；在骨架提取部分中，将分割模块生成的目标Mask进行骨架提取和膨胀操作，得到第二前景Mask1(即确定的前景)；在Trimap产生部分中，根据第一前景Mask0和第二前景Mask1，产生用于抠图的与目标Mask同尺度的Trimap。

具体地，Trimap生成模块可以根据分割模块生成的腺管Mask经形态学等图像处理操作产生用于抠图的Trimap。如图7所示，分割腺管Mask经膨胀操作操作后的Mask0作为可能的前景。如图8所示，分割腺管Mask经骨架提取操作之后，再做膨胀，生成新的Mask1，Mask1作为确认的前景。骨架提取，即二值图像细化，将一个连通区域细化成一个像素的宽度，用于特征提取和目标拓扑表示。本发明可以采用Python的Skimage库的morphology子模块中的Skeletonize函数。

新建用于抠图的与分割腺管Mask同尺度的全为0的Trimap，在Trimap中，将Mask0中为白色、Mask1为黑色部分对应点的像素值设置为3(即可能为前景)，将Mask1中白色部分对应点的像素值设置为1(即必为前景)。Trimap如图9所示，图中黑色部分为背景，白色部分为确定的前景。

在具体实施时，在本发明实施例提供的上述图像目标针对性增强方法中，抠图模块可以由第二深度学习分割模型Unet构成；第二深度学习分割模型Unet是以输入图像和Trimap生成模块产生的Trimap进行通道合并后得到的图像作为输入，以边界修正后的目标Mask作为输出。

具体地，基于第二深度学习分割模型Unet以及产生的Trimap，计算得到精确的目标Mask。该抠图模块用于对分割模块已得到的Mask进行边界修正，精确化腺管形态。第二深度学习分割模型Unet与第一深度学习分割模型Unet的结构可以为相同的。

如图10所示，自动抠图模型采用基于深度学习分割模型Unet对图像目标抠图。抠图模块根据输入图像和分割模块生成的Trimap进行通道合并，产生思通道的输入，输入抠图模块，如图11所示，提取腺管边界轮廓细化以及精确化的腺管Mask。

在具体实施时，在本发明实施例提供的上述图像目标针对性增强方法中，步骤S101构建并训练自动抠图模型的步骤中，具体可以包括以下步骤：

步骤一、预先创建与分割模块相同的模型，对该模型进行预训练，得到分割模块参数；

需要说明的是，在执行步骤一之前，需要准备训练数据。图12至图16示出了腺管样本，每组的左图为原始拍摄图像，右图为对应的标注Mark，白色区域代表腺管，黑色区域代表背景。在执行步骤一的过程中，创建分割模块Unet模型，初始化参数，根据以后的腺管样本进行预训练，精度到达一定程度后保存模块参数。

步骤二、构建包含分割模块、Trimap生成模块和抠图模块的自动抠图模块，利用分割模块参数初始化分割模块，并固化分割模块参数；采用随机初始化抠图模块参数训练抠图模块；

具体地，采用步骤一训练所得的分割模块参数初始化自动抠图模型的分割模块，且固化该模块参数，训练时保持不变，抠图模块参数采用随机初始化。

步骤三、将采集的图像样本和对应的标注Mask样本输入至自动抠图模型进行前向计算，输出预测Mask；

具体地，如图17和图18所示，读取一个BatchSize的图片以及实际标注Mask，将图片输入模型进行前向计算；

步骤四、Unet模型计算输出预测Mask，计算预测Mask和实际标注Mask之间的误差；

步骤五、以计算的误差为依据，判断自动抠图模型是否训练好。

在具体实施时，在本发明实施例提供的上述图像目标针对性增强方法中，上述步骤五中以计算的误差为依据，判断自动抠图模型是否训练好，如图19所示，具体可以包括：当计算的误差大于期望值时，根据Adam优化器、学习率、历史权值，计算自动抠图模型中各层的误差以及误差梯度，并将梯度转换为权值增量，更新自动抠图模型中网络层的权值，并再次训练，即再跳转至上述步骤二；当计算的误差小于等于期望值时，结束训练，并固定自动抠图模型的权值和阈值参数，保存当前的自动抠图模型。

在具体实施时，在执行步骤S102时，可以在创建自动抠图模型后，加载训练好的模型中的权重参数，然后利用模型读取腺管图片，开始计算处理，模型会计算输出腺管Mask(即黑色区域为背景、白色区域为腺管)，Mask为与输入图片尺寸相同的二值图。

在具体实施时，在执行步骤S103时，根据提取出的腺管Mask，只将腺管Mask中的增强效果，叠加到原图中，这样不仅保留了原图的背景效果，也更能使腺管的纹理结构更为明显，也使原本不明显的腺管在视觉上得到增强。

腺管增强采用以下公式进行：

ImageO＝α·ImageI-β·ImageGSF

其中，ImageI输入图片，ImageGSF为Opencv的fastGlobalSmootherFilter算法对输入图像ImageI处理后的图，α可取2.0，β可取1.0。需要说明的是，Opencv是一个基于BSD许可(开源)发行的跨平台计算机视觉库，轻量级而且高效，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

接下来，执行步骤S104，将增强图像中的腺管部分的像素值赋值到原始图像中，生成针对目标腺管增强的增强效果图。

图20至图27分别示出了原图与腺管针对性增强后的效果对比图，左边为原图，右边为腺管增强图。可见，本发明可以清晰准确地观察图像中腺管，并且保留了背景的原始信息。

基于同一发明构思，本发明实施例还提供了一种图像目标针对性增强装置，由于该装置解决问题的原理与前述一种图像目标针对性增强方法相似，因此该装置的实施可以参见图像目标针对性增强方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的图像目标针对性增强装置，如图28所示，具体包括：

模型训练单元11，用于构建并训练自动抠图模型；自动抠图模型包括用于生成目标Mask的分割模块、用于根据分割模块生成的目标Mask产生可抠图的Trimap的Trimap生成模块，以及用于根据Trimap生成模块产生的Trimap，对分割模块生成的目标Mask进行边界修正的抠图模块；

目标提取单元12，用于利用训练好的自动抠图模型提取出原始图像中的目标Mask；

目标增强单元13，用于对提取出的原始图像中的目标Mask的图像信息特性进行增强，得到增强后的目标部分；

图像生成单元14，用于将增强后的目标部分的像素值赋值给原始图像中，生成目标增强图像。

在本发明实施例提供的上述图像目标针对性增强装置中，可以通过上述四个模块的相互作用，先提取粗略的目标Mask，再用抠图对目标Mask进行修正，然后针对性地仅对图像中所需观察的目标进行增强，扩大图像中目标与背景的差距，同时保留背景原始信息，能使图像在整体不失真的情况下，更加凸显目标，使得对图像中目标的观察能更清晰准确，改善了目标在整图中的视觉效果。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应地，本发明实施例还公开了一种图像目标针对性增强设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的图像目标针对性增强方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的图像目标针对性增强方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

综上，本发明实施例提供的一种图像目标针对性增强方法，包括：构建并训练自动抠图模型；自动抠图模型包括用于生成目标Mask的分割模块、用于根据分割模块生成的目标Mask产生可抠图的Trimap的Trimap生成模块，以及用于根据Trimap生成模块产生的Trimap，对分割模块生成的目标Mask进行边界修正的抠图模块；利用训练好的自动抠图模型提取出原始图像中的目标Mask；对提取出的原始图像中的目标Mask的图像信息特性进行增强，得到增强后的目标部分；将增强后的目标部分的像素值赋值给原始图像中，生成目标增强图像。这样利用自动抠图模型先提取粗略的目标Mask，再用抠图对目标Mask进行修正，然后针对性地仅对图像中所需观察的目标进行增强，扩大图像中目标与背景的差距，同时保留背景原始信息，能使图像在整体不失真的情况下，更加凸显目标，使得对图像中目标的观察能更清晰准确，改善了目标在整图中的视觉效果。此外，本发明还针对图像目标针对性增强方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的图像目标针对性增强方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。