一种基于像素分类和距离回归的细胞核图像分割方法
技术领域
本发明属于医学图像处理
技术领域
，具体是一种基于像素分类和距离回归的细胞核图像分割方法。背景技术
细胞核图像分割是指通过使用一系列计算机视觉方法对细胞核图像进行处理，将细胞核从复杂的背景区域提取出来；这项任务是数字病理工作流程的基本前提，对于癌症诊断，评级，预测具有重要意义；现有的细胞核图像分割方法可以分为两大类：一类是传统的细胞核图像分割方法，另一类是基于深度学习的细胞核图像分割方法。
然而，传统的细胞核图像分割方法主要是通过人工提取的像素值、形状等特征完成细胞核图像的分割，过渡的依赖于人工选取的特征；大多数的细胞核图像分割方法仅通过像素分类的方法构建双分支子网络分别提取细胞核图像的前景分类特征和边界分类特征，并且将这些提取的到的特征进行简单的后处理生成最终的分割结果；由于细胞核图像制作过程中切片厚度不一，细胞核的边界常常是模糊和不清晰的，这种基于像素分类的方法在复杂粘连的场景下会导致粘连密集的细胞核欠分割。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种基于像素分类和距离回归的细胞核图像分割方法。
为实现上述目的，本发明采用了如下技术方案：
一种基于像素分类和距离回归的细胞核图像分割方法，包括以下步骤：
(1)对输入图像提取特征：
将输入图像输入到主干网络中提取不同分辨率的图像层级特征；
(2)构建上采样双分支解码网络：
构建上采样双分支解码网络，基于所述双分支解码网络，对步骤(1)中所述不同分辨率的图像层级特征分别进行上采样恢复图像分辨率，得到不同层级的像素分类特征和距离回归特征；
(3)构建全局信息感知模块：
构建全局信息感知模块，基于所述全局信息感知模块，对步骤(2)中所述像素分类特征和所述距离回归特征进行处理，通过注意力机制对步骤(1)中所述不同分辨率的图像层级特征进行筛选；
(4)构建特征聚合模块：
构建特征聚合模块，基于步骤(2)中所述双分支解码网络，构建基于像素分类和距离回归的双分支特征聚合模块，对位于同一特征级的像素分类特征和距离回归特征进行特征聚合，在最后一个特征聚合模块中得到最终的像素分类输出结果和距离回归输出结果；
(5)算法网络的训练阶段：
在训练数据集上，对步骤(4)中所述像素分类输出结果和所述距离回归结果，采用监督学习机制，分别通过最小化交叉熵损失函数和均方误差损失函数，完成算法网络训练，得到网络模型参数；
(6)算法网络的测试阶段：
在测试数据集上，利用步骤(5)得到的所述网络模型参数，对步骤(4)中得到的像素分类输出结果和距离回归输出结果，通过基于标记控制分水岭的后处理技术，得到最终的细胞核图像分割结果。
优选的，所述步骤(1)中的输入图像为细胞核原图像。
优选的，所述步骤(1)中的主干网络为ResNet-50网络，且所述主干网络参数是共享的。
优选的，所述步骤(1)中，通过ResNet-50网络提取生成的细胞核图像的5个不同分辨率的图像层级特征F0，F1，F2，F3，F4，其中，每个特征的通道数分别为64、256、512、1024、2048。
优选的，所述步骤(2)中的上采样双分支解码网络是将所述步骤(1)中的最高层特征F4作为输入，恢复图像分辨率，分别得到不同层级的像素分类特征和距离回归特征
优选的，所述步骤(3)中所述的全局信息感知模块，是将所述步骤(1)得到的层级特征F1，F2，F3，和所述步骤(2)双分支上采样的特征作为输入，分生成像素分类全局注意特征和
优选的，所述步骤(3)还包括以下步骤：
(31)对于编码网络ResNet-50网络提取的特征记为高层级特征，记其为Fi表示，其中，i＝4；
(311)对所述步骤(31)中的高级特征F1，F2，F3进行全局平均池化；
(312)对所述步骤(31)中的高级特征F1，F2，F3进行上采样；
(313)将Sigmoid函数作用于所述步骤(311)的结果，表示如下：
βi＝S(G(Fi))，
其中，S(·)是Sigmoid函数，G(·)表示全局平均池化，i＝1,2,3分别表示不同分辨率的高级特征；
(32)低层级特征输入为所述步骤(2)中的上采样双分支解码模块所得到的上采样特征；其中像素分类特征记为距离回归特征记为其中，i＝1,2,3；
(321)对所述步骤(32)中的低级特征进行空间可分离卷积；
(322)将所述步骤(321)生成的图像特征与所述步骤(313)中结果进行元素级相乘，得到新的特征；
(323)将所述步骤(322)中的结果与所述步骤(312)中的结果进行元素级相加操作；
所述步骤(3)的像素分类分支和距离回归分支的全局信息感知模块可表示如下：
其中，Upsmple(·)是上采样操作，S(·)是Sigmoid函数，G(·)表示全局平均池化，Spconv(·)表示空间可分离卷积，i＝1,2,3分别表示不同分辨率的特征。
优选的，所述步骤(4)中的构建基于像素分类和距离回归的双分支特征聚合模块，包括以下步骤：
(41)将所述步骤(3)中的结果与所述步骤(2)中的结果进行像素级相加作为所述步骤(4)的输入；
(42)将所述步骤(41)得到的像素分类特征图和距离回归特征图，分别进行卷积，并将卷积后的特征图进行级联；
(43)对所述步骤(42)的结果进行卷积，并且与所述步骤(41)的结果进行像素级相加；
所述步骤(4)的像素分类分支和距离回归分支的信息聚合模块可表示如下：
其中,Cat(·)表示特征通道级联,Conv(·)表示3×3卷积。
优选的，所述步骤(5)中的网络训练过程，该网络的训练过程中监督共分为两部分：用于像素分类的损失为交叉熵损失函数，以及用于距离回归的损失为归一化坐标的均方误差损失函数。
优选的，所述步骤(6)使用所述步骤(5)已训练好的网络模型参数对图像进行测试，生成像素分类结果图和距离回归结果图，再通过后处理技术，将距离回归图取反，作为像素分类图的标记，使用标记控制分水岭算法得到最终的细胞核图像分割结果图。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1)不需要人工设计和提取特征，能够实现细胞核图像完整一致的分割，仿真结果表明本发明在粘连重叠条件下分割结果基本不受到影响；
2)本发明整体上由用于特征提取的编码网络和用于生成像素分类图和距离回归图的双分支解码网络两部分组成；该方法的核心是使用像素分类得到边界信息的像素分类图，使用距离回归得到具有定位信息的距离图，将两种分割原理有效的结合能够改善细胞核图像的分割效果；
3)本发明将从网络提取特征，通过构建全局信息感知模块，该模块可以将高级特征通过注意力机制对低级特征进行筛选，进而更好的引导低级特征，从而增强了细胞核与背景之间的特征对比；
4)本发明将从解码网络中提取特征，通过构建特征聚合模块，解码分支网络上，构建了基于像素分类和距离回归的特征聚合模块，对同一特征级的像素分类图和距离回归图进行聚合，更好的利用了像素分类和距离回归之间的语义相关性和空间相关性，既捕捉到了两个任务的相关性，也保留了两个任务之间的差异性。
附图说明
图1为本发明的训练流程图；
图2为本发明的测试流程图；
图3为本发明的网络整体框架一(水平版)；
图4为本发明的网络整体框架二(垂直版)；
图5为本发明中全局信息感知注意力模块示意图；
图6为本发明中特征聚合模块示意图；
图7为本发明中后处理技术示意图。
具体实施方式
以下结合附图1-7，进一步说明本发明一种基于像素分类和距离回归的细胞核图像分割方法的具体实施方式。本发明一种基于像素分类和距离回归的细胞核图像分割方法不限于以下实施例的描述。
实施例：
本实施例给出一种基于像素分类和距离回归的细胞核图像分割方法的具体实施方式，如图1-7所示，包括以下步骤：
(1)对输入图像提取特征：
将输入图像输入到主干网络中提取不同分辨率的图像层级特征；
(2)构建上采样双分支解码网络：
构建上采样双分支解码网络，基于双分支解码网络，对步骤(1)中不同分辨率的图像层级特征分别进行上采样恢复图像分辨率，得到不同层级的像素分类特征和距离回归特征；
(3)构建全局信息感知模块：
构建全局信息感知模块，基于全局信息感知模块，对步骤(2)中像素分类特征和距离回归特征进行处理，通过注意力机制对步骤(1)中不同分辨率的图像层级特征进行筛选；
(4)构建特征聚合模块：
构建特征聚合模块，基于步骤(2)中双分支解码网络，构建基于像素分类和距离回归的双分支特征聚合模块，对位于同一特征级的像素分类特征和距离回归特征进行特征聚合，在最后一个特征聚合模块中得到最终的像素分类输出结果和距离回归输出结果；
(5)算法网络的训练阶段：
在训练数据集上，对步骤(4)中像素分类输出结果和距离回归结果，采用监督学习机制，分别通过最小化交叉熵损失函数和均方误差损失函数，完成算法网络训练，得到网络模型参数；
(6)算法网络的测试阶段：
在测试数据集上，利用步骤(5)得到的网络模型参数，对步骤(4)中得到的像素分类分支输出结果和距离回归分支输出结果，通过基于标记控制分水岭的后处理技术，得到最终的细胞核图像分割结果。
具体地，步骤(1)中的输入图像为细胞核原图像。
具体地，步骤(1)中的主干网络为ResNet-50网络，且主干网络参数是共享的。
具体地，步骤(1)中，通过ResNet-50网络提取生成的细胞核图像的5个不同分辨率的图像层级特征F0，F1，F2，F3，F4，其中，每个特征的通道数分别为64、256、512、1024、2048。
具体地，步骤(2)中的上采样双分支解码网络是将步骤(1)中的最高层特征F4作为输入，恢复图像分辨率，分别得到不同层级的像素分类特征 和距离回归特征
进一步的，步骤(3)中的全局信息感知模块，是将步骤(1)得到的层级特征F1，F2，F3，和步骤(2)双分支上采样的特征作为输入，分生成像素分类全局注意特征和
进一步的，步骤(3)还包括以下步骤：
(31)对于编码网络ResNet-50网络提取的特征记为高层级特征，记其为Fi表示，其中，i＝4；
(311)对步骤(31)中的高级特征F1，F2，F3进行全局平均池化；
(312)对步骤(31)中的高级特征F1，F2，F3进行上采样；
(313)将Sigmoid函数作用于步骤(311)的结果，表示如下：
βi＝S(G(Fi))，
其中，S(·)是Sigmoid函数，G(·)表示全局平均池化，i＝1,2,3分别表示不同分辨率的高级特征；
(32)低层级特征输入为步骤(2)中的上采样双分支解码模块所得到的上采样特征；其中像素分类特征记为距离回归特征记为其中，i＝1,2,3；
(321)对步骤(32)中的低级特征进行空间可分离卷积；
(322)将步骤(321)生成的图像特征与步骤(313)中结果进行元素级相乘，得到新的特征；
(323)将步骤(322)中的结果与步骤(312)中的结果进行元素级相加操作；
步骤(3)的像素分类分支和距离回归分支的全局信息感知模块可表示如下：
其中，Upsmple(·)是上采样操作，S(·)是Sigmoid函数，G(·)表示全局平均池化，Spconv(·)表示空间可分离卷积，i＝1,2,3分别表示不同分辨率的特征。
进一步的，步骤(4)中的构建基于像素分类和距离回归的双分支特征聚合模块，包括以下步骤：
(41)将步骤(3)中的结果与步骤(2)中的结果进行像素级相加作为步骤(4)的输入；
(42)将步骤(41)得到的像素分类特征图和距离回归特征图，分别进行卷积，并将卷积后的特征图进行级联；
(43)对步骤(42)的结果进行卷积，并且与步骤(41)的结果进行像素级相加；
步骤(4)的像素分类分支和距离回归分支的信息聚合模块可表示如下：
其中,Cat(·)表示特征通道级联,Conv(·)表示3×3卷积。
进一步的，步骤(5)中的网络训练过程，该网络的训练过程中监督共分为两部分：用于像素分类的损失为交叉熵损失函数，以及用于距离回归的损失为归一化坐标的均方误差损失函数。
进一步的，步骤(6)使用步骤(5)已训练好的网络模型参数对图像进行测试，生成像素分类结果图和距离回归结果图，再通过后处理技术，将距离回归图取反，作为像素分类图的标记，使用标记控制分水岭算法得到最终的细胞核图像分割结果图。
通过采用上述技术方案：
首先，构建编码网络，对输入图像提取特征，将输入图像输入到主干网络中提取不同分辨率的图像层级特征；
然后，构建双分支上采样解码网络，对编码网络的特征进行上采样恢复图像分辨率，分别得到不同层级的像素分类特征和距离回归特征；
然后，构建全局信息感知模块，使用编码网络的不同层级特征通过注意力机制对像素分类特征和距离回归特征进行筛选；
再然后，构建特征聚合模块，在解码网络中对位于同一特征级的像素分类特征和距离回归特征进行特征聚合，在最后一个特征聚合模块中得到像素分类结果和距离回归结果；
再然后，采用监督学习机制，对像素分类分支和距离回归分支分别使用最小化交叉嫡损失函数和均方误差函数对模型进行监督；
最后，训练算法网络得到模型参数，测试算法网络模型得到像素分类图和距离回归图，使用标记控制分水岭后处理算法得到最终的分割结果。
具有以下优点：
本发明不需要人工设计和提取特征，能够实现细胞核图像完整一致的分割，仿真结果表明本发明在粘连重叠条件下分割结果基本不受到影响。
本发明整体上由用于特征提取的编码网络和用于生成像素分类图和距离回归图的双分支解码网络两部分组成。该方法的核心是使用像素分类得到边界信息的像素分类图，使用距离回归得到具有定位信息的距离图，将两种分割原理有效的结合能够改善细胞核图像的分割效果。
本发明将从网络提取特征，通过构建全局信息感知模块，该模块可以将高级特征通过注意力机制对低级特征进行筛选，进而更好的引导低级特征，从而增强了细胞核与背景之间的特征对比。
本发明将从解码网络中提取特征，通过构建特征聚合模块，解码分支网络上，构建了基于像素分类和距离回归的特征聚合模块，对同一特征级的像素分类图和距离回归图进行聚合，更好的利用了像素分类和距离回归之间的语义相关性和空间相关性，既捕捉到了两个任务的相关性，也保留了两个任务之间的差异性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
