一种融合微分几何信息的脑分割方法
技术领域
本发明涉及医学图像处理
技术领域
，更具体地，涉及一种融合微分几何信息的脑分割方法。背景技术
脑功能成像一般选择核磁共振技术(MRI)，这是由于MRI医学图像对密度差较小的软组织具有高对比度及空间分辨率，从而被广泛应用到脑部疾病分析中。MRI主要特点是能够将软组织、解剖结构和病变形态清晰显示，对病灶进行多方位及多序列成像，为临床诊断提供丰富的信息，并且相对于其他医学影像，MRI具有对人体电离辐射损伤小且无创等特点。然而，实际的大脑影像当中，灰质和白质强度差别小、对比度不高、沟回较多、运动伪影、部分容积效应等，导致最后的分割结果不够精确。所以脑部MRI图像的精准分割对医学诊断的意义重大。
图像分割是医学图像处理的关键和常用技术，在临床和科研方面得到广泛应用：例如病变过程可视化、手术规划、病灶识别和三维定位等。所谓分割，是指将目标特征从影像背景中提取出来，以便后续的临床测量与分析。深度学习方法在医学图像分割领域具有至关重要的作用，依靠神经网络强大的算力在影像目标的预测和分割上取得良好效果。
近几年，国内外的医学图像分割领域的研究主要分为两大类：基于传统的分割方法和基于深度学习的方法。传统的分割方法主要基于图像的几何、灰度、纹理等进行判断。常见的表征是灰度，主要包括阈值、区域、边界、聚类等信息，通过对灰度值的分布、大小的计算，来对分割目标进行判断。例如基于阈值的方法基础是不同组织间的灰度值大小不同，通过灰度值的大小对比，就可判定目标区域。在实际应用中，由于不同组织间对比度低，图像上就表现为灰度值接近和纹理特征类似，这导致传统方法的分割结果不够精确。最近随着硬件进步，出现许多基于深度学习的框架，使得分割算法显著提高了运行速度和分割精度，主要有两种方法：1)利用卷积神经网络(Convolutional Neural Networks，CNN)提取分割所需的全局和局部特征；2)利用全卷积网络(Fully Convolutional Networks，FCN)对全尺寸图像进行像素级预测，对传统方法的定位性能进行迭代。根据深度学习的种类划分，可以划分为基于监督学习的分割与基于非监督学习的分割两大类方法。然而目前基于深度学习方法进行图像分割的技术方案，由于图像通常灰度不均匀、边缘不明显等，仍存在分割效果不佳的问题。
发明内容
本发明目的是克服现有技术缺陷，提供一种融合微分几何信息的脑分割方法，该方法包括：
步骤S1：对MR图像集进行标准化预处理，其中，所述MR图像集包括T1加权的脑部正常组织MR图像集或脑部肿瘤多模态MR图像集；
步骤S2：在MR图像集的预处理结果中引入雅克比行列式和Laplace算子，以通过微分几何处理强调图像边缘信息；
步骤S3：对经微分几何处理MR图像集进行数据增强，获得增强数据集；
步骤S4：利用所述增强的数据集训练神经网络模型，实现图像分割并将分割结果进行重建，进而输出对分割结果的预测。
与现有技术相比，本发明的优点在于，基于神经网络框架，提出一种引入微分几何信息的分割网络，充分利用图像的组织边缘信息，提升网络的分割精度。本发明构建的脑部组织和肿瘤分割网络可以达到更好的性能，帮助医生分析病情、减少误判，在疾病诊断和治疗中具有重大意义。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图，示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的改进的Unet网络结构示意图；
图2是根据本发明一个实施例的脑组织Unet分割实验流程图；
图3是根据本发明一个实施例的脑组织Unet分割结果图像；
图4是根据本发明另一实施例的脑肿瘤分割实验流程图；
图5是根据本发明另一个实施例的脑肿瘤分割结果示意图；
图6是根据本发明另一个实施例的脑肿瘤数据标签可视化图像；
图7是根据本发明另一个实施例的数据增强效果图；
附图中，Max Pooling-最大池化；Upsampling-上采样；Pooling-池化；2DUnet-二维Unet。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
简言之，本发明提供的融合微分几何信息的脑分割方法包括：步骤S110，对N1套T1加权的脑部正常组织MR图像集进行灰度标准化、直方图匹配与均衡等预处理；对N2套脑部肿瘤多模态MR图像集进行标准化和剪裁等预处理，消除过亮或过暗的不均匀灰度值对分割的不良影响；步骤S120，在脑部正常组织MR图像集及肿瘤多模态MR图像集的预处理结果中引入雅克比行列式和Laplace算子，强调图像边缘信息，完成微分几何处理；步骤S130，使用翻转、旋转、缩放和移位等技术，对数据集数据实现数据增强，从而扩充神经网络模型训练中有效训练数据的数量；步骤S140，训练神经网络模型，以实现对图像的分割和重建，最终输出即为对分割结果的预测。例如，对于脑部正常组织MR图像可实现对灰质、白质、脑脊液等的精确分割，对于多模态脑部肿瘤图像可实现整个肿瘤、增强肿瘤和肿瘤核心等的分割。
上述步骤S110的预处理过程可以实现图像的归一化并初步消除MR图像中噪声，以提高后续图像分割的精确性和效率。
例如，对于N1套T1加权的脑部MR图像集，以及N2套多模态的脑部肿瘤MR图像集，采纳Z-score数据标准化方法，具体包括：
使用原始数据的均值和标准差，将数据按比例缩放在小的固定区间内，从而将数据转化为符合正态分布的纯数值，消除对数据单位的限制。该方法的变换函数为：
其中，定义μ为样本的均值，σ为样本的标准差
例如，直方图匹配与均衡是将MR图像变成相同的归一化的均匀直方图，然后以均匀直方图为媒介，再对参考图像做均匀化的逆运算。直方图均衡的具体算法包括：读取原始图像信息，并将其转化为灰度直方图像，得到图像的矩阵信息；统计不同灰度的频数，计算得到灰度的概率分布累积函数；将累积分布函数进行均衡化；将均衡化后的分布函数作用于原始图像，将其均一化。
下文将以具体的实施例，重点描述本发明提出的融合微分几何信息的过程。例如，以18个医学标准图像数据集，验证使用雅克比行列式、Laplace算子引入边缘信息，能够在IBSR数据集上有效提高脑组织中灰质、白质、脑脊液的分割精度。又如，以Unet为基础框架，通过雅克比行列式、Laplace算子引入基于微分几何的边缘信息，用于脑组织图像和多模态脑部肿瘤图像的分割，在IBSR2018和BraTS2018数据集上完成验证。
一、雅克比行列式
本发明提供将脑部影像的边缘信息体现在雅克比行列式当中的方法。具体而言，在向量微分几何学当中，雅克比矩阵是向量对应的函数的一阶偏导数按照一定的方式形成的矩阵。如果这个矩阵表现为方阵，就可以成为雅克比行列式。
在数学上，可以进行如下的定义：假设函数f可以将一个n维度向量 变成一个m维向量f(x)，f(x)∈Rm，其中f是由m个实函数组成的函数。则函数的雅克比矩阵Jf可以定义为：
对于其中的单个元素，可以定义为：
对于图像，可以假定函数f(x)是一个二维空间到二维空间的变换，灰度值表现为每一个位置的函数值，灰度值会随着位置信息在x和y方向分别进行变化，计算其雅克比矩阵的函数为：
图像这种二维空间，分别对于x方向和y方向求偏导，即可求出在每个方向上灰度值变化，在医学图像上，不同组织的边缘部分会有一定的区分度，因此灰度值变化较为显著，该变化就能够体现在雅克比行列式当中，求解图像的雅克比行列式即可看出灰度值的变化趋势。因此图像的雅克比矩阵当中会包含相当多的边缘信息。
二、Laplace算子
Laplace算子可以通过微分正峰和负峰的过零点，来确定陡峭的边缘以及缓慢变化的边缘，由于这种对边缘变化敏感的特性，该方法在边缘检测方面广泛应用。Laplace算子是n维欧式空间的一个二阶微分算子，定义为梯度的散度，是最为简单的各向同性微分算子，具有旋转不变形。一个二维函数的Laplace变换是各向同性的二阶导数。为了更加适合数字图像处理，可以将该函数转变为离散的形式。
离散函数的导数退化成差分，其中一维一阶差分公式和二阶差分公式分别表示为：
分别对Laplace算子的x，y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子，因此对于一个二维函数f(x,y)，x，y两个方向上的二阶差分分别表示为：
计算得到Laplace算子的差分形式为：
写成空间滤波器的形式则为：
可以使用该空间滤波器直接对图像进行操作，具体的操作形式与其他的滤波器基本一致，将其在原图上逐行移动，其数值与重叠像素相乘求和，赋值给中心点的像素即可。
由于图像边缘就是那些灰度信息发生跳变的区域，从算子当中也可以看出，对于一个位置的像素点，如果其灰度值与该像素的上下左右四个方位的像素值非常接近，则计算得到的该点的新像素值接近于0，因此可以很明显的得到相较于像素出现变化的区域，Laplace锐化模板在边缘部分非常敏感。
三、构建图像数据集
在一个实施例中，实验中主要采用IBSR2018数据集和BraTS2018数据集。IBSR2018数据集包含来自18套健康人群的T1序列的脑部MR图像集，可当作组织量化和分割评估的标准。18套数据中包含10套训练集、5套验证集和3套测试集，其中训练和验证数据具有相应的ground truth(真实标注)。数据是带有分割标注的T1模态的3D数据，由1.5T核磁机器扫描产生，且均已经进行偏移场矫正和头骨剥离的预处理，能够方便后续的图像预处理和网络分割工作。该数据集提供3种标注：脑部灰质(GM，Gray matter)、白质(WM，White matter)、脑脊液(CSF，Cerebrospinal fluid)，背景部分标注为0，可以直接根据标注的label进行网络计算，得到目标结果。
BraTS2018数据集包含来自285套多模态的神经胶质瘤MR数据，其中包含t1，t2，flair和t1ce四种模态。例如，需要分割三个部分：whole tumor(WT，整个肿瘤)，enhancetumor(ET，增强肿瘤)，和tumor core(TC，肿瘤核心)。在实验中，MR图像为四个模态的数据，其中每一个模态当中包含有155张图片，每张图片的尺寸为240×240，实验时对四个模态的数据分别进行读取。
四、构建图像分割模型
图像分割模型可采用多种类型的神经网络模型。在一个实施例中，图像分割以Unet模型为框架。Unet是一种基于全卷积神经网络(Full Convolutional networks，FCNs)的改进的语义分割网络，主要包含两个部分，分别是编码层和解码层，编码层作用是进行特征提取，将特征压缩成特征组成的特征图。解码层结构的作用是进行上采样，进行扩展路径，将提取到的特征图解码到与原图像尺寸一致的分割预测图像。
对于最终目标是在三维脑部肿瘤MR图像进行分割的场景，考虑在多模态数据下Z轴包含的相关图像信息，对2DUnet网络原始结构进行适用性调整，如图1所示。在最后一层采用4个1×1的卷积，用Softmax激活，将输出的通道数目转换到与需要分割的组织数目相同，便于同时输出脑脊液(Cerebrospinal fluid，CSF)、灰质(Gray matter，GM)、白质(White matter，WM)和背景四种组织的分割目标。
五、评估标准
在一个实施例中，采用Dice系数(DSC)作为分割结果的评估指标，该系数是医学图像分割当中最常用的评价指标，除了比较分割区域与实际区域的匹配程度，还能反应可重复性。DSC取值范围在0到1之间，数值越接近于1，说明两个集合之间的相似度越高，分割的结果越好，反之则表示分割的结果越差，公式如下：
其中，TP表示真阳性，FP表示假阳性，FN表示假阴性。
对于需要分割出4块目标区域的情况，需要对每一部分目标区域进行计算，因此损失函数表示为：
六、评估结果
通过IBSR2018数据集和BraTS2018数据集的网络分割结果，分别验证本发明将微分几何信息用于脑组织分割和脑肿瘤分割上的效果。
在IBSR2018数据集上，首先对输入原始图像做灰度标准化、直方图匹配、直方图均衡等预处理，并分别设置不增加几何信息、增加雅克比处理(标记为Unet+JD)、增加Laplace(标记为Unet+Laplace)处理后三个部分作对比实验，使用Unet框架对处理后数据进行分割，将预测的分割结果作为网络最终输出。实验流程如图2所示，微分几何处理结果显示在图3中，实验结果如表1。可以看出，在不改变其他实验条件的情况下，增加雅克比行列式信息和增加Laplace算子信息有效提高了灰质、白质、脑脊液的分割精度。
表1融合微分几何的Unet分割脑组织结果(评估指标：Dice系数)
对于BraTS2018中，首先将数据进行z-score标准化，消除不均匀灰度值及无标签数据切片对后续图像分割的不良影响；将各模态数据进行切片，数据标签可视化如图6，将没有分割标签的数据舍弃；在微分几何处理部分，将得到的切片数据进行计算，分别得到JD图像和Laplace图像；通过数据增强技术处理，提高网络训练当中有效数据的数量后，输入Unet网络进行分割，实验流程如图4所示。
在一个实施例中，对于多模态的脑部肿瘤MR图像集进行数据标签处理包括：
先对各个模态的数据进行切片，将没有分割标签的数据舍弃，然后将所有模态拼接在一起作为四通道的输入。
对图像mask做类似的标签处理，需要分割的3个部分WT、ET、TC与标签对应关系如下：
WT＝ED+ET+NET (13)
TC＝ET+NET (14)
其中，NET为坏疽-标签1、ED为浮肿区域-标签2、ET为增强肿瘤区域-标签4，以及1个背景部分-标签0。对于WT、TC、ET的训练，其实是读取对应标签，对单个目标分别训练，因此在最后输入层，只出现一个目标的预测图像。
在一个实施例中，数据增强包括通过翻转、旋转、缩放、位移原图像数据集获得增强的数据集。如图7所示，增强数据与原始图像的形状基本一致，只是略有区别，神经网络能够将其判定成为不同的图像，因此可以作为训练的有效新数据，以提高模型分割精度。
肿瘤分割结果如图5和表2所示。实验结果表明，本发明能够有效进行多模态脑部肿瘤数据集的分割。
表2融合几何信息的Unet脑肿瘤分割结果(评估指标：Dice系数)
相应地，本发明还提供一种融合微分几何信息的脑分割系统，用于实现上述方法的一个方面或多个方面，例如，该系统包括：预处理单元，其用于对MR图像集进行标准化预处理，其中，所述MR图像集包括T1加权的脑部正常组织MR图像集或脑部肿瘤多模态MR图像集；微分几何处理单元，其用于在MR图像集的预处理结果中引入雅克比行列式和Laplace算子，以通过微分几何处理强调图像边缘信息；数据增强单元，其用于对经微分几何处理MR图像集进行数据增强，获得增强数据集；分割预测单元，其用于利用所述增强的数据集训练神经网络模型，实现图像分割并将分割结果进行重建，进而输出对分割结果的预测。在该系中，涉及的各单元可采用软件、专用硬件或FPGA等实现。
需说明的是在不违背本发明精神和范围的情况下，本领域技术人员可对上述实施例进行适当的改变或变型，例如，实现更多或更少目标区域的分割，或采用其他的损失函数训练神经网络模型等。此外，本发明对神经网络模型中卷积层的数目、卷积核大小等不进行限制。
综上所述，本发明利用神经网络模型，优选改进了的Unet模型，使用雅克比行列式和Laplace算子引入了边缘信息，探究微分几何信息对模型的影响。在IBSR2018数据集上的分割结果显示，本发明能有效改进分割精度。将该分割方法拓展用于多模态的脑部肿瘤数据，在多模态数据BraTS2018上，同样实现脑部肿瘤的有效分割，结果显示添加几何信息对于肿瘤的分割精度能够起到一定的提升作用。利用本发明可以帮助医生分析病情、减少误判。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
