基于多注意力的肝脏血管分割方法及系统
技术领域
本发明涉及医学图像处理的
技术领域
,特别涉及一种基于多注意力的肝脏血管分割方法及系统。背景技术
内放疗介入手术通过经皮穿刺将放射源放入肿瘤内部,对局部肿瘤组织进行持续不断的照射,可有效治疗肿瘤并防止肿瘤的复发和转移。实行内放疗手术时,需要医生操作穿刺针,经引导架引导,令针尖端达到体内预定位置,之后接粒子植入器和粒子推针将放射性粒子植入瘤体内。
对于手术机器人,由于其不具备资深医师那样的医学背景知识,无法快速将医学背景知识与病人体征信息相结合,因此,单纯地给机器人输入目标器官信息对于整个介入手术是不完备的,有必要告知机器人与目标器官相邻的外周器官信息,以及介入过程途径的器官信息。血管作为保存人体血液和运输养分的重要器官,在手术过程中应当尤其注意避免误伤,因此,医学图像中的血管分割是穿刺路径规划中必不可少的环节。
三维血管结构尺度多变、曲率和挠率大、分叉多,且血管在三维医学图像中通常占比较小,若不加引导地进行图像块采样,将面临样本不均衡的问题,为满足临床要求,需要提高血管分割的连续性和精确度。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于多注意力的肝脏血管分割方法,能够提高血管分割的连续性和精确度。
本发明还提出一种具有上述基于多注意力的肝脏血管分割方法的基于多注意力的肝脏血管分割系统。
本发明还提出一种具有上述基于多注意力的肝脏血管分割方法的计算机可读存储介质。
根据本发明的第一方面实施例的基于多注意力的肝脏血管分割方法,包括以下步骤:S100,获取肝脏CTA图像,根据血管标注去除背景区域,分别从轴向面、冠状面及矢状面三个方向进行采样,得到对应的样本集合,将所述样本集合输入至基于双注意力机制的DA-UNet网络中训练并测试,得到相应采样方向上训练好的肝脏血管分割网络模型;其中,不同采样方向的所述基于双注意力机制的DA-UNet网络的结构相同,权重系数相互独立;S200,接收肝脏CTA图像,分别从轴向面、冠状面及矢状面三个方向进行采样,将采样图像输入至对应的所述肝脏血管分割网络模型,得到相应的血管分割结果,并对所述血管分割结果进行融合处理,得到最终分割结果。
根据本发明实施例的基于多注意力的肝脏血管分割方法,至少具有如下有益效果:将2.5D(维度)数据模型与轴向面、冠状面及矢状面的多轴融合相结合,在占用较少计算资源的情况提高了分割结果的连续性引入双注意力机制建立图像中不同位置和不同类别像素之间的关联,从而提高分割结果精度。
根据本发明的一些实施例,所述获取肝脏CTA图像,根据血管标注去除背景区域,分别从轴向面、冠状面及矢状面三个方向进行采样,得到对应的样本集合包括:将所述肝脏CTA图像根据图像强度值映射至[0,1]的范围内,并根据平均值和方差进行归一化处理;分别从轴向面、冠状面及矢状面三个方向对归一化后的所述肝脏CTA图像进行采样切片,并以连续的多个切片为一个样本;根据血管标签去除不包含血管的样本,得到所述样本集合。
根据本发明的一些实施例,基于双注意力机制的DA-UNet网络中,以2DU-Net架构为基础,在高阶特征处引入空间注意力和通道注意力机制,并通过反卷积上采样到原图大小。
根据本发明的一些实施例,所述将所述样本集合输入至基于双注意力机制的DA-UNet网络中训练并测试,得到相应方向上训练好的肝脏血管分割网络模型包括:将所述样本集合按采样方向输入至对应的基于双注意力机制的DA-UNet网络中训练,通过dice损失函数和Adam优化器训练模型。
根据本发明的一些实施例,将所述样本集合输入至基于双注意力机制的DA-UNet网络中训练,学习率设置为0.001。
根据本发明的一些实施例,通过测试集,针对不同的采样方向训练得到的所述基于双注意力机制的DA-UNet网络进行筛选,得到相应采样方向上表现最佳的所述肝脏血管分割网络模型,评价指标包括基于面积重合度的Dice系数以及基于边界准确度的Hausdorff_95。
根据本发明的一些实施例,所述步骤S200包括:S210,接收肝脏CTA图像,分别从轴向面、冠状面及矢状面三个方向进行采样,将采样图片输入至对应的所述肝脏血管分割网络模型,得到相应的血管分割结果;S220,对三个所述肝脏血管分割网络模型输出的所述血管分割结果取并集;S230,根据血管的连通树状结构,去除所述血管分割结果中的假阳性区域,保留融合后的最大连通域,作为所述最终血管分割结果。
根据本发明的第二方面实施例的基于多注意力的肝脏血管分割系统,包括:预处理模块,用于分别从轴向面、冠状面及矢状面三个方向对肝脏CTA图像进行采样切片,得到采样图像;模型训练模块,用于根据血管标注去除所述采样图像的背景区域,根据所述预处理模块得到样本集合,将所述样本集合按采样方向输入至相应的基于双注意力机制的DA-UNet网络中训练并测试,得到相应采样方向上训练好的肝脏血管分割网络模型;其中,不同采样方向的所述基于双注意力机制的DA-UNet网络的结构相同,权重系数相互独立;分割处理模块,用于将所述采样图像按采样方向输入至对应的所述肝脏血管分割网络模型,得到相应的血管分割结果,并对所述血管分割结果进行融合处理,得到最终分割结果。
根据本发明实施例的基于多注意力的肝脏血管分割系统,至少具有如下有益效果:将2.5D(维度)数据模型与轴向面、冠状面及矢状面的多轴融合相结合,在占用较少计算资源的情况提高了分割结果的连续性,引入双注意力机制建立图像中不同位置和不同类别像素之间的关联,从而提高分割结果精度。
根据本发明的第三方面实施例的计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据本发明的第一方面实施例的方法。
根据本发明实施例的计算机可读存储介质,至少具有与本发明的第一方面实施例的方法同样的有益效果。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的方法的流程示意图;
图2为本发明实施例的肝脏血管分割方法总体框架示意图;
图3为本发明实施例的基于双注意力机制的DA-UNet网络的结构示意图;
图4为本发明实施例的系统的模块示意框图。
附图标记:
预处理模块100、模型训练模块200、分割处理模块300。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个及两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。在本发明的描述中,步骤标号仅是为了描述的方便或者引述的方便所作出的标识,各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
参照图1,本发明的实施例的方法包括:S100,获取肝脏CTA图像,根据血管标注去除背景区域,分别从轴向面、冠状面及矢状面三个方向进行采样,得到对应的样本集合,将样本集合输入至基于双注意力机制的DA-UNet网络中训练并测试,得到相应采样方向上训练好的肝脏血管分割网络模型;其中,不同采样方向的基于双注意力机制的DA-UNet网络的结构相同,权重系数相互独立;S200,接收肝脏CTA图像,分别从轴向面、冠状面及矢状面三个方向进行采样,将采样图像输入至对应的肝脏血管分割网络模型,得到相应的血管分割结果,并对血管分割结果进行融合处理,得到最终分割结果。
本发明实施例的方法的整体流程,如图2所示。首先根据血管标注从肝脏CTA图像中去除背景区域,然后分别从轴向面、冠状面、矢状面三个方向进行采样,得到三个采样方向对应的样本集合,按采样方向输入至相应的基于双注意力机制的DA-UNet网络中训练并测试。三个采样方向所对应的基于双注意力机制的DA-UNet网络结构相同,权重系数互相独立,即互不共享,互不干扰,各自独立地进行训练。
训练完成后,三个采样方向均得到一个相应的血管分割模型,这三个血管分割模型即可用于血管检测。对于输入的CTA图像,分别从轴向面、冠状面、矢状面三个方向进行采样,以多个连续的采样切片为一个样本,按采样方向输入至对应的血管分割模型,得到三个采样方向(即轴向面、冠状面、矢状面)上的血管分割结果,然后将这三个采样方向得到的血管分割结果融合并进行后处理,得到最终分割结果。在如图2和3所示的实施例中,以5个连续的采样切片为一个样本。
本发明的实施例,针对2D U-Net无法提取轴向信息,从而影响分割精度和血管连续性的问题,采用2.5D数据模型,即分别沿着三个互相正交的轴方向(分别对应于轴向面、冠状面、矢状面)对CTA图像的3D数据进行切片采样,并独立针对多个轴的样本训练和测试模型,最后通过融合后处理得到最终分割结果。为弥补传统U-Net网络在血管区域分割精度和连续性上的不足,如图3所示,对高阶特征引入空间和通道双注意力机制,将更广泛的上下文信息编码到局部特征中,同时突出相互依赖的特征图,提高血管区域的特征表示,由此提高血管分割精度。
本发明的实施例中,根据CTA图像数据获得用作训练数据的样本的过程,包括:a.将CTA图像根据图像强度值映射到[0,1]的范围内,并根据平均值和方差进行归一化处理;b.分别沿三个轴方向(分别对应于轴向面、冠状面、矢状面)以连续5个切片为一个样本;c.根据血管标签去除不包含血管的样本。由此,可以得到沿不同方向采样得到的三组训练数据。
本实施例中,单个采样方向所对应的基于双注意力机制的DA-UNet网络结构相同,如图4所示。基于双注意力机制的DA-UNet网络,以2D U-Net架构为基础,在高阶特征处引入空间注意力和通道注意力机制,随后通过反卷积上采样到原图大小。
本实施例的训练过程包括:将经预处理后的三组训练集按采样方向输入至对应的基于双注意力机制的DA-UNet网络中进行训练,并采用dice损失函数和Adam优化器训练模型,将学习率设置为0.001,样本大小设为(5,256,256),批大小为8,共训练30轮。显然,本发明的实施例中,可以根据需要配置样本大小、批大小及训练轮数。
本实施例的测试包括:利用测试集筛选出不同采样方向所训练得到的表现最佳的模型,获得三个采样方向上的肝脏血管分割网络模型,分别对应轴向位、冠状位和矢状位。测试筛选的评价指标包括基于面积重合度的Dice系数以及基于边界准确度的Hausdorff_95。
按照上述方法得到的模型可从三个正交的采样方向提取出不同的连通性信息,对三个采样方向获取的分割结果进行后处理,可以融合不同方向的连通信息,进一步优化分割结果。后处理过程包括:对三个肝脏血管分割网络模型输出的血管分割结果取并集;根据血管的连通树状结构,去除血管分割结果中的假阳性区域,保留融合后的最大连通域,作为最终血管分割结果。对三个模型输出结果取并集,提高了分割结构的连续性。
综上,本发明的实施例的方法至少具有以下有益效果:将2.5D(维度)数据模型与轴向面、冠状面及矢状面的多轴融合相结合,在占用较少计算资源的情况提高了分割结果的连续性,引入双注意力机制建立图像中不同位置和不同类别像素之间的关联,从而提高分割结果精度。
本发明实施例的系统,参照图4,包括:预处理模块100,用于获取肝脏CTA图像,分别从轴向面、冠状面及矢状面三个方向进行采样切片,得到采样图像;模型训练模块200,用于根据血管标注去除采样图像的背景区域,得到对应的样本集合,将样本集合输入至基于双注意力机制的DA-UNet网络中训练并测试,得到相应采样方向上训练好的肝脏血管分割网络模型;其中,不同采样方向的基于双注意力机制的DA-UNet网络的结构相同,权重系数相互独立;分割处理模块300,用于将采样图像按采样方向输入至对应的肝脏血管分割网络模型,得到相应的血管分割结果,并对血管分割结果进行融合处理,得到最终分割结果。
尽管本文描述了具体实施方案,但是本领域中的普通技术人员将认识到,许多其它修改或另选的实施方案同样处于本公开的范围内。例如,结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外,虽然已根据本公开的实施方案描述了各种例示性具体实施和架构,但是本领域中的普通技术人员将认识到,对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解,框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样,根据一些实施方案,框图和流程图中的一些块可能无需按示出的顺序执行,或者可以无需全部执行。另外,超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此,框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解,框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件,包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令,所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如,本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言,诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言,其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中,包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行,而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如,预设的或固定的)或动态的(例如,在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。