冠脉分段方法及装置、计算机可读存储介质及电子设备
技术领域
本申请涉及图像处理
技术领域
,具体涉及一种冠脉分段方法及装置、计算机可读存储介质及电子设备。背景技术
众所周知,冠脉(又称为冠状动脉)是供给心脏血液的动脉,其结构非常复杂。比如,根据美国心脏协会修订的冠脉分段方法,其总共分为15段。
然而,受限于冠脉复杂的结构,现有冠脉分段方法存在鲁棒性低、分段效果不佳的问题。
发明内容
为了解决上述技术问题,提出了本申请。本申请实施例提供了一种冠脉分段方法及装置、计算机可读存储介质及电子设备。
第一方面,本申请一实施例提供了一种冠脉分段方法,包括:利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息;利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息。
结合第一方面,在第一方面的某些实现方式中,在利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息之后,还包括:对第一冠脉主干信息和第一冠脉分支信息进行第一后处理操作,以校正第一冠脉主干信息和第一冠脉分支信息,得到第二冠脉主干信息和第二冠脉分支信息;其中,利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息,包括:利用主干分支分段模型,基于第二冠脉主干信息和第二冠脉分支信息确定第一冠脉主干分段信息和第一冠脉分支分段信息。
结合第一方面,在第一方面的某些实现方式中,对第一冠脉主干信息和第一冠脉分支信息进行第一后处理操作,以校正第一冠脉主干信息和第一冠脉分支信息,得到第二冠脉主干信息和第二冠脉分支信息,包括:基于第一冠脉主干信息和第一冠脉分支信息确定冠脉分割中线;基于冠脉分割中线、第一冠脉主干信息以及第一冠脉分支信息确定种子点;基于种子点进行区域生长,以确定第二冠脉主干信息和第二冠脉分支信息。
结合第一方面,在第一方面的某些实现方式中,在利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息之后,还包括:对第一冠脉主干分段信息和第一冠脉分支分段信息进行第二后处理操作,以校正第一冠脉主干分段信息和第一冠脉分支分段信息,得到第二冠脉主干分段信息和第二冠脉分支分段信息。
结合第一方面,在第一方面的某些实现方式中,对第一冠脉主干分段信息和第一冠脉分支分段信息进行第二后处理操作,以校正第一冠脉主干分段信息和第一冠脉分支分段信息,得到第二冠脉主干分段信息和第二冠脉分支分段信息,包括:基于第一冠脉主干分段信息确定冠脉主干最大连通域;基于冠脉主干最大连通域进行区域生长,以确定第二冠脉主干分段信息;基于第一冠脉分支分段信息确定冠脉分支连通域;基于冠脉分支连通域确定第二冠脉分支分段信息。
结合第一方面,在第一方面的某些实现方式中,利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息,包括:将待分段冠脉图像对应的主动脉分割信息、心脏分割信息以及冠脉分割信息输入主干分支模型,得到第一冠脉主干信息和第一冠脉分支信息。
结合第一方面,在第一方面的某些实现方式中,在将待分段冠脉图像对应的主动脉分割信息、心脏分割信息以及冠脉分割信息输入主干分支模型,得到第一冠脉主干信息和第一冠脉分支信息之前,还包括:确定训练数据集以及训练数据集对应的主动脉分割信息、心脏分割信息和冠脉分割信息;确定训练数据集对应的冠脉分割信息对应的冠脉外接图形信息;基于冠脉外接图形信息依次确定主动脉外接图形信息、心脏外接图形信息以及冠脉外接图形信息;建立初始网络模型,并基于训练数据集、主动脉外接图形信息、心脏外接图形信息以及冠脉外接图形信息训练初始网络模型,以生成主干分支模型。
结合第一方面,在第一方面的某些实现方式中,利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息,包括:将待分段冠脉图像对应的主动脉分割信息、心脏分割信息、冠脉分割信息、第一冠脉主干信息以及第一冠脉分支信息输入主干分支分段模型,得到第一冠脉主干分段信息和第一冠脉分支分段信息。
第二方面,本申请一实施例提供了一种冠脉分段装置,包括:第一确定模块,配置为利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息;以及第二确定模块,配置为利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息。
第三方面,本申请一实施例提供了一种计算机可读存储介质,该存储介质存储有计算机程序,该计算机程序用于执行上述任一实施例所提及的冠脉分段方法。
第四方面,本申请一实施例提供了一种电子设备,该电子设备包括:处理器;用于存储处理器可执行指令的存储器;该处理器用于执行上述任一实施例所提及的冠脉分段方法。
本申请实施例提供的冠脉分段方法,利用主干分支模型确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息;继而利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息;通过主干分支模型和主干分支分段模型有效的配合,解决了冠脉分段效果不佳的问题,有效提升了冠脉分段过程的鲁棒性,两个模型各司其职,在实际优化过程中能更有效的针对具体问题优化相应的模型,从而进一步提升最终确定的分段结果的准确程度。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所适用的一场景示意图。
图2所示为本申请实施例所适用的另一场景示意图。
图3所示为本申请一示例性实施例提供的冠脉分段方法的流程示意图。
图4所示为本申请另一示例性实施例提供的确定第一冠脉主干分段信息和第一冠脉分支分段信息的流程示意图。
图5所示为本申请一示例性实施例提供的第一后处理操作的流程示意图。
图6所示为本申请一示例性实施例提供的得到第二冠脉主干分段信息和第二冠脉分支分段信息的流程示意图。
图7所示为本申请一示例性实施例提供的第二后处理操作的流程示意图。
图8所示为本申请一示例性实施例提供的确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息的流程示意图。
图9所示为本申请一示例性实施例提供的生成主干分支模型的流程示意图。
图10所示为本申请一示例性实施例提供的标签转换的示意图。
图11所示为本申请一示例性实施例提供的主干分支模型的训练方法的流程示意图。
图12所示为本申请又一示例性实施例提供的确定第一冠脉主干分段信息和第一冠脉分支分段信息的流程示意图。
图13所示为本申请一示例性实施例提供的主干分支分段模型的训练方法的流程示意图。
图14所示为本申请再一示例性实施例提供的冠脉分段方法的流程示意图。
图15所示为本申请一示例性实施例提供的冠脉分段装置的结构示意图。
图16所示为本申请另一示例性实施例提供的冠脉分段装置的结构示意图。
图17所示为本申请一示例性实施例提供的第一后处理操作模块的结构示意图。
图18所示为本申请又一示例性实施例提供的冠脉分段装置的结构示意图。
图19所示为本申请一示例性实施例提供的第二后处理操作模块的结构示意图。
图20所示为本申请再一示例性实施例提供的冠脉分段装置的结构示意图。
图21所示为本申请再一示例性实施例提供的冠脉分段装置的结构示意图。
图22所示为本申请再一示例性实施例提供的冠脉分段装置的结构示意图。
图23所示为本申请一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
申请概述
心脏的形状如一倒置的、前后略扁的圆锥体,如将其视为头部,则位于头顶部、几乎环绕心脏一周的冠状动脉恰似一顶王冠,这就是冠状动脉的名称由来。冠状动脉是供给心脏血液的动脉,起于主动脉根部主动脉窦内,分左右两支,行于心脏表面。采用现有的分类原则,冠状动脉的分布主要分为三种类型,包括右优势型、均衡型以及左优势型。根据美国心脏协会修订的冠状动脉分段方法,将冠脉总共分为15段,分别为:右冠状动脉的近段RCA1,右冠状动脉的中段RCA2,右冠状动脉的远段RCA3,后降支,左室后支,左冠状动脉主干,前降支近段,前降支中段,前降支远段,第一对角支,第二对角支,中间支,回旋支近段,第一钝缘支,回旋支远段,第二钝缘支。
现有的冠脉分段技术主要包括传统算法和深度学习算法两大类,两种方法都是基于冠脉分割的结果进行。传统算法结合冠脉分段的特性,利用冠脉各分支节段的解剖学走形和相互之间的几何结构关系,建立球坐标系或者树型数据结构,以确定各节段的类别。但是这种方法往往受限于冠状动脉复杂的结构和前置模型冠状动脉分割的效果,在实际应用过程中常常出现误差较大的问题。深度学习算法利用深度学习语义分割网络进行冠脉分段,以确定各节段的类别。但是,深度学习算法受限于冠脉复杂的结构以及标签多样等因素,存在分段效果不佳的问题。
针对上述问题,为了提高冠脉分段的准确率,本申请实施例提供了一种冠脉分段方法,通过主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息,为后续进行冠状动脉分段提供精准基础;然后利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息,得到最终的冠脉分段结果,从而确定各节段的类别。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1所示为本申请实施例所适用的一场景示意图。如图1所示,本申请实施例所适用的场景中包括服务器1和图像采集设备2,其中,服务器1和图像采集设备2之间存在通信连接关系。
具体而言,图像采集设备2用于采集待分段冠脉图像。图像采集设备1可以是CT扫描仪、X线机、MRI(Magnetic Resonance Imaging)设备,也可以是其它具有图像采集功能的设备,只要是可以采集冠脉图像即可,本申请对图像采集设备2的结构不做具体限定。
服务器1可以是一台服务器,也可以是多台服务器组成的服务器组,还可以是一个虚拟化平台或者一个云计算服务中心,本申请对服务器1的类型不做具体限定。服务器1利用主干分支模型,基于图像采集设备2采集的待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息,继而利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息。即,该场景实现了一种冠脉分段方法。
由于图1所示的上述场景利用服务器1实现了冠脉分段方法,因此,该场景不但能够提高场景的适应能力,而且能够有效降低图像采集设备2的计算量。
需要说明的是,本申请还适用于另一场景。图2所示为本申请实施例所适用的另一场景示意图。具体地,该场景中包括图像处理设备3,其中,图像处理设备3包括图像采集模块301和计算模块302,并且,图像采集模块301和计算模块302之间存在通信连接关系。
具体而言,图像处理设备3中的图像采集模块301用于采集待分段冠脉图像,图像处理设备3中的计算模块302利用主干分支模型,基于图像采集模块301采集的待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息,继而利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息。即,该场景实现了一种冠脉分段方法。
由于图2所示的上述场景利用图像处理设备3实现了冠脉分段方法,无需与服务器等相关装置进行数据传输操作,因此,图2所示的上述场景能够保证冠脉分段方法的实时性。
示例性方法
图3所示为本申请一示例性实施例提供的冠脉分段方法的流程示意图。如图3所示,本申请实施例提供的冠脉分段方法包括如下步骤。
步骤10,利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息。
示例性地,步骤10中提及的待分段冠脉图像可以是通过通用或专用的拍摄设备拍摄的待评估对象的冠状动脉图像。
待分段冠脉图像可以为电子计算机断层成像(Computed Tomography,CT)图像、核磁共振成像(Magnetic Resonance Imaging,MRI)图像、计算机放射成像(ComputedRadiography,CR)图像或数字放射成像(Digital radiography,DR)图像,本申请实施例对此不做具体限定。本申请实施例提供的冠脉分段方法能够适用于所有的冠脉图像,具有普适性。
本申请实施例并不限定待分段医学图像的具体形式,可以是原始医学图像,也可以是经过预处理的医学图像,还可以是原始医学图像中的部分图像系列,即原始医学图像的一部分。此外,待处理医学图像对应的采集对象可以是人体,也可以是动物体。
示例性地,步骤10中提及的待分段冠脉图像对应的冠脉分割信息是基于前置模型得到的冠脉分割掩膜图像。比如,冠脉分割掩膜图像是由0和1组成的二进制图像,其中0值区域为背景,1值区域为冠脉。通过0和1两个值可以区分图像中的像素点是属于冠脉区域还是与冠脉区域无关的背景区域。
示例性地,步骤10中提及的第一冠脉主干信息对应第一冠脉主干分割掩膜图像,第一冠脉分支信息对应第一冠脉分支分割掩膜图像。主干分支模型是通过模型训练得到的语义分割模型,用于输出待分段冠脉图像对应的第一冠脉主干分割掩膜图像和第一冠脉分支分割掩膜图像。考虑到冠脉的主干和分支容易分割,先将主干区域和分支区域分割出来,为后续进行冠脉分段提供精准基础。
步骤20,利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息。
示例性地,步骤20中提及的第一冠脉主干分段信息对应冠脉主干分段掩膜图像;第一冠脉分支分段信息对应冠脉分支分段掩膜图像。主干分支分段模型是通过模型训练得到的语义分割模型,用于输出待分段冠脉图像对应的冠脉主干分段掩膜图像和冠脉分支分段掩膜图像。
需要说明的是,本申请实施例对主干分支模型和主干分支分段模型的具体网络结构不做限定,主干分支模型和主干分支分段模型可以由任意类型的神经网络构成。可选地,神经网络可以为卷积神经网络(Convolutional Neural Network,CNN)、深度神经网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural Network,RNN)等。本申请实施例对此不做具体限定。
本申请实施例提供的冠脉分段方法,首先利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息,为后续进行冠状动脉分段提供精准基础;然后利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息,得到最终的冠脉分段结果,从而确定每一分段的类别。另外,本申请提供的冠脉分段方法,通过建立串联的双模型语义分割网络实现冠脉分段,相当于一个大的分段模块包括两个相互串联的模型,第二模型充分利用第一模型的输出结果进行预测,极大地减轻了第二模块的任务量。两个模型有效配合,不仅解决了冠脉分段效果不佳的问题,有效提升了冠脉分段过程的鲁棒性,而且两个模型各司其职,在实际优化过程中能够更有效的针对具体问题优化相应的模型,从而进一步提升最终确定的分段结果的准确程度。
图4所示为本申请另一示例性实施例提供的确定第一冠脉主干分段信息和第一冠脉分支分段信息的流程示意图。在本申请图3所示实施例的基础上延伸出本申请图4所示实施例,下面着重叙述图4所示实施例与图3所示实施例的不同之处,相同之处不再赘述。
如图4所示,在本申请实施例提供的冠脉分段方法中,在利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息之后,还包括如下步骤。
步骤30,对第一冠脉主干信息和第一冠脉分支信息进行第一后处理操作,以校正第一冠脉主干信息和第一冠脉分支信息,得到第二冠脉主干信息和第二冠脉分支信息。
具体而言,对冠脉分段时如果直接使用一个模型进行划分,对模型的要求比较高,当模型出现错误,难以使用后处理进行修正。针对冠脉复杂的结构特征,本申请实施例采用串联的两个模型,每个模型可以使用后处理操作单独修正各自模型的预测错误。步骤30中提及的第一后处理操作用于修正主干分支模型输出的预测结果,滤除预测结果中的异常值,从而得到更准确的第二冠脉主干信息和第二冠脉分支信息。
并且,在本申请实施例中,利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息,包括如下步骤。
步骤40,利用主干分支分段模型,基于第二冠脉主干信息和第二冠脉分支信息确定第一冠脉主干分段信息和第一冠脉分支分段信息。
具体而言,第一冠脉主干信息和第一冠脉分支信息经过第一后处理操作后,已经将其中的异常值和错误信息滤除和修正,得到的第二冠脉主干信息和第二冠脉分支信息为有效信息。所以利用主干分支分段模型,基于有效的第二冠脉主干信息和第二冠脉分支信息得到的第一冠脉主干分段信息和第一冠脉分支分段信息也更加准确。
本申请实施例提供的冠脉分段方法,通过对第一冠脉主干信息和第一冠脉分支信息进行第一后处理操作,以校正第一冠脉主干信息和第一冠脉分支信息,得到第二冠脉主干信息和第二冠脉分支信息,然后利用主干分支分段模型,基于第二冠脉主干信息和第二冠脉分支信息确定第一冠脉主干分段信息和第一冠脉分支分段信息,解决了因存在异常值导致冠脉分段结果不准确的问题。另外,主干分支模型使用第一后处理操作对输出结果进行修正,修正后的第二冠脉主干信息和第二冠脉分支信息作为主干分支分段模型的输入,使得主干分支分段模型的预测结果更加准确,进一步减少由于分割不准确导致冠脉分段的鲁棒性低的情况发生。
图5所示为本申请一示例性实施例提供的第一后处理操作的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图5所示实施例,下面着重叙述图5所示实施例与图4所示实施例的不同之处,相同之处不再赘述。
如图5所示,在本申请实施例提供的冠脉分段方法中,对第一冠脉主干信息和第一冠脉分支信息进行第一后处理操作,以校正第一冠脉主干信息和第一冠脉分支信息,得到第二冠脉主干信息和第二冠脉分支信息,包括如下步骤。
步骤301,基于第一冠脉主干信息和第一冠脉分支信息确定冠脉分割中线。
具体而言,第一冠脉主干信息包括冠脉主干分割数据,第一冠脉分支信息包括冠脉分支分割数据。基于冠脉主干分割数据和冠脉分支分割数据进行中线提取操作,以获取冠脉分割中线。
示例性地,提取中线的操作可以基于lee94算法进行提取,也可以基于骨架化算法提取。只要可以基于第一冠脉主干信息和第一冠脉分支信息确定冠脉分割中线即可,本申请实施例对提取中线的具体算法不做限定。
步骤302,基于冠脉分割中线、第一冠脉主干信息以及第一冠脉分支信息确定种子点。
具体而言,冠脉由主干结构一级一级地分支出错综复杂的多级分支,基于冠脉的多级分支结构的特点,可以利用分支结构的分叉点和端点将错综复杂的冠脉结构进一步细化分类。其中,冠脉分割中线可以理解为冠脉分割掩膜图像中心上的一系列连续的点。对于冠脉分割中线上的点,根据是否为分叉点和端点将冠脉分割中线划分为若干线段,这里的线段定义为端点到端点或者端点到分叉点的一系列点。线段上所有的点构成一个线段点集。对于每一条线段,线段点集中的每个点对应主干分支模型输出的一个预测结果,根据主干分支模型预测结果的众数确定每个点是第一冠脉主干信息还是第一冠脉分支信息,最后将线段点集中的线段点结果作为种子点。
步骤303,基于种子点进行区域生长,以确定第二冠脉主干信息和第二冠脉分支信息。
具体而言,将步骤302中的种子点作为生长的起点,第一冠脉主干信息和第一冠脉分支信息对应的冠脉分割掩膜图像作为轨道区域,进行区域生长操作,从而得到更加准确的主干分支结果。
本申请实施例提供的冠脉分段方法,通过提取冠脉分割中线,然后以冠脉分割中线确定的线段点结果作为种子点,在冠脉分割掩膜图像内进行区域生长,以确定第二冠脉主干信息和第二冠脉分支信息。基于主干分支模型预测的结果进行区域生长,能够使得到的主干分支结果更加准确,为后续进行冠状动脉分段提供精准基础。
图6所示为本申请一示例性实施例提供的得到第二冠脉主干分段信息和第二冠脉分支分段信息的流程示意图。在本申请图3所示实施例的基础上延伸出本申请图6所示实施例,下面着重叙述图6所示实施例与图3所示实施例的不同之处,相同之处不再赘述。
如图6所示,在本申请实施例提供的冠脉分段方法中,在利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息之后,还包括如下步骤。
步骤50,对第一冠脉主干分段信息和第一冠脉分支分段信息进行第二后处理操作,以校正第一冠脉主干分段信息和第一冠脉分支分段信息,得到第二冠脉主干分段信息和第二冠脉分支分段信息。
具体而言,第二冠脉主干分段信息和第二冠脉分支分段信息是经过第二后处理操作得到的有效信息,第二后处理操作已经将第一冠脉主干分段信息和第一冠脉分支分段信息中的异常值和错误信息滤除和修正。
本申请实施例提供的冠脉分段方法,通过对第一冠脉主干分段信息和第一冠脉分支分段信息进行第二后处理操作,以校正第一冠脉主干分段信息和第一冠脉分支分段信息,得到第二冠脉主干分段信息和第二冠脉分支分段信息,实现了提高冠脉分段精度的目的。另外,通过第二后处理操作对主干分支分段模型输出的结果进行修正,修正后的第二冠脉主干分段信息和第二冠脉分支分段信息更加准确,进一步减少了由于分割不准确导致冠脉分段的鲁棒性低的情况发生。
图7所示为本申请一示例性实施例提供的第二后处理操作的流程示意图。在本申请图6所示实施例的基础上延伸出本申请图7所示实施例,下面着重叙述图7所示实施例与图6所示实施例的不同之处,相同之处不再赘述。
如图7所示,在本申请实施例提供的冠脉分段方法中,对第一冠脉主干分段信息和第一冠脉分支分段信息进行第二后处理操作,以校正第一冠脉主干分段信息和第一冠脉分支分段信息,得到第二冠脉主干分段信息和第二冠脉分支分段信息,包括如下步骤。
步骤501,基于第一冠脉主干分段信息确定冠脉主干最大连通域。
具体而言,第一冠脉主干分段信息对应冠脉主干分段掩膜图像,冠脉主干分段掩膜图像中每一个主干对应主干分支分段模型预测的一个类别,保留每一个主干类别对应的最大连通域,其他未保留的主干区域沿着最大连通域按照区域生长的方式生长,得到其他主干区域的类别。
需要说明的是,可以对第一冠脉主干分段信息对应的冠脉主干分段掩膜图像进行灰度处理,并获取灰度值,然后提取灰度值大于预设灰度值的区域,选取灰度值大于预设灰度值的区域中面积最大的区域作为最大连通域。
步骤502,基于冠脉主干最大连通域进行区域生长,以确定第二冠脉主干分段信息。
具体而言,以冠脉主干最大连通域为中心进行区域生长,得到第二冠脉主干分段信息。通过以最大连通域为中心进行区域生长的方式,得到更加准确的第二冠脉主干分段信息,该方法简单而且效率高。
步骤503,基于第一冠脉分支分段信息确定冠脉分支连通域。
具体而言,第一冠脉分支分段信息对应冠脉分支分段掩膜图像。对于冠脉分支分段掩膜图像,求取每一个冠脉分支连通域。
步骤504,基于冠脉分支连通域确定第二冠脉分支分段信息。
具体而言,每一个冠脉分支连通域对应主干分支分段模型输出的一个分支类别结果,基于分支类别结果确定每一个冠脉分支连通域的类别的众数,将该类别的众数作为冠脉分支连通域的类别,从而确定更加准确的第二冠脉分支分段信息。
本申请实施例提供的冠脉分段方法,通过基于冠脉主干最大连通域和冠脉分支连通域确定第二冠脉主干分段信息和第二冠脉分支分段信息的方式,实现了对主干分支分段模型输出的结果进行修正的目的。由于各个主干分支构成独立的连通域,可以借助连通域的性质对主干和分支的类别进一步划分,得到更加准确的第二冠脉主干分段信息和第二冠脉分支分段信息,提高了冠脉分段的精度和鲁棒性。
图8所示为本申请一示例性实施例提供的确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息的流程示意图。在本申请图3所示实施例的基础上延伸出本申请图8所示实施例,下面着重叙述图8所示实施例与图3所示实施例的不同之处,相同之处不再赘述。
如图8所示,在本申请实施例提供的冠脉分段方法中,利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息,包括如下步骤。
步骤104,将待分段冠脉图像对应的主动脉分割信息、心脏分割信息以及冠脉分割信息输入主干分支模型,得到第一冠脉主干信息和第一冠脉分支信息。
具体而言,主动脉分割信息对应主动脉分割掩膜图像,心脏分割信息对应心脏分割掩膜图像,冠脉分割信息对应冠脉分割掩膜图像。主干分支模型的输入信息同时包括心脏分割掩膜图像和主动脉分割掩膜图像,相比直接基于冠脉分割掩膜图像进行分割来说,为冠脉分段提供了辅助特征信息。
本申请实施例提供的冠脉分段方法,基于冠脉分割信息对主干和分支进行分割的过程中,引入了心脏分割信息和主动脉分割信息等辅助特征,从而便于尽可能地保留冠脉的结构信息以及供血位置信息,减少后续冠脉分段的难度,提升冠脉分段的精度。
图9所示为本申请一示例性实施例提供的生成主干分支模型的流程示意图。在本申请图8所示实施例的基础上延伸出本申请图9所示实施例,下面着重叙述图9所示实施例与图8所示实施例的不同之处,相同之处不再赘述。
如图9所示,在本申请实施例提供的冠脉分段方法中,在将待分段冠脉图像对应的主动脉分割信息、心脏分割信息以及冠脉分割信息输入主干分支模型,得到第一冠脉主干信息和第一冠脉分支信息之前,还包括如下步骤。
步骤100,确定训练数据集以及训练数据集对应的主动脉分割信息、心脏分割信息和冠脉分割信息。
示例性地,步骤100中提及的训练数据集包含输入样本和标注目标样本。其中输入样本为心脏分割掩膜图像,主动脉分割掩膜图像和冠脉分割掩膜图像,标注目标样本为对应的冠脉分段掩膜图像。在获取训练数据集时,需要对训练样本图像进行标签转换,从而得到训练数据集对应的掩膜图像。
步骤101,确定训练数据集对应的冠脉分割信息对应的冠脉外接图形信息。
具体而言,冠脉分割信息对应的冠脉分割掩膜图像包括背景区域和冠脉区域,通过求取冠脉分割掩膜图像的最大外接立方体区域,从而提取冠脉区域,滤除背景区域,能够实现更好的分割效果,对感兴趣特征后续的分段起到重要的作用。
步骤102,基于冠脉外接图形信息依次确定主动脉外接图形信息、心脏外接图形信息以及冠脉外接图形信息。
具体而言,按照最大外接立方体依次截取冠脉分割掩膜图像,心脏分割掩膜图像和主动脉分割掩膜图像。可以理解为,分别在心脏分割掩膜图像和主动脉分割掩膜图像上与冠脉分割掩膜图像截取区域相同的位置处截取冠脉矩形框。
步骤103,建立初始网络模型,并基于训练数据集、主动脉外接图形信息、心脏外接图形信息以及冠脉外接图形信息训练初始网络模型,以生成主干分支模型。
具体而言,初始网络模型为语义分割网络模型,将主动脉外接图形信息、心脏外接图形信息以及冠脉外接图形信息输入初始网络模型中,进行训练以生成主干分支模型。
本申请实施例提供的冠脉分段方法,通过模型训练生成主干分支模型,主干分支模型基于待分段冠脉图像分割以得到第一冠脉主干信息和第一冠脉分支信息,优化主干区域和分支区域的分割结果,为后续的冠脉分段提供精准基础。
图10所示为本申请一示例性实施例提供的标签转换的示意图。如图10所示,图a代表不同颜色深度的15个主干和分支,图b表示经过标签转换后的冠脉分割掩膜图像,冠脉分割掩膜图像只有深色和浅色两种颜色,深色表示主干,浅色表示分支。
图11所示为本申请一示例性实施例提供的主干分支模型的训练方法的流程示意图。如图11所示,首先建立初始网络模型,确定冠脉分割掩膜图像,心脏分割掩膜图像和主动脉分割掩膜图像,按照冠脉分割掩膜图像确定的最大外接立方体依次截取心脏分割掩膜图像和主动脉分割掩膜图像,并将截取后的结果输入初始网络模型。同时将冠脉分段掩膜图像进行汇总操作,求取主干和分支二分类掩膜图像,并将此作为目标集。然后构建损失函数,损失函数基于初始网络模型的输出结果和目标集进行计算,其中,损失函数包括交叉熵损失函数或者focal loss损失函数。最后迭代地利用训练数据集对初始网络模型进行训练学习,使得损失函数值趋于最小值;判断模型是否收敛,收敛则输出模型,以生成主干分支模型,否则继续上述训练过程。
图12所示为本申请又一示例性实施例提供的确定第一冠脉主干分段信息和第一冠脉分支分段信息的流程示意图。在本申请图3所示实施例的基础上延伸出本申请图12所示实施例,下面着重叙述图12所示实施例与图3所示实施例的不同之处,相同之处不再赘述。
如图12所示,在本申请实施例提供的冠脉分段方法中,利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息,包括如下步骤。
步骤201,将待分段冠脉图像对应的主动脉分割信息、心脏分割信息、冠脉分割信息、第一冠脉主干信息以及第一冠脉分支信息输入主干分支分段模型,得到第一冠脉主干分段信息和第一冠脉分支分段信息。
具体而言,第一冠脉主干信息对应第一冠脉主干分割掩膜图像,第一冠脉分支信息对应第一冠脉分支分割掩膜图像。主干分支分段模型的输入信息同时包括主干分支模型的预测信息以及心脏和主动脉辅助特征信息,相比直接依据冠脉分割信息进行冠脉分段来说,主干分支分段模型的任务大大减轻,使冠脉分段更简单。
本申请实施例提供的冠脉分段方法,通过将待分段冠脉图像对应的主动脉分割信息、心脏分割信息、冠脉分割信息、第一冠脉主干信息以及第一冠脉分支信息输入主干分支分段模型,第二个模型的输入包括第一个模型的预测信息,使得预测更简单,得到的第一冠脉主干分段信息和第一冠脉分支分段信息也更加准确。
图13所示为本申请一示例性实施例提供的主干分支分段模型的训练方法的流程示意图。如图13所示,主干分支分段模型训练和主干分支模型的训练流程大体类似。首先建立初始网络分段模型,初始网络分段模型的输入为主动脉分割掩膜图像、心脏分割掩膜图像、冠脉分割掩膜图像、第一冠脉主干分割掩膜图像以及第一冠脉分支分割掩膜图像,按照冠脉分割掩膜图像分别依次截取主动脉分割掩膜图像、心脏分割掩膜图像、第一冠脉主干分割掩膜图像以及第一冠脉分支分割掩膜图像的外接立方体区域并输入至初始网络分段模型,将冠脉分段掩膜图像作为目标集。构建损失函数,基于初始网络分段模型的输出结果和目标集计算损失函数,当模型收敛时则输出模型,以生成主干分支模型。
图14所示为本申请再一示例性实施例提供的冠脉分段方法的流程示意图。如图14所示,首先确定冠脉分割掩膜图像、心脏分割掩膜图像和主动脉分割掩膜图像,按照冠脉分割掩膜图像的最大外接立方体区域分别依次截取心脏分割掩膜图像和主动脉分割掩膜图像,并将截取后的区域图像作为主干分支模型输入。通过主干分支模型进行预测,获得主干分支模型的预测结果。主干分支模型的预测结果经过后处理得到主干分支掩膜图像,将主干分支掩膜图像以及冠脉分割掩膜图像、心脏分割掩膜图像和主动脉分割掩膜图像输入主干分支分段模型,获得主干分支分类结果。对主干分支分段模型预测结果进行后处理操作,修正模型预测的错误,获得最终的冠脉分段结果。
图15所示为本申请一示例性实施例提供的冠脉分段装置的结构示意图。如图15所示,本申请实施例提供的冠脉分段装置包括:
第一确定模块100,配置为利用主干分支模型,基于待分段冠脉图像对应的冠脉分割信息确定待分段冠脉图像对应的第一冠脉主干信息和第一冠脉分支信息;以及
第二确定模块200,配置为利用主干分支分段模型,基于第一冠脉主干信息和第一冠脉分支信息确定待分段冠脉图像对应的第一冠脉主干分段信息和第一冠脉分支分段信息。
图16所示为本申请另一示例性实施例提供的冠脉分段装置的结构示意图。在本申请图15所示实施例的基础上延伸出本申请图16所示实施例,下面着重叙述图16所示实施例与图15所示实施例的不同之处,相同之处不再赘述。
如图16所示,在本申请实施例提供的冠脉分段装置中,还包括:
第一后处理操作模块300,用于对第一冠脉主干信息和第一冠脉分支信息进行第一后处理操作,以校正第一冠脉主干信息和第一冠脉分支信息,得到第二冠脉主干信息和第二冠脉分支信息。
其中,第二确定模块200包括:利用主干分支分段模型,基于第二冠脉主干信息和第二冠脉分支信息确定第一冠脉主干分段信息和第一冠脉分支分段信息。
图17所示为本申请一示例性实施例提供的第一后处理操作模块的结构示意图。在本申请图16所示实施例的基础上延伸出本申请图17所示实施例,下面着重叙述图17所示实施例与图16所示实施例的不同之处,相同之处不再赘述。
如图17所示,在本申请实施例提供的冠脉分段装置中,第一后处理操作模块包括:
冠脉分割中线确定单元3001,用于基于第一冠脉主干信息和第一冠脉分支信息确定冠脉分割中线;
种子点确定单元3002,用于基于冠脉分割中线、第一冠脉主干信息以及第一冠脉分支信息确定种子点;
第二冠脉主干和分支信息确定单元3003,用于基于种子点进行区域生长,以确定第二冠脉主干信息和第二冠脉分支信息。
图18所示为本申请又一示例性实施例提供的冠脉分段装置的结构示意图。在本申请图15所示实施例的基础上延伸出本申请图18所示实施例,下面着重叙述图18所示实施例与图15所示实施例的不同之处,相同之处不再赘述。
如图18所示,在本申请实施例提供的冠脉分段装置还包括:
第二后处理操作模块500,用于对第一冠脉主干分段信息和第一冠脉分支分段信息进行第二后处理操作,以校正第一冠脉主干分段信息和第一冠脉分支分段信息,得到第二冠脉主干分段信息和第二冠脉分支分段信息。
图19所示为本申请一示例性实施例提供的第二后处理操作模块的结构示意图。在本申请图18所示实施例的基础上延伸出本申请图19所示实施例,下面着重叙述图19所示实施例与图18所示实施例的不同之处,相同之处不再赘述。
如图19所示,本申请实施例提供的冠脉分段装置中,第二后处理操作模块包括:
最大连通域确定单元5001,用于基于第一冠脉主干分段信息确定冠脉主干最大连通域;
第二冠脉主干分段信息确定单元5002,用于基于冠脉主干最大连通域进行区域生长,以确定第二冠脉主干分段信息;
冠脉分支连通域确定单元5003,用于基于第一冠脉分支分段信息确定冠脉分支连通域;
第二冠脉分支分段信息确定模单元5004,基于冠脉分支连通域确定第二冠脉分支分段信息。
图20所示为本申请再一示例性实施例提供的冠脉分段装置的结构示意图。在本申请图15所示实施例的基础上延伸出本申请图20所示实施例,下面着重叙述图20所示实施例与图15所示实施例的不同之处,相同之处不再赘述。
如图20所示,在本申请实施例提供的冠脉分段装置中,第一确定模块包括:
第一冠脉主干分支信息确定单元1004,用于将待分段冠脉图像对应的主动脉分割信息、心脏分割信息以及冠脉分割信息输入主干分支模型,得到第一冠脉主干信息和第一冠脉分支信息。
图21所示为本申请再一示例性实施例提供的冠脉分段装置的结构示意图。在本申请图20所示实施例的基础上延伸出本申请图21所示实施例,下面着重叙述图21所示实施例与图20所示实施例的不同之处,相同之处不再赘述。
如图21所示,在本申请实施例提供的冠脉分段装置还包括:
第三确定模块1000,用于确定训练数据集以及训练数据集对应的主动脉分割信息、心脏分割信息和冠脉分割信息;
第四确定模块1001,用于确定训练数据集对应的冠脉分割信息对应的冠脉外接图形信息;
第五确定模块1002,用于基于冠脉外接图形信息依次确定主动脉外接图形信息、心脏外接图形信息以及冠脉外接图形信息;
主干分支模型生成模块1003,建立初始网络模型,并基于训练数据集、主动脉外接图形信息、心脏外接图形信息以及冠脉外接图形信息训练初始网络模型,以生成主干分支模型。
图22所示为本申请再一示例性实施例提供的冠脉分段装置的结构示意图。在本申请图15所示实施例的基础上延伸出本申请图22所示实施例,下面着重叙述图22所示实施例与图15所示实施例的不同之处,相同之处不再赘述。
如图22所示,在本申请实施例提供的冠脉分段装置中,第二确定模块包括:
第一冠脉主干和分支分段信息确定单元2001,用于将待分段冠脉图像对应的主动脉分割信息、心脏分割信息、冠脉分割信息、第一冠脉主干信息以及第一冠脉分支信息输入主干分支分段模型,得到第一冠脉主干分段信息和第一冠脉分支分段信息。
示例性电子设备
下面,参考图23来描述根据本申请实施例的电子设备。图23所示为本申请一示例性实施例提供的电子设备的结构示意图。
如图23所示,电子设备60包括一个或多个处理器601和存储器602。
处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备60中的其他组件以执行期望的功能。
存储器602可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器601可以运行所述程序指令,以实现上文所述的本申请的各个实施例的冠脉分段方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待分段冠脉图像等各种内容。
在一个示例中,电子设备60还可以包括:输入装置603和输出装置604,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置603可以包括例如键盘、鼠标等等。
该输出装置604可以向外部输出各种信息,包括确定的第一冠脉主干分段信息和第一冠脉分支分段信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图18中仅示出了该电子设备60中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备60还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的冠脉分段方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的冠脉分段方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:一种融合微分几何信息的脑分割方法