脂肪肝精准定量分析方法、装置、计算机设备和存储介质
技术领域
本发明涉及医学影像处理
技术领域
,特别涉及脂肪肝定量分析技术领域
,具体是指一种脂肪肝精准定量分析方法、装置、计算机设备和存储介质。背景技术
脂肪肝已超过乙肝成为我国第一大慢性肝病,且发病率呈不断上升的趋势,如果不加干预,可能恶化成脂肪性肝炎、肝硬化、肝细胞癌,甚至发生肝衰竭而导致死亡。
脂肪肝的定性诊断无论超声、CT、MRI、MRS均可以做到,目前,脂肪肝筛查主要通过B超和CT影像实现。B超简便经济,但其受患者个体差异、检测仪器、医生经验等因素影响较大,而CT虽然成像会更清新,但其缺点是有辐射。但是定量诊断迄今为止仍没有较满意的方法能够在临床工作中推广应用。
现有脂肪肝定量分析技术主要基于B超和CT影像,例如,基于CT的脂肪肝定量分析方法(王东洋.一种基于腹部CT的脂肪肝智能分级评定方法:中国,202010877327.2[P].2021-01-05)利用深度学习UNet2D网络(Ronneberger,O.,Fischer,P.,Brox,T.:U-Net:convolutional networks for biomedical image segmentation.In:Navab,N.,Hornegger,J.,Wells,W.M.,Frangi,A.F.(eds.)MICCAI 2015.LNCS,vol.9351,pp.234–241.Springer,Cham(2015))对CT影像进行肝组织和脾组织的分割操作,并将分割后的区域进行网格化切割作为采样区域,通过计算对应的灰度均值来完成对脂肪肝进行定量分析评定。该方案将深度学习技术应用到基于CT影像的脂肪肝定量分析。
但是,现有脂肪肝定量分析技术的定量分析较为局限,没有从肝脏分段的角度去定量分析,其对肝脏分段及分段脂肪的定量分析不够全面,并缺少脂肪范围预警和血管周脂肪的定量分析,无法在临床中推广应用。
因此,需要提供一种脂肪肝精准定量分析方法,其能够全面、准确的对肝脏脂肪进行定量分析。
发明内容
本发明的目的是为了克服上述现有技术中的缺点,提供能够全面、准确的对肝脏脂肪进行定量分析的脂肪肝精准定量分析方法、装置、计算机设备和存储介质。
为达到以上目的,在本发明的第一方面,提供一种脂肪肝精准定量分析方法,其特点是,包括以下步骤:
(1)获取待分析的肝脏三维影像;
(2)获取所述的待分析的肝脏三维影像的肝脏分段结果;
(3)肝脏脂肪及分段脂肪定量分析:计算整个肝脏的脂肪分布均匀性、平均脂肪含量、中位脂肪含量和置信区间;以及计算所述肝脏分段结果中每个肝脏分段的平均脂肪含量、中位脂肪含量和置信区间。
较佳地,在所述步骤(1)中,所述的待分析的肝脏三维影像是肝脏MRI三维影像、肝脏B超三维影像、肝脏CT三维影像或肝脏MRS三维影像。
较佳地,在所述步骤(2)中,所述的获取所述的待分析的肝脏三维影像的肝脏分段结果的步骤具体包括:
(21)将所述的待分析的肝脏三维影像输入预先训练的肝脏分段模型,输出所述肝脏分段结果。
更佳地,在所述步骤(21)中,所述的预先训练的肝脏分段模型采用以下步骤获得:
(a)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的肝脏分段标签;
(b)将所述样本肝脏三维影像和所述肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到所述的预先训练的肝脏分段模型,其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。
较佳地,所述脂肪肝精准定量分析方法还包括以下步骤:
(4)脂肪定量范围预警:
依据所述整个肝脏的所述平均脂肪含量占所述整个肝脏的重量的百分比输出脂肪定量范围预警结论:如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的5%-10%,则判断所述整个肝脏属于轻度脂肪肝;如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的10%-25%,则判断所述整个肝脏属于中度脂肪肝;如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的25%以上,则判断所述整个肝脏属于重度脂肪肝。
较佳地,在所述步骤(1)之后,所述脂肪肝精准定量分析方法还包括以下步骤:
(2’)获取所述的待分析的肝脏三维影像的静脉血管的分割区域;
(3’)提取所述分割区域中所述静脉血管的肝静脉和肝门静脉周脂肪区域;
(4’)静脉血管周脂肪定量分析:计算所述肝静脉和肝门静脉周脂肪区域的平均脂肪含量。
更佳地,在所述步骤(2’)中,所述的获取所述的待分析的肝脏三维影像的静脉血管的分割区域的步骤具体包括:
(21’)将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域。
在本发明的第二方面,提供一种脂肪肝精准定量分析装置,其特点是,包括:
肝脏分段模块,用于获取待分析的肝脏三维影像的肝脏分段结果;
肝脏脂肪及分段脂肪定量分析模块,信号连接所述肝脏分段模块并用于计算整个肝脏的脂肪分布均匀性、平均脂肪含量、中位脂肪含量和置信区间;以及计算所述肝脏分段结果中每个肝脏分段的平均脂肪含量、中位脂肪含量和置信区间。
在本发明的第三方面,提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特点是,所述处理器执行所述计算机程序时实现上述的脂肪肝精准定量分析方法。
在本发明的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特点是,所述计算机程序被处理器执行时实现上述的脂肪肝精准定量分析方法。
采用了本发明的脂肪肝精准定量分析方法、装置、计算机设备和存储介质,利用深度学习技术来解决自动化肝脏分段和分段脂肪定量结果分析,并通过脂肪含量定量分析实现脂肪范围预警,此外,还解决血管周脂肪提取及其定量分析,从而对脂肪肝有更全面精确的定量分析,可以帮助医生更准确地判断脂肪肝的脂肪沉积程度和治疗效果。
附图说明
图1是本发明的脂肪肝精准定量分析方法的一具体实施例的流程示意图。
图2是图1所示的具体实施例中肝脏分段模型深度学习训练的方法示意图。
图3是图1所示的具体实施例中静脉血管分割模型深度学习训练的方法示意图。
图4是图1所示的具体实施例中验证预先训练的肝脏分段模型的人工标注肝脏分段标签示意图。
图5是图1所示的具体实施例中验证预先训练的肝脏分段模型的模型预测结果示意图。
图6是肝脏的脂肪含量的分布通过伪彩图进行视觉化表示的切片示意图,采用颜色对应显示切片每个像素位置的脂肪含量,色度条显示的脂肪含量范围是0%-60%。
图7是肝脏自动化分段后的切片效果示意图。
图8是肝脏的平均脂肪含量通过脂肪含量预警坐标来直观展示的示意图。
图9是血管自动化分割后的切片效果示意图。
图10是本发明的脂肪肝精准定量分析装置的一具体实施例的框架示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容,特举以下实施例详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限制本发明。
请参见图1~图9所示,在本发明的一具体实施例中,本发明的脂肪肝精准定量分析方法包括以下步骤:
(1)获取待分析的肝脏三维影像;
(2)获取所述的待分析的肝脏三维影像的肝脏分段结果;
(3)肝脏脂肪及分段脂肪定量分析:计算整个肝脏的脂肪分布均匀性、平均脂肪含量、中位脂肪含量和置信区间;以及计算所述肝脏分段结果中每个肝脏分段的平均脂肪含量、中位脂肪含量和置信区间。
(1)整个肝脏
脂肪分布均匀性:首先计算整个肝脏脂肪含量的均值M和标准差S,Di是每个体素i的脂肪含量,n是肝脏中体素的总个数,
平均脂肪含量:整个肝脏脂肪含量的均值
中位脂肪含量:整个肝脏对所有体素的脂肪含量大小进行排序,排在中间位置的脂肪含量。
置信区间:整个肝脏对所有体素的脂肪含量大小进行排序,取排在25%分位数的脂肪含量值作为置信区间[a,b]的上限a值,取排在75%分位数的脂肪含量值作为置信区间[a,b]的下限b值。
(2)每个肝脏分段
平均脂肪含量:每个肝脏分段中脂肪含量的均值其中肝脏分段c在[1,8]之间,d是对应每个肝脏分段中,每个体素的脂肪含量。
中位脂肪含量:每个肝脏分段中,对所有体素的脂肪含量大小进行排序,排在中间位置的脂肪含量。
置信区间:每个肝脏分段中,对所有体素的脂肪含量大小进行排序,取排在25%分位数的脂肪含量值作为置信区间[a,b]的上限a值,取排在75%分位数的脂肪含量值分位数作为置信区间[a,b]的下限b值。
在所述步骤(1)中,肝脏三维影像,是对肝脏拍摄的三维影像。可以理解,肝脏三维影像包括肝脏静脉血管三维影像,肝脏静脉血管包括肝静脉和肝门静脉。待分析的肝脏三维影像,是需要进行脂肪肝精准定量分析的肝脏三维影像。
在所述步骤(1)中,所述的待分析的肝脏三维影像可以是任何合适类型的肝脏三维影像,例如肝脏MRI(Magnetic Resonance Imaging,磁共振成像)三维影像、肝脏B超(type-B ultrasonic,B型超声检查)三维影像、肝脏CT(Computed Tomography,电子计算机断层扫描)三维影像或肝脏MRS(Magnetic Resonance Spectroscopy,磁共振波谱)三维影像,在本发明的一具体实施例中,在所述步骤(1)中,所述的待分析的肝脏三维影像是肝脏MRI三维影像。
在所述步骤(2)中,所述的获取所述的待分析的肝脏三维影像的肝脏分段结果的步骤即是对所述的待分析的肝脏三维影像进行肝脏分段,得到肝脏分段结果的步骤,具体可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(2)中,所述的获取所述的待分析的肝脏三维影像的肝脏分段结果的步骤具体包括:
(21)将所述的待分析的肝脏三维影像输入预先训练的肝脏分段模型,输出所述肝脏分段结果。
其中,肝脏分段模型,是用于进行肝脏分段处理的机器学习模型。可以通过深度学习训练,得到预先训练的肝脏分段模型。
显然,肝脏分段也可以采用手动方法,或者半自动方法,即通过传统的分类和分割算法进行初步自动化分段,再手动调节。
在所述步骤(21)中,所述的预先训练的肝脏分段模型可以采用任何合适的方法获得,在本发明的一具体实施例中,在所述步骤(21)中,所述的预先训练的肝脏分段模型采用以下步骤获得:
(a)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的肝脏分段标签;
(b)将所述样本肝脏三维影像和所述肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到所述的预先训练的肝脏分段模型,其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。
也就是说,将上述训练集中的样本肝脏三维影像输入深度学习网络中,得到肝脏分段预测数据,然后将肝脏分段预测数据与训练集中的肝脏分段标签进行差异对比,根据该差异迭代地更新深度学习网络,直到满足迭代终止条件,得到预先训练的肝脏分段模型。
在所述步骤(a)中,所述的获取样本肝脏三维影像的步骤具体可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(a)中,所述的获取样本肝脏三维影像的步骤具体包括:
对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像,所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。
其中,原始样本肝脏三维影像,是未经过预处理的样本肝脏三维影像。直方图均衡化处理,使得图像灰度的动态范围得到增强,进而提高图像的对比度;标准化是将数据变换为均值为0,标准差为1的分布,归一化是将数据变化到某个固定区间,这里区间为[0,1],使得在模型训练梯度下降过程中加快求解过程,也避免了梯度爆炸等不利因素。
在所述步骤(b)中,所述UNet可以是任何合适的UNet,例如UNet2.5D、UNet2D、UNet3D、UNet++、Res-UNet、Dense U-Net、MultiResUNet、R2U-Net或Attention UNet,请参见图2所示,在本发明的一具体实施例中,所述UNet是UNet2.5D。
在所述步骤(b)中,所述深度学习网络可以包括任何合适的构成,在本发明的一具体实施例中,在所述步骤(b)中,所述深度学习网络包括卷积层、池化层、反卷积层、级联层和批标准化层,所述卷积层通过所述池化层信号连接所述反卷积层,所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层,所述卷积层提取所述样本肝脏三维影像的特征图,所述池化层对所述特征图进行下采样操作,所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸,所述级联层将不同层级输出的所述特征图进行组合,所述批标准化层对所述特征图的数值进行标准化。
其中,所述卷积层通过设置卷积核大小和步长来提取所述样本肝脏三维影像的特征图,所述批标准化层对所述特征图的数值进行标准化来提高梯度的收敛速度加快训练并缓解梯度消失问题。
在所述步骤(b)中,所述深度学习训练可以包括任何合适的训练过程,请参见图2所示,在本发明的一具体实施例中,在所述步骤(b)中,所述深度学习训练包括编码过程和解码过程,所述编码过程和所述解码过程均采用所述UNet/VNet和所述通道注意力机制,所述解码过程还采用多层级融合操作和全监督操作中的一种或几种。
在所述步骤(b)中,所述全监督操作采用的损失函数可以是任何合适的损失函数,在本发明的一具体实施例中,在所述步骤(b)中,所述全监督操作采用的损失函数为多分类交叉熵损失函数。
如图2所示,是通过深度学习训练,得到预先训练的肝脏分段模型的过程示意图。从图2中可知,整体训练过程是这样的:将原始医学影像(即样本肝脏三维影像)输入到深度学习网络中,得到深度学习网络预测结果,然后将预测结果(即肝脏分段预测数据)和人工标注(即肝脏分段标签)作对比,并反馈给深度学习网络,以人工标注作为目标,根据反馈的对比信息不断更新深度学习网络,直到预测结果与人工标注接近,即得到本实施例中的预先训练的肝脏分段模型。
为了实现脂肪范围预警,请参见图1所示,在本发明的一具体实施例中,所述脂肪肝精准定量分析方法还包括以下步骤:
(4)脂肪定量范围预警:
依据所述整个肝脏的所述平均脂肪含量占所述整个肝脏的重量的百分比输出脂肪定量范围预警结论:如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的5%-10%,则判断所述整个肝脏属于轻度脂肪肝;如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的10%-25%,则判断所述整个肝脏属于中度脂肪肝,可见肝组织炎症及肝纤维化;如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的25%以上,则判断所述整个肝脏属于重度脂肪肝。
为了更全面地进行肝脏脂肪的定量分析,请参见图1所示,在本发明的一具体实施例中,在所述步骤(1)之后,所述脂肪肝精准定量分析方法还包括以下步骤:
(2’)获取所述的待分析的肝脏三维影像的静脉血管的分割区域;
(3’)提取所述分割区域中所述静脉血管的肝静脉和肝门静脉周脂肪区域;
(4’)静脉血管周脂肪定量分析:计算所述肝静脉和肝门静脉周脂肪区域的平均脂肪含量。
所述的肝静脉和肝门静脉周脂肪区域的平均脂肪含量:统计肝静脉或门静脉周脂肪区域体素个数n及其对应的脂肪含量Qi,
在所述步骤(2’)中,所述的获取所述的待分析的肝脏三维影像的静脉血管的分割区域的步骤即是对所述的待分析的肝脏三维影像进行静脉血管分割,得到静脉血管的分割区域的步骤,具体可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(2’)中,所述的获取所述的待分析的肝脏三维影像的静脉血管的分割区域的步骤具体包括:
(21’)将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域。
其中,静脉血管分割模型,是用于进行静脉血管分割处理的机器学习模型。可以通过深度学习训练,得到预先训练的静脉血管分割模型。
显然,静脉血管分割也可以采用手动方法,或者半自动方法,即通过传统的分类和分割算法进行初步自动化分割,再手动调节。
在所述步骤(21’)中,所述的预先训练的静脉血管分割模型可以采用任何合适的方法获得,在本发明的一具体实施例中,在所述步骤(21’)中,所述的预先训练的静脉血管分割模型采用以下步骤获得:
(a’)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的静脉血管标注数据;
(b’)将所述样本肝脏三维影像和所述静脉血管标注数据作为训练集,对静脉血管分割模型迭代进行深度学习训练,得到所述的预先训练的静脉血管分割模型,其中所述静脉血管分割模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。
也就是说,将上述训练集中的样本肝脏三维影像输入深度学习网络中,得到静脉血管分割预测数据,然后将静脉血管分割预测数据与训练集中的静脉血管标注数据进行差异对比,根据该差异迭代地更新深度学习网络,直到满足迭代终止条件,得到预先训练的静脉血管分割模型。
对于深度学习网络和深度学习训练的其它具体限定可以参见上文中对于深度学习网络和深度学习训练的限定,在此不再赘述。
如图3所示,是通过深度学习训练,得到预先训练的静脉血管分割模型的过程示意图。从图3中可知,整体训练过程是这样的:将原始医学影像(即样本肝脏三维影像)输入到深度学习网络中,得到深度学习网络预测结果,然后将预测结果(即静脉血管分割数据)和人工标注(即静脉血管标注数据)作对比,并反馈给深度学习网络,以人工标注作为目标,根据反馈的对比信息不断更新深度学习网络,直到预测结果与人工标注接近,即得到本实施例中的预先训练的静脉血管分割模型。
在所述步骤(3’)中,所述提取可以采用任何合适的方法进行,在本发明的一具体实施例中,在所述步骤(3’)中,所述提取使用形态学膨胀算法。
为了方便查看脂肪肝精准定量分析方法获得的各项指标,请参见图1所示,在本发明的一具体实施例中,所述脂肪肝精准定量分析方法还包括:
(6)生成脂肪肝定量分析报告,所述脂肪肝定量分析报告包括所述整个肝脏的所述脂肪分布均匀性、所述平均脂肪含量、所述中位脂肪含量和所述置信区间;所述每个肝脏分段的所述平均脂肪含量、所述中位脂肪含量和所述置信区间;所述脂肪定量范围预警结论以及所述肝静脉和肝门静脉周脂肪区域的所述平均脂肪含量。
以下,以500份原始样本肝脏MRI三维影像和某个肝病患者的肝脏MRI三维影像作为待分析的肝脏MRI三维影像为例,具体说明本发明的脂肪肝精准定量分析方法。
1、预先训练的肝脏分段模型、预先训练的静脉血管分割模型的获得
以下,以500份原始样本肝脏MRI三维影像为例,说明预先训练的肝脏分段模型、预先训练的静脉血管分割模型的获得。
1.1 MRI数据预处理
读取500份原始样本肝脏MRI三维影像的DICOM数据,采用直方图均衡化、标准化和归一化的方式进行预处理。直方图均衡化处理使得图像灰度的动态范围得到增强,进而提高图像的对比度。标准化将数据变换为均值为0,标准差为1的分布。归一化将数据变化到固定区间[0,1]。其中,标准化和归一化处理,使得在模型训练梯度下降过程中加快求解过程,也避免了梯度爆炸等不利因素。获得500份样本肝脏MRI三维影像。
1.2预先训练的肝脏分段模型的获得
将其中350份(70%)样本肝脏MRI三维影像和对应的肝脏分段标签作为训练集,150份(30%)肝脏MRI三维影像和对应的肝脏分段标签作为验证集。
将训练集输入图2所示的基于UNet2.5D和通道注意力机制相结合的分段网络,具体地,编码过程包括3个层级的UNet2.5D和通道注意力机制,所述解码过程也包括3个层级的UNet2.5D和通道注意力机制,训练过程设置batch大小、学习率、核初始化参数,采用Adam优化器进行训练,损失函数采用多分类交叉熵损失函数。
(1)设置编码过程和解码过程的模型参数:卷积层,其卷积核的尺寸大小为3*3,核初始化采用LeCun均匀初始化器;激活函数使用线性整流函数(Rectified Linear Unit,ReLU),又称修正线性单元;反卷积层的卷积核尺寸大小为3*3。
(2)设置网络模型输出参数:卷积层,其卷积核的尺寸大小为1*1;激活函数采用Sigmoid函数,将输出值映射在0到1之间。
(3)设置模型训练过程参数:batch设置为8;采用Adam优化器,其使用动量和自适应学习率来加快收敛速度,初始学习率设置为0.0001;损失函数采用多分类交叉熵损失函数;epoch设置为300。
(4)开始训练直至模型收敛,保留最优训练模型。即获得预先训练的肝脏分段模型。
将验证集输入上述获得的预先训练的肝脏分段模型,将模型预测结果与肝脏分段标签进行定量和定性比较。其中,定量时采用Dice系数衡量验证集的平均效果(验证集Dice系数在0.81)。验证集上二维切片的定性预测效果如图4和图5所示。
1.3预先训练的静脉血管分割模型的获得
将其中350份(70%)样本肝脏MRI三维影像和对应的静脉血管标注数据作为训练集,150份(30%)肝脏MRI三维影像和对应的静脉血管标注数据作为验证集。
将训练集输入图3所示的基于UNet2.5D和通道注意力机制相结合的分段网络,具体地,编码过程包括3个层级的UNet2.5D和通道注意力机制,所述解码过程也包括3个层级的UNet2.5D和通道注意力机制,训练过程设置batch大小、学习率、核初始化参数,采用Adam优化器进行训练,损失函数采用多分类交叉熵损失函数。
(1)设置编码过程和解码过程的模型参数:卷积层,其卷积核的尺寸大小为3*3,核初始化采用glorot均匀初始化器;激活函数使用线性整流函数(Rectified Linear Unit,ReLU),又称修正线性单元;反卷积层的卷积核尺寸大小为3*3。
(2)设置网络模型输出参数:卷积层,其卷积核的尺寸大小为1*1;激活函数采用Sigmoid函数,将输出值映射在0到1之间。
(3)设置模型训练过程参数:batch设置为8;采用Adam优化器,其使用动量和自适应学习率来加快收敛速度,初始学习率设置为0.0001;损失函数采用Dice损失函数;epoch设置为300。
(4)开始训练直至模型收敛,保留最优训练模型。即获得预先训练的血管分割模型。
将验证集输入上述获得的预先训练的血管分割模型,将模型预测结果与静脉血管标注数据进行定量和定性比较。其中,定量时采用Dice系数衡量验证集的平均效果(验证集Dice系数在0.84)。
2、待分析的肝脏MRI三维影像的脂肪肝精准定量分析
以下以某个肝病患者的肝脏MRI三维影像作为待分析的肝脏MRI三维影像为例。
对于整个肝脏来说,通过计算脂肪分布均匀性、平均脂肪含量、中位脂肪含量和置信区间来进行定量分析,脂肪分布均匀性为0.56,平均脂肪含量为5.7%,中位脂肪含量为3.1%,置信区间为[1.7%,5.4%]。其中肝脏的脂肪含量的分布可通过伪彩图进行视觉化表示,如图6所示。
将待分析的肝脏MRI三维影像输入上述获得的预先训练的肝脏分段模型,获得肝脏分段结果,肝脏自动化分段后的切片效果如图7所示。通过自动化肝脏分段过程,得到肝脏对应的8个分段。对应肝脏每个分段,通过计算相应的平均脂肪含量、中位脂肪含量和置信区间来进行定量分析,结果请见下表。
肝脏分段/定量值
平均脂肪含量(%)
中位脂肪含量(%)
置信区间(%)
1段
6.88
3.52
[2.05,6.03]
2段
10.42
5.12
[2.47,13.57]
3段
5.17
3.31
[1.92,5.27]
4段
7.20
3.97
[2.29,6.73]
5段
3.42
2.14
[1.04,3.84]
6段
5.51
2.21
[1.12,5.17]
7段
5.73
2.56
[1.48,4.88]
8段
4.98
3.19
[1.89,4.85]
通过计算肝脏的平均脂肪含量占肝重的百分比来判断其属于轻度、中度或重度脂肪肝患者。轻度脂肪肝,肝脏脂肪含量占肝重的5%-10%;中度脂肪肝,肝脏脂肪含量占肝重的10%-25%,可见肝组织炎症及肝纤维化;重度脂肪肝,肝穿病理肝脂肪含量占肝重的25%以上。该定量值可通过脂肪含量预警坐标来直观展示,如图8所示。因此,该患者属于轻度脂肪肝患者。
将待分析的肝脏MRI三维影像输入上述获得的预先训练的静脉血管分割模型,获得静脉血管的分割区域,血管自动化分割后的切片效果如图9所示。在上述血管分割的基础上,使用形态学膨胀算法提取肝静脉和门静脉周脂肪区域,并计算对应的平均脂肪含量作为定量值进行分析,肝静脉周平均脂肪含量为2.39%,门静脉周平均脂肪含量为9.14%。
经过上述过程,自动化整合所有定量指标值、伪彩图、脂肪含量预警坐标等来合成分析报告,方便对脂肪肝进行全面精准的早期诊断、病情监测等,以推广在临床中的使用。
从而,现有技术仅通过肝组织和脾组织分割计算灰度均值来实现定量分析,定量指标单一且不够全面,无法在临床中推广应用。本发明首先进行肝脏分段并进行分段脂肪的定量分析,并给出脂肪范围预警。此外,本发明通过血管分割来提取血管周脂肪,并对其进行定量分析。本发明对脂肪肝的早期诊断、病情监测等方面具有重要的临床应用价值。
相较于B超和CT影像影像技术,MRI因其无创、无辐射、准确度高等更具优势。MRI脂肪肝定量分析无疑更为先进,其无创、无辐射、准确度高等优势,在脂肪肝的早期诊断、病情监测、疗效评价及预后评估等方面具有突出的临床应用价值。
请参见图10所示,在本发明的一具体实施例中,本发明还提供一种脂肪肝精准定量分析装置,包括:
肝脏分段模块,用于获取待分析的肝脏三维影像的肝脏分段结果;
肝脏脂肪及分段脂肪定量分析模块,信号连接所述肝脏分段模块并用于计算整个肝脏的脂肪分布均匀性、平均脂肪含量、中位脂肪含量和置信区间;以及计算所述肝脏分段结果中每个肝脏分段的平均脂肪含量、中位脂肪含量和置信区间。
所述肝脏分段模块用于获取待分析的肝脏三维影像的肝脏分段结果即是用于对所述的待分析的肝脏三维影像进行肝脏分段,得到肝脏分段结果,具体可以采用任何合适的方法,在本发明的一具体实施例中,所述肝脏分段模块具体用于将所述的待分析的肝脏三维影像输入预先训练的肝脏分段模型,输出所述肝脏分段结果。
所述脂肪肝精准定量分析装置还可以包括其它任何合适的构成,请参见图10所示,在本发明的一具体实施例中,所述脂肪肝精准定量分析装置还包括肝脏分段模型训练模块,信号连接所述肝脏分段模块且用于获取样本肝脏三维影像,并获取所述样本肝脏三维影像的肝脏分段标签;将所述样本肝脏三维影像和所述肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到所述的预先训练的肝脏分段模型,其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。
为了使得所述的预先训练的肝脏分段模型更加准确,在本发明的一具体实施例中,所述肝脏分段模型训练模块还用于对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像,所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。
所述的基于UNet/VNet和通道注意力机制相结合的分段网络可以包括任何合适的构成,在本发明的一具体实施例中,所述的基于UNet/VNet和通道注意力机制相结合的分段网络包括卷积层、池化层、反卷积层、级联层和批标准化层,所述卷积层通过所述池化层信号连接所述反卷积层,所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层,所述卷积层提取所述样本肝脏三维影像的特征图,所述池化层对所述特征图进行下采样操作,所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸,所述级联层将不同层级输出的所述特征图进行组合,所述批标准化层对所述特征图的数值进行标准化。
所述肝脏分段模型训练模块可以包括任何合适的构成,较佳地,所述肝脏分段模型训练模块包括编码模块和解码模块,所述编码模块信号连接所述解码模块,所述编码模块和所述解码模块分别包括若干依次信号连接的UNet/VNet+通道注意力机制模块,所述编码模块的最下游的所述UNet/VNet+通道注意力机制模块信号连接所述解码模块的最上游的所述UNet/VNet+通道注意力机制模块,所述解码模块还包括多层级融合模块和全监督模块中的一种或几种,所述多层级融合模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的特征图进行融合,所述全监督模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的所述特征图与所述肝脏分段标签计算损失并优化所述特征图。请参见图2所示,在本发明的一具体实施例中,所述UNet/VNet+通道注意力机制模块为UNet2.5D+通道注意力机制模块,所述编码模块包括3个层级的所述UNet2.5D+通道注意力机制模块,所述解码模块也包括3个层级的所述UNet2.5D+通道注意力机制模块。
所述全监督模块采用的损失函数可以是任何合适的损失函数,在本发明的一具体实施例中,所述全监督模块采用的损失函数为多分类交叉熵损失函数。
为了实现脂肪范围预警,请参见图10所示,在本发明的一具体实施例中,所述脂肪肝精准定量分析装置还包括:
脂肪定量范围预警模块,信号连接所述肝脏脂肪及分段脂肪定量分析模块并用于依据所述整个肝脏的所述平均脂肪含量占所述整个肝脏的重量的百分比输出脂肪定量范围预警结论:如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的5%-10%,则判断所述整个肝脏属于轻度脂肪肝;如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的10%-25%,则判断所述整个肝脏属于中度脂肪肝;如果所述整个肝脏的所述平均脂肪含量是所述整个肝脏的重量的25%以上,则判断所述整个肝脏属于重度脂肪肝。
为了更全面地进行肝脏脂肪的定量分析,请参见图10所示,在本发明的一具体实施例中,所述脂肪肝精准定量分析装置还包括:
静脉血管分割模块,用于获取所述的待分析的肝脏三维影像的静脉血管的分割区域;
静脉血管周脂肪区域提取模块,信号连接所述静脉血管分割模块并用于提取所述分割区域中所述静脉血管的肝静脉和肝门静脉周脂肪区域;
静脉血管周脂肪定量分析模块,信号连接所述静脉血管周脂肪区域提取模块并用于计算所述肝静脉和肝门静脉周脂肪区域的平均脂肪含量。
所述静脉血管分割模块用于获取所述的待分析的肝脏三维影像的静脉血管的分割区域即是用于对所述的待分析的肝脏三维影像进行静脉血管分割,得到静脉血管的分割区域,具体可以采用任何合适的方法,在本发明的一具体实施例中,所述静脉血管分割模块具体用于将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域。
所述脂肪肝精准定量分析装置还可以包括其它任何合适的构成,请参见图10所示,在本发明的一具体实施例中,所述脂肪肝精准定量分析装置还包括静脉血管分割模型训练模块,信号连接所述静脉血管分割模块且用于获取样本肝脏三维影像,并获取所述样本肝脏三维影像的静脉血管标注数据;将所述样本肝脏三维影像和所述静脉血管标注数据作为训练集,对静脉血管分割模型迭代进行深度学习训练,得到所述的预先训练的静脉血管分割模型,其中所述静脉血管分割模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。
为了使得所述的预先训练的静脉血管分割模型更加准确,在本发明的一具体实施例中,所述静脉血管分割模型训练模块还用于对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像,所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。
所述的基于UNet/VNet和通道注意力机制相结合的分段网络可以包括任何合适的构成,在本发明的一具体实施例中,所述的基于UNet/VNet和通道注意力机制相结合的分段网络包括卷积层、池化层、反卷积层、级联层和批标准化层,所述卷积层通过所述池化层信号连接所述反卷积层,所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层,所述卷积层提取所述样本肝脏三维影像的特征图,所述池化层对所述特征图进行下采样操作,所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸,所述级联层将不同层级输出的所述特征图进行组合,所述批标准化层对所述特征图的数值进行标准化。
所述静脉血管分割模型训练模块可以包括任何合适的构成,较佳地,所述静脉血管分割模型训练模块包括编码模块和解码模块,所述编码模块信号连接所述解码模块,所述编码模块和所述解码模块分别包括若干依次信号连接的UNet/VNet+通道注意力机制模块,所述编码模块的最下游的所述UNet/VNet+通道注意力机制模块信号连接所述解码模块的最上游的所述UNet/VNet+通道注意力机制模块,所述解码模块还包括多层级融合模块和全监督模块中的一种或几种,所述多层级融合模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的特征图进行融合,所述全监督模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的所述特征图与所述肝脏分段标签计算损失并优化所述特征图。请参见图3所示,在本发明的一具体实施例中,所述UNet/VNet+通道注意力机制模块为UNet2.5D+通道注意力机制模块,所述编码模块包括3个层级的所述UNet2.5D+通道注意力机制模块,所述解码模块也包括3个层级的所述UNet2.5D+通道注意力机制模块。
所述全监督模块采用的损失函数可以是任何合适的损失函数,在本发明的一具体实施例中,所述全监督模块采用的损失函数为多分类交叉熵损失函数。
所述静脉血管周脂肪区域提取模块用于提取所述分割区域中所述静脉血管的肝静脉和肝门静脉周脂肪区域可以采用任何合适的方法提取,在本发明的一具体实施例中,所述静脉血管周脂肪区域提取模块用于使用形态学膨胀算法提取所述分割区域中所述静脉血管的肝静脉和肝门静脉周脂肪区域。
为了方便查看脂肪肝精准定量分析方法获得的各项指标,请参见图10所示,在本发明的一具体实施例中,所述脂肪肝精准定量分析装置还包括脂肪肝定量分析报告生成模块,分别信号连接所述脂肪定量范围预警模块和所述静脉血管周脂肪定量分析模块并用于生成脂肪肝定量分析报告,所述脂肪肝定量分析报告包括所述整个肝脏的所述脂肪分布均匀性、所述平均脂肪含量、所述中位脂肪含量和所述置信区间;所述每个肝脏分段的所述平均脂肪含量、所述中位脂肪含量和所述置信区间;所述脂肪定量范围预警结论以及所述肝静脉和肝门静脉周脂肪区域的所述平均脂肪含量。
关于脂肪肝精准定量分析装置的其它具体限定可以参见上文中对于脂肪肝精准定量分析方法的限定,在此不再赘述。上述脂肪肝精准定量分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在本发明的一具体实施例中,本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。
在本发明的一具体实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。
由此,采用了本发明的脂肪肝精准定量分析方法、装置、计算机设备和存储介质,利用深度学习技术来解决自动化肝脏分段和分段脂肪定量结果分析,并通过脂肪含量定量分析实现脂肪范围预警,此外,还解决血管周脂肪提取及其定量分析,从而对脂肪肝有更全面精确的定量分析,可以帮助医生更准确地判断脂肪肝的脂肪沉积程度和治疗效果。
由此可见,本发明的目的已经完整并有效的予以实现。本发明的功能及结构原理已在实施例中予以展示和说明,在不背离所述原理下,实施方式可作任意修改。所以,本发明包括了基于权利要求精神及权利要求范围的所有变形实施方式。