具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

本公开实施例1提供了一种肺部4D-CT医学图像配准方法，包括以下过程：

如图1所示，优选的，本实施例在三个不同分辨率下学习图像特征；

总体架构的最下面一层是一个低分辨率的图像，具体操作为：

让一个周期的3D肺部CT图像做两次下采样，得到的结果作为网络的输入，让网络学习图像大尺度的特征，得到相应的形变场(即第一形变场)，并将得到的形变场进行一次上采样操作，将其作为总体架构中间层的输入；

总体架构中间层是中等分辨率的图像，具体操作为：

让一个周期的3D肺部CT图像做一次下采样，得到的结果和最底层得到的形变场(即第一形变场)一同作为网络的输入，让网络再学习图像中等尺度的特征的同时学习低尺度的特征，得到相应的形变场(即第二形变场)，并将得到的形变场进行一次上采样操作，将其作为总体架构最上层的输入；

总体架构最上层是高分辨率的图像也就是原始图像，将其与中间层得到的形变场一起输入到网络中进行学习，使得网络学习到低、中、高三种尺度的特征，得到相应形变场(即第三形变场)，这样做可以提高网络配准精度。

可以理解的，在其他一些实施方式中，也可以在四个或者五个或者更多个不同分辨率下学习图像特征，只要按照本公开所述的方法进行逐级采样和连接即可，本领域技术人员可以根据具体工况进行选择，这里不再赘述。

如图2所示，本实施例所设计的网络框架是类似于U-net的全连接网络，整个网络由四层带有跳跃连接层的编码器解码器组成。图1中不同分辨率层中的全连接网络是相同的，本实施例只介绍一下最底层全连接网。

首先编码阶段，将一组一个周期的3D肺部CT图像输入到网络中(如图1中最左侧网络的输入)，应用一个大小为3×3×3，步长为1的卷积核，得到图2最左侧的卷积层，然后是一个步长为2，大小为3×3×3卷积层进行下采样操作，进一步计算输入图像对之间的高级特征，并将图像尺寸减半采样，直到达到最低尺寸(如图2中卷积层尺寸从左到右逐渐减小)。

解码阶段，首先通过应用大小为2×2×2，步长为2卷积核进行反卷积操作，使通过编码阶段得到的卷积层上采样到其两倍大小。将编码阶段得到的相同尺寸的卷积层通过残差网络跳跃连接，从弥补网络丢失的特征信息。应用大小为3×3×3，步长为1的卷积核来减少连接之后网络的通道数。经过4次操作，使卷积层尺寸大小与图1最左侧卷积层尺寸大小相同。最后应用一个大小为1×1×1，步长为1的卷积核得到形变场。另外在网络中除了最后输出卷积层外，剩下的每一个卷积之后都有Relu激活函数，并且在进行每一步步长为1的卷积操作的后都会有一个填充操作，以便使输出卷积层和输入卷积层尺寸一致。

全连接网络的损失函数包括：

(1)相似性测度损失函数

计算两幅图像相似度损失函数有很多，比如均方误差(mean squared error，MSE)、距离平方和(sum of squares distance，SSD)、交互信息(mutual information，MI)、互相关(cross-correlation，CC)、归一化互相关(normalized cross-correlation NCC)等。为了简单起见，本实施例利用归一化互相关作为网络的相似性度量来计算两幅图像之间的对齐程度。让I_i和I_j分别为一个呼吸周期内的CT影像集合内的两幅图像(i≠j)，和分别为以x为中心的一个ω³图像块的期望值，其中在本实施例的实验中ω的值为9。因此归一化互相关定义为如下等式：

其中，Ω代表的使图像域，x_i代表的是在ω³图像块里与中心x的相邻的体素。另外归一化互相关NCC的取值范围为[-1,1]，数字-1代表两幅图像完全不相关，数字1代表两幅图像相关度极高。因此,将相似性测度损失函数设计为：

其中，I^N代表的是一个呼吸周期内的CT影像集合，T^N表示的是一个呼吸周期内的所有CT影像转换向量场的集合，指的是第i和第j图像转换向量场的集合。

(2)平滑正则损失函数

在以往的研究中，通常对其空间梯度进行局部平滑约束来使估计的形变场平滑，这样是为了避免获得不实际或不连续的变形场。因此，本实施例在损失函数中也使用平滑约束：

其中，μ_i(p)代表的是第i个图像在位置p处的形变向量场，代表的是形变向量场的梯度，||·||₂代表的是l₂范数，在本实施例中，用相邻体素之间的差值来近似空间梯度。

(3)空间折叠惩罚损失函数

虽然正则化器可以控制变形场的平整度，但是当正则化器的权值较大时可能会降低模型的配准精度；正则化器的权值较小时会出现变换中的折叠现象。这些折叠点在数学上就是其雅可比行列式的值为负数，因此为了在选择较小正则化权值的时候能最大化图像配准精度，本实施例应用雅可比行列式正则化方法，该方法对估计的变形场施加局部折叠约束。空间折叠惩罚损失函数定义如下：

其中，σ(·)表示的是一个线性约束，其表达为：

(4)式中，表示形变向量场μ_n在点p处的雅可比行列式。

雅可比矩阵定义如下：

位移场的雅可比矩阵是由图像域中点各方向的方向导数形成的二阶张量场，利用雅可比行列式可以分析形变场的局部行为，例如则表示点p处的形变场在p的邻域内保持方向，反之则点p处的变形场在p的邻域方向相反，有可能产生折叠。因此采用雅可比行列式作为空间折叠惩罚损失函数来避免折叠发生。

(4)周期约束损失函数

周期约束定义的是一个周期内所有体素对应的形变向量之和。

周期约束损失函数定义如下：

其中，表示的是第一幅图像到第n幅图像对应点p的形变向量。(6)式和为零则表示完整的周期运动。

因此，本实施例的完整损失函数可以写成：

L_total(I^N,T^N)＝L_sim+λ₁L_reg+λ₂L_Jdet+λ₃L_pre (7)

其中，λ₁,λ₂,λ₃分别代表平滑正则损失函数、空间折叠惩罚损失函数和周期约束损失函数的权重。

实施例2：

本公开实施例2提供了一种肺部4D-CT医学图像配准系统，包括：

数据获取模块，被配置为：获取一个呼吸周期内的CT影像数据；

第一形变场获取模块，被配置为：对获取的一个呼吸周期内的CT影像数据做至少两次下采样，得到的结果作为第一全连接网络的输入，得到第一形变场

第二形变场获取模块，被配置为：将第一形变场进行一次上采样操作，对获取的一个周期的3D肺部CT图像做一次下采样操作，两者共同作为第二全连接网络的输入，得到第二形变场

第三形变场获取模块，被配置为：将第二形变场进行一次上采样操作，并与获得的一个呼吸周期内的CT影像数据共同作为第三全连接网络的输入，得到第三形变场

实施例3：

本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的一种肺部4D-CT医学图像配准方法中的步骤。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的一种肺部4D-CT医学图像配准方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。