基于密度聚类的图像配准方法
技术领域
本发明属于图像处理
技术领域
,特别是涉及一种基于密度聚类的图像配准方法。背景技术
配置是选定一张固定的基准图像作为模板,一张存在相对偏移的图像作为目标,并通过算法计算出模板图像的坐标偏移,再对目标图像进行刚性或非刚性的变化使目标图像和模板图像处于一致的相对坐标。主流的算法有:基于特征点匹配的配准算法、基于相似性度量的配准算法、基于深度学习的配准算法。
基于特征点匹配的配准算法是通过对全部像素点遍历,通过对某一点邻域梯度进行描述并定义符合某种规则的点为特征点,是一种全局搜寻策略;此类算法通常有较好的普适性,但速度慢。
基于相似性度量的配准算法是通过对图像全局像素点进行统计和变换并进行滑动匹配,比如FFT(快速傅立叶变换)和MI(互信息)配准;此类算法具有相对高的精度,但同样速度慢。
基于深度学习的配准算法在特定数据集上有最高的精度,但是需要大量的数据训练。
发明内容
本发明的目的在于克服现有技术的一项或多项不足,提供一种基于密度聚类的图像配准方法。
本发明的目的是通过以下技术方案来实现的:基于密度聚类的图像配准方法,包括:
提取模板图像的第一最终特征点集和每帧目标图像的第二最终特征点集;
分别生成第一最终特征点集中所有第一最终特征点和第二最终特征点集中所有第二最终特征点的描述向量;
根据描述向量的相似度,将第一最终特征点与当前帧目标图像的第二最终特征点进行匹配;
根据所有匹配成功的第一最终特征点和当前帧目标图像的第二最终特征点计算配准参数;
根据所述配准参数对当前帧目标图像进行图像变换。
优选的,若目标图像为一帧,则提取模板图像的第一最终特征点和目标图像的第二最终特征点,包括:
提取模板图像的第一初始特征点和目标图像的第二初始特征点;
对所有第一初始特征点进行密度聚类得到第一中间特征点集,对所有第二初始特征点进行密度聚类得到第二中间特征点集;
根据第一初始特征点进行密度聚类得到的密度做阈值过滤第一中间特征点集中的噪声点,根据第二初始特征点进行密度聚类得到的密度做阈值过滤第二中间特征点集中的噪声点;
对所有第一中间特征点进行邻近合并和密度聚类得到第一最终特征点集,对所有第二中间特征点进行邻近合并和密度聚类得到目标图像的第二最终特征点集;
若目标图像为包含多帧图像的图像序列,则提取模板图像的第一最终特征点和目标图像的第二最终特征点,包括:
提取模板图像的第一初始特征点和第一帧目标图像的第二初始特征点;
对所有第一初始特征点进行密度聚类得到第一中间特征点集,对第一帧目标图像的所有第二初始特征点进行密度聚类得到第二中间特征点集;
根据第一初始特征点进行密度聚类得到的密度做阈值过滤第一中间特征点集中的噪声点,根据第一帧目标图像的第二初始特征点进行密度聚类得到的密度做阈值过滤第二中间特征点集中的噪声点;
对所有第一中间特征点进行邻近合并和密度聚类得到第一最终特征点集,对第一帧目标图像的所有第二中间特征点进行邻近合并和密度聚类得到第一帧目标图像的第二最终特征点集;
对于非第一帧目标图像,通过对前一帧目标图像的第二最终特征点集中所有第二最终特征点进行密度聚类得到该帧目标图像的第二最终特征点集。
优选的,所述第一初始特征点的提取方法或FAST算法或随机生成,所述第二初始特征点的提取方法或FAST算法或随机生成。
优选的,对第一初始特征点进行密度聚类包括:
分别以每个第一初始特征点为中心,取预设范围的邻域图像;
分别以所述邻域图像中预设数量的像素点的像素值作为权重,通过自适应步长的快速梯度上升法迭代,更新每个特征点并终止于密度局部极值点称密度吸引点,并将所述密度吸引点作为第一中间特征点;
对第二初始特征点进行密度聚类包括:
分别以每个第二初始特征点为中心,取预设范围的邻域图像;
分别以所述邻域图像中预设数量的像素点的像素值作为权重,通过自适应步长的快速梯度上升法迭代,更新每个特征点并终止于密度局部极值点称密度吸引点,并将所述密度吸引点作为第二中间特征点。
优选的,所述快速梯度上升法的计算公式为:
式中,为任意点坐标向量所对应的估计密度,为任意点坐标向量的像素值,是该区域所有估计点,h带宽是用于平滑经验分布的常量,ε是设定的终止梯度上升过程的限制参数。
优选的,所述第一最终特征点的描述向量的生成方法为:将一个第一最终特征点和其余所有第一最终特征点的位置分布的差异向量集合作为该第一最终特征点的一组描述向量;
所述第二最终特征点的描述向量的生成方法为:将一个第二最终特征点和同一第二最终特征点集中其余所有第二最终特征点的位置分布的差异向量集合作为该第二最终特征点的一组描述向量。
优选的,将第一最终特征点的描述向量与第二最终特征点的描述向量进行匹配,包括:计算第一最终特征点的描述向量和第二最终特征点的描述向量的杰卡德相似系数,若杰卡德相似系数大于预设值,则认为该第一最终特征点和该第二最终特征点匹配成功;
所述杰卡德相似系数的计算方法为:若一个描述向量中差异向量与另一个描述向量中一差异向量的范数与两差异向量范数之和比值小于预设值,则认为两差异向量相同,两描述向量的杰卡德相似系数为两描述向量中差异向量的交集除以并集,即同质差异向量数比总差异向量数减同质差异向量数。
优选的,所述杰卡德相似系数的计算公式为:
式中,为点集KpTemplate中的特征点,为点集KpDestination中的特征点,为特征点的描述向量由与点集KpTemplate中其他所有特征点的坐标差构成,为特征点的描述向量由与点集KpDestination中其他所有特征点的坐标差构成,J表示两个描述向量的杰卡德相似系数,τsame指在比较两个描述向量时存在一组描述向量中的一个差异向量匹配了另一组描述向量中的多个差异向量的重复匹配次数,ζ1表示两个差异向量之差的范数和这两个差异向量范数之和的比值用于界定两个差异向量是否同质。
优选的,基于密度聚类的图像配准方法,还包括:
在匹配第一最终特征点和第二最终特征点时,判断目标图像是否存在大于阈值的角度旋转差异,若是,则分别计算第一最终特征点描述向量和第二最终特征点描述向量的主方向;
根据所述主方向的角度对所述第一最终特征点的描述向量中所有差异向量和目标图像的第二最终特征点描述向量中所有差异向量进行旋转变化;
根据变换后的描述向量相似度进行第一最终特征点和第二最终特征点的匹配。
优选的,计算描述向量的主方向,包括:
选取待匹配的第一最终特征点和第二最终特征点;
对所述第一最终特征点的描述向量进行主方向直方图统计,得到其最大的趋势方向;
对所述第二最终特征点的描述向量进行主方向直方图统计,得到其最大的趋势方向;
所述方向直方图统计的方法为:根据固定角度分割周角为相应角度范围,统计每个角度范围中所在差异向量的范数值,各角度范围中总计范数值最大的角度称为其最大趋势方向;
对第一最终特征点的描述向量中所有差异向量以其最大的趋势方向作为其坐标基准方向进行旋转线性变化;
对第二最终特征点的描述向量中所有差异向量以其最大的趋势方向作为其坐标基准方向进行旋转线性变化。
本发明的有益效果是:
(1)本发明通过密度聚类法提出一种高像素强度的特征点,由任意初始点根据其邻域邻域的平滑可微经验分布梯度上升迭代而来,具有抗噪声、稳定、局部计算的特点;在低计算量的同时提取高质量特征点,适用于大尺寸、大体量图像数据。
(2)本发明在逐帧计算时,根据相邻帧图像结构相似、特征点相近的特点,用先验的策略以前一帧特征点作为起始,选择每个特征点的邻域进行密度聚类并更新为下一帧相应的特征点,由于特征点相近,更新时快速收敛,极大提高了图像配准的处理速度。
(3)本发明通过特征点内在方位关系进行特征点匹配,最终计算相应偏差进行配准,避免了同类算法中广泛计算特征点邻域梯度信息并匹配的过程,提高了图像配准的处理速度。
(4)本发明的方法在简易设备上即可运行,无需任何预训练、预计算,不构建多尺度图像,采用局部计算,节省内存与算力,方便易行。
(5)本发明通过比较目标图像和模板匹配的共有高像素强度特征的坐标关系进行配准,特征直观、方式直接,在极大提高配准效率的同时取得良好的配准效果。
附图说明
图1为基于密度聚类的图像配准方法的一种流程示意图;
图2a为利用FAST算法得到的初始特征点的示意图;
图2b为图2a经过密度聚类和一系列处理后得到的最终特征点的示意图;
图3a为一案例中模板图像的第一最终特征点的示意图;
图3b为一案例中目标图像的第二最终特征点的示意图;
图4为基于密度聚类的图像配准方法的又一种流程示意图;
图5a为又一案例中的模板图像;
图5b为又一案例中图像序列中特征点不断逐帧更新的示意图;
图6a为图3a中匹配成功的第一最终特征点的示意图;
图6b为图3b中匹配成功的第二最终特征点的的示意图;
图7a为存在旋转角度时的案例中模板图像的第一最终特征点集以及待匹配第一最终特征点的描述向量的示意图;
图7b为存在旋转角度时的案例中旋转后的目标图像的第二最终特征点集以及待匹配第二最终特征点的描述向量的示意图;
图7c为存在旋转角度时的案例中待匹配的第一最终特征点的描述向量的方向直方图;
图7d为存在旋转角度时的案例中待匹配的第二最终特征点的描述向量的方向直方图;
图7e为存在旋转角度时的案例中第一最终特征点的描述向量中所有差异向量进行旋转线性变化的示意图;
图7f为存在旋转角度时的案例中第二最终特征点的描述向量中所有差异向量进行旋转线性变化的示意图;
图8a为一神经元胞体的双光子成像序列案例中的模板图像;
图8b为一神经元胞体的双光子成像序列案例中未配准的目标图像;
图8c为一神经元胞体的双光子成像序列案例中配准后的目标图像;
图8d为一神经元树突的双光子成像序列案例中的模板图像;
图8e为一神经元树突的双光子成像序列案例中未配准的目标图像;
图8f为一神经元树突的双光子成像序列案例中配准后的目标图像;
图9a为一神经元胞体的双光子成像序列案例中原图像序列的平均帧示意图;
图9b为一神经元胞体的双光子成像序列案例中配准后的图像序列的平均帧示意图;
图9c为又一神经元树突的双光子成像序列案例中原图像序列的平均帧示意图;
图9d为又一神经元树突的双光子成像序列案例中配准后的图像序列的平均帧示意图。
具体实施方式
下面将结合实施例,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1-9,本发明提供一种基于密度聚类的图像配准方法:
如图1所示,基于密度聚类的图像配准方法,包括:
S1.提取模板图像的第一最终特征点集和每帧目标图像的第二最终特征点集。
具体的,若目标图像为一帧,则所述S1包括:
S11.提取模板图像的第一初始特征点和目标图像的第二初始特征点。
一般的,所述第一初始特征点可以通过随机生成的方法得到,也可以利用现有的特征点提取算法得到,比如,可以采用FAST算法对模板图像进行特征点提取得到第一初始特征点。同理的,所述第二初始特征点可以通过随机生成的方法得到,也可以利用现有的特征点提取算法得到,比如,可以采用FAST算法对目标图像进行特征点提取得到第二初始特征点。
S12.对所有第一初始特征点进行密度聚类得到第一中间特征点集,对所有第二初始特征点进行密度聚类得到第二中间特征点集。
对第一初始特征点进行密度聚类包括:分别以每个第一初始特征点为中心,取预设范围的邻域图像;分别以所述邻域图像中预设数量的像素点的像素值作为权重,通过自适应步长的快速梯度上升法迭代,更新每个特征点并终止于密度局部极值点称密度吸引点,并将所述密度吸引点作为第一中间特征点。
对第二初始特征点进行密度聚类包括:分别以每个第二初始特征点为中心,取预设范围的邻域图像;分别以所述邻域图像中预设数量的像素点的像素值作为权重,通过自适应步长的快速梯度上升法迭代,更新每个特征点并终止于密度局部极值点称密度吸引点,并将所述密度吸引点作为第二中间特征点。
所述自适应步长的快速梯度上升法的推导:
对所述邻域图像中预设数量的像素点做加权高斯核密度估计,密度计算公式为:
式中,为任意点坐标向量所对应的估计密度;为任意点坐标向量的像素值;是该区域所有估计点;h带宽是用于平滑经验分布的常量;d是数据的维度,本算法中为常数2;
根据上述,对估计密度求导计算梯度有以下公式:
据此,可以计算估计区域内任意点的梯度,因此可以根据梯度上升法寻找局部最大值(即,密度吸引点)作为第一中间特征点,计算公式如下:
式中,δ为梯度上升法的固定步长。
在上述梯度上升法的基础上,本实施例中提出了自适应步长的快速梯度上升法的计算公式:
式中,为任意点坐标向量所对应的估计密度,为任意点坐标向量的像素值,是该区域所有估计点,h带宽是用于平滑经验分布的常量,ε是设定的终止梯度上升过程的限制参数。
在以上公式的应用下,对第一初始特征点应用梯度上升法寻找密度局部极值即密度吸引点,也就是第一中间特征点;对第二初始特征点应用梯度上升法寻找密度局部极值即密度吸引点,也就是第二中间特征点。
S13.根据第一初始特征点进行密度聚类得到的密度做阈值过滤第一中间特征点集中的噪声点,根据第二初始特征点进行密度聚类得到的密度做阈值过滤第二中间特征点集中的噪声点。
S14.对所有第一中间特征点进行邻近合并和密度聚类得到第一最终特征点集,对所有第二中间特征点进行邻近合并和密度聚类得到目标图像的第二最终特征点集。
对第一中间特征点和第二中间特征点进行邻近合并和再次密度聚类能够去除重复极值点。
在一些实施例中,根据第一初始特征点进行密度聚类得到的密度的上四分位数做阈值过滤第一中间特征点集中的噪声点,并邻近合并预设范围内的第一中间特征点而后再次进行聚类矫正合并时产生的误差,得到第一最终特征点集;根据第一帧目标图像的第二初始特征点进行密度聚类得到的密度的上四分位数做阈值过滤第二中间特征点集中的噪声点,并邻近合并预设范围内的第二中间特征点而后再次进行聚类矫正合并时产生的误差,得到第一帧目标图像的最终特征点集。阈值以及合并第一中间特征点和第二中间特征点处的预设范围的具体大小根据实际需要进行设置。
在计算得到全部第一中间特征点和第二中间特征点后,由于图像存在一定噪声,有些中间特征点可能不能反应真实的特征,因此,再次对第一中间特征点进行处理得到第一最终特征点,对第二中间特征点进行处理得到第二最终特征点。
图2提供了一个基于初始特征点得到最终特征点的例图,其中,图2a为利用FAST算法得到的初始特征点(第一初始特征点或第二初始特征点)的示意图,图2b为经过密度聚类和一系列处理后得到的最终特征点(第一最终特征点或第二最终特征点)的示意图。
图3提供了一个案例中模板图像和目标图像最终特征点的示意图,其中,图3a为模板图像的第一最终特征点的示意图,图3b为目标图像的第二最终特征点的示意图。
如图4所示,所述目标图像为包含多帧图像的图像序列时,第一帧目标图像的第二最终特征点集的提取方法与目标图像为一帧时目标图像的第二最终特征点集的提取方法相同,即:提取模板图像的第一初始特征点和第一帧目标图像的第二初始特征点;对所有第一初始特征点进行密度聚类得到第一中间特征点集,对第一帧目标图像的所有第二初始特征点进行密度聚类得到第二中间特征点集;根据第一初始特征点进行密度聚类得到的密度做阈值过滤第一中间特征点集中的噪声点,根据第一帧目标图像的第二初始特征点进行密度聚类得到的密度做阈值过滤第二中间特征点集中的噪声点;对所有第一中间特征点进行邻近合并和密度聚类得到第一最终特征点集,对第一帧目标图像的所有第二中间特征点进行邻近合并和密度聚类得到第一帧目标图像的第二最终特征点集。
所述目标图像为包含多帧图像的图像序列时,对于非第一帧目标图像,通过对前一帧目标图像的第二最终特征点集中所有第二最终特征点进行密度聚类得到该帧目标图像的第二最终特征点集。这样在相邻帧目标图像之间,特征点仅需极少迭代即可到达局部极值点,而局部邻域的计算也绕过了全局检索的低效方式。
图5为生成非第一帧目标图像的第二最终特征点的一组案例图,其中,图5a表示模板图像,图5b表示图像序列中特征点不断逐帧更新的示意图。
本实施例中的方法可以用于双光子图像,在任意点为起始点的基础上,通过密度聚类法,平滑估计并计算出其邻域的可微经验分布,迭代更新到高像素强度的特征点,并通过特征点内在方位关系进行特征点匹配,最终计算相应偏差进行配准。在逐帧计算时,根据相邻帧特征点相近的特点,用先验的策略从前一帧特征点起始,选择每个特征点的邻域进行密度聚类并更新为下一帧相应的特征点。本实施例中的方法相比较于现存算法,在同设备下达到相近精度的同时,可以更快速地在大尺寸、大数据体量的图像数据集上进行运动校准。
S2.分别生成第一最终特征点集中所有第一最终特征点和第二最终特征点集中所有第二最终特征点的描述向量。
在一些实施例中,所述第一最终特征点的描述向量的生成方法为:将一个第一最终特征点和其余所有第一最终特征点的位置分布的差异向量集合作为该第一最终特征点的一组描述向量。
所述第二最终特征点的描述向量的生成方法为:将一个第二最终特征点和同一第二最终特征点集中其余所有第二最终特征点的位置分布的差异向量集合作为该第二最终特征点的一组描述向量。
具体的,对于点集KpTemplate中的最终特征点以及点集KpDestination中的最终特征点而言,其描述向量为以下形式:
S3.根据描述向量的相似度,将第一最终特征点与当前帧目标图像的第二最终特征点进行匹配。
具体的,将第一最终特征点的描述向量与第二最终特征点的描述向量进行匹配,包括:计算第一最终特征点的描述向量和第二最终特征点的描述向量的杰卡德相似系数,若杰卡德相似系数大于预设值,则认为该第一最终特征点和该第二最终特征点匹配成功。
所述杰卡德相似系数的计算方法为:若一个描述向量中差异向量与另一个描述向量中一差异向量的范数与两差异向量范数之和比值小于预设值,则认为两差异向量相同,两描述向量的杰卡德相似系数为两描述向量中差异向量的交集除以并集,即同质差异向量数比总差异向量数减同质差异向量数。
对于两组描述向量的匹配,本实施例选用杰卡德相似系数(Jaccard Similaritycoefficient)作为衡量指标,即两个向量集中交集和并集的比值。由于一组描述向量是由一个最终特征点(即,第一最终特征点或第二最终特征点)和其余所有第二最终特征点的位置分布的差异向量集合所构成的,且每一个差异向量都是有独特性的,因此,两个相视觉匹配的最终特征点的描述向量内部的元素之间没有完全一致的,也就是无法计算杰卡德相似系数的并集。对此,本实施例中设定了参数ζ1来评估差异向量是否同质,若一个描述向量中差异向量与另一个描述向量中一差异向量的范数与两差异向量范数之和比值小于预设值ζ1,则认为两差异向量相同,所述杰卡德相似系数的计算公式为:
式中,为点集KpTemplate中的特征点,为点集KpDestination中的特征点,为特征点的描述向量由与点集KpTemplate中其他所有特征点的坐标差构成,为特征点的描述向量由与点集KpDestination中其他所有特征点的坐标差构成,J表示两个描述向量的杰卡德相似系数,τsame指在比较两个描述向量时存在一组描述向量中的一个差异向量匹配了另一组描述向量中的多个差异向量的重复匹配次数,ζ1表示两个差异向量之差的范数和这两个差异向量范数之和的比值用于界定两个差异向量是否同质。
图6为第一最终特征点与第二最终特征点匹配的一组案例图,其中,图6a和6b为图3a和图3b中匹配成功的第一最终特征点和第二最终特征点的的示意图。
S4.根据所有匹配成功的第一最终特征点和当前帧目标图像的第二最终特征点计算配准参数。
S5.根据所述配准参数对当前帧目标图像进行图像变换。
在一些实施例中,基于密度聚类的图像配准方法,还包括:在匹配第一最终特征点和第二最终特征点时,判断目标图像是否存在大于阈值的角度旋转差异,若是,则分别计算第一最终特征点描述向量和第二最终特征点描述向量的主方向;根据所述主方向的角度对所述第一最终特征点的描述向量中所有差异向量和目标图像的第二最终特征点描述向量中所有差异向量进行旋转变化;根据变换后的描述向量相似度进行第一最终特征点和第二最终特征点的匹配。
这些实施例中,在模板图像和目标图像之间存在旋转角度时,通过第一最终特征点描述向量和第二最终特征点描述向量进行处理,获得了特征点匹配时的面向旋转的稳定性。
这些实施例中,使用方向直方图分别统计两组直方图的描述向量的主方向,并进行变换和归一化处理,使两组描述向量处于同一相对坐标系。
计算描述向量的主方向,包括:选取待匹配的第一最终特征点和第二最终特征点;对所述第一最终特征点的描述向量进行主方向直方图统计,得到其最大的趋势方向;对所述第二最终特征点的描述向量进行主方向直方图统计,得到其最大的趋势方向;所述方向直方图统计的方法为:根据固定角度分割周角为相应角度范围,统计每个角度范围中所在差异向量的范数值,各角度范围中总计范数值最大的角度称为其最大趋势方向;对第一最终特征点的描述向量中所有差异向量以其最大的趋势方向作为其坐标基准方向进行旋转线性变化;对第二最终特征点的描述向量中所有差异向量以其最大的趋势方向作为其坐标基准方向进行旋转线性变化。
图7为一个模板图像和目标图像存在旋转角度时的案例图,选取一张模板图像和一张目标图像,对目标图像作90°旋转,而后选取一对视觉匹配的待匹配最终特征点并分别画出其描述向量(图中每个箭头为一组描述向量中的一个差异向量)。图7a中表示模板图像的第一最终特征点集以及该待匹配第一最终特征点的描述向量;图7b表示旋转后的目标图像的第二最终特征点集以及该待匹配第二最终特征点的描述向量;图7c表示对该待匹配的第一最终特征点的描述向量进行方向直方图统计,寻找其最大的趋势方向;图7d表示对该待匹配的第二最终特征点的描述向量进行方向直方图统计,寻找其最大的偏转方向;图7e表示对该第一最终特征点的描述向量中所有差异向量以其最大的趋势方向作为其坐标基准方向进行旋转线性变化;图7f表示对该第二最终特征点的描述向量中所有差异向量以其最大的趋势方向作为其坐标基准方向进行旋转线性变化。
S08.根据所有匹配成功的第一最终特征点和当前帧目标图像的第二最终特征点计算配准参数。
S09.根据所述配准参数对当前帧目标图像进行图像变换。
本实施例中的方法可以用于双光子图像,在任意点为起始点的基础上,通过密度聚类法,平滑估计并计算出其邻域的可微经验分布,快速迭代更新到高像素强度的特征点。所提出的高像素强度的特征点,具有抗噪声、稳定、局部计算的特点;在低计算量的同时提取高质量特征点,适用于大尺寸、大体量图像数据。
本实例在逐帧计算最终特征点时,根据相邻帧图像结构相似、特征点相近的特点,用先验的策略以前一帧特征点作为起始,选择每个特征点的邻域进行密度聚类并更新为下一帧相应的特征点,由于特征点相近,更新时快速收敛,极大提高了图像配准的处理速度。
本实例中通过特征点内在方位关系进行特征点匹配,最终计算相应偏差进行配准,避免了同类算法中广泛计算特征点邻域梯度信息并匹配的过程,提高了图像配准的处理速度。
本实例在简易设备上即可实现,无需任何预训练、预计算,不构建多尺度图像,采用局部计算,节省内存与算力,方便易行。
本实例通过比较目标图像和模板匹配的共有高像素强度特征的坐标关系进行配准,特征直观、方式直接,在极大提高配准效率的同时取得良好的配准效果。
双光子图像(two-photon image)是一种共聚焦成像技术,用于观测活体生物的神经元。通常观测结果是一个图像序列,由于生物及技术因素,该序列存在随机抖动,即各图像不能处于一致的相对坐标。对于双光子图像序列来说,运动矫正就是选定一帧图像作为基准的固定模板,将其他帧与之一一配准,使得整个序列处于同一个相对坐标系。
图8为一神经元胞体的双光子成像序列中单帧目标图像的配准效果的两组案例图,其中,图8a-8c为一神经元胞体的双光子成像序列案例,图8a为模板图像,图8b为未配准的目标图像,图8c为配准后的目标图像;图8d-8f为另一神经元树突的双光子成像序列案例,图8d为模板图像,图8e为未配准的目标图像,图8f为配准后的目标图像。
图9为序列图像的配准效果的两组案例图,其中,图9a和图9b为一神经元胞体的双光子成像序列案例,图9a为原图像序列的平均帧示意图,图9b为配准后的图像序列的平均帧示意图,图9c和图9d为另一神经元树突的双光子成像序列案例,图9c为原图像序列的平均帧示意图,图9d为配准后的图像序列的平均帧示意图,通过对比原图像序列的平均帧和配准后的图像序列的平均帧可知,配准后的图像无模糊、重影,图形更为清晰。
下面利用本发明方法和部分现有算法对数据集进行测试,表1为对200帧500×500像素的神经元胞体图像序列进行测试的结果,表2为对1600帧250×250像素的树突数据集进行测试的结果。
相似性度量指标包括MSE(均方误差)、NRMSE(正规化方均根差)、PSNR(峰值信噪比)、SSIM(结构相似度)和NMI(归一化互信息),其中,MSE(均方误差)和NRMSE(归一化方均根差)的值越低表示越精确,PSNR(峰值信噪比)、SSIM(结构相似度)和NMI(归一化互信息)的值越高表示越精确。
现有算法包括:SIFT(尺度不变特征变换:Scale-invariant featuretransform),ORB(Oriented FAST and Rotated BRIEF),AKAZE(SIFT算法的改进,采用非线性扩散滤波迭代来提取与构建尺度空间,采用与SIFT类似的方法寻找特征点,在描述子生成阶段采用ORB类似的方法生成描述子),相位互相关配准(Phase Cross Correlation),TurboReg(ImageJ插件,用于对齐原图像序列和模板图像),moco(MOtion COrrector,TurboReg的速度优化算法)。
测试过程为:将目标序列图像每一帧和模板校准,分别计算配准后的每一帧与模板的相似性度量,最终计算每一帧相似性度量的平均值作为整体衡量。
表1测试结果1
表2测试结果2
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。