图像配准方法及相关装置、设备
技术领域
本申请涉及计算机视觉
技术领域
,特别是涉及一种图像配准方法及相关装置、设备。背景技术
随着电子信息技术的发展,增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)等成为计算机视觉领域中的应用热点,通过相机作为输入设备,并利用图像算法处理,可以数字化周围环境,从而获取与真实环境进行交互的使用体验。
图像配准是AR、VR等计算机视觉领域中的研究重点,通过图像配准技术可以获取相机拍摄到的待配准图像与目标图像之间的配准参数,从而后续可以通过配准参数,得到目标图像在待配准图像中的注册位置。然而,现有的图像配准技术无法对任意形状的图像进行配准。有鉴于此,如何实现任意形状的图像配准成为亟待解决的问题。
发明内容
本申请提供一种图像配准方法及相关装置、设备。
本申请第一方面提供了一种图像配准方法,包括:获取目标图像和预设形状的待配准图像;根据目标图像,生成预设形状的参考图像,并获取参考图像中的第一像素点的属性信息,其中,第一像素点的属性信息用于表示第一像素点是否位于目标图像;基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数。
因此,获取目标图像和待配准图像,在此基础上,根据目标图像,生成预设形状的参考图像,并获取参考图像中的第一像素点的属性信息,且第一像素点的属性信息用于表示第一像素点是否位于目标图像,从而基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数,进而能够通过根据目标图像所生成的参考图像来实现目标图像与待配准图像之间的配准,故此能够实现任意形状的图像配准。
其中,基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数,包括:提取参考图像中的第一特征点,并基于属性信息确定第一特征点的第一特征表示;以及,提取待配准图像中的第二特征点及其第二特征表示;基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数。
因此,通过提取参考图像中的第一特征点,并基于属性信息确定第一特征点的第一特征表示,从而能够基于参考图像中的第一像素点是否位于目标图像来确定第一特征点的第一特征表示,进而能够有利于提高第一特征表示的准确性,与此同时提取待配准图像中的第二特征点及其第二特征表示,再基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数,能够有利于提高配准参数的准确性。
其中,基于属性信息确定第一特征点的第一特征表示,包括:在参考图像的图像区域中,选取预设数量组像素点对;其中,图像区域包含第一特征点;基于像素点对的属性信息,得到像素点对的第一像素比对值;利用预设数量组像素点对的第一像素比对值,得到第一特征点的第一特征表示。
因此,通过在参考图像的图像区域中,选取预设数量组像素点对,且图像区域包含第一特征点,并基于像素点对的属性信息,得到像素点对的第一像素比对值,故能够有利于提高第一像素比对值的准确性,从而利用预设数量组像素点对的第一像素比对值,得到第一特征点的第一特征表示,进而能够有利于提高第一特征表示的准确性。
其中,基于像素点对的属性信息,得到像素点对的第一像素比对值,包括:在像素点对的属性信息表示不位于目标图像的情况下,将像素点对的第一像素比对值设置为预设无效字符;和/或,在像素点对的属性信息均表示位于目标图像的情况下,基于像素点对的像素值之间的大小关系,得到像素点对的第一像素比对值。
因此,在像素点对的属性信息表示不位于目标图像的情况下,将像素点对的第一像素比对值设置为预设无效字符,而在像素点对的属性信息均表示位于目标图像的情况下,基于像素点对的像素值之间的大小关系,得到像素点对的第一像素比对值,故能够有利于提高第一像素比对值的准确性。
其中,在基于属性信息确定第一特征点的第一特征表示之前,方法还包括:基于属性信息,生成与参考图像相同尺寸的模板图像;其中,模板图像中每个第二像素点的像素值表示参考图像中对应第一像素点是否位于目标图像;基于属性信息确定第一特征点的第一特征表示,包括:基于模板图像,确定参考图像中第一特征点的第一特征表示。
因此,通过基于属性信息,生成与参考图像相同尺寸的模板图像,且模板图像中每个第二像素点的像素值表示参考图像中对应第一像素点是否位于目标图像,在此基础上,通过模板图像,确定参考图像中第一特征点的第一特征表示,故此能够通过模板图像记录用于表示第一像素点是否位于目标图像的属性信息,能够有利于降低提取第一特征表示的复杂度。
其中,在基于模板图像,确定参考图像中第一特征点的第一特征表示之前,方法还包括:分别采用至少一种缩放比例对参考图像进行缩放,得到至少一个经缩放的参考图像,并基于至少一种缩放比例,得到至少一个经缩放的模板图像;其中,至少一个经缩放的模板图像分别与至少一个经缩放的参考图像相同尺寸;基于模板图像,确定参考图像中第一特征点的第一特征表示,包括:基于未经缩放的模板图像,确定未经缩放的参考图像中的第一特征点的第一特征表示;以及,基于与经缩放的参考图像相同尺寸的模板图像,确定经缩放的参考图像中的第一特征点的第一特征表示。
因此,通过分别采用至少一种缩放比例对参考图像进行缩放,得到至少一个经缩放的参考图像,并基于至少一种缩放比例,得到至少一个经缩放的模板图像,且至少一个经缩放的模板图像分别与至少一个经缩放的参考图像相同尺寸,在此基础上,再基于未经所犯搞得模板图像,确定未经缩放的参考图像中的第一特征点的第一特征表示,以及基于与缩放的参考图像相同尺寸的模板图像,确定经缩放的参考图像中的第一特征点的第一特征表示,能够有利于通过至少一种缩放比例,提取得到不同尺度的参考图像中第一特征点及其第一特征表示,从而能够有利于提高配准参数的准确性。
其中,基于至少一种缩放比例,得到至少一个经缩放的模板图像,包括:分别采用至少一种缩放比例对未经缩放的模板图像进行缩放,得到至少一个第一候选图像;针对每一第一候选图像,基于第一候选图像中各个第三像素点的像素值与预设像素值之间的大小关系,分别确定与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值。
因此,通过分别采用至少一种缩放比例对未经缩放的模板图像进行缩放,得到至少一个第一候选图像,并针对每一第一候选图像,基于第一候选图像中各个第三像素点的像素值与预设像素值之间的大小关系,分别确定与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值,故能够直接通过至少一种缩放比例对未经缩放的模板图像进行缩放并进行相关处理,得到至少一个经缩放的模板图像,能够有利于降低获取至少一个经缩放的模板图像的复杂度。
其中,基于第一候选图像中各个第三像素点的像素值与预设像素值之间的大小关系,分别确定与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值,包括:在第三像素点的像素值大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第一数值,其中,第一数值用于表示参考图像中对应的第一像素点位于目标图像;和/或,在第三像素点的像素值不大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第二数值,其中,第二数值用于表示参考图像中对应的第一像素点不位于目标图像。
因此,在第三像素点的像素值大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第一数值,且第一数值用于表示参考图像中对应的第一像素点位于目标图像,而在第三像素点的像素值不大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第二数值,且第二数值用于表示参考图像中对应的第一像素点不位于目标图像,故能够通过判断第三像素点的像素值与预设像素值之间的大小关系,直接确定第二像素点的像素值,得到经缩放的模板图像,能够有利于降低获取至少一个经缩放的模板图像的复杂度。
其中,基于至少一种缩放比例,得到至少一个经缩放的模板图像,包括:分别采用至少一种缩放比例对目标图像进行缩放,得到至少一个第二候选图像;分别根据每一第二候选图像,生成预设形状的参考图像,并生成与参考图像相同尺寸的模板图像。
因此,通过分别采用至少一种缩放比例对目标图像进行缩放,得到至少一个第二候选图像,并分别根据每一第二候选图像,生成预设形状的参考图像,并生成与参考图像相同尺寸的模板图像,故能够有利于提高至少一种经缩放的模板图像的精确性。
其中,第一特征表示包括预设数量组像素点对的第一像素比对值,预设数量组像素点对包含于参考图像内包含第一特征点的图像区域内,且像素点对的属性信息存在表示不位于目标图像的情况下,像素点对的第一像素比对值为预设无效字符;基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数,包括:基于第一特征表示中除预设无效字符外的第一像素比对值和第二特征表示中的第二像素比对值,得到第一特征点和第二特征点之间的特征相似度;将特征相似度满足预设条件的第一特征点和第二特征点,作为特征点对;基于特征点对,获取目标图像和待配准图像之间的配准参数。
因此,第一特征表示包括预设数量组像素点对的第一像素比对值,预设数量组像素点对包含于参考图像内包含第一特征点的图像区域内,且像素点对的属性信息存在表示不位于目标图像的情况下,像素点对的第一像素比对值为预设无效字符,在此基础上,基于第一特征表示中除预设无效字符外的第一像素比对值和第二特征表示中的第二像素比对值,得到第一特征点和第二特征点之间的特征相似度,并将特征相似度满足预设条件的第一特征点和第二特征点,作为特征点对,从而基于特征点对,获取目标图像和待配准图像之间的配准参数,故能够在计算第一特征点和第二特征点之间的特征相似度的过程中,排除预设无效字符之外的第一像素比对值,即能够排除不位于目标图像的像素点对于特征相似度的影响,故能够有利于提高配准参数的准确性。
其中,第二特征表示包括预设数量个第二像素比对值;基于第一特征表示中除预设无效字符外的第一像素比对值和第二特征表示中的第二像素比对值,得到第一特征点和第二特征点之间的特征相似度,包括:统计第一特征表示中除预设无效字符外的第一像素比对值与第二特征表示中的第二像素比对值匹配的数量;基于匹配的数量,得到第一特征点和第二特征点之间的特征相似度。
因此,第二特征表示包括预设数量个第二像素比对值,在此基础上,通过统计第一特征表示中除预设无效字符外的第一像素比对值与第二特征表示中的第二像素比对值匹配的数量,从而能够有利于排除不位于目标图像的像素点对于数量统计的影响,并基于匹配的数量,得到第一特征点和第二特征点之间的特征相似度,故能够有利于提高特征相似度的准确性。
其中,在基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数之后,方法还包括:利用配准参数,在待配准图像中确定与位于目标图像的第一像素点对应的第四像素点;基于第一像素点及其对应的第四像素点之间的像素值差异,校验配准参数是否准确。
因此,通过利用配准参数,在待配准图像中确定与位于目标图像的第一像素点对应的第四像素点,从而基于第一像素点及其对应的第四像素点之间的像素值差异,校验配准参数是否准确,能够有利于提高配准参数的可靠性。
其中,基于第一像素点及其对应的第四像素点之间的像素值差异,校验配准参数是否准确,包括:在像素值差异大于预设差异阈值的情况下,校验配准参数为不准确;在像素值差异不大于预设差异阈值的情况下,校验配准参数为准确。
因此,在像素值差异大于预设差异阈值的情况下,校验配准参数为不准确,而在像素值差异不大于预设差异阈值的情况下,校验配准参数为准确,即能够通过判断像素值差异与预设差异阈值之间的大小关系,校验配准参数是否准确,故能够有利于降低配准参数的校验的复杂度。
本申请第二方面提供了一种图像配准装置,包括:图像获取模块、图像生成模块、属性获取模块和参数获取模块,图像获取模块,用于获取目标图像和待配准图像;图像生成模块,用于根据目标图像,生成预设形状的参考图像;属性获取模块,用于获取参考图像中的第一像素点的属性信息,其中,第一像素点的属性信息用于表示第一像素点是否位于目标图像;参数获取模块,用于基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像配准方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像配准方法。
上述方案,获取目标图像和待配准图像,在此基础上,根据目标图像,生成预设形状的参考图像,并获取参考图像中的第一像素点的属性信息,且第一像素点的属性信息用于表示第一像素点是否位于目标图像,从而基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数,进而能够通过根据目标图像所生成的参考图像来实现目标图像与待配准图像之间的配准,故此能够实现任意形状的图像配准。
附图说明
图1是本申请图像配准方法一实施例的流程示意图;
图2是参考图像一实施例的示意图;
图3是偏转角度获取方式一实施例的示意图;
图4是图1中步骤S13一实施例的流程示意图;
图5是获取第一特征表示的示意图;
图6是图1中步骤S13另一实施例的流程示意图;
图7是本申请图像配准方法另一实施例的流程示意图;
图8是本申请图像配准装置一实施例的框架示意图;
图9是本申请电子设备一实施例的框架示意图;
图10是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像配准方法一实施例的流程示意图。
具体而言,可以包括如下步骤:
步骤S11:获取目标图像和待配准图像。
在一个实施场景中,待配准图像可以是相机拍摄到的图像。例如,在AR、VR等应用场景中,待配准图像可以是诸如手机、平板电脑、智能眼镜等电子设备所拍摄到的图像;或者,在视频监控场景中,待配准图像可以是监控相机所拍摄到的图像,在此不做限定。其他场景可以以此类推,在此不再一一举例。此外,待配准图像的形状可以是矩形,即待配准图像可以是矩形图像。
在另一个实施场景中,目标图像的形状可以包括但不限于:三角形、圆形、梯形等等,在此不做限定。此外,目标图像也可以是不规则形状,例如,目标图像可以是人脸图像,且目标图像的边缘为人脸轮廓;或者,目标图像也可以是动物图像,且目标图像的边缘为动物轮廓,其他情况可以以此类推,在此不再一一举例。需要说明的是,本公开实施例以及下述公开实施例,并不限定目标图像的具体形状,目标图像可以是任意形状。
步骤S12:根据目标图像,生成预设形状的参考图像,并获取参考图像中的第一像素点的属性信息。
在一个实施场景中,可以采用预设形状拟合目标图像,得到包含目标图像且为预设形状的参考图像。请结合参阅图2,图2是参考图像一实施例的示意图。如图2所示,以目标图像为圆形且预设形状为矩形为例,可以获取圆形的外接矩形,且该外接矩形中圆形为目标图像,圆形与外接矩形之间的像素点可以为任意像素值,从而得到参考图像,如可以统一采用黑色填充圆形与外接矩形之间的区域,或者,也可以统一采用白色填充圆形与外接矩形之间的区域,在此不做限定。请继续结合参阅图2,在目标图像为圆形且预设形状为矩形的情况下,也可以获取包含该圆形且不与该圆形相切的矩形,且该矩形中圆形为目标图像,圆形与该矩形之间的像素点可以为任意像素值,从而得到参考图像,即包含圆形的矩形,可以不限于外接矩形。在目标图像为其他形状的情况下,或者,在预设形状为其他形状的情况下,可以以此类推,在此不再一一举例。
在一个实施场景中,预设形状可以设置为与待配准图像的形状相同。例如,在待配准图像为矩形图像的情况下,预设形状可以设置为矩形。其他情况可以以此类推,在此不再一一举例。
本公开实施例中,第一像素点的属性信息用于表示第一像素点是否位于目标图像。具体地,属性信息可以具体包括第一像素点的属性值,在属性值为第一数值(如1)的情况下,表示第一像素点位于目标图像,而在属性值为第二数值(如0)的情况下,表示第一像素点不位于目标图像。请继续结合参阅图2,参考图像中位于圆形区域的第一像素点位于目标图像,故可以将这些第一像素点的属性值设置为第一数值(如1),而参考图像中位于圆形区域和矩形区域之间的第一像素点不位于目标图像,故可以将这些第一像素点的属性值设置为第二数值(如0)。其他情况可以以此类推,在此不再一一举例。
步骤S13:基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数。
在一个实施场景中,可以提取参考图像中的第一特征点,并基于属性信息确定第一特征点的第一特征表示,以及提取待配准图像中的第二特征点及其第二特征表示,在此基础上,可以基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数。具体过程可以参阅下述公开实施例中相关描述,在此暂不赘述。也就是说,可以通过分别提取参考图像和待配准图像中的特征点及其特征表示,来得到目标图像和待配准图像之间的配准参数。
在一个具体的实施场景中,上述通过分别提取参考图像和待配准图像中的特征点及其特征表示,来得到目标图像和待配准图像之间的配准参数,具体可以应用于目标图像的图像尺寸大于预设尺寸的情况,即上述配准方式具体可以应用于目标图像的图像尺寸相对较大的情况,在此情况下,可以提取到相对丰富的第一特征点,且第一特征表示的准确性相对较高,从而能够有利于提高配准参数的准确性。
在另一个具体的实施场景中,具体可以利用诸如ORB(Oriented FAST andRotated BRIEF)、SIFT(Scale-Invariant Feature Transform)等特征提取方式提取参考图像中的第一特征点及其第一特征表示,以及提取待配准图像中的第二特征点及其第二特征表示,具体可以根据实际需要选取特征提取方式,在此不做限定。需要说明的是,ORB可以用来对图像中的特征点快速创建特征表示(如特征向量),这些特征表示可以用来识别图像中的对象,具体提取过程在此不再赘述;此外,SIFT具有尺度不变性,可以在图像中检测出关键点,是一种局部特征描述,具体提取过程在此不再赘述。
在另一个实施场景中,可以确定第一图像区域相对参考图像的第一偏转角度,并确定第二图像区域相对待配准图像的第二偏转角度,且第一图像区域的至少部分像素点在参考图像中,第二图像区域的至少部分像素点在待配准图像中,在此基础上,可以基于第一偏转角度和第二偏转角度,得到候选配准参数,并基于候选配准参数,得到目标图像与待配准图像之间的最终配准参数。需要说明的是,第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角,而第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角。也就是说,除了通过上述提取特征点及其特征表示的方式来获取配准参数,还可以通过获取偏转角度的方式来确定配准参数。
在一个具体的实施场景中,上述通过获取偏转角度的方式来确定配准参数,具体可以应用于目标图像的图像尺寸不大于预设尺寸的情况,即上述配准方式具体可以应用于目标图像的图像尺寸相对较小的情况,在此情况下,由于可以提取到的第一特征点相对贫乏,且也无法确保第一特征表示的准确性,而图像尺寸对于偏转角度的影响相对较小,甚至可以忽略不计,故通过获取偏转角度的方式来确定配准参数,能够有利于提高配准参数的准确性。
在另一个具体的实施场景中,请结合参阅图3,图3是偏转角度获取方式一实施例的示意图。如图3所示,实线矩形表示参考图像(或待配准图像),实线矩形内的虚线矩形表示第一图像区域(或第二图像区域),P为第一图像区域(或第二图像区域)的形心,以第一图像区域的中心为坐标原点O建立直角坐标系,第一图像区域(或第二图像区域)的形心P与第一图像区域(或第二图像区域)的中心的连线为OP,预设方向具体可以为上述直角坐标系的x轴,有向夹角可以为预设方向至连线逆时针方向的夹角θ。其他情况可以以此类推,在此不再一一举例。
在又一个具体的实施场景中,请继续结合参阅图3,形心(cx,cy)可以表示为:
上述公式(1)中,(x,y)表示第一图像区域(或第二图像区域)中某一像素点相对第一图像区域(或第二图像区域)中心的偏移量,I(x,y)表示该像素点的像素值,∑表示求和符合,其求和范围为第一图像区域(或第二图像区域)中的像素点。需要说明的是,在第一图像区域(或第二图像区域)中某一像素点的属性信息表示其不位于目标图像的情况下,即在第一图像区域(或第二图像区域)中某一像素点的属性值为第二数值的情况下,可以在求和过程中将该像素点剔除,即在形心计算过程中,不考虑该像素点。
在又一个具体的实施场景中,可以获取参考图像在待配准图像中的预估区域,并基于预估区域和参考图像的尺寸,得到预估缩放比例,从而可以基于预估缩放比例、第一偏转角度和第二偏转角度,得到候选配准参数。具体地,可以获取第一偏转角度与第二偏转角度之间的角度差,从而可以基于角度差和预估缩放比例,得到候选配准参数。为了便于描述,可以将预估缩放比例记为s,角度差记为α,将第二图像区域的中心记为(u,v),将参考图像的中心记为(Ox,Oy),则候选配准参数H可以表示为:
在又一个具体的实施场景中,可以在配准过程中,选取预设数量个不同位置的第二图像区域,从而可以通过前述过程得到预设数量个候选配准参数,在此基础上,对于各个候选配准参数,可以利用候选配准参数,确定待配准图像和目标图像之间的相似度,以得到候选配准参数的第一评分结果,并基于预设数量个候选配准参数的第一评分结果,得到最终配准参数。具体地,可以基于诸如SSD(Sum of Squared Differences,平方差之和)、NCC(Normalized Cross Correlation,归一化互相关)等方式,利用候选配准参数得到待配准图像和目标图像之间的相似度。此外,在相似度大于预设相似阈值的情况下,可以认为第一评分结果满足预设条件,并将候选配准参数作为最终配准参数,或者在相似度不大于预设相似阈值的情况下,可以认为第一评分结果不满足预设条件,则可以剔除候选配准参数。
在于又一个具体的实施场景中,为了提高最终配准参数的准确性,还可以选取第一评分结果满足预设条件的候选配准参数,作为粗选配准参数,并利用预设优化方式(如,Levenberg-Marquard、Gauss-Newton)对粗选配准参数进行优化,再利用优化后的粗选配准参数,确定待配准图像与目标图像之间的相似度,以得到粗选配准参数的第二评分结果,从而可以基于粗选配准参数的第二评分结果,选择粗选配准参数作为最终配准参数。此外,可以利用诸如NCC、SSD等方式获取第二评分结果,具体可以参阅前述相关描述,在此不再赘述。在得到优化后的粗选配准参数的第二评分结果之后,可以选择其中第二评分结果最优的,作为最终配准参数。
在一个实施场景中,在得到上述配准参数之后,可以利用配准参数对目标图像进行处理,得到目标图像在待配准图像中的注册位置。
上述方案,获取目标图像和待配准图像,在此基础上,根据目标图像,生成预设形状的参考图像,并获取参考图像中的第一像素点的属性信息,且第一像素点的属性信息用于表示第一像素点是否位于目标图像,从而基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数,进而能够通过根据目标图像所生成的参考图像来实现目标图像与待配准图像之间的配准,故此能够实现任意形状的图像配准。
请参阅图4,图4是图1中步骤S13一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S41:提取参考图像中的第一特征点,并基于属性信息确定第一特征点的第一特征表示。
在一个实施场景中,如前述公开实施例所述,可以利用诸如ORB、SIFT等提取方式提取参考图像中的第一特征点。具体提取过程可以参阅ORB、SIFT等提取方式的技术细节,在此不再赘述。
在一个实施场景中,可以在参考图像的图像区域中,选取预设数量组像素点对,且图像区域包含第一特征点,并基于像素点对的属性信息,得到像素点对的第一像素比对值,从而可以利用预设数量组像素点对的第一像素比对值,得到第一特征点的第一特征表示,进而能够有利于提高第一特征表示的准确性。
在一个具体的实施场景中,包含第一特征点的图像区域可以包括但不限于圆形区域等,在此不做限定。此外,为了提高第一特征表示的准确性,图像区域的中心可以为第一特征点。例如,在图像区域为圆形区域的情况下,圆形区域的圆心可以为第一特征点。其他情况可以以此类推,在此不再一一举例。
在另一个具体的实施场景中,预设数量可以根据实际应用需要进行设置。例如,在对配准参数的准确性要求较高的情况下,可以对应提高对于第一特征表示的准确性要求,在此情况下,可以将预设数量设置地稍大一些,例如,可以设置为256、512等等,在此不做限定;反之,在对配准参数的准确性要求相对宽松的情况下,可以对应降低对于第一特征表示的准确性要求,在此情况下,可以将预设数量设置地稍小一些,例如,可以设置为128、64等等,在此不做限定。
在又一个具体的实施场景中,在像素点对的属性信息表示不位于目标图像的情况下,可以将像素点对的第一像素比对值设置为预设无效字符,而在像素点对的属性信息均表示位于目标图像的情况下,可以基于像素点对之间的大小关系,得到像素点对的第一像素比对值。需要说明的是,像素点对的属性信息包含像素点对中每一第一像素点的属性信息。
在又一个具体的实施场景中,请结合参阅图5,图5是获取第一特征表示的示意图。如图5所示,圆形区域表示包含第一特征点的图像区域,圆形区域中各个方形区域分别表示图像区域中的像素点,其中,以网格线填充的方向区域表示第一特征点,以其他相同阴影填充且通过虚线连接的像素点对为在图像区域中所选取得到的预设数量组像素点对,为了便于描述,图5示意性地表示了4组像素点对,像素点对中虚线箭头一侧的像素点可以记为A,虚线圆点一侧的像素点可以记为B,故可以将以右斜线填充的像素点对记为P1(A,B),将以点填充的像素点对记为P2(A,B),以横线填充的像素点对记为P3(A,B),将以左斜线填充的像素点对记为P4(A,B)。若像素点对中像素点A、像素点B中的任一者不位于目标图像,则可以将该像素点对的第一像素比对值设置为预设无效字符(如,*、#等等),反之可以基于像素点A的像素值和像素点B的像素值之间的大小关系,得到像素点对的第一像素比对值。例如,在像素点A的像素值大于像素点B的像素值的情况下,可以将像素点对的第一像素比对值设置为第一数值(如,1),而在像素点A的像素值不大于像素点B的像素值的情况下,可以将像素点对的第一像素比对值设置为第二数值(如,0)。举例来说,对于像素点对P1(A,B)而言,像素点A的像素值大于像素点B的像素值,故可以将像素点对P1(A,B)的第一像素比对值设置为1,而对于像素点对P2(A,B)而言,像素点A的像素值不大于像素点B的像素值,故可以将像素点对P2(A,B)的第一像素比对值设置为0,对于像素点对P3(A,B)而言,像素点A的像素值大于像素点B的像素值,故可以将像素点对P3(A,B)的第一像素比对值设置为1,对于像素点对P4(A,B)而言,像素点A的像素值大于像素点B的像素值,故可以将像素点对P4(A,B)的第一像素比对值设置为1,故此图5所示的第一特征点的第一特征表示可以描述为[1 0 1 1]。其他情况可以以此类推,在此不再一一举例。
步骤S42:提取待配准图像中的第二特征点及其第二特征表示。
在一个实施场景中,如前述公开实施例所述,可以利用诸如ORB、SIFT等提取方式提取待配准图像中的第二特征点及其第二特征表示。具体过程可以参阅ORB、SIFT等提取方式的技术细节,在此不再赘述。
需要说明的是,第二特征表示的获取过程可以与第一特征表示的获取过程类似。即可以在待配准图像内包含第二特征点的图像区域中,选取预设数量组像素点对,并得到像素点对的第二像素比对值,从而可以利用预设数量组像素点对的第二像素比对值,得到第二特征点的第二特征表示。具体过程可以参考图5以及前述相关描述,在此不再赘述。
步骤S43:基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数。
如前所述,第一特征表示包括预设数量组像素点对的第一像素比对值,预设数量组像素点对包含于参考图像内包含第一特征点的图像区域内,且像素点对的属性信息存在表示不位于目标图像的情况下,像素点对第一像素比对值为预设无效字符。在此情况下,可以基于第一特征表示中除预设无效字符外的第一像素比对值和第二特征表示中的第二像素比对值,得到第一特征点和第二特征点之间的特征相似度,在此基础上,可以将特征相似度满足预设条件的第一特征点和第二特征点,作为特征点对,并基于特征点对,获取目标图像和待配准图像之间的配准参数。故此,能够在计算第一特征点和第二特征点之间的特征相似度的过程中,排除预设无效字符之外的第一像素比对值,即能够排除不位于目标图像的像素点对于特征相似度的影响,故能够有利于提高配准参数的准确性。
在一个具体的实施场景中,如前所述,第二特征表示包括预设数量个第二像素比对值,则可以统计第一特征表示中除预设无效字符外的第一像素比对值与第二特征表示中第二像素比对值匹配的数量,并基于匹配的数量,得到第一特征点和第二特征点之间的特征相似度。请继续结合参阅图5,仍以第一特征表示为[1 0 1 1]为例,在第二特征表示为[10 10]的情况下,第一特征表示和第二特征表示存在3对匹配的像素比对值,且由于第一特征表示中不存在预设无效字符,故可以认为两者之间的特征相似度为3/4=75%;或者,以第一特征表示为[1 0 1#]为例(#表示预设无效字符),在第二特征表示为[1 0 1 0]的情况下,第一特征表示和第二特征表示存在3对匹配的像素比对值,且由于第一特征表示中存在1个预设无效字符,故可以认为两者之间的特征相似度为3/3=100%。其他情况可以以此类推,在此不再一一举例。
在另一个具体的实施场景中,预设条件可以设置为特征相似度大于预设相似阈值,预设相似阈值可以根据实际应用情况进行设置。例如,在对配准参数的准确性要求较高的情况下,可以将预设相似阈值设置地稍大一些,如可以设置为90%、95%等等,反之在对配准参数的准确性要求相对宽松的情况下,可以将预设相似阈值设置地稍小一些,如可以设置为80%、85%等等,在此不做限定。
在又一个具体的实施场景中,在得到若干组特征点对之后,可以采用随机一致性采样(RANdom SAmple Consensus)方式处理若干组特征点对,得到配准参数。具体处理过程可以参阅随机一致性采样的相关技术细节,在此不再赘述。
区别于前述实施例,通过提取参考图像中的第一特征点,并基于属性信息确定第一特征点的第一特征表示,从而能够基于参考图像中的第一像素点是否位于目标图像来确定第一特征点的第一特征表示,进而能够有利于提高第一特征表示的准确性,与此同时提取待配准图像中的第二特征点及其第二特征表示,再基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数,能够有利于提高配准参数的准确性。
请参阅图6,图6是图1中步骤S13另一实施例的流程示意图。具体而言可以包括如下步骤:
步骤S61:基于属性信息,生成与参考图像相同尺寸的模板图像。
本公开实施例中,模板图像中每个第二像素点的像素值表示参考图像中对应第一像素点是否位于目标图像。具体地,可以采用第一数值(如1)表示参考图像中对应的第一像素点位于目标图像,并采用第二数值(如0)表示参考图像中对应的第一像素点不位于目标图像。需要说明的是,本公开实施例中,“对应”一词表示位于图像中相同位置。例如,以模板图像左上角像素点为坐标原点建立第一坐标系,以原点水平向右方向为第一坐标系x轴正方向,以原点垂直向下方向为第一坐标系y轴正方向,并以参考图像左上角像素点为原点建立第二坐标系,以原点水平向右方向为第二坐标系x轴正方向,以原点垂直向下方向为第二坐标系y轴正方向,模板图像中第二像素点(u0,v0)和参考图像中第一像素点(u0,v0)相对应。
步骤S62:基于模板图像,确定参考图像中第一特征点的第一特征表示。
在一个实施场景中,可以在参考图像内包含第一特征点的图像区域中,选取预设数量组像素点对,并基于模板图像确定像素点对是否位于目标图像,具体地,利用像素点对在模板图像中对应的像素点的像素值,确定像素点对是否位于目标图像。例如,像素点对在模板图像中对应的像素点的像素值均为第一数值(如,1),可以确定像素点对位于目标图像,反之,像素点对在模板图像中对应的像素点的像素值均为第二数值(如,0),可以确定像素点对不位于目标图像。在此基础上,在像素点对均位于目标图像情况下,可以基于像素点对的像素值之间的大小关系,得到像素点对的第一像素比对值,而在像素点对任一者不位于目标图像的情况下,可以将像素点对的第一像素比对值设置为预设无效字符,最终可以利用预设数量组像素点对的第一像素比对值,得到第一特征点的第一特征表示。具体可以参阅前述公开实施例中相关描述,在此不再赘述。
在另一个实施场景中,还可以分别采用至少一种缩放比例对参考图像进行缩放,得到至少一个经缩放的参考图像,并基于至少一种缩放比例,得到至少一个经缩放的模板图像,且至少一个经缩放的模板图像分别与至少一个经缩放的参考图像相同尺寸,在此基础上,可以基于未经缩放的模板图像,确定未经缩放的参考图像中的第一特征点的第一特征表示,以及基于经缩放的参考图像仙童尺寸的模板图像,确定经缩放的参考图像中的第一特征点的第一特征表示。故此,能够有利于通过至少一种缩放比例,提取得到不同尺度的参考图像中第一特征点及其第一特征表示,从而能够有利于提高配准参数的准确性。
在一个具体的实施场景中,至少一种缩放比例可以根据实际应用需要进行设置。例如,至少一种缩放比例可以包括但不限于:0.2、0.4、0.6、0.8等等,在此不做限定。
在另一个具体的实施场景中,分别采用至少一种缩放比例对未经缩放的模板图像进行缩放,得到至少一个第一候选图像,并针对每一第一候选图像,基于第一候选图像中各个第三像素点的像素值与预设像素值之间的大小关系,分别确定与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值。故此,能够直接通过至少一种缩放比例对未经缩放的模板图像进行缩放并进行相关处理,得到至少一个经缩放的模板图像,能够有利于降低获取至少一个经缩放的模板图像的复杂度。
具体地,可以基于预设图像插值方式(如双线性插值等),得到与缩放比例对应的第一候选图像。具体的插值过程可以参考诸如双线性插值的技术细节,在此不再赘述。
此外,在第三像素点的像素值大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第一数值,并在第三像素点的像素值不大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第二数值,如前所述,第一数值用于表示参考图像中对应的第一像素点位于目标图像,而第二数值用于表示参考图像中对应的第一像素点不位于目标图像。预设像素值可以根据实际应用情况进行设置,例如可以设置为0.5,在此不做限定。
在又一个具体的实施场景中,区别于前述获取经缩放的模板图像的方式,还可以分别采用至少一种缩放比例对目标图像进行缩放,得到至少一个第二候选图像,并分别根据每一第二候选图像,生成包含预设形状的参考图像,并生成与参考图像相同尺寸的模板图像,即可以如前述公开实施例所述,可以采用预设形状分别对每一第二候选图像进行拟合,得到包含第二候选图像且为预设形状的参考图像。故此,能够有利于提高至少一种经缩放的模板图像的精确性。
具体地,以至少一种缩放比例包括0.2、0.4、0.6、0.8为例,可以分别采用上述缩放比例对目标图像A进行缩放,得到以缩放比例0.2缩放得到的第二候选图像01,以及以缩放比例0.4缩放得到的第二候选图像02,以及以缩放比例0.6缩放得到的第二候选图像03,以及以缩放比例0.8缩放得到的第二候选图像04。在此基础上,针对第二候选图像01,可以利用如前述公开实施例所述的方式,生成包含第二候选图像01的参考图像,并利用如本公开实施例中前述所述的方式,生成包含参考图像的模板图像01。以此类推,可以生成得到与第二候选图像02对应的模板图像02,以及与第二候选图像03对应的模板图像03,以及与第二候选图像04对应的模板图像04。其他情况可以以此类推,在此不再一一举例。
在又一个具体的实施场景中,基于未经缩放的模板图像,确定未经缩放的参考图像中的第一特征点的第一特征表示的具体过程,以及基于与经缩放的参考图像相同尺寸的模板图像,确定经缩放的参考图像中的第一特征点的第一特征表示的具体过程,可以参阅前述相关描述,在此不再赘述。
步骤S63:提取待配准图像中的第二特征点及其第二特征表示。
具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S64:基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数。
具体可以参阅前述公开实施例中相关描述,在此不再赘述。
区别于前述实施例,通过基于属性信息,生成与参考图像相同尺寸的模板图像,且模板图像中每个第二像素点的像素值表示参考图像中对应第一像素点是否位于目标图像,在此基础上,通过模板图像,确定参考图像中第一特征点的第一特征表示,故此能够通过模板图像记录用于表示第一像素点是否位于目标图像的属性信息,能够有利于降低提取第一特征表示的复杂度。
请参阅图7,图7是本申请图像配准方法另一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S71:获取目标图像和待配准图像。
具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S72:根据目标图像,生成预设形状的参考图像,并获取参考图像中的第一像素点的属性信息。
本公开实施例中,第一像素点的属性信息用于表示第一像素点是否位于目标图像。具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S73:基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数
具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S74:利用配准参数,在待配准图像中确定与位于目标图像的第一像素点对应的第四像素点。
具体地,对于位于目标图像的第一像素点Q的坐标信息,可以利用配准参数H对其进行转换,得到待配准图像中与第一像素点Q对应的第四像素点的坐标信息,在此基础上,可以得到第四像素点的像素值。也就是说,在对配准参数进行校验的过程中,需排除参考图像中不位于目标图像的像素点,从而能够有利于提高校验的准确性。
在一个实施场景中,如前述公开实施例所述,可以基于属性信息生成与参考图像相同尺寸的模板图像,且模板图像中每个第二像素点的像素值表示参考图像中对应第一像素点是否位于目标图像。在此基础上,可以基于模板图像,确定参考图像中位于目标图像的第一像素点。具体可以参阅前述公开实施例中相关描述,在此不再赘述。
在另一个实施场景中,为了便于描述,第一像素点Q的坐标信息可以记为Q(x,y),故可以利用配准参数H乘以Q(x,y),得到待配准图像中与第一像素点Q对应的第四像素点Q′的坐标信息Q′(x,y)。
步骤S75:基于第一像素点及其对应的第四像素点之间的像素值差异,校验配准参数是否准确。
在一个实施场景中,针对每一第一像素点,可以获取第一像素点的像素值及其对应的第四像素点的像素值的差值,并获取所有第一像素点对应的差值的平方和,得到像素值差异。
在另一个实施场景中,在像素值差异大于预设差异阈值的情况下,可以校验配准参数为不准确,反之在像素值差异不大于预设差异阈值的情况下,可以校验配准参数为准确。具体地,预设差异阈值可以根据实际应用情况进行设置,例如,在对配准参数的准确性要求较高的情况下,可以将预设差异阈值设置地稍小一些,反之在对配准参数的准确性要求相对宽松的情况下,可以将预设差异阈值设置地稍大一些,预设差异阈值的具体数值在此不做限定。
区别于前述实施例,通过利用配准参数,在待配准图像中确定与位于目标图像的第一像素点对应的第四像素点,从而基于第一像素点及其对应的第四像素点之间的像素值差异,校验配准参数是否准确,能够有利于提高配准参数的可靠性。
请参阅图8,图8是本申请图像配准装置80一实施例的框架示意图。图像配准装置80包括:图像获取模块81、图像生成模块82、属性获取模块83和参数获取模块84,图像获取模块81,用于获取目标图像和待配准图像;图像生成模块82,用于根据目标图像,生成预设形状的参考图像;属性获取模块83,用于获取参考图像中的第一像素点的属性信息,其中,第一像素点的属性信息用于表示第一像素点是否位于目标图像;参数获取模块84,用于基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数。
上述方案,获取目标图像和待配准图像,在此基础上,生成预设形状的参考图像,并获取参考图像中的第一像素点的属性信息,且第一像素点的属性信息用于表示第一像素点是否位于目标图像,从而基于参考图像和待配准图像的图像信息以及属性信息,得到目标图像和待配准图像之间的配准参数,进而能够通过生成包含目标图像且与待配准图像相同形状的参考图像实现目标图像与待配准图像之间的配准,故此能够实现任意形状的图像配准。
在一些公开实施例中,参数获取模块84包括第一特征提取子模块,用于提取参考图像中的第一特征点,并基于属性信息确定第一特征点的第一特征表示,参数获取模块84包括第二特征提取子模块,用于提取待配准图像中的第二特征点及其第二特征表示,参数获取模块84包括配准参数获取子模块,用于基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数。
区别于前述实施例,通过提取参考图像中的第一特征点,并基于属性信息确定第一特征点的第一特征表示,从而能够基于参考图像中的第一像素点是否位于目标图像来确定第一特征点的第一特征表示,进而能够有利于提高第一特征表示的准确性,与此同时提取待配准图像中的第二特征点及其第二特征表示,再基于第一特征点及第一特征表示和第二特征点及第二特征表示,得到目标图像和待配准图像之间的配准参数,能够有利于提高配准参数的准确性。
在一些公开实施例中,第一特征提取子模块包括像素点对获取单元,用于在参考图像的图像区域中,选取预设数量组像素点对,且图像区域包含第一特征点,第一特征提取子模块包括像素比对值获取单元,用于基于像素点对的属性信息,得到像素点对的第一像素比对值,第一特征提取子模块特征表示获取单元,用于利用预设数量组像素点对的第一像素比对值,得到第一特征点的第一特征表示。
区别于前述实施例,通过在参考图像的图像区域中,选取预设数量组像素点对,且图像区域包含第一特征点,并基于像素点对的属性信息,得到像素点对的第一像素比对值,故能够有利于提高第一像素比对值的准确性,从而利用预设数量组像素点对的第一像素比对值,得到第一特征点的第一特征表示,进而能够有利于提高第一特征表示的准确性。
在一些公开实施例中,像素比对值获取单元具体用于在像素点对的属性信息表示不位于目标图像的情况下,将像素点对的第一像素比对值设置为预设无效字符;像素比对值获取单元具体用于在像素点对的属性信息均表示位于目标图像的情况下,基于像素点对的像素值之间的大小关系,得到像素点对的第一像素比对值。
区别于前述实施例,在像素点对的属性信息表示不位于目标图像的情况下,将像素点对的第一像素比对值设置为预设无效字符,而在像素点对的属性信息均表示位于目标图像的情况下,基于像素点对的像素值之间的大小关系,得到像素点对的第一像素比对值,故能够有利于提高第一像素比对值的准确性。
在一些公开实施例中,参数获取模块84还包括模板图像生成子模块,用于基于属性信息,生成与参考图像相同尺寸的模板图像;其中,模板图像中每个第二像素点的像素值表示参考图像中对应第一像素点是否位于目标图像,第一特征提取子模块具体用于基于模板图像,确定参考图像中第一特征点的第一特征表示。
区别于前述实施例,通过基于属性信息,生成与参考图像相同尺寸的模板图像,且模板图像中每个第二像素点的像素值表示参考图像中对应第一像素点是否位于目标图像,在此基础上,通过模板图像,确定参考图像中第一特征点的第一特征表示,故此能够通过模板图像记录用于表示第一像素点是否位于目标图像的属性信息,能够有利于降低提取第一特征表示的复杂度。
在一些公开实施例中,参数获取模块84还包括图像缩放子模块,用于分别采用至少一种缩放比例对参考图像进行缩放,得到至少一个经缩放的参考图像,并基于至少一种缩放比例,得到至少一个经缩放的模板图像;其中,至少一个经缩放的模板图像分别与至少一个经缩放的参考图像相同尺寸,第一特征提取子模块具体用于基于未经缩放的模板图像,确定未经缩放的参考图像中的第一特征点的第一特征表示;以及,基于与经缩放的参考图像相同尺寸的模板图像,确定经缩放的参考图像中的第一特征点的第一特征表示。
区别于前述实施例,通过分别采用至少一种缩放比例对参考图像进行缩放,得到至少一个经缩放的参考图像,并基于至少一种缩放比例,得到至少一个经缩放的模板图像,且至少一个经缩放的模板图像分别与至少一个经缩放的参考图像相同尺寸,在此基础上,再基于未经所犯搞得模板图像,确定未经缩放的参考图像中的第一特征点的第一特征表示,以及基于与缩放的参考图像相同尺寸的模板图像,确定经缩放的参考图像中的第一特征点的第一特征表示,能够有利于通过至少一种缩放比例,提取得到不同尺度的参考图像中第一特征点及其第一特征表示,从而能够有利于提高配准参数的准确性。
在一些公开实施例中,图像缩放子模块包括第一缩放单元,用于分别采用至少一种缩放比例对未经缩放的模板图像进行缩放,得到至少一个第一候选图像,图像缩放子模块包括确定单元,用于针对每一第一候选图像,基于第一候选图像中各个第三像素点的像素值与预设像素值之间的大小关系,分别确定与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值。
区别于前述实施例,通过分别采用至少一种缩放比例对未经缩放的模板图像进行缩放,得到至少一个第一候选图像,并针对每一第一候选图像,基于第一候选图像中各个第三像素点的像素值与预设像素值之间的大小关系,分别确定与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值,故能够直接通过至少一种缩放比例对未经缩放的模板图像进行缩放并进行相关处理,得到至少一个经缩放的模板图像,能够有利于降低获取至少一个经缩放的模板图像的复杂度。
在一些公开实施例中,确定单元具体用于在第三像素点的像素值大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第一数值,其中,第一数值用于表示参考图像中对应的第一像素点位于目标图像;和/或,在第三像素点的像素值不大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第二数值,其中,第二数值用于表示参考图像中对应的第一像素点不位于目标图像。
区别于前述实施例,在第三像素点的像素值大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第一数值,且第一数值用于表示参考图像中对应的第一像素点位于目标图像,而在第三像素点的像素值不大于预设像素值的情况下,将与第一候选图像相同尺寸的模板图像中对应的第二像素点的像素值确定为第二数值,且第二数值用于表示参考图像中对应的第一像素点不位于目标图像,故能够通过判断第三像素点的像素值与预设像素值之间的大小关系,直接确定第二像素点的像素值,得到经缩放的模板图像,能够有利于降低获取至少一个经缩放的模板图像的复杂度。
在一些公开实施例中,图像缩放子模块包括第二缩放单元,用于分别采用至少一种缩放比例对目标图像进行缩放,得到至少一个第二候选图像,图像缩放子模块包括生成单元,用于分别根据每一第二候选图像,生成预设形状的参考图像,并生成与参考图像相同尺寸的模板图像。
区别于前述实施例,通过分别采用至少一种缩放比例对目标图像进行缩放,得到至少一个第二候选图像,并分别根据每一第二候选图像,生成预设形状的参考图像,并生成与参考图像相同尺寸的模板图像,故能够有利于提高至少一种经缩放的模板图像的精确性。
在一些公开实施例中,第一特征表示包括预设数量组像素点对的第一像素比对值,预设数量组像素点对包含于参考图像内包含第一特征点的图像区域内,且像素点对的属性信息存在表示不位于目标图像的情况下,像素点对的第一像素比对值为预设无效字符,配准参数获取子模块包括特征相似度获取单元,用于基于第一特征表示中除预设无效字符外的第一像素比对值和第二特征表示中的第二像素比对值,得到第一特征点和第二特征点之间的特征相似度,配准参数获取子模块包括特征点对获取单元,用于将特征相似度满足预设条件的第一特征点和第二特征点,作为特征点对,配准参数获取子模块包括配准参数获取单元,用于基于特征点对,获取目标图像和待配准图像之间的配准参数。
区别于前述实施例,第一特征表示包括预设数量组像素点对的第一像素比对值,预设数量组像素点对包含于参考图像内包含第一特征点的图像区域内,且像素点对的属性信息存在表示不位于目标图像的情况下,像素点对的第一像素比对值为预设无效字符,在此基础上,基于第一特征表示中除预设无效字符外的第一像素比对值和第二特征表示中的第二像素比对值,得到第一特征点和第二特征点之间的特征相似度,并将特征相似度满足预设条件的第一特征点和第二特征点,作为特征点对,从而基于特征点对,获取目标图像和待配准图像之间的配准参数,故能够在计算第一特征点和第二特征点之间的特征相似度的过程中,排除预设无效字符之外的第一像素比对值,即能够排除不位于目标图像的像素点对于特征相似度的影响,故能够有利于提高配准参数的准确性。
在一些公开实施例中,第二特征表示包括预设数量个第二像素比对值,特征相似度获取单元具体用于统计第一特征表示中除预设无效字符外的第一像素比对值与第二特征表示中的第二像素比对值匹配的数量;以及基于匹配的数量,得到第一特征点和第二特征点之间的特征相似度
区别于前述实施例,第二特征表示包括预设数量个第二像素比对值,在此基础上,通过统计第一特征表示中除预设无效字符外的第一像素比对值与第二特征表示中的第二像素比对值匹配的数量,从而能够有利于排除不位于目标图像的像素点对于数量统计的影响,并基于匹配的数量,得到第一特征点和第二特征点之间的特征相似度,故能够有利于提高特征相似度的准确性。
在一些公开实施例中,图像配准装置80还包括对应像素确定模块,用于利用配准参数,在待配准图像中确定与位于目标图像的第一像素点对应的第四像素点,图像配准装置80还包括配准参数校验模块,用于基于第一像素点及其对应的第四像素点之间的像素值差异,校验配准参数是否准确。
区别于前述实施例,通过利用配准参数,在待配准图像中确定与位于目标图像的第一像素点对应的第四像素点,从而基于第一像素点及其对应的第四像素点之间的像素值差异,校验配准参数是否准确,能够有利于提高配准参数的可靠性。
在一些公开实施例中,配准参数校验模块包括第一校验子模块,用于在像素值差异大于预设差异阈值的情况下,校验配准参数为不准确,配准参数校验模块包括第二校验子模块,用于在像素值差异不大于预设差异阈值的情况下,校验配准参数为准确。
区别于前述实施例,在像素值差异大于预设差异阈值的情况下,校验配准参数为不准确,而在像素值差异不大于预设差异阈值的情况下,校验配准参数为准确,即能够通过判断像素值差异与预设差异阈值之间的大小关系,校验配准参数是否准确,故能够有利于降低配准参数的校验的复杂度。
请参阅图9,图9是本申请电子设备90一实施例的框架示意图。电子设备90包括相互耦接的存储器91和处理器92,处理器92用于执行存储器91中存储的程序指令,以实现上述任一图像配准方法实施例的步骤。在一个具体的实施场景中,电子设备90可以包括但不限于:微型计算机、服务器,此外,电子设备90还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器92用于控制其自身以及存储器91以实现上述任一图像配准方法实施例的步骤。处理器92还可以称为CPU(Central Processing Unit,中央处理单元)。处理器92可能是一种集成电路芯片,具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器92可以由集成电路芯片共同实现。
上述方案,能够实现任意形状的图像配准。
请参阅图10,图10为本申请计算机可读存储介质100一实施例的框架示意图。计算机可读存储介质100存储有能够被处理器运行的程序指令101,程序指令101用于实现上述任一图像配准方法实施例的步骤。
上述方案,能够实现任意形状的图像配准。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:图像配准方法及相关装置、设备和存储介质