具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前的方法为通过特征提取的方法提取低分辨率光谱图像的端元光谱，得到光谱基向量；基于正则化对高分辨率图像进行分解得到系数矩阵。通过系数矩阵与光谱基向量的结合最终实现低分辨率光谱图像的超分辨率。

但是在实际应用中，将三维光谱图像转换为二维矩阵的过程中，进行的矩阵分解与合成破坏了原图像的空间结构信息；再者，这种矩阵分解的方法的精度对相机相应函数和光谱灵敏度函数的获取有很大依赖作用。

基于此，本发明实施例提供的一种高光谱图像的超分辨率重建方法和装置，可以通过邻域匹配方式对相似光谱进行匹配，保留了原高光谱图像的空间结构信息，可快速重构高分辨率高光谱图像且具有较高的重建精度。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种高光谱图像的超分辨率重建方法进行详细介绍，本申请提出一种将一张低分辨率高光谱图像和其对应的来自不同光源的两张彩色图像，通过邻域匹配、拟合与趋势迁移的方式实现低分辨率高光谱图像的空间分辨率增强的方法。

图1为本发明实施例提供的一种高光谱图像的超分辨率重建方法流程图。

参照图1，该方法包括以下步骤：

步骤S102，获取针对同一目标对象的低分辨率高光谱图像、第一高分辨率RGB彩色图像和第二高分辨率RGB彩色图像，其中，第一高分辨率RGB彩色图像于第一光源下采集，第二高分辨率RGB彩色图像于第二光源下采集，第一高分辨率RGB彩色图像对应第一光源信息，第二高分辨率RGB彩色图像对应第二光源信息。

步骤S104，将低分辨率高光谱图像按照第一光源条件下转换得到的低分辨率RGB彩色图像，与第一高分辨率RGB彩色图像进行邻域匹配，确定每个匹配点在目标高分辨率高光谱图像上的对应相似光谱信息，其中，目标高分辨率高光谱图像为低分辨率高光谱图像进行超分辨率重建得到的；

步骤S106，分别将第一高分辨率RGB彩色图像和第二高分辨率RGB彩色图像转换至XYZ空间，得到第一高分辨率XYZ图像和第二高分辨率XYZ图像；

步骤S108，根据第一高分辨率XYZ图像、第二高分辨率XYZ图像和相似光谱信息的拟合结果，确定每个匹配点在目标高分辨率高光谱图像的真实光谱信息，其中，匹配点为匹配成功的位置点。

在实际应用的优选实施例中，将待重建的低分辨率高光谱图像转换为低分辨率RGB彩色图像，并将其与第一光源下的第一高分辨率RGB彩色图像进行匹配，第一光源下的第一高分辨率RGB彩色图像上每个像素点均匹配对应的位置点，并得到目标高分辨率高光谱图像上相应位置点的相似光谱信息，再将第一高分辨RGB彩色图像和第二高分辨RGB彩色图像进行XYZ空间转换，根据转换后的XYZ图像和相似光谱信息进行拟合，得到相似光谱信息和真实光谱信息的关系函数，进而确定出真实光谱信息，保留了原高光谱图像的空间结构信息，可快速重构高分辨率高光谱图像且具有较高的重建精度。

在一些实施例中，经发明人研究发现，CIE色匹配函数对短波和长波不敏感，发明人通过对得到的真实光谱的两端根据相似光谱的趋势进行再修正得到最终的修正光谱。对第一高分辨率RGB彩色图像上的每个点进行此操作，最终得到重建的高分辨率高光谱图像。示例性地，上述方法还包括：

步骤1.1)，根据第一高分辨率RGB彩色图像中每个像素点的相似光谱信息的趋势对每个匹配点的真实光谱信息的两端进行修正，得到每个匹配点在目标高分辨率高光谱图像的修正光谱信息。

其中，步骤1.1)具体实施时，包括：将第一高分辨率RGB彩色图像中每个像素点的相似光谱信息的两端波段趋势迁移至每个匹配点的真实光谱信息的两端。

需要说明的是，本申请将相似光谱两端波段趋势迁移至真实光谱，以修正色匹配函数对两端波段不敏感导致的较大误差的现象，最终得到重建的高分辨率高光谱图像。

在一些实施例中，其中，步骤S104还可用以下步骤实现，具体包括：

步骤2.1)，将低分辨率高光谱图像转换到第一光源下的RGB空间，得到低分辨率RGB彩色图像；

步骤2.2)，将第一光源下采集的第一高分辨率RGB彩色图像上的每个像素点在低分辨率RGB彩色图像的对应邻域上匹配对应的特征点；

步骤2.3)，根据每个匹配成功的特征点确定低分辨率高光谱图像的对应位置点，并抽取每个对应位置点的光谱信息；

步骤2.4)，将低分辨率高光谱图像的对应位置点抽取的光谱信息作为目标高分辨率高光谱的相似光谱信息。

这里，将该低分辨率RGB彩色图像与拍摄获取的第一高分辨率RGB图像上每个像素点以邻域匹配的方式进行相似RGB值的匹配，低分辨率RGB图像上所被匹配到的特征点的位置对应在低分辨率高光谱图像的位置，并于低分辨率高光谱图像的位置抽取其光谱信息，作为高分辨率高光谱图像在该位置的相似光谱信息。

可以理解的是，第一高分辨率RGB图像上像素点、低分辨率RGB彩色图像上特征点、低分辨率高光谱图像的对应位置点、高分辨率高光谱图像的对应位置点，按照上述顺序依次对应。

在一些实施例中，步骤S106还包括以下步骤：

步骤3.1)，将第一高分辨率RGB彩色图像中每个像素点的RGB值转换为XYZ值，得到第一高分辨率XYZ图像。

步骤3.2)，将第二高分辨率RGB彩色图像中每个像素点的RGB值转换为XYZ值，得到第二高分辨率XYZ图像。

在一些实施例中，步骤S108还包括：

步骤4.1)，基于第一高分辨率XYZ图像的XYZ值、第二高分辨率XYZ图像的XYZ值和匹配到的相似光谱进行五阶多项式拟合；

步骤4.2)，基于拟合结果确定相似光谱信息和真实光谱信息之间的函数关系；

步骤4.3)，通过函数关系和相似光谱信息，重建目标高分辨率高光谱的真实光谱信息。

将高分辨率RGB彩色图像上的像素点通过色彩管理，将RGB空间的三基色转换为XYZ空间中的色坐标XYZ值，真实光谱与相似光谱之间存在关联函数关系，因此通过XYZ的计算模型，使用拟合的方式，求解真实光谱与相似光谱之间的函数关系，利用该函数关系和相似光谱进行真实光谱的重建。其中，该XYZ的计算模型为多项式修正模型，其输入是两张图像的XYZ值以及两张图像相匹配的对应相似光谱信息，进而进行拟合。

在一些实施例中，本发明实施例提供的方法还包括：

步骤5.3)，基于每个匹配点在目标高分辨率高光谱图像的真实光谱信息或修正光谱信息，重建得到目标高分辨率高光谱图像。

在一些实施例中，来自CAVE数据集名为“Balloon”的高分辨率RGB彩色图像维度为512×512×3，其所对应的400nm～700nm低分辨率高光谱图像维度为64×64×31，光照条件：D65光源与A光源；10°视场。

在对高光谱图像超分辨率重建过程中，首先获取光源信息，获取低分辨率高光谱图像、A光源下RGB彩色图像和D65光源下的RGB彩色图像。将低分辨率高光谱图像转换到D65光源下的RGB空间，以得到低分辨率RGB彩色图像。对D65下高分辨率RGB彩色图像上的每一个像素点P_D65i(i为像素点位置)进行计算，如像素点P1点在高分辨率RGB彩色图中的像素位置为(142，444)，其RGB值为[0.385 0.397 0.659]^T，找到位置对应在低分辨率RGB彩色图像上的特征点p1(36，111)，RGB值[0.251 0.251 0.496]^T。

作为一种可选的实施例，将每个像素点的RGB值与找寻到的对应特征点在预设领域范围对应的RGB值与进行相似RGB值的匹配，确定该特征点的相似RGB值。例如，预设领域范围为8×8。

示例性地，取该特征点p1点邻域8×8范围内的所有RGB值与高分辨率RGB图像上的点进行如下公式匹配：

其中，ΔR，ΔG，ΔB分别是高分辨率RGB彩色图像上的每个像素点RGB值与其像素点对应特征点的低分辨率邻域范围上的RGB值的差。得到最小的ΔE的点p₁′[0.394 0.4020.697]^T作为相似RGB值，找到该特征点在低分辨率高光谱图像上所对应的点，并抽取该光谱信息作为相似光谱r′。

将不同光源下的两张高分辨率RGB颜色图像的像素点P_D65[0.385 0.397 0.659]^T和P_A[0.311 0.150 0.113]^T通过色彩管理转换为XYZ值T_D65[41.968 41.316 69.169]^T和T_A[45.223 39.946 21.973]^T，然后进行五阶多项式拟合。假设真实光谱r与相似光谱r′存在于波长λ有关的多项式如下：

其中，a_i为多项式系数，i为阶数。一维向量XYZ值可以看作是一维向量光谱数据的降维，并且XYZ值x，y，z与光谱r之间存在以下计算模型：

其中，矩阵为CIE 10°视场颜色匹配函数。

因此，通过式(2)替换式(3)中的r得到以下关系：

其中，为包含a_i的系数矩阵。通过求逆运算可解得A权重矩阵:

[-289.51 2710.13-10040.0 18464.9-16861.8 6118.21]^T,将该权重带入式(2)实现光谱重建。在此基础上，对重建的光谱两端趋势进行再修正以解决色匹配函数对两端波段不敏感造成的误差，将相似光谱r′的两端趋势迁移到该重建光谱上，首先计算410nm端点和670nm端点处相似光谱曲线的导数，有以下式：

然后将该导数转移到重建光谱的410nm和670nm上，完成趋势转移，最终得到完全重建的光谱。

对高分辨率RGB彩色图像上所有的像素点P_i进行以上操作，最终得到重建的高分辨率高光谱图像。

在一些可选的实施例中，可通过三种评价指标使峰值信噪比(PSNR)、光谱角制图(SAM)、相对无量纲全局误差(ERGAS)对重建的目标高光谱图像进行评价。其中，表1为PSNR，ERGAS,SAM的评价结果，该点位置的修正光谱与真实光谱对比图，如图2所示。

表1超分辨率高光谱图像评价结果

在一些实施例中，如图3所示，本发明实施例还提供一种高光谱图像的超分辨率重建装置，包括：

获取模块，获取针对同一目标对象的低分辨率高光谱图像、第一高分辨率RGB彩色图像和第二高分辨率RGB彩色图像，其中，第一高分辨率RGB彩色图像于第一光源下采集，第二高分辨率RGB彩色图像于第二光源下采集；

匹配模块，将所述低分辨率高光谱图像按照第一光源条件下转换得到的低分辨率RGB彩色图像，与第一高分辨率RGB彩色图像进行邻域匹配，确定每个匹配点在目标高分辨率高光谱图像上的对应相似光谱信息，其中，所述目标高分辨率高光谱图像为所述低分辨率高光谱图像进行超分辨率重建得到的；

转换模块，分别将所述第一高分辨率RGB彩色图像和所述第二高分辨率RGB彩色图像转换至XYZ空间，得到第一高分辨率XYZ图像和第二高分辨率XYZ图像；

确定模块，根据所述第一高分辨率XYZ图像、所述第二高分辨率XYZ图像和相似光谱的拟合结果，确定所述每个匹配点在目标高分辨率高光谱图像的真实光谱信息。

本发明实施例提供的用于实现一种电子设备，本实施例中，所述电子设备可以是，但不限于，个人电脑(Personal Computer，PC)、笔记本电脑、监控设备、服务器等具备分析及处理能力的计算机设备。

作为一种示范性实施例，可参见图4，电子设备110，包括通信接口111、处理器112、存储器113以及总线114，处理器112、通信接口111和存储器113通过总线114连接；上述存储器113用于存储支持处理器112执行上述图像锐化方法的计算机程序，上述处理器112被配置为用于执行该存储器113中存储的程序。

本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。