一种多曝光融合图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种多曝光融合图像质量评价方法。
背景技术
动态范围指的是一个场景下光线强度的最大值与最小值之比。自然场景中的动态范围通常要远超普通数码相机所拍摄获取到的数码照片的动态范围，从另一方面来说，在一个高动态范围的场景下，现有的显示装置只能处理非常有限的动态范围，这导致单一的数码照片无法展示自然场景中的全部细节信息，具体表现在数码照片的亮的区域与暗的区域细节信息丢失。普通数码相机在拍摄过程中，存在过曝光与欠曝光现象，这导致出现了低动态范围的现象。在特殊的拍摄环境中，比如在天空中，由于光线环境的特殊性，因此存在高亮极暗的现象，这导致数码照片的过亮的区域与过暗的区域细节信息丢失。因此，单一的数码照片通常会丢失自然场景的部分细节信息，甚至是关键信息，从而无法满足人们对于高质量图片的需求。
近几年来，存在着两种技术途径来解决单一的数码照片无法展示自然场景下的所有细节信息的技术问题：高动态范围(High Dynamic Range，HDR)技术和多曝光图像融合(Multi-exposure image Fusion，MEF)技术。
高动态范围技术首先通过同一场景下不同曝光度的图像序列来扩充图像的动态范围，再通过色调映射的方法在单一图像中显示。由于高动态范围技术需要进行高动态范围重建与色调映射两个步骤，因此存在计算量大、耗时久的问题。
多曝光图像融合技术直接对多曝光图像序列进行融合，极大地简化了图像的生成过程。通常来说，多曝光图像融合技术首先使用数码相机在不同的曝光度下拍摄多张低动态范围图像，然后在变换域或者空间域上进行图像融合。近年来，随着深度学习以及神经网络相关研究的不断发展，也出现了许多基于深度学习的多曝光图像融合方法。多曝光图像融合技术目前在各种电子显示设备上都有着广泛的应用，其被证明能够有效地增强图像的显示效果，并且能够在普通的显示设备上显示，而不需要昂贵的高动态显示设备。
目前，有许多人提出了不同的多曝光图像融合方法，但是关于多曝光融合图像质量评价方面的研究还有所欠缺。因此，为了筛选出性能最佳的多曝光图像融合方法，多曝光融合图像质量评价就显得尤为重要。在近十年间，大量图像评价领域的研究人员开发出了许多客观质量评价模型，用来评价多曝光融合图像的质量，有的认为多曝光融合图像的质量与信息的保持程度有关，提出一种通过计算参考图像与多曝光融合图像之间的互信息的方法来评价多曝光融合图像的质量，但是该方法并没有针对多曝光融合图像的具体的特征，而是仅仅考虑了多曝光融合图像整体的信息相关性。后来人们发现多曝光融合图像的边缘区域对人眼视觉感知系统影响很大，因此提出了一些基于图像边缘信息的质量评价方法。例如，利用Sobel边缘算子提取输入图像的边缘信息，计算每幅参考图像和多曝光融合图像中边缘信息的强度和方向的保持程度，然后在原图像之间进行组合，得到最终质量分数；或是使用小波变换对图像进行了尺度分解，并且计算每个尺度下多曝光融合图像的边缘保持。此外，还有人通过计算参考图像的局部显著信息在多曝光融合图像中的表现程度开发了一种评价方法。上述这些多曝光融合图像质量评价方法的客观评价结果与主观感知的相关性还有待提高。
发明内容
本发明所要解决的技术问题是提供一种多曝光融合图像质量评价方法，其能够有效地提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为：一种多曝光融合图像质量评价方法，其特征在于包括以下步骤：
步骤1：选取一幅多曝光融合图像作为待评价的多曝光融合图像，并记为Smefi，同时将Smefi相应的三幅不同曝光程度的原始图像即正常曝光图像、过曝光图像、欠曝光图像对应记为Snormal、Sover-ex、Sunder-ex；其中，Smefi、Snormal、Sover-ex、Sunder-ex的宽度为W且高度为H；
步骤2：计算Smefi、Snormal、Sover-ex、Sunder-ex各自的梯度图，对应记为Gmefi、Gnormal、Gover-ex、Gunder-ex；其中，Gmefi、Gnormal、Gover-ex、Gunder-ex的宽度为W且高度为H；
步骤3：从Gnormal、Gover-ex、Gunder-ex中提取得到最大值梯度图，记为Gmax，将Gmax中坐标位置为(x,y)的像素点的像素值记为Gmax(x,y)，Gmax(x,y)＝max(Gnormal(x,y),Gover-ex(x,y),Gunder-ex(x,y))；然后计算Gmax中的每个像素点与Gmefi中对应的像素点的SSIM；再计算W×H个SSIM值的平均值，并将平均值作为Smefi的梯度特征；其中，Gmax的宽度为W且高度为H，1≤x≤W，1≤y≤H，max()为取最大值函数，Gnormal(x,y)表示Gnormal中坐标位置为(x,y)的像素点的像素值，Gover-ex(x,y)表示Gover-ex中坐标位置为(x,y)的像素点的像素值，Gunder-ex(x,y)表示Gunder-ex中坐标位置为(x,y)的像素点的像素值；
步骤4：根据Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点的像素值构成Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点共同对应的维数为3×2的梯度值矩阵，将Gnormal中坐标位置为(x,y)的像素点、Gover-ex中坐标位置为(x,y)的像素点、Gunder-ex中坐标位置为(x,y)的像素点共同对应的维数为3×2的梯度值矩阵记为J(x,y)，同样，根据Gmefi中的每个像素点的像素值构成Gmefi中的每个像素点对应的维数为1×2的梯度值矩阵，将Gmefi中坐标位置为(x,y)的像素点对应的维数为1×2的梯度值矩阵记为J'(x,y)，然后计算Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点的结构张量，将Gnormal中坐标位置为(x,y)的像素点、Gover-ex中坐标位置为(x,y)的像素点、Gunder-ex中坐标位置为(x,y)的像素点的结构张量记为Z(x,y)，Z(x,y)＝(J(x,y))TJ(x,y)；同样，计算Gmefi中的每个像素点的结构张量，将Gmefi中坐标位置为(x,y)的像素点的结构张量记为Z'(x,y)，Z'(x,y)＝(J'(x,y))TJ'(x,y)；接着计算Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点的结构张量与Gmefi中对应像素点的结构张量的余弦距离，将Z(x,y)与Z'(x,y)的余弦距离记为d(x,y)；再将所有余弦距离的平均值作为Smefi的结构特征；其中，表示水平方向，表示垂直方向，表示Gnormal(x,y)的水平方向的分量，表示Gnormal(x,y)的垂直方向的分量，表示Gover-ex(x,y)的水平方向的分量，表示Gover-ex(x,y)的垂直方向的分量，表示Gunder-ex(x,y)的水平方向的分量，表示Gunder-ex(x,y)的垂直方向的分量，Z(x,y)的维数为2×2，(J(x,y))T表示J(x,y)的转置，表示Gmefi中坐标位置为(x,y)的像素点的像素值Gmefi(x,y)的水平方向的分量，表示Gmefi中坐标位置为(x,y)的像素点的像素值Gmefi(x,y)的垂直方向的分量，Z'(x,y)的维数为2×2，(J'(x,y))T表示J'(x,y)的转置；
步骤5：计算Snormal、Sover-ex、Sunder-ex各自中的每个像素点的曝光度、对比度和饱和度，将Snormal中坐标位置为(x,y)的像素点的曝光度、对比度和饱和度对应记为Enormal(x,y)、Cnormal(x,y)、Sanormal(x,y)，将Sover-ex中坐标位置为(x,y)的像素点的曝光度、对比度和饱和度对应记为Eover-ex(x,y)、Cover-ex(x,y)、Saover-ex(x,y)，将Sunder-ex中坐标位置为(x,y)的像素点的曝光度、对比度和饱和度对应记为Eunder-ex(x,y)、Cunder-ex(x,y)、Saunder-ex(x,y)；然后计算Snormal、Sover-ex、Sunder-ex各自中的每个像素点的权重，将Snormal中坐标位置为(x,y)的像素点的权重记为ωnormal(x,y)，ωnormal(x,y)＝Enormal(x,y)×Cnormal(x,y)×Sanormal(x,y)，将Sover-ex中坐标位置为(x,y)的像素点的权重记为ωover-ex(x,y)，ωover-ex(x,y)＝Eover-ex(x,y)×Cover-ex(x,y)×Saover-ex(x,y)，将Sunder-ex中坐标位置为(x,y)的像素点的权重记为ωunder-ex(x,y)，ωunder-ex(x,y)＝Eunder-ex(x,y)×Cunder-ex(x,y)×Saunder-ex(x,y)；接着对Snormal、Sover-ex、Sunder-ex各自中的每个像素点的权重进行归一化处理，得到Snormal、Sover-ex、Sunder-ex各自对应的权重图，对应记为weightnormal、weightover-ex、weightunder-ex；再对Snormal、Sover-ex、Sunder-ex与weightnormal、weightover-ex、weightunder-ex进行金字塔融合，对Snormal、Sover-ex、Sunder-ex上采样生成拉普拉斯金字塔，对weightnormal、weightover-ex、weightunder-ex上采样生成高斯金字塔，融合得到一幅伪参考融合图像；之后计算Smefi中的每个像素点与伪参考融合图像中对应的像素点的SSIM值；最后计算W×H个SSIM值的平均值，并将平均值作为Smefi的全局感知特征；
步骤6：将Smefi的梯度特征、Smefi的结构特征、Smefi的全局感知特征按序排列构成的向量作为Smefi的特征向量；
步骤7：将Smefi的特征向量作为输入，结合支持向量回归技术，计算得到Smefi的客观质量评价预测值；其中，Smefi的客观质量评价预测值越大，说明Smefi的质量越好；反之，说明Smefi的质量越差。
所述的步骤2中，计算Smefi、Snormal、Sover-ex、Sunder-ex各自的梯度图时采用的梯度算子为Prewitt算子、Roberts算子、Scharr算子和Sobel算子中的一种。
所述的步骤4中，其中，表示由Z(x,y)转换成的长度为4的向量，表示由Z'(x,y)转换成的长度为4的向量，和的获取方式相同，符号“||||”为取模操作符号。
所述的步骤5中，Cnormal(x,y)＝|L*Ynormal(x,y)|，Sanormal(x,y)＝|Unormal(x,y)|+|Vnormal(x,y)|+1，Cover-ex(x,y)＝|L*Yover-ex(x,y)|，Saover-ex(x,y)＝|Uover-ex(x,y)|+|Vover-ex(x,y)|+1，Cunder-ex(x,y)＝|L*Yunder-ex(x,y)|，Saunder-ex(x,y)＝|Uunder-ex(x,y)|+|Vunder-ex(x,y)|+1；其中，e表示自然基数，表示Snormal的Y通道中坐标位置为(x,y)的像素点的像素值的归一化值，Ynormal(x,y)表示Snormal的Y通道中坐标位置为(x,y)的像素点的像素值，μ和σ均为常数，μ＝0.5，σ＝0.2，符号“| |”为取绝对值符号，L表示拉普拉斯算子，符号“*”为卷积运算符号，Unormal(x,y)表示Snormal的U通道中坐标位置为(x,y)的像素点的像素值，Vnormal(x,y)表示Snormal的V通道中坐标位置为(x,y)的像素点的像素值，表示Sover-ex的Y通道中坐标位置为(x,y)的像素点的像素值的归一化值，Yover-ex(x,y)表示Sover-ex的Y通道中坐标位置为(x,y)的像素点的像素值，Uover-ex(x,y)表示Sover-ex的U通道中坐标位置为(x,y)的像素点的像素值，Vover-ex(x,y)表示Sover-ex的V通道中坐标位置为(x,y)的像素点的像素值，表示Sunder-ex的Y通道中坐标位置为(x,y)的像素点的像素值的归一化值，Yunder-ex(x,y)表示Sunder-ex的Y通道中坐标位置为(x,y)的像素点的像素值，Uunder-ex(x,y)表示Sunder-ex的U通道中坐标位置为(x,y)的像素点的像素值，Vunder-ex(x,y)表示Sunder-ex的V通道中坐标位置为(x,y)的像素点的像素值。
所述的步骤5中，weightnormal、weightover-ex、weightunder-ex的获取过程为：将weightnormal中坐标位置为(x,y)的像素点的像素值记为weightnormal(x,y)，
weightnormal(x,y)亦为对ωnormal(x,y)进行归一化处理后得到的权重，将weightover-ex中坐标位置为(x,y)的像素点的像素值记为weightover-ex(x,y)，
weightover-ex(x,y)亦为对ωover-ex(x,y)进行归一化处理后得到的权重，将weightunder-ex中坐标位置为(x,y)的像素点的像素值记为weightunder-ex(x,y)，
weightunder-ex(x,y)亦为对ωunder-ex(x,y)进行归一化处理后得到的权重。
与现有技术相比，本发明的优点在于：
1)本发明方法首先考虑到图像中的像素点的梯度值反映了该像素点的像素值的变化程度，在图像的一些边缘位置的像素点通常拥有较大的梯度值，而在图像细节比较少比较平滑的区域，像素点的梯度值较小，一般来说，图像中的边缘像素点的能见度与梯度的幅度密切相关，像素点的梯度的幅度较大的部分通常可见度更高，更加清晰，考虑到正常曝光图像、过曝光图像、欠曝光图像三幅不同曝光程度的原始图像都是拍摄的真实的自然场景，因此在真实的自然场景条件下将对应像素点的最大梯度值作为最佳的梯度值能够很好地反应多曝光融合图像的梯度特征，从而有效地提高了客观评价结果与主观感知的相关性。
2)本发明方法使用Jacobian矩阵来结合不同曝光程度图像的结构特征，通过构成的结构张量来表示多曝光融合图像的结构特征，并且考虑到图像的亮度变化和色度变化对于图像质量的影响尤为重要，首先将RGB图像转换到YUV颜色空间，从曝光度、对比度和饱和度三个方面来构造权重图，用来获取多曝光融合图像中的各种信息，进而得到多曝光融合图像的全局感知特征，实验结果表明，本发明方法在评价自然场景下的多曝光融合图像质量方面与人类对图像的感知质量具有更高的一致性。
附图说明
图1为本发明方法的总体实现框图；
图2为本发明方法中的金字塔融合的过程示意图；
图3a为过曝光图像；
图3b为正常曝光图像；
图3c为欠曝光图像；
图3d为根据图3a、图3b、图3c得到的多曝光融合图像；
图3e为图3a的梯度图；
图3f为图3b的梯度图；
图3g为图3c的梯度图；
图3h为图3d的梯度图；
图3i为从图3e、图3f、图3g中提取得到的最大值梯度图；
图4a为伪参考融合图像；
图4b为待评价的多曝光融合图像；
图4c为图4b与图4a的SSIM图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种多曝光融合图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：选取一幅多曝光融合图像作为待评价的多曝光融合图像，并记为Smefi，同时将Smefi相应的三幅不同曝光程度的原始图像即正常曝光图像、过曝光图像、欠曝光图像对应记为Snormal、Sover-ex、Sunder-ex；其中，Smefi、Snormal、Sover-ex、Sunder-ex的宽度为W且高度为H。
步骤2：计算Smefi、Snormal、Sover-ex、Sunder-ex各自的梯度图，对应记为Gmefi、Gnormal、Gover-ex、Gunder-ex；其中，Gmefi、Gnormal、Gover-ex、Gunder-ex的宽度为W且高度为H；图像中的像素点的梯度值反映了该像素点的像素值的变化程度，在图像的一些边缘位置的像素点通常拥有较大的梯度值，而在图像细节比较少比较平滑的区域，像素值变化较小，相应的这些区域中的像素点的梯度值也会减小。
在此具体实施例中，步骤2中，计算Smefi、Snormal、Sover-ex、Sunder-ex各自的梯度图时采用的梯度算子为Prewitt算子、Roberts算子、Scharr算子和Sobel算子中的一种。在图像处理中，图像中的像素点的梯度值通常指的是梯度的模。
步骤3：一般来说，图像中的边缘像素点即处于边缘的像素点的能见度与梯度的幅度密切相关，像素点的梯度的幅度较大的部分通常可见度更高，更加清晰，同时，过大的梯度可能会导致图像局部的锐利度过高，与实际场景存在一定差异，考虑到Snormal、Sover-ex、Sunder-ex都是拍摄的真实的自然场景，因此在真实的自然场景条件下将对应像素点的最大梯度值作为最佳的梯度值。因此本发明从Gnormal、Gover-ex、Gunder-ex中提取得到最大值梯度图，记为Gmax，将Gmax中坐标位置为(x,y)的像素点的像素值记为Gmax(x,y)，Gmax(x,y)＝max(Gnormal(x,y),Gover-ex(x,y),Gunder-ex(x,y))；然后计算Gmax中的每个像素点与Gmefi中对应的像素点的SSIM(structural similarity index measurement，结构相似性)值(即计算Gmax和Gmefi中相同坐标位置的像素点的SSIM值)；再计算W×H个SSIM值的平均值，并将平均值作为Smefi的梯度特征；其中，Gmax的宽度为W且高度为H，1≤x≤W，1≤y≤H，max()为取最大值函数，Gnormal(x,y)表示Gnormal中坐标位置为(x,y)的像素点的像素值，也即为Snormal中坐标位置为(x,y)的像素点的梯度值，Gover-ex(x,y)表示Gover-ex中坐标位置为(x,y)的像素点的像素值，也即为Sover-ex中坐标位置为(x,y)的像素点的梯度值，Gunder-ex(x,y)表示Gunder-ex中坐标位置为(x,y)的像素点的像素值，也即为Sunder-ex中坐标位置为(x,y)的像素点的梯度值。
步骤4：图像结构是评价图像质量的重要特征之一，如何有效地表示出图像的结构特征一直是质量评价领域相关研究人员重要的研究课题，然而，在评价多曝光融合图像时，为了处理多张不同曝光程度图像组合而成的高维图像，需要重新考虑如何组合不同曝光程度图像的结构信息，受到关于结构张量研究的启发，本发明使用Jacobian矩阵来结合不同曝光程度图像的结构特征，即根据Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点的像素值构成Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点共同对应的维数为3×2的梯度值矩阵，将Gnormal中坐标位置为(x,y)的像素点、Gover-ex中坐标位置为(x,y)的像素点、Gunder-ex中坐标位置为(x,y)的像素点共同对应的维数为3×2的梯度值矩阵记为J(x,y)，同样，根据Gmefi中的每个像素点的像素值构成Gmefi中的每个像素点对应的维数为1×2的梯度值矩阵，将Gmefi中坐标位置为(x,y)的像素点对应的维数为1×2的梯度值矩阵记为J'(x,y)，然后计算Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点的结构张量，将Gnormal中坐标位置为(x,y)的像素点、Gover-ex中坐标位置为(x,y)的像素点、Gunder-ex中坐标位置为(x,y)的像素点的结构张量记为Z(x,y)，Z(x,y)＝(J(x,y))TJ(x,y)，Z(x,y)是一个实对称矩阵，因此它有两个非负的实特征值，相应的特征值表示图像的变化率；同样，计算Gmefi中的每个像素点的结构张量，将Gmefi中坐标位置为(x,y)的像素点的结构张量记为Z'(x,y)，Z'(x,y)＝(J'(x,y))TJ'(x,y)；接着为了计算三幅不同曝光程度的原始图像与待评价的多曝光融合图像之间的结构信息的差异，本发明利用结构张量之间的余弦距离来表示这个差异，计算Gnormal、Gover-ex、Gunder-ex中相同坐标位置的像素点的结构张量与Gmefi中对应像素点的结构张量的余弦距离，将Z(x,y)与Z'(x,y)的余弦距离记为d(x,y)；再将所有余弦距离的平均值作为Smefi的结构特征；其中，表示水平方向，表示垂直方向，表示Gnormal(x,y)的水平方向的分量，也即为Snormal中坐标位置为(x,y)的像素点的水平梯度值，表示Gnormal(x,y)的垂直方向的分量，也即为Snormal中坐标位置为(x,y)的像素点的垂直梯度值，表示Gover-ex(x,y)的水平方向的分量，也即为Sover-ex中坐标位置为(x,y)的像素点的水平梯度值，表示Gover-ex(x,y)的垂直方向的分量，也即为Sover-ex中坐标位置为(x,y)的像素点的垂直梯度值，表示Gunder-ex(x,y)的水平方向的分量，也即为Sunder-ex中坐标位置为(x,y)的像素点的水平梯度值，表示Gunder-ex(x,y)的垂直方向的分量，也即为Sunder-ex中坐标位置为(x,y)的像素点的垂直梯度值，Z(x,y)的维数为2×2，(J(x,y))T表示J(x,y)的转置，表示Gmefi中坐标位置为(x,y)的像素点的像素值Gmefi(x,y)的水平方向的分量，也即为Smefi中坐标位置为(x,y)的像素点的水平梯度值，表示Gmefi中坐标位置为(x,y)的像素点的像素值Gmefi(x,y)的垂直方向的分量，也即为Smefi中坐标位置为(x,y)的像素点的垂直梯度值，Z'(x,y)的维数为2×2，(J'(x,y))T表示J'(x,y)的转置。
在此具体实施例中，步骤4中，其中，表示由Z(x,y)转换成的长度为4的向量，表示由Z'(x,y)转换成的长度为4的向量，和的获取方式相同，符号“||||”为取模操作符号。
步骤5：虽然梯度特征可以有效地捕捉待评价的多曝光融合图像中局部的边缘，结构结构可以有效地捕捉待评价的多曝光融合图像的结构，但是都没有注意到待评价的多曝光融合图像全局的感知变化，这种细微的变化很容易被人类察觉，因此，为了使本发明方法的客观评价结果与人类对图像的感知更加一致，加入了全局感知测量。考虑到图像的亮度变化和色度变化对于人类感知的影响尤为重要，首先将RGB图像转换到YUV颜色空间，在多曝光图像融合的过程中，多曝光图像的不同曝光度对最终的融合结果影响最为明显，其次是多曝光图像的对比度和饱和度，于是从这三个方面来构造多曝光图像的权重图，用来获取多曝光图像中的各种信息，进而得到全局感知特征。
计算Snormal、Sover-ex、Sunder-ex各自中的每个像素点的曝光度、对比度和饱和度，将Snormal中坐标位置为(x,y)的像素点的曝光度、对比度和饱和度对应记为Enormal(x,y)、Cnormal(x,y)、Sanormal(x,y)，将Sover-ex中坐标位置为(x,y)的像素点的曝光度、对比度和饱和度对应记为Eover-ex(x,y)、Cover-ex(x,y)、Saover-ex(x,y)，将Sunder-ex中坐标位置为(x,y)的像素点的曝光度、对比度和饱和度对应记为Eunder-ex(x,y)、Cunder-ex(x,y)、Saunder-ex(x,y)；然后计算Snormal、Sover-ex、Sunder-ex各自中的每个像素点的权重，将Snormal中坐标位置为(x,y)的像素点的权重记为ωnormal(x,y)，ωnormal(x,y)＝Enormal(x,y)×Cnormal(x,y)×Sanormal(x,y)，将Sover-ex中坐标位置为(x,y)的像素点的权重记为ωover-ex(x,y)，ωover-ex(x,y)＝Eover-ex(x,y)×Cover-ex(x,y)×Saover-ex(x,y)，将Sunder-ex中坐标位置为(x,y)的像素点的权重记为ωunder-ex(x,y)，ωunder-ex(x,y)＝Eunder-ex(x,y)×Cunder-ex(x,y)×Saunder-ex(x,y)；接着对Snormal、Sover-ex、Sunder-ex各自中的每个像素点的权重进行归一化处理，得到Snormal、Sover-ex、Sunder-ex各自对应的权重图，对应记为weightnormal、weightover-ex、weightunder-ex；再对Snormal、Sover-ex、Sunder-ex与weightnormal、weightover-ex、weightunder-ex进行金字塔融合，对Snormal、Sover-ex、Sunder-ex上采样生成拉普拉斯金字塔，对weightnormal、weightover-ex、weightunder-ex上采样生成高斯金字塔，融合得到一幅伪参考融合图像；之后计算Smefi中的每个像素点与伪参考融合图像中对应的像素点的SSIM值(即计算Smefi和伪参考融合图像中相同坐标位置的像素点的SSIM值)；最后计算W×H个SSIM值的平均值，并将平均值作为Smefi的全局感知特征。
在此，金字塔融合为现有技术，图2给出了金字塔融合的过程示意图，图2中I表示Snormal、Sover-ex、Sunder-ex，即I(1)表示Snormal，I(N)表示Sunder-ex，W表示weightnormal、weightover-ex、weightunder-ex，即W(1)表示weightnormal，W(N)表示weightunder-ex。
在此具体实施例中，步骤5中，Cnormal(x,y)＝|L*Ynormal(x,y)|，Sanormal(x,y)＝|Unormal(x,y)|+|Vnormal(x,y)|+1，Cover-ex(x,y)＝|L*Yover-ex(x,y)|，Saover-ex(x,y)＝|Uover-ex(x,y)|+|Vover-ex(x,y)|+1，Cunder-ex(x,y)＝|L*Yunder-ex(x,y)|，Saunder-ex(x,y)＝|Uunder-ex(x,y)|+|Vunder-ex(x,y)|+1；其中，e表示自然基数，e＝2.71828…，表示Snormal的Y通道(亮度通道)中坐标位置为(x,y)的像素点的像素值的归一化值，Ynormal(x,y)表示Snormal的Y通道(亮度通道)中坐标位置为(x,y)的像素点的像素值，μ和σ均为常数，μ＝0.5，σ＝0.2，符号“| |”为取绝对值符号，L表示拉普拉斯算子，符号“*”为卷积运算符号，Unormal(x,y)表示Snormal的U通道(U色度通道)中坐标位置为(x,y)的像素点的像素值，Vnormal(x,y)表示Snormal的V通道(V色度通道)中坐标位置为(x,y)的像素点的像素值，表示Sover-ex的Y通道(亮度通道)中坐标位置为(x,y)的像素点的像素值的归一化值，Yover-ex(x,y)表示Sover-ex的Y通道(亮度通道)中坐标位置为(x,y)的像素点的像素值，Uover-ex(x,y)表示Sover-ex的U通道(U色度通道)中坐标位置为(x,y)的像素点的像素值，Vover-ex(x,y)表示Sover-ex的V通道(V色度通道)中坐标位置为(x,y)的像素点的像素值，Yunder-ex(x,y)表示Sunder-ex的Y通道(亮度通道)中坐标位置为(x,y)的像素点的像素值的归一化值，Yunder-ex(x,y)表示Sunder-ex的Y通道(亮度通道)中坐标位置为(x,y)的像素点的像素值，Uunder-ex(x,y)表示Sunder-ex的U通道(U色度通道)中坐标位置为(x,y)的像素点的像素值，Vunder-ex(x,y)表示Sunder-ex的V通道(V色度通道)中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤5中，weightnormal、weightover-ex、weightunder-ex的获取过程为：将weightnormal中坐标位置为(x,y)的像素点的像素值记为weightnormal(x,y)，weightnormal(x,y)亦为对ωnormal(x,y)进行归一化处理后得到的权重，将weightover-ex中坐标位置为(x,y)的像素点的像素值记为weightover-ex(x,y)，weightover-ex(x,y)亦为对ωover-ex(x,y)进行归一化处理后得到的权重，将weightunder-ex中坐标位置为(x,y)的像素点的像素值记为weightunder-ex(x,y)，weightunder-ex(x,y)亦为对ωunder-ex(x,y)进行归一化处理后得到的权重。
步骤6：将Smefi的梯度特征、Smefi的结构特征、Smefi的全局感知特征按序排列构成的向量作为Smefi的特征向量。
步骤7：将Smefi的特征向量作为输入，结合支持向量回归技术，计算得到Smefi的客观质量评价预测值；其中，Smefi的客观质量评价预测值越大，说明Smefi的质量越好；反之，说明Smefi的质量越差。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
选取一个现成的数据库，该数据库包含了17种不同场景下的自然图像(即原始图像)，17种不同场景分别为“Balloons”、“Belgium house”、“Lampl”、“Candle”、“Cave”、“Chinese garden”、“Farmhouse”、“House”、“Kluki”、“Lamp2”、“Landscape”、“Lighthouse”、“Madison capitol”、“Memorial”、“Office”、“Tower”、“Venice”，针对每个场景分别使用了8种不同的多曝光图像融合方法，并拥有25名受试者的主观打分(即主观平均分MOS)，计算客观质量评价预测值与主观平均分MOS之间的Pearson线性相关系数(PLCC)和Spearman的秩序相关系数(SROCC)作为评价标准，PLCC或SROCC值越大，表示性能越好。
在试验中，采用留一法(leave one out)的策略，每次从该数据库中只选择一个场景下的8幅多曝光融合图像构成测试集，而将其余16种场景下的共128幅(16×8＝128)幅多曝光融合图像构成训练集。在训练时，按照本发明方法的步骤1至步骤6的过程，以相同的方式获得训练集中的每幅多曝光融合图像的特征向量，将训练集中的所有多曝光融合图像的特征向量输入到支持向量机中进行训练，使得经过训练得到的回归函数值与主观平均分MOS之间的误差最小，拟合得到最优的权重矢量和最优的偏置项，再利用最优的权重矢量和最优的偏置项构造支持向量回归模型。在测试时，按照本发明方法的步骤1至步骤6的过程，以相同的方式获得测试集中的每幅多曝光融合图像的特征向量，采用支持向量回归模型对测试集中的每幅多曝光融合图像的特征向量进行测试，得到测试集中的每幅多曝光融合图像的客观质量评价预测值。
按留一法(leave one out)的策略，训练17次，每种场景下的8幅多曝光融合图像测试一次。计算17种场景下本发明方法中的待评价的多曝光融合图像的特征向量仅由梯度特征构成时、待评价的多曝光融合图像的特征向量仅由结构特征构成时、待评价的多曝光融合图像的特征向量仅由全局感知特征构成时、待评价的多曝光融合图像的特征向量由梯度特征和结构特征构成时、待评价的多曝光融合图像的特征向量由梯度特征和全局感知特征构成时、待评价的多曝光融合图像的特征向量由结构特征和全局感知特征构成时，及本发明方法(待评价的多曝光融合图像的特征向量由梯度特征、结构特征、全局感知特征构成)的平均PLCC值和平均SROCC值作为性能指标，17种场景下特征向量由不同特征构成的各个方案的平均PLCC值如表1所列，17种场景下特征向量由不同特征构成的各个方案的平均SROCC值如表2所列。
表1 17种场景下特征向量由不同特征构成的各个方案的平均PLCC值
梯度特征
√
√
√
√
结构特征
√
√
√
√
全局感知特征
√
√
√
√
Balloons
0.8260
0.8116
0.8947
0.8150
0.8599
0.8147
0.8358
Belgium house
0.9517
0.8381
0.9759
0.9608
0.9820
0.9776
0.9931
Lampl
0.8318
0.8590
0.8578
0.8674
0.8767
0.8639
0.9218
Candle
0.9390
0.8355
0.9770
0.9519
0.9731
0.9590
0.8643
Cave
0.9077
0.3578
0.9293
0.9144
0.9391
0.9293
0.9421
Chinese garden
0.8809
0.6531
0.9596
0.8891
0.9556
0.9596
0.9683
Farmhouse
0.8159
0.9787
0.8616
0.8218
0.8729
0.8617
0.8759
House
0.8947
0.7171
0.9553
0.8993
0.9505
0.9556
0.9601
Kluki
0.5157
0.8402
0.7446
0.7947
0.7233
0.7418
0.7305
Lamp2
0.9279
0.7933
0.8432
0.9127
0.9432
0.8436
0.9748
Landscape
0.8997
0.8110
0.7210
0.9335
0.9525
0.7208
0.8838
Lighthouse
0.9753
0.9417
0.9500
0.9729
0.9812
0.9470
0.9879
Madison capitol
0.8378
0.7791
0.9368
0.9241
0.9509
0.9364
0.9433
Memorial
0.9567
0.9579
0.9689
0.9659
0.9642
0.9700
0.9680
Office
0.8689
0.8507
0.8904
0.9429
0.8913
0.8902
0.9553
Tower
0.9148
0.8701
0.9370
0.9190
0.9428
0.9480
0.9580
Venice
0.8976
0.8925
0.8764
0.8842
0.8793
0.8765
0.9668
平均值
0.8730
0.8110
0.8987
0.9048
0.9199
0.8938
0.9252
表2 17种场景下特征向量由不同特征构成的各个方案的平均SROCC值
从表1和表2中可以看到，特征向量包含梯度特征的方案均表现出了与受试者的主观打分较高的一致性，这是因为观测者对图像的局部边缘特征十分敏感，而本发明方法在梯度域所采用的最大值梯度图的计算方法能获得最佳的图像质量，并且由于合成的伪参考融合图像的质量十分符合人眼对高质量图像的追求，所以全局感知特征能很好地反映出多曝光融合图像的客观质量。
图3a给出了过曝光图像，图3b给出了正常曝光图像，图3c给出了欠曝光图像，图3d给出了根据图3a、图3b、图3c得到的多曝光融合图像，图3e给出了图3a的梯度图，图3f给出了图3b的梯度图，图3g给出了图3c的梯度图，图3h给出了图3d的梯度图，图3i给出了从图3e、图3f、图3g中提取得到的最大值梯度图。从图3a、图3c、图3i中可以看到，在过曝光图像中的天空等高亮区域以及欠曝光图像的房屋等暗部区域均存在细节信息丢失的情况，而在最大值梯度图中，成功提取了过曝光图像中的房屋以及欠曝光图像中的天空云彩的边缘细节信息，并将它们组合到一起用来获得最佳图像质量。
图4a给出了伪参考融合图像，图4b给出了待评价的多曝光融合图像，图4c给出了图4b与图4a的SSIM图。从图4b中可以看到，图4b中的天空以及铁塔的边缘处存在一些不自然的伪影，铁塔内部的细节比较模糊，而这些信息丢失的部分都可以在质量图即图4c中显示出来，深色区域表示图像质量较差的部分，白色区域表示图像质量较好的部分。
从上述分析可知，本发明方法在评价自然场景下的多曝光融合图像质量方面与人类对图像的感知质量具有更高的一致性。
为了使实验结果更具说服力，将本发明方法与近年来提出的具有代表性的4种图像质量评价方法进行对比，4种图像质量评价方法分别是：[1]引自C.S.Xydeas andV.S.Petrovic,“Objective image fusion performance measure,”Proc.SPIE,SensorFusion,Archit.,Algorithms,Appl.IV,vol.4051,pp.89–98,Apr.2000.(客观图像融合性能指标)，其利用Sobel边缘算子提取输入图像的边缘信息，计算每幅参考图像和融合图像中边缘信息的强度和方向的保持程度，然后在源图像之间进行组合，得到最终质量分数。[2]引自P.Wang and B.Liu,“A novel image fusion metric based on multi-scaleanalysis,”in Proc.IEEE 9th Int.Conf.Signal Process.,Oct 2008,pp.965–968.(基于多尺度分析的新型图像融合评价方法)，其使用小波变换对图像进行尺度分解，并且计算每个尺度下融合图像的边缘保持。[3]引自K.Ma,K.Zeng,and Z.Wang,“Perceptual qualityassessment for multi-exposure image fusion,”IEEE Trans.Image Process.,vol.24,no.11,pp.3345–3356,Nov.2015.(多曝光融合图像感知质量评价)，其将图像分解为亮度、对比度和结构信息，并分别增强对比度和结构得到伪参考信息，提出了一个评价标准。[4]引自D.Kundu,D.Ghadiyaram,A.C.Bovik and B.L.Evans,"No-Reference QualityAssessment of Tone-Mapped HDR Pictures,"in IEEE Transactions on ImageProcessing,vol.26,no.6,pp.2957-2971,June 2017.(色调映射的HDR图像的无参考质量评价)，其基于差分自然场景统计特征构建了一个无参考质量评价模型。17种场景下本发明方法及现有的4种图像质量评价方法的平均PLCC值如表3所列，17种场景下本发明方法及现有的4种图像质量评价方法的平均SROCC值如表4所列。
表3 17种场景下本发明方法及现有的4种图像质量评价方法的平均PLCC值
表4 17种场景下本发明方法及现有的4种图像质量评价方法的平均SROCC值
原始图像
方法[1]
方法[2]
方法[3]
方法[4]
本发明方法
Balloons
0.6667
0.5000
0.8333
0.9286
0.8095
Belgium house
0.7785
0.7545
0.9701
0.9222
0.9701
Lampl
0.7857
0.6190
0.9762
0.8095
0.9048
Candle
0.9762
0.7857
0.9286
0.7615
0.9762
Cave
0.7143
0.8095
0.8333
0.6190
0.8333
Chinese garden
0.6905
0.7857
0.9286
0.5714
0.7857
Farmhouse
0.7381
0.8095
0.9286
0.5714
0.9286
House
0.5952
0.4524
0.8571
0.9762
0.8333
Kluki
0.2619
0.2857
0.7857
-0.1667
0.7381
Lamp2
0.7619
0.6190
0.7143
0.7381
0.9524
Landscape
0.0238
0.4048
0.5238
0.5000
0.7619
Lighthouse
0.5000
0.4286
0.8810
0.7857
0.8810
Madison capitol
0.5238
0.3571
0.8810
0.6429
0.8095
Memorial
0.7619
0.5476
0.8571
0.8810
0.8571
Office
0.2771
0.3976
0.7832
0.1687
0.8555
Tower
0.5714
0.5238
0.9524
0.7381
0.8571
Venice
0.9102
0.7306
0.9341
0.5868
0.8623
平均值
0.6198
0.5771
0.8570
0.6491
0.8597
从表3和表4中可以看出，本发明方法的PLCC值和SROCC值均高于现有的4种方法，展示出了本发明方法的优越性能。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：一种面向夜间图像的无参考质量评价方法
