具体实施方式

以下结合附图与实施例对本发明方法进行进一步描述。

如图1所示，一种面向夜间图像的无参考质量评价方法，具体步骤如下：

步骤(1)、自然场景统计NSS特征提取；

使用NSS捕捉图像失真：NSS特征来源于图像的局部二值模式映射LBP和对比度归一化系数MSCN系数，LBP和MSCN特征分别衡量了图像在出现畸变时的结构变化和自然损失，这两者在表征图像质量方面具有高度指示性。

首先，LBP定义了一种局部结构方法算子，该描述方法已成功应用于各种计算机视觉任务，如人脸识别、纹理识别、纹理分类等。具体表现为在原始图像收到外部畸变时，图像的LBP值会随之发生变化，LBP作用于一个局部的图像块上，假设g_c和g_p分别代表局部图像块的中心像素和关于g_c圆对称的其他邻间像素，根据中心像素的旋转不变一致性，LBP编码能够计算为：

其中P和R表示相邻像素的个数和半径，s(·)为阶跃函数，定义为：

而U(·)是一个测量一致性的函数，它统计的是一个模式的空间转换次数，具体定义为：

之后再逐个计算LBP编码像素值，生成一个0-1的LBP映射图M：

其中x、y为像素点的索引，l为常数值用于确定对应的LBP编码。

然后再对LBP映射图进行特征化，以提取质量感知特征。将获得的LBP映射图的平均值作为NSS特征向量的一个维度，通过LBP均值的变换记录图像质量的变化。

我们提取的用于表征图像质量的第二种NSS特征来自于MSCN系数。前人的研究表明，自然图像的MSCN系数很好地符合单位高斯分布，而畸变的引入极易对其造成破坏。因此分布变化的程度可以用来表示图像质量的变化，具体来说，输入图像I的MSCN系数能够计算为：

其中x和y表示像素坐标，表示(x，y)处的MSCN系数，μ(x，y)和σ(x，y)为以(x，y)为中心的局部图像块的均值和标准差。采用零均值广义高斯分布(GGD)对MSCN系数的分布进行建模，具体过程为：

其中Γ(·)表示伽马函数，具体可以被定为：

其中α和β表示GGD的参数，通过基于矩匹配的方法能够准确估计。由于描述GGD的模型参数α和β对图像失真有很强的反射性，使用它们作为质量特征来捕捉引入的图像失真，也将其加入到NSS特征向量中。

此外，相邻MSCN系数对的乘积也可以有效地表征图像质量。因此，我们进一步沿着四个方向计算相邻位置的MSCN系数，即水平、垂直、主对角线和次对角线。这些结果可以使用零阶不对称的广义高斯分布(AGGD)进行建模。

这个分布的均值定义为：

同样，该AGGD模型的参数(γ，β_l，β_r，η)也被引入到图像I的NSS特征向量中。

步骤(2)、人类视觉感知特征提取；

除了利用NSS进行图像质量评价外，我们还从人类视觉感知的角度研究了人类大脑的感知特征来表征图像质量。

在脑理论和神经科学中，一种被称为自由能量原理的理论被提出，该理论结合了几个脑理论和物理知识来解释人类的行为、感知和学习过程。自由能量原理表明，人类大脑对图像输入的感知或理解是一个主动的推理过程，由内部生成模型(IGM)控制。更具体地说，在基于IGM下，人类大脑会对视觉场景产生相应的表征，并进行视觉感知。因此，图像的感知质量与大脑表征过程以及图像与脑表征版本之间的差异密切相关。

因此，基于IQA中强大的神经生物学支持和仔细的实践，我们也将继续使用稀疏表示近似人脑中的IGM来感知外部图像信号。

具体而言，稀疏表示一幅图像的基本单位通常是一个图像块，因此先在给定的图像I中提取出图像块其中k为图像块序号，表示第k个图像块。而x_k在过完备字典上的稀疏表示实际上是指找到一个元素大部分为零或接近于零的稀疏向量具体能够表述为：

其中α_k的第一项表示表示保真度，第二项表示稀疏性约束。||·||_p表示为l_p的范数(l_p为图像I的范数P，这里我们将p取0，选用第零范式)，λ是一个用来调整这两个部分权重的常数。通过求解上述方程，能够得到表示x_k的稀疏向量。由于这种稀疏向量对视觉输入的大脑感知的重要信息进行了编码，对稀疏向量进行感知特征提取：

这里我们较为关注偏差影响，并使用标准差来对其进行总结。假设σ_k为α_k的标准差，将得到的所有稀疏向量的标准差取平均值作为图像I的感知特征向量的其中一个维度：

其中N表示为图像I的稀疏向量总数。

输入的图像I经过稀疏表示后能够得到人脑预测的版本I′，通过研究发现I与I′的差异也可以对图像I的感知质量进行很好的表征。因此在这里我们对其进行深一步的探讨，具体来说我们从预测残差和构造差异这两个角度来量化差异信息。

首先，预测残差是指I与I′之间的直接差值，它也是在测量两个信号之间差值中被广泛采用的方法，具体定义为：

PR(x，y)＝I(x，y)-I′(x，y) (12)

其中x和y为像素坐标，PR为预测的残差值。为了提取感知特征，利用PR的矩特征和熵特征(这些特征具有较强的代表性)来概括一个随机变量，并明确揭示了它们与人类视觉感知的关系。具体来说，计算PR的均值m_PR、标准差σ_PR、偏度s_PR、峰度k_PR和熵e_PR来表示图像的特征信息，将其加入到感知特征向量中。假设ε(·)为均值算子，则感知特征能够计算为：

m_PR＝ε(PR) (13)

其中p_i为PR中第i个灰度的概率密度。

由于PR的分布对图像质量的变化非常敏感，因此使用GGD来广泛拟合PR分布，并选取最佳的拟合参数来作为图像I的感知特征向量的其中一个维度。

其次，由于人类大脑对图像中的结构信息具有很强的视觉感知敏感性，我们还测量了图像I与其大脑所代表的版本I′之间的结构差异。为此，我们首先使用质量指数SSIM来衡量I和I′之间的结构相似性：

其中μ_I和μ_I′为I和I′的平均强度，σ_I和σ_I′为标准差，σ_II′为相关系数，C₁、C₂为避免不稳定的常数值。逐个像素地计算结构相似值，得到一个像素级的结构相似图，记为SS，由于SS中的SSIM值衡量的是两个同位像素之间的相似程度，其值小于等于1，SSIM＝1表示比较的两个信号完全相等。因此将结构不相似定义为SSIM值与1之间的距离：

SD(x，y)＝1-SS(x，y) (19)

其中x、y为像素坐标，SD为I与I′之间的结构不相似图。

为了表征I的质量，选用SD的矩特征和熵特征作为感知质量特征的一组维度，即m_SD、σ_SD、s_SD、k_SD和e_SD。同样我们检查了SD分布，发现它也可以用来捕捉图像质量变化，因此我们使用Weibull函数来拟合SD分布，以提取质量意识特征，具体定义为：

其中将其威布尔分布的参数λ和v也引入到图像I的感知特征向量中。

步骤(3)、语义特征提取；

上面我们提取的特征未考虑图像的语义信息，而高级的语义信息也可以帮我们直观的反映图像质量，故这里我们引入语义信息相关的特征提取工作。显然，高质量图像的语义信息提取工作要容易得多，而低质量的图像将会阻碍有用语义信息的提取，从而降低图像质量。为了实现这一目标，我们选择在ImageNet数据集上预先训练图像语义提取深度神经网络，然后直接通过训练好的网络来获得图像的高层语义信息。具体来说，将待评价的图像I输入到预先训练好的网络中，然后在网络的最后一个softmax层之前激活该网络，以此获得一个1000维的向量，来表图像的高级语义信息。所述的图像语义提取深度神经网络采用VGG、SqueezeNet、GoogleNet或ResNet等在图像语义信息上有较好提取效果深度神经网络。

这里我们选用了提取性能好且模型较小的SqueezeNet网络来提取语义信息，在图2中演示了其具体过程。我们从输入图像中提取一个位于中心且大小为227×227的图像块，并将其输入到神经网络中，最后提取“global avgpool”层的输出信息以此来表征图像的语义信息。

步骤(4)、图像质量计算；

在提取NSS特征、人类视觉感知特征和语义特征之后，将这些提取的特征连接在一起，生成一个综合特征向量来表征图像的整体质量。然后再使用SVR对综合特征向量和数据库提供的主观平均意见分数(MOS)进行训练，以此得到图像质量分数预测模型。通过训练好的图像质量分数预测模型进行图像质量预测。

所述的NSS特征、人类视觉感知特征和语义特征都是一个多维向量，将我们提取相应的参数之类的数值，作为其中的一个维度，最终再将三个向量拼成一个大的特征向量(直接进行维度相加，放在同一个向量中)。

具体而言，给定一个训练集Ω，然后从训练集中选取一个图像I_i，然后提取它的NSS特征f₁、人类视觉感知特征f₂和语义特征f₃，做为特征向量假设图像I_i的MOS值为那么最终的质量预测模型就能够表达为：

其中M即为我们所需的图像质量分数预测模型。

最后进行图像质量预测时，对于一个新待预测的图像I_j，也先提取得到它的综合特征向量然后再利用训练好的图像质量分数预测模型M对其进行质量预测，其图像质量就可以表示为：

其中Q为图像I_j的预测质量分数。