基于改进的深度卷积神经网络的图像超分辨率重建方法
技术领域
本发明涉及图像处理领域，尤其涉及基于改进的深度卷积神经网络的图像超分辨率重建方法。
背景技术
高分辨率图像较低分辨率图像含有更多的细节信息量，即高分辨率具有更高的图像分辨率。通常在实际应用中由于摄像机和环境的限定，只能得到低分辨率的图像，因此需要引用图像超分辨率技术由获取的低分辨率图像生成高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建，超分辨率复原即通过复原算法由退化的图像估计出原始图像，在复原前需要估计出退化过程的点扩散函数；超分辨率重建即使用已经获取的一副或多幅低分辨率图像的信息生成一幅或多幅高分辨率的图像。
传统方法实现SISR主要通过对大量的高-低分辨率图像的匹配对的学习而得到，如迭代反投影算法、最大后验概率方法。但是这些算法并不能有效学习高低分辨率图像间的映射关系，特别是在数据量剧增的时代，算法的性能并不会随着数据量的提升而进一步提高，因此传统方法并不适用于物联网时代。为此，我们提出基于改进的深度卷积神经网络的图像超分辨率重建方法。
发明内容
基于背景技术存在的技术问题，本发明提出了基于改进的深度卷积神经网络的图像超分辨率重建方法，以解决背景技术中提出的问题。
本发明提供如下技术方案：
基于改进的深度卷积神经网络的图像超分辨率重建方法，包括如下步骤：
A、多层次特征提取卷积神经网络：多层次特征提取卷积神经网络由两列卷积神经网络组成，每列卷积神经网络均由具有相同结构、参数各异的8层单元组成，其中每个单元由CNN、偏置Bias、参数化的ReLU和Dropout组成，多层次特征提取卷积神经网络由两列卷积神经网络组成，每列卷积神经网络的初始卷积单元参数不同，保证得到的卷积特征的全面性，每个卷积单元均使用跳连接与全连接处理保持连接，全连接将所有卷积单元的输出进行串接，最终得到局部和全局图像特征；
B、图像重建卷积神经网络：得到输入图像特征后即可通过图像重建卷积神经网络和双线性插值算法得到高分辨率图像，其中输入图像特征经过图像重建卷积神经网络得到残差值，此残差值与低分辨率图像经过双线性插值后得到的插值图像相加即可得到高分辨率图像。
优选的，所述步骤A中单个单元的CNN和偏置Bias联合处理使用滤波器内核对输入局部区域进行卷积，并由参数化的ReLU激活单元生成输出特征，如式(1)所示；
和分别是输入和输出，和分别是权重和偏置参数，PReLU是参数化修正线性单元激活函数。
优选的，所述PreLU的定义如(2)所示，在PReLU中负值部分的斜率是根据输入数据来定的，而非预先定义的，即参数a是可学习的参数，增大了激活函数的自适应性；
优选的，所述步骤B中图像重建卷积神经网络由三列卷积神经网络组成，每列卷积神经网络的卷积单元数均不相同，分别为1个卷积单元、2个卷积单元和3个卷积单元，采用并列浅层卷积单元，保证图像重建的具有较高的时间效率；然后使用全连接将每列卷积神经网络的重建结果进行串接，串接后的结果使用CNN处理得到重建的残差值，最后残差值与双线性插值结果相加得到高分辨率重建图像。
本发明提供了基于改进的深度卷积神经网络的图像超分辨率重建方法，本发明模型由多层次特征提取卷积神经网络和图像重建卷积神经网络组成，仿真实验表明所提方法较原始方法处理图像的性能进一步提高，使用自己获取的低分辨率进行图像重建后PSNR值最大可提升0.19。
附图说明
图1为本发明图像超分辨率重建神经网络模型图；
图2为本发明神经网络模型训练PSNR值变化图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：
基于改进的深度卷积神经网络的图像超分辨率重建方法，包括如下步骤：
A、多层次特征提取卷积神经网络：多层次特征提取卷积神经网络由两列卷积神经网络组成，每列卷积神经网络均由具有相同结构、参数各异的8层单元组成，其中每个单元由CNN、偏置Bias、参数化的ReLU和Dropout组成，多层次特征提取卷积神经网络由两列卷积神经网络组成，每列卷积神经网络的初始卷积单元参数不同，保证得到的卷积特征的全面性，每个卷积单元均使用跳连接与全连接处理保持连接，全连接将所有卷积单元的输出进行串接，最终得到局部和全局图像特征；
B、图像重建卷积神经网络：得到输入图像特征后即可通过图像重建卷积神经网络和双线性插值算法得到高分辨率图像，其中输入图像特征经过图像重建卷积神经网络得到残差值，此残差值与低分辨率图像经过双线性插值后得到的插值图像相加即可得到高分辨率图像。
进一步地，所述步骤A中单个单元的CNN和偏置Bias联合处理使用滤波器内核对输入局部区域进行卷积，并由参数化的ReLU激活单元生成输出特征，如式(1)所示；
和分别是输入和输出，和分别是权重和偏置参数，PReLU是参数化修正线性单元激活函数。
进一步地，所述PreLU的定义如(2)所示，在PReLU中负值部分的斜率是根据输入数据来定的，而非预先定义的，即参数a是可学习的参数，增大了激活函数的自适应性；
CNN在训练过程中很容易遇到过拟合，因此使用Dropout防止CNN中出现过拟合的问题，Dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。Dropout强迫一个神经单元与随机挑选出来的其他神经单元共同工作，达到好的效果。减弱了神经元节点间的联合适应性，增强了泛化能力。
进一步地，所述步骤B中图像重建卷积神经网络由三列卷积神经网络组成，每列卷积神经网络的卷积单元数均不相同，分别为1个卷积单元、2个卷积单元和3个卷积单元，采用并列浅层卷积单元，保证图像重建的具有较高的时间效率；然后使用全连接将每列卷积神经网络的重建结果进行串接，串接后的结果使用CNN处理得到重建的残差值，最后残差值与双线性插值结果相加得到高分辨率重建图像。
模型参数设置
神经网络参数设置主要为特征提取层和图像重建层的CNN设置的卷积核和滤波器参数，参数设置分别如表1和表2所示；
表1特征提取层CNN参数设置
表2图像重建层CNN参数设置
神经网络模型的Dropout率为0.8。神经网络模型训练时使用Adam优化器最小化损失值。损失值的计算使用均方误差。模型训练时的初始学习率为0.002，学习率的衰减率为0.5。PSNR值作为图像重建质量的评价指标。
模型训练数据为bsd200，测试模型的数据使用bsd100，set5和set14。
模型训练
参数和数据集进行模型训练，训练过程的模型验证PSNR值变化如图2所示。图中所示，随着模型的不断训练，PSNR值逐渐趋于37.64。实践证明，当继续增加训练迭代次数后，模型的验证PSNR值依然趋于37.64，不会出现大幅度的增加和减少，因此，可以得到收敛的图像重建神经网络模型。
重建结果
模型训练完成后使用测试数据集bsd100、set5和set14对所提方法进行验证，图像重建结果如表3所示，其中，表中所列对比算法的测试结果来自于文献[]的数据。从表中可以看出，本文所提方法的低分辨率重建结果均高于原始DCSCN方法和c-DCSCN，其中，bsd100的测试结果PSNR值提升管0.05，set5的测试结果PSNR值提升0.01，set14的测试结果PSNR值提升0.07，可见所提方法的有效性。
表3不同算法图像超分辨率重建结果PSNR值对比
数据集
DCSCN
c-DCSCN
文中所提方法
bsd100
31.91
31.91
31.96
set5
37.62
37.62
37.63
set14
33.05
33.05
33.13
本文所提方法的相比于原始方法的图像重建性能有所提升，但是也提升了模型的复杂性，以图像重建的消耗时间对比为例，如表4所示，对比算法为文献[]的DCSCN方法。表4中使用set5数据集时所提方法的耗时比原始DCSCN低0.27秒，而当使用bad100数据集和set14数据集时，所提方法较原始方法耗时分别增加0.51秒和1.39秒。可见所提方法通过提升算法的复杂性得到超分辨率重建性能的提升。
表4不同算法图像超分辨率重建消耗时间对比(秒)
重建高分辨率图像和低分辨率图像的对比可以看出，对比方法和所提方法均能使重建后的图像的分辨率提高。图像的重建高分辨率图像的PSNR值的对比可以看出，所提方法的重建结果的PSNR值分别高于对比DCSCN方法0.02、0.02和0.19，可见所提方法重建高分辨率图像的有效性。对比结果可以看出，所提方法耗时较原始DCSCN方法分别增加0.93秒、0.75秒和0.38秒，说明文中所提方法图像重建质量的增加是牺牲了时间效率的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
