一种基于注意力反馈机制的轻量级图像超分方法及系统
技术领域
本发明涉及深度学习
技术领域
，更具体地，涉及一种基于注意力反馈机制的轻量级图像超分方法及系统。背景技术
深度学习在各种计算机视觉任务中表现出了优越的性能，其中包含语义分割，模式识别，图像分类等，在图像超分辨率
技术领域
也包含了大量应用。在图像超分辨率方面，Dong等人首次提出使用一个3层CNN来学习了复杂的低分辨率图到高分辨率图的映射关系，Kim等人提出将CNN的深度增加到了20层，以便获从低分辨率图中得到更多的上下文信息，当网络深度变得更深时，又使用跳连接来克服优化网路，如传统的EDSR应用了许多残差连接，在图像超分方面取得了显著的进步。与此同时，Legid等人提出引入了SRRestNet，并通过引入密集连接得到了进一步改进，zhang等人提出将局部，全局残差和稠密跳连接结合到他们的网络模型中。然而，由于这些网络模型结构中的跳跃连接是以自下而上的方式使用或者组合分层特征，而底层特征只能接受来自网络模型中前几层的信息，由于CNN中小的感受野的限制，底层特征中缺乏足够的上下文信息，且这些底层特征在随后的层中被重用，因而进一步限制了网络的重构能力，超分效果不理想。
发明内容
本发明为克服上述现有技术所述的缺乏更深层次的特征信息，影响超分效果的缺陷，提供一种基于注意力反馈机制的轻量级图像超分方法，以及一种基于注意力反馈机制的轻量级图像超分系统。
为解决上述技术问题，本发明的技术方案如下：
一种基于注意力反馈机制的轻量级图像超分方法，包括以下步骤：
S1：采集高分辨率图像数据集并对其进行数据增强处理，得到低分辨率图像集合；
S2：构建超分辨率模型；所述超分辨率模型包括浅层特征提取网络、若干深层特征提取网络，以及重建网络，其中所述深层特征提取网络包括依次连接的inception网络和通道注意力网络模块ECA；
S3：将低分辨率图像输入超分辨率模型的浅层特征提取网络中，获取所述低分辨率图像的浅层特征信息再将浅层特征信息输入深层特征提取网络中得到深度特征信息其中m＝1,2,...,M，M为深层特征提取网络的个数；
S4：将所述深度特征信息输入重建网络中进行超分辨率图像重建，经过上采样得到高分辨率特征图，再将所述高分辨率特征图与所述低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像；
S5：根据所述超分辨率图像与原始高分辨率图像计算损失函数并对所述超分辨率模型进行训练；
S6：将所述深度特征信息输入下一个深层特征提取网络中提取深度特征信息并重复步骤S4～S6至完成最后一个深层特征提取网络的深度特征信息提取，将提取的深度特征信息输入重建网络中进行超分辨率图像重建，输出得到的超分辨率图像SR。
作为优选方案，对高分辨率图像数据集进行数据增强处理的步骤包括：对高分辨率图像进行翻折、旋转、放大、缩小处理。
作为优选方案，所述通道注意力网络模块ECA包括2个通道注意力块CAB，通过残差计算进一步获取深层特征信息；所述通道注意力块CAB通过全局池化将输入的特征信息融合在一个空间，然后依次经过卷积、激活函数、卷积，最后通过sigmoid函数将不同权值的特征信息相乘到相应的通道，完成深层特征提取。
作为优选方案，所述S3步骤中，提取深度特征信息的步骤包括：所述浅层特征信息通过inception网络在一个特征图上进行不同尺度的卷积操作，然后将提取的空间特征信息输入通道注意力网络模块ECA中，所述通道注意力网络模块ECA将提取的空间特征信息在通道的维度上进行基于注意力机制的权重分配，得到综合特征空间和每个通道的特征信息，然后进行上采样，得到高分辨率特征图并保存；将所述高分辨率特征图进行下采样，得到低分辨率特征图并保存；重复上采样和下采样的操作，提取其深层次的特征信息，最终将提取的深度融合的低分辨率特征信息作为深度特征信息进行输出。
作为优选方案，所述通道注意力块CAB包括依次连接的ConV层、BN层、ReLU激活函数层、ConV层、BN层、CAL网络层。
作为优选方案，所述CAL网络层包括依次连接的AvgP层、ConV层、ReLU激活函数层、ConV层、sigmoid函数层。
作为优选方案，所述S6步骤中，还包括以下步骤：将最终输出的超分辨率图像SR与原始高分辨率图像进行损失函数计算，并与在前计算的损失函数进行不同权值的损失训练，完成对所述超分辨率模型的训练。
作为优选方案，所述损失函数采用L1函数，其表达公式如下：
式中，T为迭代次数，θ为学习参数，Km表示第m次迭代的超参数；表示第m次迭代的原始高分辨率图像，表示第m次迭代的超分辨率图像，||·||1表示第一范式。
作为优选方案，所述损失函数的权值依次设置为0.4、0.8、1.2、1.6。
本发明还提出了一种基于注意力反馈机制的轻量级图像超分系统，应用于上述任一技术方案提出的轻量级图像超分方法，其包括：
数据处理模块，所述数据处理模块用于对采集的高分辨率图像进行数据增强处理，得到低分辨率图像集合；
超分辨率模型，所述超分辨率模型包括浅层特征提取网络、若干深层特征提取网络，以及重建网络；其中，所述浅层特征提取网络用于提取浅层的特征信息，即获取图像特征的基元特征；所述深层特征提取网络包括依次连接的inception网络和通道注意力网络模块ECA，所述通道注意力网络模块ECA的第一输出端与所述重建网络的输入端连接，所述通道注意力网络模块ECA的第二输出端与下一深层特征提取网络中的inception网络的输入端连接；所述重建网络用于根据输入的深度特征信息重建超分辨率图像；
损失计算模块，所述损失计算模块用于根据所述重建网络输出的超分辨率图像与原始高分辨率图像进行损失函数计算，并对所述超分辨率模型进行训练。
与现有技术相比，本发明技术方案的有益效果是：本发明提出结合inception网络和通道注意力网络模块ECA的超分辨率模型，能够充分发现低分辨率图像特征到高分辨率图像特征，与高分辨率图像特征到低分辨率图像特征的映射关系，能够进一步提取图像更深层次的特征信息，得到更丰富的信息；其中inception网络能够得到不同的空间特征信息，配合通道注意力网络模块ECA中的加强的通道注意力，通过得到不同通道的权值，其提取的特征信息更加精确，得到更加全面的特征信息，有效提高超分效果。
附图说明
图1为实施例1的基于注意力反馈机制的轻量级图像超分方法的流程图。
图2为实施例1的超分辨率模型的示意图。
图3为实施例1的深层特征提取网络的示意图。
图4为实施例1的通道注意力网络模块ECA的示意图。
图5为实施例1的超分辨率模型随机选取超分辨率的效果图。
图6为实施例1的set5数据集上参数-PSNR的对照图。
图7为实施例2的基于注意力反馈机制的轻量级图像超分系统的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种基于注意力反馈机制的轻量级图像超分方法，如图1所示，为本实施例的基于注意力反馈机制的轻量级图像超分方法的流程图。
本实施例提出的基于注意力反馈机制的轻量级图像超分方法中，包括以下步骤：
S1：采集高分辨率图像数据集并对其进行数据增强处理，得到低分辨率图像集合。
本实施例中，对高分辨率图像数据集进行数据增强处理的步骤包括：对高分辨率图像进行翻折、旋转、放大、缩小处理，用于对本实施例的超分辨率模型进行充分训练，提高超分效果。
S2：构建超分辨率模型。
本实施例中的超分辨率模型结构如图2所示，超分辨率模型包括浅层特征提取网络、若干深层特征提取网络(ICAFB)，以及重建网络。
本实施例中的浅层特征提取网络包括依次连接的ConV层和1×1ConV层，用于获取低分辨率图像中浅层的特征信息。
深层特征提取网络(ICAFB)包括依次连接的inception网络和通道注意力网络模块ECA，如图3所示，为本实施例的深层特征提取网络的示意图。
本实施例的深层特征提取网络(ICAFB)中，为了尽可能的获取深层次的特征信息，先引用了inception网络，在一个特征图上进行不同尺度的卷积操作，其目的是为了充分提取空间特征信息，因此本实施例中的inception网络包括并列设置的3×3MP层、5×5ConV层、3×3ConV层、1×1ConV层。
然后将提取的特征信息送进通道注意力网络模块ECA中，用于将提取到的空间特征信息在通道的维度上进行基于注意力机制的权重分配。本实施例中的通道注意力网络模块ECA包括2个依次连接的通道注意力块CAB，通过残差计算进一步获取深层特征信息，其输出的特征信息充分综合了特征空间和每个通道的特征信息。
其中，通道注意力块CAB通过全局池化将输入的特征信息融合在一个空间，然后依次经过卷积、激活函数、卷积，最后通过sigmoid函数将不同权值的特征信息相乘到相应的通道，完成深层特征提取。
进一步的，本实施例中的通道注意力块CAB包括依次连接的ConV层、BN层、ReLU激活函数层、ConV层、BN层、CAL网络层，CAL网络层包括依次连接的AvgP层、ConV层、ReLU激活函数层、ConV层、sigmoid函数层。如图4所示，为本实施例的通道注意力网络模块ECA的示意图。
S3：将低分辨率图像输入超分辨率模型的浅层特征提取网络中，获取所述低分辨率图像的浅层特征信息再将浅层特征信息输入深层特征提取网络中得到深度特征信息其中m＝1,2,...,M，M为深层特征提取网络的个数。
本实施例中，提取深度特征信息的步骤包括：所述浅层特征信息通过inception网络在一个特征图上进行不同尺度的卷积操作，然后将提取的空间特征信息输入通道注意力网络模块ECA中，所述通道注意力网络模块ECA将提取的空间特征信息在通道的维度上进行基于注意力机制的权重分配，得到综合特征空间和每个通道的特征信息，然后进行上采样，得到高分辨率特征图并保存；将所述高分辨率特征图进行下采样，得到低分辨率特征图并保存；重复上采样和下采样的操作，提取其深层次的特征信息，最终将提取的深度融合的低分辨率特征信息作为深度特征信息进行输出。
具体的，浅层特征信息通过inception网络在一个特征图上进行不同尺度的卷积操作；其表达公式如下：
式中，fincep(·)表示inception网络，表示第m次迭代第0组的空间特征信息；
将提取的空间特征信息输入通道注意力网络模块ECA中，所述通道注意力网络模块ECA将提取的空间特征信息在通道的维度上进行基于注意力机制的权重分配，得到综合特征空间和每个通道的特征信息；其表达公式如下：
式中，fECA(·)表示通道注意力网络模块ECA，表示第m次迭代第0组的特征信息；
对通道注意力网络模块ECA输出的特征信息进行上采样，得到高分辨率特征图并保存；其表达公式如下：
式中，表示上采样操作，表示第m次迭代第0组的高分辨率特征图；
将所述高分辨率特征图进行下采样，得到低分辨率特征图并保存；其表达公式如下：
式中，表示下采样操作，表示第m次迭代第1组的低分辨率特征图；
将和通过级联后，经过inception模块，再经过ECA模块，最后通过转置卷积得到m次迭代的第g组高分辨率特征图其表达公式如下：
式中，表示上采样操作，和表示表示第m次迭代的g-1组低分辨率特征图和g-2组的低分辨率特征图；
将和通过级联后，经过inception模块，再经过ECA模块，最后通过转置卷积得到m次迭代的第g组低分辨率特征图其表达公式如下：
式中，表示下采样操作，和表示第m次迭代的g-1组高分辨率特征图和g-2组的高分辨率特征图；
将第1组到第G组的所有低分辨率特征图进行级联，再通过卷积压缩通道，输出深度特征信息其表达公式如下：
式中，Clast(·)表示级联操作。
S4：将所述深度特征信息输入重建网络中进行超分辨率图像重建，经过上采样得到高分辨率特征图，再将所述高分辨率特征图与所述低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像。
S5：根据所述超分辨率图像与原始高分辨率图像计算损失函数并对所述超分辨率模型进行训练。
本实施例中，损失函数采用L1函数，其表达公式如下：
式中，T为迭代次数，θ为学习参数；Km表示第m次迭代的超参数，本实施例采用4次迭代，且依次设置为0.4、0.8、1.2、1.6；表示第m次迭代的原始高分辨率图像，表示第m次迭代的超分辨率图像，||·||1表示第一范式。
S6：将所述深度特征信息输入下一个深层特征提取网络中提取深度特征信息并重复步骤S4～S6至完成最后一个深层特征提取网络的深度特征信息提取，将提取的深度特征信息输入重建网络中进行超分辨率图像重建，输出得到的超分辨率图像SR。
本实施例中，还包括以下步骤：将最终输出的超分辨率图像SR与原始高分辨率图像进行损失函数计算，并与在前计算的损失函数进行不同权值的损失训练，即完成对所述超分辨率模型的训练。
在一具体实施过程中，使用DIV2K作为训练数据集，并对训练数据集进行数据增强处理。本实施例在Set5、Set14、B100、Urban100和Manga109五个标准基准数据集上评估了PSNR和SSIM指标下的SR结果。为了与以往的工作保持一致，定量结果只在亮度(Y)通道上进行评估。为了充分证明该专利网络的先进性，本实施例将实验结果与先前网络模型进行了对比。如下表1所示，为与当前先进的网络模型进行PSNR/SSIM指标分析。
表1PSNR/SSIM指标分析
图5为本实施例提出的超分辨率模型在Urban100数据集上随机选取超分辨率(放大4倍)的效果，从左至右依次为低分辨率图像、本实施例的超分辨率图像、原始高分辨率图像。图6为本实施例在set5数据集上参数的对比。由图4、5以及表1可知，本实施例提出的基于注意力反馈机制的轻量级图像超分方法能够充分发现低分辨率图像特征到高分辨率图像特征，与高分辨率图像特征到低分辨率图像特征的映射关系，这将进一步提取图像更深层次的特征信息，得到更丰富的信息。实验表明本实施例提出的超分辨率模型有利于单张图像的超分辨率任务，达到空前先进的超分辨率的指标，且本实施例提出的超分辨率模型是百万级以下参数的轻量级网络最先进的网络。
实施例2
本实施例提出一种基于注意力反馈机制的轻量级图像超分系统，如图7所示，为本实施例的基于注意力反馈机制的轻量级图像超分系统的结构示意图。
本实施例提出的基于注意力反馈机制的轻量级图像超分系统中，包括依次连接的数据处理模块1、超分辨率模型2、损失计算模块3，其中：
数据处理模块1，所述数据处理模块1用于对采集的高分辨率图像进行数据增强处理，得到低分辨率图像集合；
超分辨率模型2，所述超分辨率模型2包括浅层特征提取网络201、若干深层特征提取网络202，以及重建网络203；其中，所述浅层特征提取网络201用于提取浅层的特征信息，即获取图像特征的基元特征；所述深层特征提取网络202包括依次连接的inception网络和通道注意力网络模块ECA，所述通道注意力网络模块ECA的第一输出端与所述重建网络203的输入端连接，所述通道注意力网络模块ECA的第二输出端与下一深层特征提取网络202中的inception网络的输入端连接；所述重建网络203用于根据输入的深度特征信息重建超分辨率图像；
损失计算模块3，所述损失计算模块3用于根据所述重建网络203输出的超分辨率图像与原始高分辨率图像进行损失函数计算，并对所述超分辨率模型2进行训练。
本实施例中，深层特征提取网络202(ICAFB)包括依次连接的inception网络和通道注意力网络模块ECA，其中，inception网络包括并列设置的3×3MP层、5×5ConV层、3×3ConV层、1×1ConV层；通道注意力网络模块ECA包括2个依次连接的通道注意力块CAB，通道注意力块CAB包括依次连接的ConV层、BN层、ReLU激活函数层、ConV层、BN层、CAL网络层，CAL网络层包括依次连接的AvgP层、ConV层、ReLU激活函数层、ConV层、sigmoid函数层。如图4所示，为本实施例的通道注意力网络模块ECA的结构示意图。
在具体实施过程中，数据处理模块1采集高分辨率图像数据集并对其进行数据增强处理，得到低分辨率图像集合；将低分辨率图像输入超分辨率模型2的浅层特征提取网络201中，获取所述低分辨率图像的浅层特征信息再将浅层特征信息输入深层特征提取网络202中得到深度特征信息其中m＝1,2,...,M，M为深层特征提取网络202的个数；将所述深度特征信息输入重建网络203中进行超分辨率图像重建，经过上采样得到高分辨率特征图，再将所述高分辨率特征图与所述低分辨率图像进行双三次上采样后智能相加，得到超分辨率图像；
损失计算模块3根据所述超分辨率图像与原始高分辨率图像计算损失函数并对所述超分辨率模型2进行训练；超分辨率模型2将所述深度特征信息输入下一个深层特征提取网络202中提取深度特征信息并重复上述步骤至完成最后一个深层特征提取网络202的深度特征信息提取，将提取的深度特征信息输入重建网络203中进行超分辨率图像重建，输出得到的超分辨率图像SR。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
