一种基于创新边缘特征提取方法的遥感图像显著性检测方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于创新边缘特征提取的遥感图像显著性检测方法。
背景技术
显著物体检测是计算机视觉领域的一个热门研究方向，在深度学习大力发展的环境下，显著物体检测领域也取得了很大的进步。相关成果已广泛应用于行人检测、视频压缩、视频分割和图像定位等多领域，具有十分巨大的研究价值以及市场价值。常规图像方面已取得了显著成果，但对于遥感图像方面，由于其背景的复杂性，图像尺寸的多变性等特点，直接将传统方法应用于遥感图像方面效果并不理想。
传统图像显著目标分布在图像的中央，且尺寸大小相差不大。但遥感图像由于其自身特点，显著目标分布在图像的中央或者边缘部分，尺寸大小多变。并且，遥感图像的背景相对于传统图像更加复杂，图像中包含的信息更多，难以有效地提取显著目标的信息。
显著目标检测在传统方法上已取得了不小的成就，但随着神经网络的兴起，显著目标检测领域有了长足的进步，效果得到了显著提升。近期，遥感图像的显著目标检测逐渐受到关注，新的网络被不断提出，检测效果也在逐渐上升。
目前已有的遥感图像显著目标检测方法大多忽略了边缘对于显著目标的重要性，导致显著目标存在边缘不清晰的问题，使得检测效果无法达到我们的需求。
发明内容
针对现有技术存在的不足，本发明提供了一种基于创新边缘特征提取的遥感图像显著性检测方法。
本发明方法包括以下步骤：
1.基于创新边缘特征提取的遥感图像显著性检测方法，其特征在于包括以下步骤：
步骤(1).深度特征的提取，具体方法如下：
首先构建编码器结构，编码器根据ResNet34构建，并在最后添加Basicblock用于更好地提取特征；
步骤(2).边缘特征的获得，具体方法如下：
解码器部分共有两个分支，分别为显著性信息提取分支与显著性边缘信息提取分支；显著性边缘信息提取分支使用U-Net的结构来提取边缘特征，与显著性信息提取分支平行；
将编码器最后一层输出的特征输入解码器的显著性边缘信息提取分支，显著性边缘信息提取分支由五个卷积块构成；每个卷积块由三个卷积层组成，每个卷积层分别为膨胀率为2的膨胀卷积以及两个简单的卷积层(卷积核尺寸均为3×3，步长为1)；在显著性边缘信息提取分支的各部分对得到的信息进行监督，最后得到效果最好的边缘特征，其过程可表示为：
Fe1＝Conv(F5) (1)
Fei＝Conv(C(F6-i,UP(C(Fei-1,F7-i))))(i＝2,3,4,5) (2)
其中：Conv表示由三个卷积层构成的卷积块，F5表示编码器部分最后一层输出的特征，Fe1表示显著性边缘信息提取分支第一层获得的边缘特征；Fei表示显著性边缘信息提取分支第i层提取的边缘特征，F6-i表示当前显著性边缘信息提取分支对应的编码器提取得到的特征，UP表示双线性插值的上采样，C表示结合操作，Fe(i-1)表示上一层提取得到的边缘特征，F7-i表示上一层示显著性边缘信息提取分对应的编码器提取得到的特征；
步骤(3).显著特征的提取，同样采用U-Net的结构，具体方法如下：
通过U型网络以及跳线连接得到显著信息，显著性信息提取分支由五个卷积块组成，每一个卷积块由三个卷积层组成；第一个卷积层为膨胀率为2的膨胀卷积，其余的两层为普通的卷积层(卷积核尺寸均为3×3，步长为1)；卷积块之间有双线性插值的上采样操作；每一层的信息经过卷积块的提取过后，通过上采样传递到下一层进行提取；对每一层提取得到的信息都有加入监督机制，以提高最后获得的显著图的质量，其过程可表示为：
Fl1＝Conv(F5) (3)
Fli＝Conv(UP(C(Fl(i-1),F6-i)))(i＝2,3,4,5) (4)
其中：Conv表示由三个卷积层构成的卷积块，F5表示编码器部分最后一层输出的特征，Fl1表示解码器中显著性信息提取分支第一层获得的显著特征；Fli表示显著性信息提取分支第i层提取获得的显著特征，UP表示双线性插值的上采样操作，C表示结合操作，Fl(i-1)表示上一层获得的显著特征，F6-i表示当前显著性信息提取分支对应的编码器的层提取得到的信息；
步骤(4).最终的输出为融合了显著性信息与显著边缘信息的显著性预测图，融合具体方法如下：
最终将两个并行部分提取得到的显著性信息与显著边缘信息，通过一个卷积层对两种不同的信息进行融合(卷积核尺寸为3×3，步长为1)，之后将融合得到的信息通过一个卷积层转换为单通道输出(卷积核尺寸为1×1，步长为1)，其过程可描述为：
Out＝Convo(Convf(C(Fl，Fe))) (5)
其中：Out表示最后输出的显著性预测图，Convo表示用于转换通道数的卷积层，Convf表示用于融合信息的卷积层，C表示结合操作，Fl与Fe分别表示两个分支获得的显著性信息与显著边缘信息。
优选的，使用了一种新的边缘提取方式，并将其与显著性信息相融合，用于提高遥感图像显著性检测的质量,解码器部分共有两个分支，分别为显著性信息提取分支与显著性边缘信息提取分支，每个分支含有五个卷积块，共15个卷积层；每个卷积块的第一个卷积层为膨胀率为2的膨胀卷积，其余为普通卷积层，所有的卷积层卷积核大小设置为3×3，步幅大小为1。
优选的，训练时图像尺寸被统一调整为224×224，批处理大小为8；训练过程当中，采用交叉熵损失函数作为我们的损失函数，利用Adam优化器对网络当中的参数进行更新，基本学习率为1e-4。
本发明有益效果如下：
本发明显著特征与显著边缘特征均以U型网络来进行提取，融合了多尺度信息，提取得到的特征质量更高。将质量更好的边缘特征与显著特征融合，有利于优化显著目标的边缘，提高检测质量。本方法使用了新的方式提取边缘特征，细化边缘，提高了显著目标的质量。并以U型网络提取上下文特征，抑制复杂背景，突出显著目标，从而拥有边缘效果更好的遥感图像显著目标检测结果。
附图说明
图1为本发明方法的框架图；
图2为本发明方法边缘部分提取特征的卷积块；
图3为本发明方法结合显著特征与边缘特征的结合方式；
图4为本发明方法的效果图展示(第一列为RGB图像，第二列为标签图像，第三列为我们的预测图像)；图4主要展示了我们的网络对于遥感图像当中复杂背景及多尺度图像的检测能力，以及对于预测图当中显著目标边缘的细化能力。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1-4所示。一种基于创新边缘特征提取的遥感图像显著性检测方法，其特征包括一个基于ResNet34的编码器，创新的边缘提取方法以及显著信息与显著边缘信息的融合方法。模型输入的是RGB三通道彩色光学遥感图像，首先用以ResNet34为主干的编码器提取特征，之后分别将提取得到的特征输入边缘特征与显著特征两个解码器中，通过连续的卷积对特征进行提取，最终输出显著性预测图。显著特征与显著边缘特征均以U型网络来进行提取，融合了多尺度信息，提取得到的特征质量更高。将质量更好的边缘特征与显著特征融合，有利于优化显著目标的边缘，提高检测质量。
如图1所示，本发明具体实现步骤如下：
步骤(1).深度特征的提取，具体方法如下：
首先构建编码器结构，我们的编码器根据ResNet34构建，并在最后添加了Basicblock用于更好地提取特征。
步骤(2).边缘信息的获得，具体方法如下：
我们创新性地使用U-Net的结构来提取边缘特征，与显著特征提取模块平行。将第六层输出的信息输入边缘信息的解码器，解码器由五个卷积块构成；如图2所示，每个卷积块由三个卷积层组成，这三个卷积层分别为膨胀率为2的膨胀卷积以及两个简单的卷积层(卷积核尺寸均为3×3，步长为1)；在解码器各部分对得到的信息进行监督，最后得到效果最好的边缘特征。其过程可表示为：
Fe1＝Conv(F5)
Fei＝Conv(C(F6-i，UP(C(Fei-1，F7-i))))(i＝2,3,4,5)
其中：Conv表示由三个卷积层构成的卷积块，F5表示编码器部分最后一层输出的特征，Fe1表示边缘解码器第一层获得的边缘特征。 Fei表示2-5层提取的边缘特征，F6-i表示当前边缘解码器模块对应的编码器提取得到的特征，UP表示双线性插值的上采样，C表示结合操作，Fei-1表示上一层提取得到的边缘特征，F7-i表示上一层边缘解码器模块对应的编码器提取得到的特征。
步骤(3).显著特征的提取，同样采用U-Net的结构，具体方法如下：
我们通过U型网络以及跳线连接得到显著信息，解码器部分由五个卷积块组成，每一个卷积块由三个卷积层组成。第一个卷积层为膨胀率为2的膨胀卷积，其余的两层为普通的卷积层(卷积核尺寸均为 3×3，步长为1)。卷积块之间有双线性插值的上采样操作。每一层的信息经过卷积块的提取过后，通过上采样传递到下一层进行提取。对每一层提取得到的信息我们都有加入监督机制，以提高最后获得的显著图的质量，其过程可表示为：
Fl1＝Conv(F5)
Fli＝Conv(UP(C(Fli-1,F6-i)))(i＝2,3,4,5)
其中：Conv表示由三个卷积层构成的卷积块，F5表示编码器部分最后一层输出的特征，Fl1表示解码器第一层获得的显著特征。Fli表示第2-5层提取获得的显著特征，UP表示双线性插值的上采样操作，C表示结合操作，Fli-1表示上一层获得的显著特征，F6-i表示当前解码器对应的编码器的层提取得到的信息。
步骤(4).最终的输出为融合了显著性信息与边缘信息的显著性预测图，如图3所示，融合具体方法如下：
我们将最终两个并行部分提取得到的显著信息与显著边缘信息结合在一起，通过一个卷积层对两种不同的信息进行融合(卷积核尺寸为3×3，步长为1)，之后将融合得到的信息通过一个卷积层转换为单通道输出(卷积核尺寸为1×1，步长为1)，其过程可描述为：
Out＝Convo(Convf(C(Fl,Fe)))
其中：Out表示我们最后输出的显著性预测图，COnvo表示用于转换通道数的卷积层，Convf表示用于融合信息的卷积层，C表示结合操作，Fl与Fe分别表示两个分支获得的显著信息与显著边缘信息。
图4为本发明方法的效果图展示，第一列为RGB图像，第二列为标签图像，第三列为我们的预测图像。
进一步的，本发明使用了一种新的边缘提取方式，并将其与显著性信息相融合，用于提高遥感图像显著性检测的质量。本发明的解码器部分共有两个分支，分别为显著性信息提取分支与显著性边缘信息提取分支，每个分支含有五个卷积块，共15个卷积层。每个卷积块的第一个卷积层为膨胀率为2的膨胀卷积，其余为普通卷积层，所有的卷积层卷积核大小设置为3×3，步幅大小为1.
进一步的，本发明基本学习率为1e-4。
