发明内容

本发明的主要目的是针对SAR图像中小型船只目标由于尺度较小、散射强度较弱导致的漏检问题，提供了一种基于双极化自适应通道融合与注意力增强型低层特征金字塔的SAR小型船只目标检测方法。本发明主要的实施对象是Sentinel-1所采集的图像，主要工作是对其进行小型船只目标检测。

本发明的技术方案具体来说，主要包括如下内容：

1.双极化自适应通道融合：极化SAR图像多个极化通道有利于深度卷积神经网络提取出更多的信息，双极化SAR图像具有VH和VV两个极化通道，将两个通道同时送入特征提取网络往往达不到最好的效果且出现特征冗余，而手动设置参数进行双通道融合需要较强的先验知识，双极化自适应通道融合通过检测结果损失的反馈来自动学习VH与VV的融合系数，通过系数加权得到融合通道输入特征提取网络。

2.低层特征金字塔：多尺度特征图根据深度的不同可分为低层特征图与高层特征图，低层特征图往往对应着定位信息，高层特征图往往对应着语义信息，特征金字塔可以有效融合低层与高层特征。针对小型船只目标尺度较小，在深度网络特征提取过程中出现特征较少甚至特征消失问题，通过降低深度网络下采样次数可以得到低层特征金字塔并在大尺度特征图上进行预测可以缓解该问题。

3.空间与通道注意力机制：注意力机制是一种资源分配机制，可以根据感兴趣目标设定不同的重要程度来分配资源，在深度神经网络中，需要分配的资源就是权重，可以通过增加感兴趣目标的权重来提升目标检测效果。空间注意力在空间范围上提取小型船只目标的显著特征，通道注意力通过通道的升降维筛选出有利于小型船只目标检测的特征通道并降低了特征冗余。

基于双极化自适应通道融合与注意力增强型低层特征金字塔的SAR小型船只检测方法，包括以下步骤：

步骤(1)剔除双极化SAR数据集中不包含船只目标的纯背景图像，并对图像进行数据增强与归一化。

为了平衡正负样本的数量并减少训练时间，需要将已标注数据中的纯背景切片剔除，原数据共9000张切片，经过背景剔除的得到数据切片共1859张，每张切片的大小都为800×800像素，为了训练出的深度模型更具有鲁棒性，需要进行数据增强，通过随机裁剪、旋转、反转等增强方式提升模型的旋转不变性，通过增加椒盐噪声提升模型的抗干扰能力。

数据归一化有利于深度网络的学习，VH与VV单通道输入图像每个像素的取值范围都是0～255之间，为了减轻深度网络学习压力，需要将每个像素按照原始比例归一化到0～1之间，归一化方式如下：

式中P_xy代表在图像中像素坐标为(x,y)的点对应的灰度值大小。

步骤(2)构建双极化通道自适应融合模块。

双极化SAR数据相对单极化具有类似的空间分辨率但增加了一个极化维度的信息。与传统人工手动设置双极化通道融合参数相比，双极化通道自适应融合模块可以在训练过程中可以针对VH和VV通道学习两个权重参数，如式(1)，其中λ₁为VH通道学习到的权重，λ₂为VV通道设置的权重，I_adapt为最终的输入，其中λ₁+λ₂＝1。

I_adapt＝λ₁×VH+λ₂×VV

双极化自适应通道融合模块整体结构如图1所示，其中Softmax用于将λ₁和λ₂归一化到0～1之间，且λ₁+λ₂＝1。Softmax可以将多个神经元的输出，映射到(0,1)区间内，能够看成概率，假定一个数组V，V_i表示其中第i个元素，那么这个元素的Softmax值S_i计算方式如下：

其中j为所有元素个数。

步骤(3)构建注意力增强型低层特征金字塔模块。

小型船只检测网络整体结构如图2所示，其中右下部分为注意力增强型特征金字塔模块，包含了低层特征金字塔结构、空间注意力模块以及通道注意力模块。

为了减少计算量并增大感受野，特征提取网络通常需要进行32倍降采样，然而小型船只经过32倍降采样，特征图中对应的特征极少甚至消失，考虑到该问题，CNN特征提取模块只进行了16倍降采样来保留小型船只更多的特征，为了精确定位小型船只的中心位置，通过特征金字塔模块融合低层与高层信息并在最终融合得到的大尺度特征图上进行预测。

注意力机制是一种资源分配机制，可以根据感兴趣目标设定不同的重要程度来分配资源，在深度神经网络中，需要分配的资源就是权重，可以通过增加感兴趣目标的权重来提升目标检测效果。

S＝Conv[Maxpool3(x),Maxpool5(x),Maxpool7(x)]

C＝Sigmoid(Avepool 3(x)+Maxpool3(x))×x

结合图2与上公式所示，S为空间注意力的输出，C为通道注意力的输出，x为输入特征，Conv表示卷积操作，Maxpool3、Maxpool5、Maxpool7分别代表核为3、5、7的最大池化，Avepool3表示核为3的平均池化，sigmoid函数用于将输出限制在0和1之间，[,]表示特征拼接。

空间注意力模块将特征图经过3，5，7不同尺度的最大池化来学习船只目标的显著特征，增强大尺度特征图上小型目标的关键点信息。通道注意力模块通过最大池化与平均池化提取不同通道上关于小型船只目标的显著信息，从拼接后特征图的多通道中筛选出有助于检测相应目标的特征，在减少计算量的同时可以更好地区分小型船只目标与背景杂波和其他强散射非船目标。

步骤(4)损失函数的构建

损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项。

设定输入图I∈R^W×H×1像，W为图像宽度，H为图像高度。网络输出的关键点热力图为其中R代表得到输出相对于原图的步长stride。C代表类别个数，此处只有小型船只一个目标，所以设置为1。

核心loss公式如下：

和Focal loss形式类似，α和β是超参数，N代表的是图像关键点个数。

当Y_xyc＝1时，对于易分样本来说，预测值接近于1，就是一个很小的值，这样loss就很小，起到了矫正作用。

对于难分样本来说，预测值接近于0，就比较大，相当于加大了其训练的比重。

对于otherwise的情况下Y_xy用高斯核计算，如下公式所示。

x和y是对应的像素坐标，和是x和y的平均值，是方差。代表关键点的预测值，N是特征图中的关键点，α和β这两个超参数是用来平衡困难样本损失函数的影响，可以通过减少容易样本对损失的贡献并增加困难样本的影响力来更好地将目标与背景区分开。

图3是一个简单的高斯核示意图，纵坐标是Y_xyc，分为A区(距离中心点较近，但是值在0-1之间)和B区(距离中心点很远接近于0)。对于A区来说，由于其周围是一个高斯核生成的中心，Y_xyc的值是从1慢慢变到0。对于B区来说，的预测值理应是0，如果该值比较大比如为1，那么作为权重会变大，惩罚力度也加大了。如果预测值接近于0，那么会很小，让其损失比重减小。对于(1-Y_xyc)^β来说，B区的值比较大，弱化了中心点周围其他负样本的损失比重。

由于注意力增强型低层特征金字塔提取出的特征图空间分辨率变为原来输入图像的四分之一。相当于输出特征图上一个像素点对应原始图像的4×4的区域，这会带来较大的误差，因此引入了偏置值和偏置的损失值。设骨干网络输出的偏置值为这个偏置值用L1loss来训练：

其中p代表目标框中心点，R代表下采样倍数4，代表偏差值。

假设第k个目标，类别为C_k的目标框的表示为那么其中心点坐标位置为目标的长和宽大小为 对长和宽进行训练的是L1Loss函数：

其中是网络输出的结果。

整体的损失函数是以上三者的综合，并且分配了不同的权重。

L_det＝L_k+λ_sizeL_size+λ_offsetL_offset

式中λ_size＝0.1,λ_offsize＝1。

与现有技术相比较，本发明的双极化自适应通道融合可以充分利用双极化SAR图像的两个通道，通过参数学习得到不同权重来融合两个通道中有利于小型船只检测信息，相比于只输入VH通道漏检率降低了13.08％。降低特征金字塔下采样次数构建低层特征金字塔可以获取更高分辨率的小型船只目标特征，引入空间注意力可以在空间范围上提取小型船只目标的显著特征，引入通道注意力可以降低特征冗余，筛选出有利于小型船只目标检测的特征通道，低层特征金字塔、空间注意力机制与通道注意力机制构成了注意力增强型低层特征金字塔模块。