具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

深度学习在语义分割方向上发展十分迅速。语义分割是基于图像像素点进行特征学习，从而实现图像不同类别划分的深度学习方法。叠掩的检测需要提取所有叠掩特征，这一原理也和语义分割思想相一致。目前大多数学者是用传统检测方法来对SAR图像进行叠掩检测，但要区分SAR图像中的隐式特征，深度学习方法更为合适。因此，将主流深度学习算法和高分辨率SAR图像叠掩提取相结合具有重大意义。结合深度学习卷积网络和基于对象的图像分析，利用光学图像、干涉相干数据和数学高程模型DEM做成数据集进行分割，从而实现对叠掩的分类提取。使用用于干涉语义分割的卷积神经网络(CNN-ISS)和卷积长短期记忆网络(CLSTM-ISS)进行叠掩区域的分类提取。一种干涉图分割辅助的相位估计方法，利用改进的全卷积网络FCN将干涉图像元中的叠掩区域提取出来。一种高分辨率SAR图像目标提取的深度学习网络MDDA(Multi-level and densely dual attention)，它能实现高精度目标提取，但网络对数据集要求较高且训练时间较长。一种高效提取目标的深度学习方法，但是其更适用于小样本数据集。

本发明实施例提出一种合成孔径雷达图像叠掩区提取方法，如图1所示，包括：

S101、获取合成孔径雷达SAR图像、所述SAR图像对应的相干系数图和干涉相位图；

S102、分别提取所述SAR图像、对应的相干系数图和干涉相位图中的一个图像通道，并按照预设规则将提取的三个图像通道进行合成，获得合成图像。

如图2所示，本发明的框架包括图像通道融合、编码模块和解码模块，本实施例中首先，将SAR图像对应的相干系数图和干涉相位图分别提取一个通道，按照预设规则，例如按照r、g、b的顺序生成一张三通道合成图像，使得样本中叠掩的信息更容易被识别，如图3所示，图3中，(a)、(b)、(c)分别是SAR图像及其对应的相干系数图和干涉相位图，(d)为三通道合成图像。可以看到在融合图中叠掩区域更明显地区别于背景区域。

S103、将所述合成图像划分成若干子样本，并对若干所述子样本进行特征提取，获得特征图；

S104、基于所述特征图进行特征再提取，获得细化特征；

如图2所示，编码模块包括改进骨干网络PyresNet_101、多尺度空间注意金字塔(Multi-scale Channel and spatial pyramid，MCSP)、语义嵌入分支(SemanticEmbedding Branch，SEB)。具体实施中可以将合成图像进行滑窗切分成小样本进行训练，通过改进骨干网络PyresNet_101对若干所述子样本进行特征提取，然后通过多尺度空间注意金字塔(Multi-scale Channel and spatial pyramid，MCSP)、语义嵌入分支(SemanticEmbedding Branch，SEB)基于特征图进行特征再提取，获得细化特征。

S105、基于所述特征图和所述细化特征进行融合，获得融合特征图；

S106、利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域。

可以通过编码模块完成特征的融合，获得融合特征图，通过改进的滑窗拼接策略完整提取叠掩区域，实现高分辨SAR图像的叠掩区域检测。

通过本发明的SAR图像叠掩区提取方法实现了高分辨率SAR图像的叠掩区域快速自动提取。

在一示例中，所述对若干所述子样本进行特征提取，获得特征图包括：

利用改进的骨干网络若干所述子样本进行特征提取，获得四个通道数递增的第一层级特征、第二层级特征、第三层级特征和第四层级特征；

其中，所述改进的骨干网络为将快速训练残差网络ResNet_101池化层后面的三个运算块中的普通二维卷积分别替换为包含不同尺度和深度的金字塔卷积，以及利用预设规格的卷积级联模块替换所述ResNet_101的最后一个卷积层获得，且所述金字塔卷积的核大小递增，卷积深度递减。

本示例中提出一种改进的骨干网络PyResNet_101，采用带有金字塔卷积和空洞卷积的ResNet_101作为骨干网络。ResNet具有跳跃连接、优化残差等特点，其结构可以加速训练，提高模型准确度，非常适用于搭建语义分割网络。金字塔卷积包含不同尺度与深度的卷积核，从而可以对目标物体进行多尺度特征的提取；空洞卷积可以使靠后的卷积层输出保持较大的特征图尺寸，这样在保留更多语义信息的同时也会包含更多的细节信息，比如边缘等，解决了网络池化操作中存在的容易丢失细节特征的问题。

图4、图5给出了本示例中对ResNet_101的改进结构部分，本示例中将ResNet_101池化层后面的三个block中的普通二维卷积分别替换为包含不同尺度和深度的金字塔卷积，金字塔卷积的核大小在增加，卷积深度在减小，使得卷积层可以在多个尺度上并行解析输入以捕获更详细的信息，这有助于提高网络的识别性能。在一些示例中可以使用单个空洞率分别为2、4、8的3*3卷积级联模块替换最后一个卷积层，加深了网络层数，丰富特征图的语义信息，只对原图进行16倍下采样，在增大感受野的同时维持了特征的分辨率，使得ResNet_101最终输出的特征在保持较多的语义信息的同时也可以拥有更多的细节信息。

在一示例中，所述基于所述特征图进行特征再提取，获得细化特征包括：

将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息；以及

通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息；

根据所述图像级特征、各感受野的上下文信息以及所述池化上下文信息确定第一融合特征；

其中，所述多感受野并行注意池化工作层包括并行的四个不同空洞率的卷积以及一个全局平均池化。

如图2所示，本示例中对多尺度空间注意金字塔(Multi-scale Channel andspatial pyramid，MCSP)进行介绍。本示例中MCSP包括两部分：多感受野并行注意池化工作层和OCP支路。由于改进之后的骨干网络的输出的第四层级特征图包含2048个通道和丰富的语义信息，本示例中将特征同时输入到多感受野并行注意池化工作层和OCP支路中。作为一种示例的多感受野并行注意池化工作可以包括一个空洞率为1的1×1卷积、三个空洞率分别为6,12,18的3×3卷积、一个全局平均池化(GAP)并行搭建而成。本示例中四个不同空洞率的空洞卷积能有效从不同感受野上捕捉图像的上下文信息；加入全局平均池化对特征做降采样处理，提取图像级特征，然后通过双线性插值上采样恢复输入尺寸，使特征图能够包含更多的全局信息；OCP组成另一条支路，显示地增强物体信息，更灵活地提取特征的上下文信息。

在一示例中，所述将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息包括：

将所述第四层级特征输入并行的四个不同空洞率的卷积层，获得四路特征图输出；

将四路特征图输出输入对应支路的通道空间注意力模块，以通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息；

根据四路特征图输出以及对应的所述通道信息和所述空间信息确定对应感受野的上下文信息。

如图6所示，本示例中对通道空间注意力模块(Channel and Spacial AttentionModule，CSAM)。

本示例中注意力模块在深度学习网络中十分重要。通道空间残差注意力模块在通道空间注意力的基础上引入一条残差支路。CSAM首先通过平均池化和最大池化对特征图在空间维度上进行压缩，再输入由多层感知机MLP(multi-layer perceptron)和一个隐藏层组成的共享网络，再经过一个Sigmoid函数来重新调整输入的特征图，映射为一维的通道注意力特征图M_c∈R^C×1×1。将一维的通道注意力热图与特征图相乘得到通道维度上的特征图，然后通过最大池化和平均池化学习特定特征，将两个特征图concat，再通过卷积操作和一个Sigmoid函数来调整特征图，最终映射为二维的空间注意力特征图M_s∈R^1×H×W，达到提取有用通道和空间信息的作用。当输入的特征图大小为X∈R^C×H×W，通道注意力映射M_c∈R^{C ×1×1}，空间注意力映射M_s∈R^1×H×W，计算如下：

其中σ表示sigmoid激活函数，W₀∈R^C/r×C，W₁∈R^C×C/r，r是减少比率，MLP的权重W₀和W₁两个输入共享，W₀后使用ReLU作为激活函数,表示逐像素相乘。

CSAM组成的残差支路的输入X分别来自四条空洞卷积组成的多尺度特征提取支路。将通道特征注意力和空间注意力共同应用到多尺度特征图中，既考虑不同通道像素的重要性，又考虑了同一通道不同位置像素的重要性，会使得多尺度特征的信息更加丰富，实现了特征再筛选，之后基于残差再将空洞卷积支路输出的多尺度特征图与再筛选之后的特征进行加权，平衡特征。

在一示例中，所述通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息包括：

通过所述通道空间注意力模块的平均池化和最大池化对对应支路的特征图输出进行压缩；

将压缩后的特征图输入指定共享网络进行处理，将处理获得的结果通过第一Sigmoid函数进行特征调整，并根据调整结果映射为一维的通道注意力特征图，其中所述指定共享网络包括多层感知机和隐藏层；

将所述一维的通道注意力特征图与热图相乘获得通道维度上的特征图，并将所述通道维度上的特征图通过最大池化和平均池化学习目标特征，根据所述目标特征将所述一维的通道注意力特征图和通道维度上的特征图进行合并，将合并结果通过卷积操作和第二Sigmoid函数进行特征调整，并根据调整结果映射为二维的空间注意力特征图，以实现提取对应的特征图输出中的通道信息和空间信息。

在一示例中，所述通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息包括：

计算所述第四层级特征中单个像素和所有像素之间的相似性，以获得目标语义与每一个像素的语义映射关系；

聚合所述语义映射关系上的所有像素，计算当前单个像素的标签；

重复计算所述第四层级特征中所有像素的标签，以获得池化上下文信息。

本示例中对MCSP的另一个分支目标语义池化OCP(object-contextual pooling)进行说明。目标语义池化通过利用属于同一物体的像素集合的信息来得到某一个该物体包含的像素的标签，不再逐像素的进行预测而是将相似的像素点聚集后进行语义分割。

OCP作为MCSP的一个分支，如图7所示，输入X为骨干网络的最后一层特征图，P为对应的位置特征图，W为通过注意力机制产生的语义映射，C为OCP最终的输出标签。1)计算单个像素和所有像素之间的相似性从而得到目标语义和每一个像素的映射，表示为w_p，具体计算如下；2)聚合目标语义映射上的所有像素来计算当前像素的标签，具体计算如下。

其中x_p是像素p和i的表征向量，标准化参数Z_p是所有相似性的和，其中f_q(.)和f_k(.)分别表示遍历转换函数和关键转换函数,是值转换函数。

由于卷积操作中的局部感受野，相同标签的像素对应的特征可能不同，这种差异会导致类内的不一致性，从而会影响识别准确率。因此，通过目标语义池化在特征之间使用注意力机制建立关联，进而从全局的角度自适应地集成任何尺度上的相似特征。相较于使用固定空间表示来提取上下文信息时会同时包含物体信息和背景信息，本示例中OCP关注于全局视图中对象之间的关系，可以显示增强物体信息，且更具有灵活性。

在一示例中，所述基于所述特征图进行特征再提取，获得细化特征还包括：

将所述第二层级特征和所述第三层级特征进行多模态循环MCF融合；

对MCF融合获得的特征图进行边缘细化，获得第二融合特征。

本示例中对语义嵌入分支SEB(semantic embedding branch)进行介绍。

语义嵌入分支包括MCF特征融合模块和GBR边缘细化模块。MCF融合模块融合了骨干网络pyres2和pyres3输出的特征图，也即第二层级特征和第三层级特征，这样使得后续上采样时图像中像素的连续性更强，还原出来的像素值更加逼近特征图下采样之前的像素值。再将融合后的特征图通过GBR边缘细化模块进行边缘细化，进一步从全局信息上提高编码块的边缘提取能力。

高级语义嵌入把更多的语义信息引入低级特征，解决了低级特征包含很少的语义信息而导致不足以复原语义分辨率的问题。边缘细化模块中的GCN和BR单元能有效解决语义分割中像素点分类和定位问题。如图8给出了语义嵌入分支的详细结构。

MCF将包含更多语义信息的高层特征图通过双线性插值上采样至低层特征图相同的分辨率，然后使用逐像素相乘的方式进行特征融合。使得低级的特征包含更多了语义信息。将MCF输出的融合特征输入全局边缘细化模块(GBR)，GBR包括GCN和BR单元。GCN使用对称的独立卷积核1×k+k×1和k×1+1×k组成大尺度的卷积核，并且中间不使用Relu激活函数，相较直接使用k×k的卷积核可以明显降低参数量和计算量，这里选取k＝7，提高网络处理不同分辨率特征图的能力，能够更好地获取全局信息，有效提高分类能力。为了减少物体边界像素错分的情况，进一步提高目标边界附近的定位能力，让GCN的输出特征再经过由小卷积核组成的残差模块BR进行平衡，提高边缘激活值，实现边缘细化。

在一示例中，所述基于所述特征图和所述细化特征进行融合，获得融合特征图包括：

将所述第一融合特征和第二融合特征进行拼接融合，获得第三融合特征；

将所述第三融合特征与所述第一层级特征进行连接以及特征细化，获得融合特征图。

如图2所示，解码部分包含三个输入，一是MCSP输出的高级特征，二是骨干网络输出的低级特征，三是SEB语义嵌入分支输出的融合特征。将MCSP输出的特征上采样二倍与SEB输出的特征进行拼接融合，这样通过一次上采样将高级特征与中级特征融合，兼顾图像的语义信息和细节信息，减少了直接对高级特征空间维度恢复造成的误差。之后经过1x1卷积进行降维，再被双线性插值2倍上采样，而后与来自相同空间分辨率的骨干网络的低级特征连接，因为低级特征包含大量通道，所以本示例同样采取1x1卷积来减少通道数，减少网络不必要的通道计算。连接之后再经过3x3的卷积层进行特征细化，经过一次双线性插值四倍上采样后输入全局边缘细化模块GBR，进行进一步的边界细化，最终实现叠掩的提取。

在一示例中，所述利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域包括：

利用预设规格的滑动窗口按照预设步长对所述融合特征图进行剪切，获得若干剪切样本；

对获得的若干剪切样本进行分类，以获得各剪切样本的分类得分图；

根据各剪切样本的分类得分图提取SAR图像的叠掩区域。

本示例中，经过网络训练生成的模型可以用来对高分辨率SAR图像进行分类，为了获取更好的结果，本示例中使用了滑窗拼接检测策略，将高分辨率SAR图像切割为一定尺寸的小图像样本进行训练。

由于对图像切割往往会破坏目标的完整性，并且由于直接测试拼接时分类结果在两个相邻窗口交界处的不连续性，会造成边缘区域的检测错误。基于此，本示例中使用图9所示的滑窗拼接方法来拼接两张相邻的图像。具体操作为：在使用训练模型进行叠掩提取时，使用一个预设规格的滑动窗口，例如512×512大小的滑动窗口来剪切高分辨率SAR图像，步长设置为412，具体如图9中的S11，S12，S21和Smn所示，两个相邻窗口有100像素是重叠的。两个窗口都测试完之后，重叠区域的分类结果将会由相邻窗口取平均值生成。通过这样的拼接方法，可以得到最小分类边界误差的得分图。

本发明改进的网络能够实现对SAR图像叠掩区域的快速自动提取。并且改进网络很轻便，大大缩短了网络层迭代时间，减少了网络训练时间和图片测试时间。MCSP使得网络能够更灵活地从多尺度全方位学习全局特征并编码有效特征，SEB融合骨干网络中间层特征，解决了高低级特征直接融合造成的特征不对齐的问题，全局边缘细化模块GBR使边缘信息能被完全解码并提取。综合提取精度、数据集训练时间和图片测试时间来看，本发明的方法在毫米波数据中能够对叠掩进行更加有效的提取。

本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的合成孔径雷达图像叠掩区提取方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。