一种遥感影像域适应语义分割方法
技术领域
本发明涉及遥感影像
技术领域
，具体涉及一种遥感影像域适应语义分割方法。背景技术
遥感技术的发展使得高分辨率遥感图像(HRSI)越来越多。语义分割是HRSI分析的一项重要任务，其目的是为每个像素分配特定的语义类别，不同的语义类别具有不同的特征和属性(如颜色、强度和纹理)，相同的语义类别具有相似的特征和属性(如颜色、强度和纹理)。对HRSI进行语义分割在城市交通管理和规划、精准农业以及灾害预测等应用中具有重要的作用。近年来，深度卷积神经网络(DCNN)在特征表示方面表现出了突出的性能。因此，一些基于DCNN的语义分割方法，如FCN，SegNet，UNet，PSPNet和DeepLab，被广泛应用于高分辨率遥感影像逐像素分类中并取得了不错的进展。然而，由这些方法构建的深度语义分割模型均存在可移植性不足的问题，即将在一个特定的有标注的遥感数据集(源域)上训练的深度语义分割模型用于预测另一个具有较大分布差异的无标注的遥感数据集(目标域)时，模型的预测性能会显著下降。
为了解决上述源数据集和目标数据集之间的域分布差异的问题，域适应技术被提出。域适应是迁移学习的一个分支，它利用从已标记的源域数据中学习的知识在未标记的目标域上执行新的任务。近年来，域适应方法用于语义分割任务。Hoffman等人从全局和局部级别上在特征空间对齐源域和目标域。课程域适应方法学习图像的全局标签分布和标签超像素的局部标签分布，以最小化语义分割中的域差距。AdaptSegNet通过使用多级对抗网络来对齐源域和目标域的输出空间，从而提高语义分割的性能。Lua等人使用类别级对抗网络来增强局部语义一致性。上述域适应方法在像素级别对源域和目标域进行对齐；在图像到图像转换工作的驱动下，另一种域适应方法在像素和特征级别上对齐两个域。这种方法通常由两个独立的子网络组成：图像到图像转换子网和语义分割子网络，即在训练语义分割模型之前，使用图像翻译技术将源域影像映像到目标域影像，以减少域之间的差异。DCAN将源域图像在外观上转换为目标域，然后在特征级进行特征对齐。Li等人引入双向学习框架交替训练图像翻译和分割适应模型，以缩小域差距。
尽管上述域适应方法在跨域语义分割中取得了不错的性能，但是它们是针对自然图像数据集提出的。由于HRSI和自然图像在拍摄角度、空间复杂度、图像分辨率等各方面存在较大差异，所以直接使用这些方法对HRSI进行语义分割的效果并不理想。为了应对这一挑战，Benjdira等人提出一种基于生成对抗网络(GAN)的HRSI跨域语义分割算法。该算法首先使用GAN模型将源域图像转换成目标域图像。然后，将转换后的模型用于微调在源域训练的语义模型。然而，语义分割的性能受到图像转换质量的限制，一旦转换失败，语义分割的准确性也会降低。此外，图像到图像的转换只能使源域图像在图像风格(如颜色分布和纹理特征)上与目标域图像相似，难以缩小图像上下文信息和类别表示的差异。
上述现有的域适应方法在域适应过程中大多存在以下问题：1)上述现有的域适应方法在域适应过程中大多仅追求全局分布的一致性而忽略了局部联合分布的差异，从而造成了负迁移和难迁移的问题；2)现有的域适应语义分割方法在域适应过程中对一幅影像的内容相同对待，由于空间分辨率、外观分布、对象大小和场景上下文信息的影响，一幅图像中的不同区域和类别，在域知识迁移时会表现出不同程度的差异。因此，上述现有的域适应方法无法满足HRSI的跨域语义分割任务。
综上所述，急需一种遥感影像域适应语义分割方法以解决现有域适应方法在域适应过程中存在的负迁移、难迁移以及在域知识迁移时表现出不同程度差异的问题。
发明内容
本发明目的在于提供一种遥感影像域适应语义分割方法，具体技术方案如下：
一种遥感影像域适应语义分割方法，包括以下步骤：
步骤1)、分别确定源域数据集和目标域数据集，并对源域数据集进行语义标签处理得到对应的真实语义标签图；
步骤2)、在源域数据集上训练Deeplab-v2语义分割模型；
步骤3)、利用Deeplab-v2语义分割模型构建遥感影像域适应语义分割模型；
步骤4)、将目标域数据集中的遥感影像输入到步骤3)的遥感影像域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图；
在步骤3)中，所述遥感影像域适应语义分割模型包括语义分割模型S和组合判别器D，所述语义分割模型S包括依次连接的特征提取器F、类别注意力模块CCA和分类器C；所述组合判别器D包括并列设置的全局判别器DG和类别判别器DC，所述全局判别器DG和类别判别器DC的输入端均与特征提取器F连接，所述类别判别器DC的输出端与类别注意力模块CCA连接，所述全局判别器DG用于输出。
优选的，在步骤3)中，构建遥感影像域适应语义分割模型的步骤包括：
步骤3.1)、使用步骤2)Deeplab-v2语义分割模型中所包括的参数分别对特征提取器F和分类器C的参数进行初始化；
步骤3.2)、在源域数据集上训练语义分割模型S，更新语义分割模型S的网络参数；
步骤3.3)、基于目标域数据集更新特征提取器F的参数；
步骤3.4)、基于源域数据集和目标域数据集更新组合判别器D的网络参数；
步骤3.5)、重复步骤3.2)-3.4)，直至获得收敛的遥感影像域适应语义分割模型，并保存收敛的遥感影像域适应语义分割模型的参数。
优选的，所述步骤3.2)包括以下步骤：
步骤3.2.1)、将源域数据集中的遥感影像输入特征提取器F中，提取源域数据集中遥感影像的高层特征fs；
步骤3.2.2)、将高层特征fs输入类别判别器DC得到源域的类别域标签fcs；
步骤3.2.3)、将高层特征fs和类别域标签fcs同时输入类别注意力模块CCA中，得到源域遥感影像的拼接特征；
步骤3.2.4)、将步骤3.2.3)得到的拼接特征输入分类器C中进行逐像素分类，对分类结果进行上采样，得到与输入的源域影像尺寸相同的语义标签预测图；
步骤3.2.5)、将步骤3.2.4)得到的语义标签预测图与源域数据集中的真实语义标签图利用交叉熵损失函数计算误差，将该计算误差反向传播，更新语义分割模型S的网络参数；其中，所述交叉熵损失函数表达式(1)为：
在表达式(1)中，M表示样本数，y(k)表示第k个样本的真实语义标签值，表示第k个样本的预测标签值，Lseg表示损失值。
优选的，所述步骤3.3)包括以下步骤：
步骤3.3.1)、将目标域数据集中的遥感影像输入特征提取器F中，提取目标域数据集中遥感影像的高层特征ft；
步骤3.3.2)、将高层特征ft输入全局判别器DG得到全局域标签fgt，将高层特征ft输入类别判别器DC得到类别域标签fct；
步骤3.3.3)、将全局域标签fgt与源域标签0利用第一二元交叉熵损失函数表达式(3)计算全局对抗损失，将类别域标签fct与源域标签0利用第二二元交叉熵损失函数表达式(4)计算类别级对抗损失，将全局对抗损失和类别级对抗损失进行加权求和得到第一总体对抗损失，将该损失反向传播，更新特征提取器F的网络参数；其中，所述第一总体对抗损失函数表达式(2)为：
Ladv(XT)＝λadv_gLadv_g(XT)+λadv_cLadv_c(XT) (2)
在表达式(2)中，Ladv_g(XT)和Ladv_c(XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重，XT表示目标域的影像；
Ladv_g(XT)的表达式(3)为：
Ladv_g(XT)＝-Ex～PT(x)[log Dg(F(XT))] (3)
Ladv_c(XT)的表达式(4)为：
在表达式(3)和(4)中，PT(x)表示目标域数据集的数据分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，Ex～PT(x)表示x～PT(x)的期望，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XT))表示目标域影像的全局判别器输出，DiC(F(XT))表示类别数为第i类时目标域影像的类别级判别器输出，N表示类别数。
优选的，所述步骤3.4)的具体过程如下：
将步骤3.2.1)中提取的高层特征fs和步骤3.3.1)中提取的高层特征ft分别输入组合判别器D，经组合判别器D输出全局域标签fgs、fgt以及类别域域标签fcs、fct，将输出的全局域标签fgs、fgt与源域标签0和目标域标签1利用第三二元交叉熵损失函数表达式(6)计算全局对抗损失Ladv_g(Xs,XT)，将输出的类别域域标签fcs、fct与源域标签0和目标域标签1利用第四二元交叉熵损失函数表达式(7)计算类别级对抗损失Ladv_c(Xs,XT)，并将全局对抗损失Ladv_g(Xs,XT)和类别级对抗损失Ladv_c(Xs,XT)进行加权求和得到第二总体对抗损失函数表达式(5)，将第二总体对抗损失反向传播，更新组合判别器D的网络参数；其中，所述第二总体对抗损失函数表达式(5)为：
Ladv(XS,YS,XT)＝λadv_gLadv_g(Xs,XT)+λadv_cLadv_c(Xs,XT) (5)
在表达式(5)中，Ladv(XS,YS,XT)表示第二总体对抗损失值，XS表示源域的影像，XT表示目标域的影像，Ladv_g(Xs,XT)和Ladv_c(Xs,XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重；
Ladv_g(Xs,XT)的表达式(6)为：
Ladv_g(XS,XT)＝-Ex～PS(x)[log Dg(F(XS))]-Ex～PT(x)[log(1-Dg(F(XT)))](6)
Ladv_c(Xs,XT)的表达式(7)为：
在表达式(6)和(7)中，PS(x)表示源域数据集的数据分布，PT(x)表示目标域数据集的数据分布，x～PS(x)表示源域数据集中的遥感影像服从PS(x)的分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，Ex～PS(x)表示x～PS(x)的期望，Ex～PT(x)表示x～PT(x)的期望，F(XS)表示特征提取器F提取的源域特征，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XS))表示源域影像的全局判别器输出，Dg(F(XT))表示目标域影像的全局判别器输出，Dc(F(XS))表示源域影像的类别级判别器输出，Dc(F(XT))表示目标域影像的类别级判别器输出，N表示类别数，表示类别数为第i类时源域影像的类别级判别器输出，表示类别数为第i类时目标域影像的类别级判别器输出。
优选的，所述特征提取器F选用卷积特征提取器ResNet-101。
优选的，所述步骤3.5)获得收敛的遥感影像域适应语义分割模型的收敛差值为0.05-0.15。
优选的，所述步骤2)包括：
步骤2.1)、将源域数据集中的遥感影像输入到Deeplab-v2中，得到逐像素预测结果；
步骤2.2)、将步骤2.1)得到的预测结果与真实语义标签图利用交叉熵损失函数表达式(1)计算误差，并将该计算误差反向传播，更新Deeplab-v2参数；
步骤2.3)、重复步骤2.1)-2.2)，获得收敛的Deeplab-v2语义分割模型，并保存收敛的Deeplab-v2语义分割模型的参数。
优选的，在步骤2.3)中获得收敛的Deeplab-v2语义分割模型的收敛差值为0.05-0.15。
优选的，在步骤1)中还包括对目标域数据集中的影像和带有真实语义标签图的源域数据集中的影像按照分辨率的反比值裁剪得到相应的图像块。
为描述方便，本发明定义源域标签和目标域标签分别为源域标签0和目标域标签1。
应用本发明的技术方案，具有以下有益效果：
本发明所述的遥感影像域适应语义分割方法，包括由并列设置的全局判别器DG和类别判别器DC构建的组合判别器D，所述组合判别器D能够在追求全局分布的对齐的情况下促进局部联合分布的一致性，从而提高语义分割模型在目标域数据集上的识别性能。本发明还包括类别注意力模块CCA，所述类别注意力模块CCA能够根据组合判别器D的类别级确定性估计值自适应地加强对源域数据集的遥感影像中未对齐的类别和区域的注意，同时减少对影像中对齐类别和区域的注意，提高分类器C在目标数据集上的性能。本发明所述的遥感影像域适应语义分割方法能够提升跨域语义分割中的精度，解决了现有域适应方法在域适应过程中存在的负迁移、难迁移以及在域知识迁移时表现出不同程度差异的问题。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例1中一种遥感影像域适应语义分割方法的流程图；
图2是实施例1中遥感影像域适应语义分割模型网络结构图；
图3是实施例1中类别注意力模块CCA的网络结构图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本实施例1所选择的源域数据集和目标域数据集分别选自“国际摄影测量学会(ISPRS)”官网上下载的高分辨率遥感影像数据集Potsdam数据集和Vaihingen数据集。
参见图1，一种遥感影像域适应语义分割方法，包括以下步骤：
步骤1)、根据实际需要，分别确定源域数据集(具体为Potsdam数据集)和目标域数据集(具体为Vaihingen数据集)，并对源域数据集进行语义标签处理得到对应的真实语义标签图，目标域数据集不进行语义标签处理；在步骤1)中还包括对目标域数据集中的影像和带有真实语义标签图的源域数据集中的影像按照分辨率反比值为5:9裁剪得到相应的图像块，分别用于作为后续步骤使用的目标域数据集和源域数据集，其中，由目标域数据集中的影像裁剪得到512*512大小的图像块，由带有真实语义标签图的源域数据集中的影像裁剪得到960*960大小的图像块；
步骤2)、在源域数据集上训练Deeplab-v2语义分割模型；
步骤3)、利用Deeplab-v2语义分割模型构建遥感影像域适应语义分割模型；
步骤4)、将目标域数据集中的遥感影像输入到步骤3)的遥感影像域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
在步骤3)中，参见图2，所述遥感影像域适应语义分割模型包括语义分割模型S和组合判别器D，所述语义分割模型S包括依次连接的特征提取器F、类别注意力模块CCA和分类器C；所述组合判别器D包括并列设置的全局判别器DG和类别判别器DC，所述全局判别器DG和类别判别器DC的输入端均与特征提取器F连接，类别判别器DC的输出端与类别注意力模块CCA连接，所述全局判别器DG用于将特征提取器F输入的数据处理后输出全局域标签fgt和fgs，所述类别判别器DC用于将特征提取器F输入的数据处理后输出类别域标签fct和fcs。在图2中示出的共享参数具体为表2中特征提取器F的参数。
在步骤3)中，构建遥感影像域适应语义分割模型的步骤包括：
步骤3.1)、使用步骤2)Deeplab-v2语义分割模型中所包括的参数分别对特征提取器F和分类器C的参数进行初始化；
步骤3.2)、在源域数据集上训练语义分割模型S，更新语义分割模型S的网络参数；
步骤3.3)、基于目标域数据集更新特征提取器F的参数；
步骤3.4)、基于源域数据集和目标域数据集更新组合判别器D的网络参数；
步骤3.5)、重复步骤3.2)-3.4)，直至获得收敛的遥感影像域适应语义分割模型，并保存收敛的遥感影像域适应语义分割模型的参数，该参数如表2所示。
所述步骤3.2)包括以下步骤：
步骤3.2.1)、将源域数据集中的遥感影像输入特征提取器F中，提取源域数据集中遥感影像的高层特征fs；
步骤3.2.2)、将高层特征fs输入类别判别器DC得到源域的类别域标签fcs；
步骤3.2.3)、将高层特征fs和类别域标签fcs同时输入类别注意力模块CCA中，得到源域遥感影像的拼接特征；其中，参见图3，类别注意力模块CCA的具体作业过程如下，该模块首先对输入的高层特征fs分别进行两个卷积操作(卷积核大小为1×1)，分别得到特征图X′和特征图X″，将转置后的类别域标签fcs与特征图X′进行矩阵相乘，并利用softmax层得到类别亲和力注意力图，将该图转置后与特征图X″进行矩阵相乘，得到注意力特征图；最后将注意力特征图与输入的高层特征fs进行拼接，得到拼接特征；在拼接特征中每个像素值代表类别确定性特征图和高层特征fs的加权值，该拼接特征可以促使分类器C根据亲和力注意力图有选择地关注对齐和未对齐的区域和类别，从而提高分类器在目标域数据集上的分类性能；
步骤3.2.4)、将步骤3.2.3)得到的拼接特征输入分类器C中进行逐像素分类，对分类结果进行上采样，得到与输入的源域影像尺寸相同的语义标签预测图；
步骤3.2.5)、将步骤3.2.4)得到的语义标签预测图与源域数据集中的真实语义标签图利用交叉熵损失函数计算误差，将该计算误差反向传播，更新语义分割模型S的网络参数；其中，所述语义分割模型S的网络参数如表2所示；所述交叉熵损失函数表达式(1)为：
在表达式(1)中，M表示样本数，y(k)表示第k个样本的真实语义标签值，表示第k个样本的预测标签值，Lseg表示损失值。
所述步骤3.3)包括以下步骤：
步骤3.3.1)、将目标域数据集中的遥感影像输入特征提取器F中，提取目标域数据集中遥感影像的高层特征ft；
步骤3.3.2)、将高层特征ft输入全局判别器DG得到全局域标签fgt，将高层特征ft输入类别判别器DC得到类别域标签fct；
步骤3.3.3)、将全局域标签fgt与源域标签0利用第一二元交叉熵损失函数表达式(3)计算全局对抗损失，将类别域标签fct与源域标签0利用第二二元交叉熵损失函数表达式(4)计算类别级对抗损失，将全局对抗损失和类别级对抗损失进行加权求和得到第一总体对抗损失，将该损失反向传播，更新特征提取器F的网络参数；其中，所述特征提取器F的网络参数如表2所示；所述第一总体对抗损失函数表达式(2)为：
Ladv(XT)＝λadv_gLadv_g(XT)+λadv_cLadv_c(XT) (2)
在表达式(2)中，Ladv_g(XT)和Ladv_c(XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重，XT表示目标域的影像；
Ladv_g(XT)的表达式(3)为：
Ladv_g(XT)＝-Ex～PT(x)[log Dg(F(XT))] (3)
Ladv_c(XT)的表达式(4)为：
在表达式(3)和(4)中，PT(x)表示目标域数据集的数据分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，Ex～PT(x)表示x～PT(x)的期望，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XT))表示目标域影像的全局判别器输出，Dc(F(XT))表示目标域影像的类别级判别器输出，N表示类别数，表示类别数为第i类时目标域影像的类别级判别器输出。
所述步骤3.4)的具体过程如下：
将步骤3.2.1)中提取的高层特征fs和步骤3.3.1)中提取的高层特征ft分别输入组合判别器D，经组合判别器D输出全局域标签fgs、fgt以及类别域域标签fcs、fct，将输出的全局域标签fgs、fgt与源域标签0和目标域标签1利用第三二元交叉熵损失函数表达式(6)计算全局对抗损失Ladv_g(Xs,XT)，将输出的类别域域标签fct、fcs与源域标签0和目标域标签1利用第四二元交叉熵损失函数表达式(7)计算类别级对抗损失Ladv_c(Xs,XT)，并将全局对抗损失Ladv_g(Xs,XT)和类别级对抗损失Ladv_c(Xs,XT)进行加权求和得到第二总体对抗损失函数表达式(5)，将第二总体对抗损失反向传播，更新组合判别器D的网络参数；其中，所述组合判别器D的网络参数如表2所示，所述第二总体对抗损失函数表达式(5)为：
Ladv(XS,YS,XT)＝λadv_gLadv_g(Xs,XT)+λadv_cLadv_c(Xs,XT) (5)
在表达式(5)中，Ladv(XS,YS,XT)表示第二总体对抗损失值，XS表示源域的影像，XT表示目标域的影像，Ladv_g(Xs,XT)和Ladv_c(Xs,XT)分别表示全局对抗损失和类别级对抗损失，λadv_g和λadv_c分别表示全局对抗损失的权重和类别级对抗损失的权重；
Ladv_g(Xs,XT)的表达式(6)为：
Ladv_c(XS,XT)＝-Ex～PS(x)[log Dg(F(XS))]-Ex～PT(x)[log(1-Dg(F(XT)))]
(6)
Ladv_c(Xs,XT)的表达式(7)为：
在表达式(6)和(7)中，PS(x)表示源域数据集的数据分布，PT(x)表示目标域数据集的数据分布，x～PS(x)表示源域数据集中的遥感影像服从PS(x)的分布，x～PT(x)表示目标域数据集中的遥感影像服从PT(x)的分布，表示x～PS(x)的期望，表示x～PT(x)的期望，F(XS)表示特征提取器F提取的源域特征，F(XT)表示特征提取器F提取的目标域特征，Dg(F(XS))表示源域影像的全局判别器输出，Dg(F(XT))表示目标域影像的全局判别器输出，Dc(F(XS))表示源域影像的类别级判别器输出，Dc(F(XT))表示目标域影像的类别级判别器输出，N表示类别数，表示类别数为第i类时源域影像的类别级判别器输出，表示类别数为第i类时目标域影像的类别级判别器输出。
所述特征提取器F选用卷积特征提取器ResNet-101，使用空洞卷积提取源域数据集中遥感影像的高层特征fs和目标域数据集中遥感影像的高层特征ft。
在所述步骤3.5)中重复步骤3.2)-3.4)，直至损失值Lseg,Ladv(XT),Ladv(XS,YS,XT)降低至最小值(该最小值无限趋近于零)，且保持稳定震荡，获得收敛的遥感影像域适应语义分割模型的收敛差值为0.1。
所述步骤2)包括：
步骤2.1)、将源域数据集中的遥感影像输入到Deeplab-v2中，得到逐像素预测结果；
步骤2.2)、将步骤2.1)得到的预测结果与真实语义标签图利用交叉熵损失函数表达式(1)计算误差，并将该计算误差反向传播，更新Deeplab-v2参数，该参数如表3所示；
步骤2.3)、重复步骤2.1)-2.2)，直至损失值Lseg降低至最小值(该最小值无限趋近于零)，且保持稳定震荡，获得收敛的Deeplab-v2语义分割模型，并保存收敛的Deeplab-v2语义分割模型的参数，该参数如表3所示。
在步骤2.3)中获得收敛的Deeplab-v2语义分割模型的收敛差值为0.1。
对比例1：
与实施例1不同的是：省去步骤3)，将目标域数据集中的遥感影像输入到由步骤2)构建的Deeplab-v2语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例2：
与实施例1不同的是：省去类别判别器DC和类别注意力模块CCA。
对比例3：
与实施例1不同的是：省去类别注意力模块CCA。
对比例4：
采用MCD_DA域适应语义分割模型，将目标域数据集中的遥感影像输入到MCD_DA域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例5：
采用ADVENT域适应语义分割模型，将目标域数据集中的遥感影像输入到ADVENT域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例6：
采用Benjdira’s域适应语义分割模型，将目标域数据集中的遥感影像输入到Benjdira’s域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例7：
采用AdaptSegNet域适应语义分割模型，将目标域数据集中的遥感影像输入到AdaptSegNet域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
对比例8：
采用CLAN域适应语义分割模型，将目标域数据集中的遥感影像输入到CLAN域适应语义分割模型中进行预测，得到目标域数据集的语义分割预测图。
将实施例1和对比例1-8由Potsdam数据集迁移到Vaihingen数据集上的域适应结果详见表1，表1数据具体采用表达式F1-score、OA、MA、mIoU计算得出，F1-score的表达式具体为：
在表达式(8)中，Precision＝nii/∑jnji，Recall＝nii/∑jnij；
在表达式(8)中，F1表示F1-score，Precision表示精确度，Recall表示召回率，nii表示类别数为第i类时被预测到类别数为第i类时的像素数，nij表示类别数为第i类时被预测到类别数为第j类时的像素数，nji表示类别数为第j类时被预测到类别数为第i类时的像素数，i表示类别数为第i类，j表示类别数为第j类。
OA表示整体精度，其表达式(9)具体为：OA＝∑inii/∑i∑jnij (9)
在表达式(9)中，nii指类别数为第i类时被正确预测到类别数为第i类时的像素数，nij指类别数为第i类时被预测到类别数为第j类时的像素数。
MA表示平均精度，其表达式(10)具体为：MA＝(1/ncl)∑i(nii/∑jnji) (10)
在表达式(10)中，nii指类别数为第i类时被正确预测到类别数为第i类时的像素数，nji指类别数为第j类时被预测到类别数为第i类时的像素数,ncl指数据集中类别的数目。
mIoU表示平均交并比，其表达式具体为：
mIoU＝(1/ncl)∑inii/(∑jnij+∑jnji-nii) (11)
在表达式(11)中，nii指类别数为第i类时被正确预测到类别数为第i类时的像素数，nij指类别数为第i类时被预测到类别数为第j类时的像素数，nji指类别数为第j类时被预测到类别数为第i类时的像素数,ncl指数据集中类别的数目。
表1将实施例1和对比例1-8由Potsdam数据集迁移到Vaihingen数据集上的域适应结果
表2遥感影像域适应语义分割模型的参数
表3 Deeplab-v2的网络参数
由表1数据知，相比于对比例1-8，其中对比例4-8为现有域适应语义分割模型，本发明实施例1中在OA、MA和mIoU取得了最高的得分值，分别达到了73.62％、63.03％和45.91％，由此说明实施例1能够实现最优的跨域语义分割性能。此外，实施例1在不透水面、建筑物、低矮植被、汽车和杂波类别上的F1-score得分分别达到了80.30％、84.24％、65.59％、40.57％和28.85％，实现了最佳的精度，且表明了实施例1类别级对齐的有效性。
相比于对比例1，对比例2采用全局判别器DG构建的域适应语义分割模型在OA、MA和mIoU上分别提高了18.48％、6.22％和12.60％，这是因为使用全局判别器DG进行对抗学习可以对源域数据集和目标域数据集的特征空间进行对齐，在特征空间消除源域数据集和目标域数据集的分布差异，从而提升跨域语义分割中的精度。
相比于对比例2，对比例3采用组合判别器D构建的域适应语义分割模型在OA、MA和mIoU上分别提高了4.88％、5.74％和4.84％，且对比例3还解决了对比例2所导致的树木类别负迁移的问题，这是由于对比例2在全局特征对齐过程中忽略了局部类别语义的一致性造成的，而对比例3通过类别判别器DC从类别角度促进了局部语义的一致性。
相比于对比例3，实施例1构建的遥感影像域适应语义分割模型在OA、MA和mIoU上分别提高了1.41％、2.89％和2.56％，且可以大大提高对难以对齐的类别(如低矮植被、树木和杂波)的分割性能，这是因为类别注意力模块CCA可以通过表2中参数自学习的方式自适应地对未对齐的区域和类别施加更多的注意力，同时减少对已对齐的区域和类别的注意力，从而提升遥感影像域适应语义分割模型在难以对齐类别和区域上的分割性能，提升整体的分割精度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
