基于cnn的双极化通道融合舰船尺寸估计方法
技术领域
本发明属于雷达
技术领域
,更进一步涉及SAR(Synthetic Aperture Radar)图像处理技术领域
中的一种基于卷积神经网络CNN(Convolution Neural Network)的极化通道融合舰船尺寸估计方法。本发明能够融合SAR舰船图像的双极化通道信息,可用于SAR图像解译以及SAR图像舰船目标的识别与分类。背景技术
合成孔径雷达SAR能够不受云层、气候、时间等因素的影响,对海洋环境进行大范围、全天候的持续观测,已经成为现代海洋管理的一种有效手段,它还被广泛应用于军事侦察、灾情预报等领域,具有广阔的研究和应用前景。近年来,在对海洋目标进行监测的基础上,开展了对船舶检测与分类、冰山探测、风反演、溢油探测、海冰监测、船舶尾迹探测等领域的研究,并证明了其实用性。其中,对于舰船目标的尺寸估计是对船舶目标检测与分类的关键和基础,精细的几何参数估计同时也是SAR图像解译的关键,具有重要的研究意义。
对舰船目标尺寸估计的研究已经取得了很多的成果。然而,由于现实情况的限制,很难得到大量的高分辨SAR图像。对于中低分辨SAR图像,舰船目标细节信息不够丰富,影响了目标尺寸估计的精度。为了解决这一问题,Bjorn Tings等人提出了动态自适应舰船参数估计方法,使用交叉熵和多元线性回归对算法参数进行优化,该方法在TerraSAR-X数据上取得了较高的估计精度,但算法受海杂波等环境因素影响较大。
此外,对于中低分辨SAR图像,Lui Bedini等人提出了基于SAR图像的舰船目标尺寸提取方法,该方法首先对SAR图像做形态学处理,旨在从杂乱的SAR图像中找到目标的轮廓,从而提取出目标的尺寸特征。此外,机器学习也开始被应用于舰船目标的尺寸估计中,并取得了较好的结果。Boying Li等人在其发表的论文“Ship Size Extraction forSentinel-1 Images Based on Dual-Polarization Fusion and Nonlinear Regression:Push Error Under One Pixel”(B.Li,B.Liu,W.Guo,Z.Zhang,and W.Yu,Ship sizeextraction for Sentinel-1images based on dual-polarization fusion andnonlinear regression:Push error under one pixel[J].IEEE Transactions onGeoscience and Remote Sensing,2018,Vol.56(No.8):pp.4887–4905.)中提出了基于双极化融合和非线性回归的舰船尺寸估计方法,利用梯度提升决策树GBDT(GradientBoosting Decision Tree)来减少成像质量以及形态学处理对舰船尺寸估计精度的影响。但是该算法模型均依赖于人工设计特征,需要大量的先验知识,且结果并不具备鲁棒性。
发明内容
本发明的目的在于针对上述已有SAR舰船目标尺寸估计方法的不足,提出了一种基于CNN的双极化通道融合舰船目标尺寸估计方法,以提高在中低分辨情况下的目标尺寸估计的性能,从而提高目标尺寸估计的精度。
本发明的技术思路是:首先将训练样本输入到卷积神经网络CNN的舰船目标尺寸估计网络框架中进行训练,得到训练好的卷积神经网络框架,将测试样本输入到训练好的卷积神经网络框架中,得到舰船目标尺寸估计结果。
基于CNN的双极化通道融合舰船目标尺寸估计方法,用于SAR图像解译以及SAR图像舰船目标的识别与分类,包括以下步骤:
步骤1,获取实验数据集,所述实验数据集包含训练样本数据和测试样本数据;其中,所述实验数据集中的每个样本包含了VH和VV两个极化通道的图像以及船舶自动识别系统AIS提供的尺寸真值;所述尺寸真值包含长度真值和宽度真值;
步骤2,构建基于卷积神经网络的舰船目标尺寸估计网络框架Ψ;
步骤3,将所述训练样本数据输入到构建好的所述基于卷积神经网络的舰船目标尺寸估计网络框架Ψ中进行训练,得到训练好的卷积神经网络框架Ψ′;
步骤4,将所述测试样本数据输入到所述训练好的卷积神经网络框架Ψ′中,得到测试样本的尺寸估计结果。
本发明技术方案的特点和进一步的改进为:
(1)步骤1中,所述实验数据集从公开的OpenSARShip数据集中挑选出M类舰船目标作为实验数据集;所述M类舰船目标为五类舰船目标,分别为油轮、货船、散货船、普通货船、集装箱船。
(2)步骤1中,所述训练样本数据和测试样本数据的比例是7:3。
(3)步骤2包含以下子步骤:
子步骤2.1,分别设置N层卷积层、第一层最大池化层P1和G层全连接层;其中,所述N层卷积层分别为第一层卷积层L1、第二层卷积层L2、……、第N层卷积层LN;所述G层全连接层分别为第一层全连接层Fc1、第二层全连接层Fc2、……、第G层全连接层FcG;
子步骤2.2,将所述N层卷积层、第一层最大池化层P1和G层全连接层依次交叉排列构成基于卷积神经网络的舰船目标尺寸估计网络框架Ψ。
(4)子步骤2.1中,所述N层卷积层为十七层卷积层;所述G层全连接层为四层全连接层。
(5)子步骤2.2中,所述基于卷积神经网络的舰船目标尺寸估计网络框架Ψ由第一层卷积层L1、第一层最大池化层P1、第二层卷积层L2、……、第N层卷积层LN、第一层全连接层Fc1、第二层全连接层Fc2、……、第G层全连接层FcG依次串联构成。
(6)子步骤2.2中,所述全连接层中采用ReLU激活函数进行非线性映射,所述ReLU激活函数的数学表达式f(x)为:
f(x)=max(0,x)
其中,x表示ReLU激活函数的输入值,ReLU激活函数f(x)输出值为x、0中的最大值。
(7)步骤3具体包含以下子步骤:
子步骤3.1,将所述训练样本数据输入到构建好的所述基于卷积神经网络的舰船目标尺寸估计网络框架Ψ中,计算网络输出层的损失函数loss:
loss=(ytrue-yprediction)2
其中,ytrue为样本舰船的真实尺寸,yprediction为样本舰船目标的估计尺寸;
子步骤3.2,通过反向传播算法和冲量随机梯度下降法对网络进行训练,更新网络中每一层的参数,参数更新公式:
ωi+1=ωi+vi+1
其中,vi为第i次迭代时的速度参数,0.9为冲量参数,0.0005为权值衰减系数,i为迭代次数,ε为学习率,ωi为第i次迭代的权值参数,L为网络输出层的损失函数loss;
子步骤3.3,重复子步骤3.2,反复迭代不断更新参数,直到损失函数Loss收敛,得到训练好的卷积神经网络框架Ψ′。
本发明与现有技术相比具有以下优点:
1)本发明基于卷积神经网络对SAR图像中的舰船目标做尺寸估计,不需要根据SAR图像人工设计提取的特征,大大减少了人力的负担,同时提高了尺寸估计算法的鲁棒性。
2)本发明借鉴特征金字塔网络的思想,融合了SAR图像舰船目标的多尺寸特征,同时将SAR舰船图像的双极化通道图像作为双通道输入网络,利用卷积网络强大的特征提取能力进行双极化通道信息融合,进一步提高了舰船目标尺寸估计的精度。
附图说明
图1为本发明的基于CNN的双极化通道融合舰船目标尺寸估计方法的实现流程图;
图2为本发明中的部分样本的VV通道以及VH通道图像;其中,图2(a)为VH极化通道图像,图2(b)为VV极化通道图像;
图3为本发明构建的基于卷积神经网络的舰船目标尺寸估计网络框架图;
图4为用本发明估计目标尺寸结果与目标真实尺寸的对比可视化结果图;其中,图4(a)是利用本发明得到的目标估计长度与目标真实长度的对比结果;图4(b)是利用本发明得到的目标估计宽度与目标真实宽度的对比结果。
具体实施方式
下面结合附图对本发明的实施方案和效果进行详细说明:
参照图1,本发明的基于CNN的双极化通道融合舰船目标尺寸估计方法的实现步骤如下:
步骤1,获取训练样本和测试样本。
从公开的OpenSARShip数据集中挑选出五类舰船目标作为实验数据集,在实验数据集中随机选取70%为训练样本数据,30%为测试样本数据。每个样本包含了VH、VV两个极化通道的图像以及船舶自动识别系统AIS提供的尺寸真值(长度、宽度)。
图2为本发明中的两个样本的双极化通道图像;图2(a)为VH极化通道图像,图2(b)为VV极化通道图像。由图2可知,VV通道往往具有更高的信噪比,更适于海洋目标检测。相比于VV通道,VH通道较少地受海洋环境影响,对体散射有更好的表现。在不同的环境下,两极化通道信息可以互为补充,充分利用两极化通道信息的优势,可以较好地提高舰船目标尺寸估计精度。
步骤2,构建基于卷积神经网络的舰船目标尺寸估计网络框架Ψ及参数。
具体的,步骤2包含以下子步骤:
子步骤2.1,参照图3,构建基于卷积神经网络的舰船目标尺寸估计网络框架Ψ,具体如下:
1)设置十七层卷积层,即第一层卷积层L1、第二层卷积层L2、第三层卷积层L3、第四层卷积层L4、第五层卷积层L5、第六层卷积层L6、第七层卷积层L7、第八层卷积层L8、第九层卷积层L9、第十层卷积层L10、第十一层卷积层L11、第十二层卷积层L12、第十三层卷积层L13、第十四层卷积层L14、第十五层卷积层L15、第十六层卷积层L16、第十七层卷积层L17;
2)设置一层最大池化层,即第一层最大池化层P1;
3)设置四层全连接层,即第一层全连接层Fc1、第二层全连接层Fc2、第三层全连接层Fc3、第四层全连接层Fc4;
4)将1)的十七层卷积层、2)的一层最大池化层与3)的四层全连接层依次交叉排列,即由第一层卷积层L1、第一层最大池化层P1、第二层卷积层L2、第三层卷积层L3、第四层卷积层L4、第五层卷积层L5、第六层卷积层L6、第七层卷积层L7、第八层卷积层L8、第九层卷积层L9、第十层卷积层L10、第十一层卷积层L11、第十二层卷积层L12、第十三层卷积层L13、第十四层卷积层L14、第十五层卷积层L15、第十六层卷积层L16、第十七层卷积层L17、第一层全连接层Fc1、第二层全连接层Fc2、第三层全连接层Fc3、第四层全连接层Fc4依次串联构成的基于卷积神经网络的舰船目标尺寸估计网络框架Ψ。
子步骤2.2,设置网络框架Ψ的各层参数;
第一层卷积层L1,输入图像数据x1,尺寸大小为128×128×2,其卷积核K1的窗口大小为7×7,滑动步长为2,填充参数P=3,用于对输入数据做卷积运算,输出64个特征图Y1,Y1尺寸大小为64×64×64;
第一层最大池化层P1,输入数据为Y1,填充参数P=1,池化核U1的窗口大小为3×3,滑动步长为2,用于对输入数据做下采样运算,输出特征图Y2的大小为32×32×64;
第二层卷积层L2,输入数据为Y2,其卷积核K2的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出64个特征图Y3,Y3尺寸大小为32×32×64;
第三层卷积层L3,输入数据为Y3,其卷积核K3的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出64个特征图Y4,Y4尺寸大小为32×32×64;
第四层卷积层L4,输入数据为Y2+Y4,即Y2与Y4相对应通道上的特征图中像素值进行相加运算,运算结果作为第四层卷积层L4的输入,其卷积核K4的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出64个特征图Y5,Y5尺寸大小为32×32×64;
第五层卷积层L5,输入数据为Y5,其卷积核K5的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出64个特征图Y6,Y6尺寸大小为32×32×64;
第六层卷积层L6,输入数据为Y4+Y6,即Y4与Y6相对应通道上的特征图中像素值进行相加运算,运算结果作为第六层卷积层L6的输入,其卷积核K6的窗口大小为3×3,滑动步长为2,填充参数P=1,用于对输入数据做卷积运算,输出128个特征图Y7,Y7尺寸大小为16×16×128;
第七层卷积层L7,输入数据为Y7,其卷积核K7的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出128个特征图Y8,Y8尺寸大小为16×16×128;
第八层卷积层L8,输入数据为Y'6+Y8,其中Y'6也就是图3中虚线表示的部分,即Y'6是由Y6经过卷积核大小为1×1,通道数为128,滑动步长为2,填充参数P=0卷积运算之后的输出,尺寸大小为16×16×128;Y'6+Y8即Y'6与Y8相对应通道上的特征图中像素值进行相加运算,运算后的结果作为第八层卷积层L8的输入,其卷积核K8的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出128个特征图Y9,Y9尺寸大小为16×16×128;
第九层卷积层L9,输入数据为Y9,其卷积核K9的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出128个特征图Y10,Y10尺寸大小为16×16×128;
第十层卷积层L10,输入数据为Y8+Y10,即Y8与Y10相对应通道上的特征图中像素值进行相加运算,运算结果作为第十层卷积层L10的输入,其卷积核K10的窗口大小为3×3,滑动步长SL10为2,填充参数P=1,用于对输入数据做卷积运算,输出256个特征图Y11,Y11尺寸大小为8×8×256;
第十一层卷积层L11,输入数据为Y11,其卷积核K11的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出265个特征图Y12,Y12尺寸大小为8×8×256;
第十二层卷积层L12,输入数据为Y'10+Y12,其中Y'10是由Y10经过卷积核大小为1×1,通道数为256,滑动步长为2,填充参数P=0卷积运算之后的输出,尺寸大小为8×8×256;Y'10+Y12即Y'10与Y12相对应通道上的特征图中像素值进行相加运算,运算后的结果作为第第十二层卷积层L12的输入,其卷积核K12的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出256个特征图Y13,Y13尺寸大小为8×8×256;
第十三层卷积层L13,输入数据为Y13,其卷积核K13的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出256个特征图Y14,Y14尺寸大小为8×8×256;
第十四层卷积层L14,输入数据为Y12+Y14,即Y12与Y14相对应通道上的特征图中像素值进行相加运算,运算结果作为第十四层卷积层L14的输入,其卷积核K14的窗口大小为3×3,滑动步长为2,填充参数P=1,用于对输入数据做卷积运算,输出512个特征图Y15,Y15尺寸大小为4×4×512;
第十五层卷积层L15,输入数据为Y15,其卷积核K15的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出512个特征图Y16,Y16尺寸大小为4×4×512;
第十六层卷积层L16,输入数据为Y'14+Y16,其中Y'14是由Y16经过卷积核大小为1×1,通道数为512,滑动步长为2,填充参数P=0卷积运算之后的输出,尺寸大小为4×4×512;Y'14+Y16即Y'14与Y16相对应通道上的特征图中像素值进行相加运算,运算后的结果作为第第十六层卷积层L16的输入,其卷积核K16的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出512个特征图Y17,Y17尺寸大小为4×4×512;
第十七层卷积层L17,输入数据为Y17,其卷积核K17的窗口大小为3×3,滑动步长为1,填充参数P=1,用于对输入数据做卷积运算,输出512个特征图Y18,Y18尺寸大小为4×4×512;
第一层全连接层Fc1,其设有2048个神经元,输入数据为特征融合向量Of,Of是由Y6、Y10、Y14、Y18组成的行向量,即将Y6、Y10、Y14、Y18分别拉成1×65536、1×32768、1×16384、1×8192的行向量,之后进行拼接成Of,Of尺寸是1×122880。通过ReLU激活函数进行非线性映射,输出一个2048维行向量X1作为第二层全连接层的输入;其中ReLU激活函数的数学表达式f(x)为:
f(x)=max(0,x)
上式中,x表示ReLU激活函数的输入值,ReLU激活函数f(x)输出值为x、0中的最大值。
第二层全连接层Fc2,其设有1024个神经元,用于对第一层全连接层Fc1输出的2048维行向量X1通过ReLU激活函数进行非线性映射,输出一个1024维行向量X2,作为第三层全连接层Fc3输入;
第三层全连接层Fc3,其设有256个神经元,用于对第二层全连接层Fc2输出的1024维行向量X2通过ReLU激活函数进行非线性映射,输出一个256维行向量X3,作为输出层的输入;
第四层全连接层Fc4,其设有2个神经元,用于对第三层全连接层Fc3输出的256维行向量X3通过ReLU激活函数进行非线性映射,输出一个2维行向量X4,作为舰船目标尺寸估计的结果。
步骤3,将所述训练样本数据输入到构建好的所述基于卷积神经网络的舰船目标尺寸估计网络框架Ψ中进行训练,得到训练好的卷积神经网络框架Ψ′。
具体的,步骤3包含以下子步骤:
子步骤3.1,将训练样本数据输入到构建好的基于卷积神经网络的舰船目标尺寸估计网络框架Ψ中,计算网络输出层的损失函数loss:
loss=(ytrue-yprediction)2
其中,ytrue为样本舰船的真实尺寸,yprediction为样本舰船目标的估计尺寸。
子步骤3.2,通过反向传播算法和冲量随机梯度下降法对网络进行训练,更新网络中每一层的参数,参数更新公式:
ωi+1=ωi+vi+1
其中,vi为第i次迭代时的速度参数,0.9为冲量参数,0.0005为权值衰减系数,i为迭代次数,ε为学习率,ωi为第i次迭代的权值参数,L为损失函数即网络输出层的损失函数loss。
网络中权值利用均值为0,方差为0.01的高斯分布随机初始化,初始速度v设为0。
子步骤3.3,重复子步骤3.2,反复迭代不断更新参数,直到损失函数Loss收敛,得到训练好的卷积神经网络框架Ψ′。
步骤4,将所述测试样本数据输入到所述训练好的卷积神经网络框架Ψ′中,得到测试样本的尺寸估计结果。
本发明的效果可通过以下实验数据进一步说明:
一.实验条件:
1)实验数据:
实验所用数据为上海交通大学整理的OpenSARShip数据集,数据集可由上海交通大学的OpenSAR平台下载得到,下载网址为https://opensar.sjtu.edu.cn/。实验数据集来自于干涉宽幅IW模式下的VV、VH极化通道,分辨率为20m×20m,像素间距为10m。本实验所用舰船图像的尺寸真值为船舶自动识别系统AIS提供,使用的数据集包含五类舰船目标:油轮Tanker、货船Cargo、散货船Bulk carrier、普通货船General cargo、集装箱船Container。
实验选取的数据集共包含2467个样本共计4934幅目标图像,每个样本包含了VV、VH两个极化通道的图像,图像大小均为128×128,随机选取数据集的70%为训练样本,包含1727个样本共计3454幅目标图像,数据集的30%为测试样本,包含740个样本共计1480幅目标图像。
2)评价准则
为了定性评价本方法在舰船长宽估计中的性能,实验采用了平均绝对误差MAE(Mean Absolute Error)以及平均相对误差MAPE(Mean Absolute Percentage Error)两个指标来反映性能,计算公式如下所示:
上式中,j表示第j个样本,yj表示第j个样本中舰船目标的真实尺寸,y′j表示第j个样本中舰船目标的估计尺寸。
实验一:用本发明方法与现有方法在上述实验数据集上进行对比实验。为了验证本发明的尺寸提取效果,将尺寸提取结果与其它方法进行对比,对比结果如表1所示。
表1本发明方法与现有方法尺寸估计精度对比结果
在表1中,现有方法为基于双极化融合和非线性回归的舰船尺寸估计方法,主要包括图像预处理和非线性回归两个阶段,实验复现的方法与原始方法可能存在细节上的差异。从表1可以看出,利用本发明对舰船目标进行尺寸估计的误差小于现有方法的估计误差,实现了更好的目标尺寸估计性能,且有更高的鲁棒性。
实验二:用本发明方法对上述实验数据进行实验,对目标估计尺寸与目标真实尺寸的对比结果进行可视化,结果如图4所示,其中:
图4(a)是利用本发明得到的目标估计长度与目标真实长度的对比结果;图4(b)是利用本发明得到的目标估计宽度与目标真实宽度的对比结果。从图4可以看出,利用本发明得到的目标尺寸估计值与目标的真实尺寸值存在很高的相关性。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:车辆损伤区域的测量方法和装置