发明内容

本发明针对已有实例分割算法得到的掩膜质量欠佳的问题，提出新的损失函数(排序损失和语义一致性约束损失)增加到已有的算法框架中，从而形成一种新的实例分割方法，提升实例分割得到的掩膜质量。

本发明提出一种基于排序与语义一致性约束的实例分割改进方法，下面针对单阶段与两阶段的实例分割框架上的实施方案分别进行介绍。

1.基于两阶段网络的实例分割改进方案

如图3所示，两阶段实例分割算法框架中，第一阶段主要完成的是感兴趣区域的提取，在这里本发明针对子区域的排序选取操作，在原有分类、回归损失的基础上，增加排序损失。针对第二阶段的分割操作，在原有分类、回归、分割损失的基础上，增加语义一致性损失。

2.基于单阶段网络的实例分割改进方案

如图4所示，在单阶段的算法中，在原有分类、回归、分割损失的基础上，将排序损失与语义一致性损失分别加在回归head与分割head上。

1.基础模型介绍

本发明在原始实例分割框架中加入排序损失、语义一致性损失。

下面分别介绍两类算法的代表作Mask-RCNN与Yolact的原始基础模块。

Mask-RCNN基础模块：

特征提取网络Backbone:ResneXt101+FPN为Backbone，使用的预训练权重为resnet101文件，其在ImageNet数据集上进行了预训练。

RPN网络:用于生成region proposals。该层通过softmax判断anchors属于positive或者negative，再利用bounding box regression修正anchors获得精确的ROIs(即子区域)。

全连接层FC：分类操作得到实例标签，回归操作得到实例框。

全卷积网络FCN：掩膜分割操作，得到实例掩膜。

各模块如图5所示：

Yolact基础模块：

特征提取网路Backbone：Resnet101+FPN为Backbone，预训练权重文件仍为resnet101文件。

Protonet网络:为每张图像生成k个原型mask。接在FPN输出的后面，是一个全卷积结构的网络，预测得到一组原型mask。

Prediction Head：回归分类操作，等同于两阶段方法中的子区域提取过程，输出子区域及其分类；同时预测k个线性组合系数，用于对原型Mask进行线性组合操作，对线性组合结果进行Crop操作获得实例掩膜。

子区域排序损失(SRLoss，Subsection Rank Loss)

此约束的核心思想是：依据评分对每个预测框进行非递增排序，鼓励正样本预测框尽可能在负样本预测框之前，这样可以获得较为精准的子区域。

排序损失定义如式(1)：

其中P为正样本集合，正负样本由先验框或锚框anchor与GT Bbox计算交并比后根据阈值(如0.7与0.3，高于0.7的样本归为正样本，低于0.3的样本归为负样本，其余样本不予训练与处理)确定；依据交并比对正负样本由大及小进行排序，排序序号即为r值；依据样本的分类置信度评分由大及小进行排序，排序序号即为sort(r)的值。正样本排序结果越靠前，则SRLoss越小。

子区域语义一致性损失(SSCLoss，Subsection Semantic Consistency Loss)

该损失目的是为了约束掩膜区域内像素的语义一致性：约束子区域内像素的标注类别尽可能少；约束子区域内像素尽可能属于同一类别。前者对分割类别进行计数，当掩膜质量最好，此部分降为最低；后者计算掩膜区域内语义类别正确的像素点数目与掩膜区域内总像素点数目的比值。

记M_i为掩膜区域内标注为第i类的像素点的数目，最终的损失函数形式为：

其中c为总的类别数量，在MS COCO数据集上c＝80,α为超参数。

模型训练与测试

在训练过程中，Mask-RCNN的实际流程如图7所示，矩形框内为功能块名称，折线箭头指向网络损失，新增损失均加粗表示。本发明使用的预训练模型已经在imagenet数据集上进行了训练。

使用标准的标签文件annotation包括[id,image_id,category_id,segmentation,area,bbox,iscrowd],类别标签category_id，掩膜标签segmentation，实例框标签bbox。category_id为类别标签，其中的segmentation为polygon格式数据(以相邻一对数据为实例轮廓边缘点的坐标值)，bbox数据格式为[x₁,y₁,x₂,y₂]。

在第一阶段，损失函数主要是RPN网络训练所得，包括RPN前景与背景分类损失l_{rpn_cls}，真实标签t∈{1，0，-1}，真实标签为0的anchors不参与损失函数的构建，将标签为-1的转换为0进行交叉熵计算；RPN目标框回归损失l_{rpn_reg}，以及本发明所提出的排序损失SRLoss，在本例中记为l_{rpn_rank}。

在第二阶段，损失函数主要是分类损失l_cls、回归损失l_reg、分割损失l_seg，以及本发明所提出的语义一致性损失SSLoss，记为l_sc。

在其中的分类损失、分割损失通常为交叉熵损失，而回归损失常为Smooth_L1损失。它们的一般形式是：

交叉熵损失：

y为真实值，y_i为预测概率值，n为样本个数。

Smooth_L1损失：

y^*为预测值，y为标签,x为两者间差异。

总体训练分为两大部分，首先训练RPN网络部分，需要优化的损失函数L₁如下：

L₁＝l_{rpn_cls}+l_{rpn_reg}+l_{rpn_rank} (5)

ROI区域筛选进入第二阶段后，需要优化的损失函数L₂如下：

L₂＝l_cls+l_reg+l_seg+l_sc (6)

在测试部分，使用Mask预测分支对评分最高的前100个检测框进行处理。为了加快推断效率，网络针对于每个ROI预测K个掩膜图像，但此处只需要使用其中类别概率最大的掩膜图即可，将这个掩膜图像resize回ROI大小，并以设定阈值0.5进行二值化，高于阈值的进行保留，最后分割的掩膜与原图像进行图像级add操作获得最终的实例分割可视化结果。

单阶段实例分割代表算法Yolact增加损失后的网络结构如图8所示，矩形框内为功能块名称，折线箭头指向网络损失，新增损失均加粗表示。使用的预训练模型在imagenet数据集上进行了预训练。网络训练与测试原理基本与前文相似，区别之处是不分阶段直接对所有损失进行优化，下面列出网络的总损失：

L＝l_cls+l_reg+l_seg+l_segm+l_rank+l_sc

其中，l_cls与l_reg为分类损失与回归损失，l_seg为分割损失，l_segm为语义分割损失，排序损失记为l_rank，语义一致性损失记为l_sc都是前面所提到的交叉熵损失L_ce与Smooth_L1损失L_{smooth_l1}除去回归、分类损失外，粗略语义分割损失l_segm(仍为交叉熵形式损失)。