一种基于图像生成技术的垃圾物品图像数据集构建方法
技术领域
本发明涉及一种图像数据集构建方法。特别是涉及一种基于图像生成技术的垃圾物品图像数据集构建方法。
背景技术
随着人工智能与环保产业的不断融合，生活垃圾智慧分拣系统逐渐显露出巨大的应用价值，其中基于深度学习的垃圾物品多目标检测技术是系统的关键感知技术。深度学习依赖大规模数据集，小规模数据集的数据量太少，不能训练出高性能深度学习模型，然而构建大规模数据集却并不容易。
现有的大规模图像数据集(如ImageNet，COCO，Open Image)常采用人工采集图像和人工标注的构建方法(常规方法)。但是，采用常规方法构建垃圾物品多目标检测图像数据集存在两方面问题：1)鉴于垃圾物品的特殊性，人工拍照采集多目标垃圾图像(一张图中有多个垃圾物品)具有较高的卫生健康风险，不适合人工采集；2)人工标注属于极端重复性劳动，费时费力且效率低下，标注人员无法在短时间内完成大规模数据集的标注工作。
发明内容
本发明所要解决的技术问题是，提供一种具有自动标注功能的，基于图像生成技术的垃圾物品图像数据集构建方法。
本发明所采用的技术方案是：一种基于图像生成技术的垃圾物品图像数据集构建方法，包括如下步骤：
1)搜集整理单目标垃圾图像数据集，图像均为分类标注；
2)利用U2-Net模型进行显著性检测，得到单个垃圾物品的mask图像；
3)自动检测mask图像中垃圾物品的bounding box，根据mask图像对单个垃圾物品进行抠图，然后使背景透明化，构成新的单目标垃圾图像数据集(称为Crop数据集，其中图像尺寸即为垃圾物品的bounding box尺寸)；
4)从Crop数据集中随机抽取多张图像，构成待粘贴图像数据集Setcopy：
5)考虑遮盖阈值，将Setcopy中的图像随机粘贴在一张大的纯色背景图上，得到多目标垃圾物品合成图Syni，i表示第i张合成图，同时记录每一个垃圾物品的bounding box和语义分割标注，实现自动标注，该标注符合COCO数据集的标注格式，以便使用；
6)重复步骤4和步骤5生成多张合成图Syni和标注，构成多目标垃圾物品合成图数据集(称为Syn数据集)；
7)在流水线垃圾分拣平台采集少量多目标真实图，将真实图视为目标域，Syni视为源域，用CycleGAN模型进行风格转换，使Syni的风格特征更加接近真实的流水线垃圾分拣场景，得到转换后的Cyci，构成Cyc数据集；
8)对Cyci进行优化处理，对于一张Syni的mask图像，不改变图像整体尺寸，按各垃圾物品的中心点放大各垃圾物品的mask图像，得到Mask′；
9)对Mask′进行均值滤波，得到具有边缘羽化效果的Mask″；
10)利用Mask″抠出Cyci中的指定区域，从而消除Cyci中的“白边”，使过渡更加自然，得到最终合成图(称为Endi)，由Endi构成垃圾物品图像数据集，该数据集含有boundingbox和语义分割标注。
步骤4所述的随机抽取的具体步骤是：通过计算Crop数据集中各个类别的图像数量占图像总数的比例wk，k表示第k个类别。随机选择Setcopy中的类别总数和图像总数，然后按概率Pk＝wk选择待粘贴图像的类别，最后从所选类别中随机抽取图像，同时要保证所选类别中的每一类中至少有1张图像被抽中。这种数据抽取方法考虑了不同类别的数量分布特性，降低了部分图像数量少的类别被反复选中的可能，最终抽取的图像可以更加多样化。
步骤5所述的具体步骤是：从Setcopy中提取一张图片Image0，随机旋转后抠出前景(单个垃圾物品)所在的bounding box区域，背景透明化后得到Image_r0，随机选择粘贴点，将Image_r0粘贴在一张大的纯色背景图上。再从Setcopy中提取另一张图片Imagep，p表示Setcopy中第p张图像，用同样的方法得到Image_rp，若Image_rp和已粘贴到背景图上的所有垃圾物品的IoU小于阈值(比如0.2)，就将其粘贴在背景图上，否则放弃本次粘贴，继续随机选择粘贴坐标，继续尝试粘贴，若尝试5次依然失败就放弃粘贴该图像，继续提取Setcopy中的剩余图像。重复上述过程直到提取完Setcopy中的所有图像，至此生成了一张多目标垃圾物品合成图Syni。可根据需要调整Syni的尺寸，同时自动调整标注。
步骤8所述的按各垃圾物品的中心点放大各垃圾物品的mask图像的的具体步骤是：利用语义分割标注将该Syni的mask图像拆分为多张单个垃圾物品的mask图像(每张图像称为Maskj，j表示Syni中第j个垃圾物品，Maskj的尺寸与Syni相同)。利用bounding box标注计算Maskj中唯一垃圾物品的中心点坐标(xj，yj)，选择缩放比例α＝1.25，将Maskj的图像尺寸放大α倍，计算剪切点坐标：
Oj＝((α-1)xj，(α-1)yj) (1)
其中(xj，yj)是垃圾物品的中心点坐标，α是缩放比例，Oj是放大后的Maskj中的剪切点坐标。以Oj为左上角的剪切点，将放大后的Maskj剪切成与Syni相同尺寸的图像，得到按垃圾物品中心点放大的mask图像(称为Mask′j)，对所有Mask′j求并集得到Mask′。
步骤10所述的消除Cyci中的“白边”的具体步骤是：遍历Mask″的所有像素，若点(x，y)处的灰度值grayxy＝0，则在Endi的点(x，y)处填充纯色背景；若点(x，y)处的灰度值grayxy＞230，则在Endi的点(x，y)处填充Cyci对应位置的RGB值；若0＜grayxy＜230，则根据灰度比例线性叠加Cyci对应位置的RGB值和纯色背景，在Endi的点(x，y)处填充：
其中cxy，exy分别是Cyci，Endi中点(x，y)处的RGB值，b是纯色背景的RGB值，grayxy是Mask″中点(x，y)处的灰度值。
本发明的一种基于图像生成技术的垃圾物品图像数据集构建方法，将繁杂的数据采集和标注过程交给计算机自动完成，可显著提高数据集的构建效率，降低人工成本。本发明具有如下优点：
1)本发明提出的通过U2-Net模型进行显著性检测，再根据mask图像和boundingbox尺寸进行抠图，可以获得单个垃圾物品的bounding box和语义分割标注，使算法高效准确地对Endi中所有垃圾物品进行自动标注，大大降低人工标注成本；
2)本发明提出的多目标图像生成方法，使Syni中垃圾物品的总数量、类别数、遮盖程度可控，位置与旋转角度不可控，兼顾确定性与随机性，较好地解决了多目标图像生成过程的控制问题，同时，该方法能够避免人工拍照采集多目标垃圾物品，可以大大节省人力物力，杜绝卫生健康隐患；
3)本发明提出的通过CycleGAN模型对Syni进行风格转换，将真实场景下垃圾物品的褶皱、脏污、阴影、光线变化等风格特征引入到Syni中，使Syni更加“逼真”，而更加接近真实场景的训练集可以提高目标检测模型的性能，此外，该方法对构建其他领域的图像数据集同样适用，因此在数据集构建领域具有广泛的应用前景；
4)本发明提出的按定点放大mask图像方法，不改变图像尺寸，整个过程只涉及图像的整体放大和裁剪，算法简单高效，此外，该方法对彩色图像同样适用，因此在图像缩放领域具有广泛的应用前景。
附图说明
图1是本发明一种基于图像生成技术的垃圾物品图像数据集构建方法的流程图；
图2是本发明实例中搜集整理的单目标垃圾图像数据集概览图；
图3是本发明实例中的输入图像(单目标垃圾图像)；
图4是本发明实例中对输入图像进行显著性检测的结果图；
图5是本发明实例中Crop数据集的示意图；
图6是本发明实例中Syn数据集的示意图；
图7是本法明实例中在流水线垃圾分拣平台采集的少量多目标真实图；
图8是本发明实例中Cyc数据集的示意图；
图9是本发明实例中的Syni；
图10是本发明实例中的Cyci；
图11是本发明实例中的最终合成图Endi；
图12是本发明实例中Syni的mask图像；
图13是本发明实例中Mask′图像；
图14是本发明实例中Mask″图像；
图15是本发明实例中构建的垃圾物品图像数据集示意图；
图16是本发明实例中构建的垃圾物品图像数据集的bounding box和语义分割标注示意图。
具体实施方式
下面结合实例和附图对本发明的一种基于图像生成技术的垃圾物品图像数据集构建方法做出详细说明。
1)搜集整理单目标垃圾图像数据集，图像均为分类标注，如图2所示；
2)读取如图3所示的单目标垃圾图像，利用U2-Net模型进行显著性检测，得到单个垃圾物品的mask图像，如图4所示；
3)自动检测mask图像中垃圾物品的bounding box，根据mask图像对单个垃圾物品进行抠图，然后使背景透明化，构成新的单目标垃圾图像数据集(称为Crop数据集，其中图像尺寸即为垃圾物品的bounding box尺寸)，如图5所示；
4)从Crop数据集中随机抽取多张图像，构成待粘贴图像数据集Setcopy，具体步骤如下：
计算Crop数据集中各个类别的图像数量占图像总数的比例wk，k表示第k个类别，随机选择Setcopy中的类别总数和图像总数，然后按概率Pk＝wk选择待粘贴图像的类别，最后从所选类别中随机抽取图像，同时要保证所选类别中的每一类中至少有1张图像被抽中。
5)考虑遮盖阈值，将Setcopy中的图像随机粘贴在一张大的纯色背景图上，得到多目标垃圾物品合成图Syni，i表示第i张合成图，同时记录每一个垃圾物品的bounding box和语义分割标注，实现自动标注，该标注符合COCO数据集的标注格式，以便使用，具体步骤如下：
从Setcopy中提取一张图片Image0，随机旋转后抠出前景(单个垃圾物品)所在的bounding box区域，背景透明化后得到Image_r0，随机选择粘贴点，将Image_r0粘贴在一张大的纯色背景图上。再从Setcopy中提取另一张图片Imagep，p表示Setcopy中第p张图像，用同样的方法得到Image_rp，若Image_rp和已粘贴到背景图上的所有垃圾物品的IoU小于阈值(比如0.2)，就将其粘贴在背景图上并记录该垃圾物品的bounding box和语义分割标注，否则放弃本次粘贴，继续随机选择粘贴坐标，继续尝试粘贴，若尝试5次依然失败就放弃粘贴该图像，继续提取Setcopy中的剩余图像。重复上述过程直到提取完Setcopy中的所有图像，至此生成了一张多目标垃圾物品合成图Syni。可根据需要调整Syni的尺寸，同时自动调整标注。
6)重复步骤4和步骤5生成多张合成图Syni和标注，构成多目标垃圾物品合成图数据集(称为Syn数据集)，如图6所示；
7)在流水线垃圾分拣平台采集少量多目标真实图，如图7所示。将真实图视为目标域，Syni视为源域，用CycleGAN模型进行风格转换，使Syni的风格特征更加接近真实的流水线垃圾分拣场景，得到转换后的Cyci，构成Cyc数据集，如图8所示。
由于人力物力的限制，人工采集的真实图数量较少，使CycleGAN出现了一定程度的过拟合，导致Cyci出现了生硬的“白边”，严重降低了合成图的真实性，以下步骤将消除“白边”，使过渡更加自然。
8)对Cyci进行优化处理，对于一张Syni的mask图像，不改变图像整体尺寸，按各垃圾物品的中心点放大各垃圾物品的mask图像，得到Mask′，其具体步骤如下：
对于一张如图9所示的Syni，其mask图像如图12所示，其经过CycleGAN转换后的图像Cyci如图10所示。利用语义分割标注将该Syni的mask图像拆分为多张单个垃圾物品的mask图像(每张图像称为Maskj，j表示Syni中第j个垃圾物品，Maskj的尺寸与Syni相同)。利用bounding box标注计算Maskj中唯一垃圾物品的中心点坐标(xj，yj)，选择缩放比例α＝1.25，将Maskj的图像尺寸放大α倍，计算剪切点坐标：
Oj＝((α-1)xj，(α-1)yj) (1)
其中(xj，yj)是垃圾物品的中心点坐标，α是缩放比例，Oj是放大后的Maskj中的剪切点坐标。以Oj为左上角的剪切点，将放大后的Maskj剪切成与Syni相同尺寸的图像，得到按垃圾物品中心点放大的mask图像(称为Mask′j)，对所有Mask′j求并集得到Mask′，如图13所示。
9)对Mask′进行均值滤波，得到具有边缘羽化效果的Mask″，如图14所示；
10)利用Mask″抠出Cyci中的指定区域，从而消除Cyci中的“白边”，使过渡更加自然，得到最终合成图(称为Endi)，由Endi构成垃圾物品图像数据集，该数据集含有boundingbox和语义分割标注，具体步骤为：
遍历Mask″的所有像素，若点(x，y)处的灰度值grayxy＝0，则在Endi的点(x，y)处填充纯色背景；若点(x，y)处的灰度值grayxy＞230，则在Endi的点(x，y)处填充Cyci对应位置的RGB值；若0＜grayxy＜230，则根据灰度比例线性叠加Cyci对应位置的RGB值和纯色背景，在Endi的点(x，y)处填充：
其中cxy，exy分别是Cyci，Endi中点(x，y)处的RGB值，b是纯色背景的RGB值，grayxy是Mask″中点(x，y)处的灰度值。得到的最终合成图Endi如图11所示。
由Endi构成的垃圾物品图像数据集如图15所示，其bounding box和语义分割标注如图16所示。
