标签构建方法及相关装置

文档序号:8341 发布日期:2021-09-17 浏览:30次 英文

标签构建方法及相关装置

技术领域

本申请属于图像识别

技术领域

,具体涉及一种标签构建方法及相关装置。

背景技术

现有技术中所采用的图像优选方法大部分注重图像的质量评价,忽略了目标的完整程度;而在视频结构化领域,图像中目标足够完整往往是属性准确识别的前提,完整性评价在大多数图像优选方案中有所欠缺。其次在完整性评分环节,往往是由神经网络直接输出目标的完整性评分,而对于完整性分数标签的构建往往是人工按照某一套标准主观标定的,不能准确反映出目标实际完整性程度,进而对于后续属性识别和行人重识别任务准确率有影响。例如,如图1中所示,图1为人体上半身完整性变化示意图。人体上半身的遮挡程度在连续多帧图像内会不断变化,而这种细微变化对应的分数标签通过人工定义标准往往很难给出。

发明内容

本申请提供一种标签构建方法及相关装置,以避免人工定义标签的介入。

为解决上述技术问题,本申请采用的一个技术方案是:提供一种标签构建方法,包括:获得训练集,其中,所述训练集中包含多个训练图像,且每个所述训练图像中均包含特定目标;对每个所述训练图像中的所述特定目标进行身体部位划分,以获得多个所述身体部位的局部图像;利用每个所述训练图像的所有所述身体部位的局部图像获得对应的所述训练图像的特征;利用每个所述训练图像的特征获得所述训练图像相对于多个参考图像的相似度,其中,每个所述参考图像中均包含所述特定目标;根据与每个所述训练图像对应的多个所述相似度设置所述训练图像的标签。

其中,所述对每个所述训练图像中的所述特定目标进行身体部位划分,以获得多个所述身体部位的局部图像的步骤,包括:获得每个所述训练图像中所述特定目标的多个人体部位关键点;根据所述多个人体部位关键点获得多个所述身体部位的局部图像;其中,每个所述身体部位的局部图像中包含多个人体部位关键点。

其中,所述根据所述多个人体部位关键点获得多个所述身体部位的局部图像的步骤,包括:获得属于当前所述身体部位的多个所述人体部位关键点,并将其最小外接距形所对应的图像作为当前所述身体部位的局部图像。

其中,所述并将其最小外接距形所对应的图像作为当前所述身体部位的局部图像的步骤之前,还包括:判断当前所述身体部位的所有所述人体部位关键点是否全部被检测出,且每个所述人体部位关键点的置信度大于或等于阈值;若是,则直接进入所述并将其最小外接距形所对应的图像作为当前所述身体部位的局部图像的步骤;否则,利用已有的数据更新当前所述身体部位中未检测出或者检测出但置信度小于所述阈值的人体部位关键点,进入所述并将其最小外接距形所对应的图像作为当前所述身体部位的局部图像的步骤。

其中,所述多个人体部位关键点包括:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝;所述身体部位包括上半身、身体中部和下半身;其中,所述上半身的局部图像包括头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰和右腰;所述身体中部的局部图像包括左腰、右腰、左膝和右膝;所述下半身的局部图像包括左膝、右膝、左脚踝和右脚踝。

其中,所述利用每个所述训练图像的所有所述身体部位的局部图像获得对应的所述训练图像的特征的步骤,包括:对所有所述身体部位的局部图像进行特征提取;将每个所述训练图像的所有所述身体部位的局部图像进行一维特征向量拼接,以获得对应的所述训练图像的特征。

其中,所述利用每个所述训练图像的所有所述身体部位的局部图像提取对应的所述训练图像的特征的步骤,包括:对所有所述身体部位的局部图像以及特定目标整体图像进行特征提取;将每个所述训练图像的所有所述身体部位的特征以及特定目标整体特征进行一维特征向量拼接,以获得对应的所述训练图像的特征。

其中,所述利用每个所述训练图像的特征获得所述训练图像相对于多个参考图像的相似度的步骤之前,包括:将所述训练集中符合预设条件的所述训练图像作为所述参考图像;其中,所述预设条件包括以下至少一种:所述训练图像中所述特定目标的轮廓清晰度超过第一预设值、所述训练图像的质量超过第二预设值、所述训练图像中所述特定目标的身体部位完整、所述训练图像中仅包含所述特定目标。

其中,所述利用每个所述训练图像的特征获得所述训练图像相对于多个参考图像的相似度的步骤,包括:针对每个所述训练图像,获得所述训练图像的特征与每个所述参考图像的特征之间的相似度;其中,当所述训练图像与所述参考图像为同一图像时,所述相似度为0;当所述训练图像与所述参考图像为不同图像时,所述相似度为余弦相似度。

其中,所述针对每个所述训练图像,获得所述训练图像的特征与每个所述参考图像的特征之间的相似度的步骤,包括:将所有所述参考图像的特征排成一列以形成第一矩阵,并将所有所述训练图像的特征排成一行以形成第二矩阵;利用所述第一矩阵和所述第二矩阵获得相似度矩阵,其中,所述参考图像与所述训练图像为同一图像时,其在所述相似度矩阵中的值为0;所述参考图像与所述训练图像为不同图像时,其在所述相似度矩阵中的值为所述参考图像的特征与所述训练图像的特征的余弦相似度。

其中,所述根据与每个所述训练图像对应的多个所述相似度设置所述训练图像的标签的步骤,包括:针对每个所述训练图像,将与所述训练图像对应的多个所述相似度中的最大值作为其标签。

为解决上述技术问题,本申请采用的另一个技术方案是:提供一种标签构建装置,包括:处理器和存储器,其中,所述处理器与所述存储器耦接,用于实现上述任一实施例中所述的标签构建方法。

为解决上述技术问题,本申请采用的另一个技术方案是:提供一种具有存储功能的装置,其上存储有程序数据,所述程序数据能够被处理器执行以实现上述任一实施例中所述的标签构建方法。

区别于现有技术情况,本申请的有益效果是:本申请所提供的标签构建方法中会对训练图像中的特定目标的身体部位进行划分,并根据所有身体部位的局部图像获得该训练图像的特征;之后通过计算训练图像与参考图像的特征之间的相似度进行标签设置。本申请所提供的方式能够减少人工标注的介入,可以更为客观的反应出目标实际完整程度,其鲁棒性更强,且更加能够适用于下游算法模型。此外,该方式可以降低大量训练图像的标注过程所需要的时间,提高效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:

图1为人体上半身完整性变化示意图;

图2为本申请标签构建方法一实施方式的流程示意图;

图3为多个训练图像一实施方式的示意图;

图4为图2中步骤S102对应的一实施方式的流程示意图;

图5a为训练图像一实施方式的示意图;

图5b为图5a中的训练图像经过人体关键点检测模型后一实施方式的示意图;

图5c为图5a中上半身局部图像一实施方式的示意图;

图5d为图5a中身体中部局部图像一实施方式的示意图;

图5e为图5a中下半身局部图像一实施方式的示意图;

图6为图4中步骤S202对应的一实施方式的流程示意图;

图7为本申请标签构建框架一实施方式的结构示意图;

图8为本申请标签构建装置一实施方式的结构示意图;

图9为本申请具有存储功能的装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。

请参阅图2,图2为本申请标签构建方法一实施方式的流程示意图,该标签构建方法具体包括:

S101:获得训练集,其中,训练集中包含多个训练图像,且每个训练图像中均包含特定目标。

具体地,在本实施例中,该训练集中的多个训练图像可以为来自于同一个视频流中的包含特定目标的序列。且每个训练图像中除了包含特定目标之外,还可以包含其他同类或者非同类目标。可选地,该特定目标为人;上述训练集中可以包含该特定目标的正面、侧面或背面的图像。

例如,如图3所示,图3为多个训练图像一实施方式的示意图。当特定目标为图3中低头看书的行人时,该训练图像中可以仅包含该特定目标、或者包含特定目标以及非特定目标等。

S102:对每个训练图像中的特定目标进行身体部位划分,以获得多个身体部位的局部图像。

具体地,请参阅图4,图4为图2中步骤S102对应的一实施方式的流程示意图。上述步骤S102具体包括:

S201:获得每个训练图像中特定目标的多个人体部位关键点。

具体地,在本实施例中,可以采用现有的人体关键点检测模型以获得每个训练图像中特定目标的所有人体部位关键点。可选地,通过上述步骤S201可以获得以下14个人体部位关键点:头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝。

S202:根据多个人体部位关键点获得多个身体部位的局部图像;其中,每个身体部位的局部图像中包含多个人体部位关键点。

具体地,在本实施例中,实现上述步骤S202的过程可以为:获得属于当前身体部位的多个人体部位关键点,并将其最小外接距形所对应的图像作为当前身体部位的局部图像。上述利用最小外接矩形的方式可以很好地过滤掉特定目标以外的非特定目标。当然,在其他实施例中,也可将多个人体部位关键点的最小外接圆等所对应的图像作为当前身体部位的局部图像。

可选地,多个身体部位可以包括上半身、身体中部和下半身。上半身的局部图像包括头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰和右腰;身体中部的局部图像包括左腰、右腰、左膝和右膝;下半身的局部图像包括左膝、右膝、左脚踝和右脚踝。

如图5a-5b所示,图5a为训练图像一实施方式的示意图,图5b为图5a中的训练图像经过人体关键点检测模型后一实施方式的示意图。通过人体关键点检测模型可以检测出该训练图像中所包含的上述提及的14个人体部位关键点;然后根据预设规则对当前特定目标进行身体部位划分,划分结果如图5b中矩形框所示;最后输出各个身体部位的局部图像分别如图5c、5d和5e所示;其中,图5c为图5a中上半身局部图像一实施方式的示意图,图5d为图5a中身体中部局部图像一实施方式的示意图,图5e为图5a中下半身局部图像一实施方式的示意图。

当然,在某些情况下,训练图像中所包含的特定目标可能不清晰,这可能导致利用人体关键点检测模型检测不出全部的人体部位关键点、或者检测出的人体部位关键点的置信度低于阈值。此时,请参阅图6,图6为图4中步骤S202对应的一实施方式的流程示意图。上述步骤S202具体包括:

S301:获得属于当前身体部位的多个人体部位关键点。

S302:判断当前身体部位的所有人体部位关键点是否全部被检测出,且每个人体部位关键点的置信度大于或等于阈值。

例如,当当前身体部位为上半身时,则判断头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰和右腰的人体部位关键点是否全部被检测出,且上述每个人体部位关键点的置信度大于或等于阈值;具体阈值的大小可根据实际需求进行设定。

当当前身体部位为身体中部时,则判断左腰、右腰、左膝和右膝的人体部位关键点是否全部被检测出,且上述每个人体部位关键点的置信度大于或等于阈值;具体阈值的大小可根据实际需求进行设定。

当当前身体部位为下半身时,则判断左膝、右膝、左脚踝和右脚踝的人体部位关键点是否全部被检测出,且上述每个人体部位关键点的置信度大于或等于阈值;具体阈值的大小可根据实际需求进行设定。

若是,则直接进入步骤S303:将多个人体部分关键点的最小外接距形所对应的图像作为当前身体部位的局部图像。

否则,进入步骤S304:利用已有的数据更新当前身体部位中未检测出或者检测出但置信度小于阈值的人体部位关键点;之后再进入步骤S303。

具体地,对于当前身体部位中未检测出或者检测出但置信度小于阈值的人体部位关键点而言,上述步骤S304中已有的数据可以是其他训练图像中已经被检测出且置信度大于或等于阈值的同一人体部位关键点的数据集合,可以利用已有的数据集合获得当前身体部位中该人体部位关键点的位置。例如,可以将已有的数据集合的平均位置作为当前身体部位中该人体部位关键点的位置。又例如,特定目标在当前训练集中是有运动轨迹的,可以利用已有的数据集合获得该人体部位关键点的运动轨迹,利用该运动轨迹获得当前身体部位中该人体部位关键点的位置。

当然,在其他实施例中,当当前身体部位有部分人体部位关键点未检测出,或者部分人体部位关键点的置信度小于阈值时,还可利用已有的数据直接获得当前身体部位的区域。上述已有的数据可以是已经被正确检测并识别出的其他训练图像中的同一身体部位的区域,并将已有的多个同一身体部位的区域的均值作为当前身体部位的区域。

S103:利用每个训练图像的所有身体部位的局部图像获得对应的训练图像的特征。

具体地,上述步骤S103的具体实现过程可以为:A、对所有身体部位的局部图像进行特征提取;例如,可以采用现有的行人重识别reid模型作为特征提取器对局部图像进行特征提取。B、将每个训练图像的所有身体部位的特征进行一维特征向量拼接,以获得对应的训练图像的特征。

例如,训练集可以表示为Φg={Iq1,Iq2,...,Iqm,Ig1,Ig2,...,Ign};对于其中某个训练图像Igk,其对应的上半身局部图像、身体中部局部图像和下半身局部图像分别为Igku,Igkm和Igkd。通过reid模型作为特征提取器对上述局部图像进行特征提取以获得上半身、身体中部和下半身的特征,分别记为fgku,fgkm和fgkd。上述训练图像的特征其中,表示对一维特征向量进行拼接。对于一般的行人重识别任务或者视频结构化任务往往更加关心人体身体部位的特征,而图像中人体目标以外的其他内容往往会对后续识别分类造成干扰。通过上述特征拼接的方式可以忽略图像中人体目标以外的内容。

当然,在其他实施例中,上述步骤S103的具体实现过程也可为:A、对所有身体部位的局部图像以及特定目标整体图像进行特征提取;上述特定目标整体图像可以通过传统的图像识别的方式从训练图像中获得。具体特征提取的方式与上述实施例中类似,在此不再赘述。B、将每个训练图像的所有身体部位的特征以及特定目标的整体特征进行一维特征向量拼接,以获得对应的训练图像的特征。

例如,假设上半身特征、身体中部特征、下半身特征、特定目标的整体特征分别记为fgku,fgkm、fgkd、fgkp。上述训练图像的特征其中,表示对一维特征向量进行拼接。通过上述特征拼接的方式可以忽略图像中人体目标以外的内容。

S104:利用每个训练图像的特征获得训练图像相对于多个参考图像的相似度,其中,每个参考图像中均包含特定目标。

具体地,在本实施例中,在上述步骤S104之前,还需要选定出多个参考图像;其中,该多个参考图像可以从该训练集中选定,具体选定过程如下:将训练集中符合预设条件的训练图像作为参考图像;其中,预设条件包括以下至少一种:训练图像中特定目标的轮廓清晰度超过第一预设值、训练图像的质量超过第二预设值、训练图像中特定目标的身体部位完整、训练图像中仅包含特定目标。由于参考图像是训练集中的图像,因此后续无需再获得参考图像的特征,以降低计算量。当然,在其他实施例中,该多个参考图像也可以是当前训练集以外的符合预设条件的图像。

进一步,上述步骤S104的具体实现过程可以为:针对每个训练图像,获得训练图像的特征与每个参考图像的特征之间的相似度;其中,当训练图像与参考图像为同一图像时,相似度为0;当训练图像与参考图像为不同图像时,相似度为余弦相似度。

例如,假设训练集图像特征集合Fg={fq1,fq2,...,fqm,fg1,fg2,...,fgn},参考集图像特征集合Fq={fq1,fq2,...,fqm};训练集中每个训练图像与每个参考图像的相似度计算公式如下所示:

可选地,为了计算过程的简便,可以直接引入矩阵计算的方式;例如,可以先将所有参考图像的特征排成一列以形成第一矩阵,并将所有训练图像的特征排成一行以形成第二矩阵;利用第一矩阵和第二矩阵获得相似度矩阵,其中,参考图像与训练图像为同一图像时,其在相似度矩阵中的值为0;参考图像与训练图像为不同图像时,其在相似度矩阵中的值为参考图像的特征与训练图像的特征的余弦相似度。

例如,假设训练集图像特征集合Fg={fq1,fq2,...,fqm,fg1,fg2,...,fgn},参考集图像特征集合Fq={fq1,fq2,...,fqm},通过矩阵乘法两两相似度计算可以得到如下m行n列的相似度矩阵:

其中,上述相似度矩阵中每一列表示同一个训练图像与不同参考图像两两计算分别获得的相似度。

S105:根据与每个训练图像对应的多个相似度设置训练图像的标签。

具体地,在本实施例中,上述步骤S105的具体实现过程可以为:针对每个训练图像,将与训练图像对应的多个相似度中的最大值作为其标签。可选地,当获得如上述步骤S104中所示的相似度矩阵时,可以直接获得每一列的最大值。该设置标签的方式较为简单、准确。

总而言之,本申请所提供的标签构建方法中会对训练图像中的特定目标的身体部位进行划分,并根据所有身体部位的局部图像获得该训练图像的特征;之后通过计算训练图像与参考图像的特征之间的相似度进行标签设置。本申请所提供的方式能够减少人工标注的介入,可以更为客观的反应出目标实际完整程度,其鲁棒性更强,且更加能够适用于下游算法模型。此外,该方式可以降低大量训练图像的标注过程所需要的时间,提高效率。

请参阅图7,图7为本申请标签构建框架一实施方式的结构示意图,该标签构建框架包括第一获得模块10、划分模块12、第二获得模块14、第三获得模块16和设置模块18。其中,第一获得模块10具体用于获得训练集,其中,该训练集中包含多个训练图像,且每个训练图像中均包含特定目标。划分模块12与第一获得模块10耦接,具体用于对每个训练图像中的特定目标进行身体部位划分,以获得多个身体部位的局部图像。第二获得模块14与划分模块12耦接,具体用于利用每个训练图像的所有身体部位的局部图像获得对应的训练图像的特征。第三获得模块16与第二获得模块14耦接,具体用于利用每个训练图像的特征获得训练图像相对于多个参考图像的相似度,其中,每个参考图像中均包含特定目标。设置模块18与第三获得模块16耦接,具体用于根据与每个训练图像对应的多个相似度设置训练图像的标签。

请参阅图8,图8为本申请标签构建装置一实施方式的结构示意图。该标签构建装置包括相互耦接的处理器20和存储器22,用于相互配合以实现上述任一实施例中所述的标签构建方法。在本实施例中,处理器20还可以称为CPU(Central Processing Unit,中央处理单元)。处理器20可能是一种集成电路芯片,具有信号的处理能力。处理器20还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

此外,本申请所提供的标签构建装置还可包括其他结构,例如,常见的显示屏、通信电路等,本申请对此不作过多说明。

请参阅图9,图9为本申请具有存储功能的装置一实施方式的结构示意图。该具有存储功能的装置30上存储有程序数据300,程序数据300能够被处理器执行以实现上述任一实施例中所述的标签构建方法。其中,该程序数据300可以以软件产品的形式存储在上述存储装置中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。

以上仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本申请的专利保护范围内。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:基于增强型特征金字塔的双极化SAR小型船只检测方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!