具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案做进一步详细说明。

本发明设计了一种基于全局-局部特征动态对齐的行人重识别方法，通过设计一种简单高效的局部滑动特征对齐(LSA)策略，通过对行人的局部条纹设置滑动窗口，来动态对齐两张行人图像的局部特征。LSA能够有效抑制空间未对准，并且不需要引入额外的监督信息。此外，还设计一种全局-局部动态特征对齐网络(GLDFA-Net)框架，它包含全局和局部两个分支。本发明将LSA引入到GLDFA-Net的局部分支中，用于指导距离度量的计算，可以进一步提高测试阶段的准确度。

一种基于全局-局部特征动态对齐的行人重识别方法，包括训练集数据增强、构建多粒度全局-局部分支特征学习网络、获取粗粒度的全局特征计算全局距离、获取细粒度的局部特征并采用局部滑动对齐(LSA)策略计算行人局部对齐距离、特征融合相似性度量和采用困难样本挖掘三元组损失、中心损失和Softmax交叉熵分类损失联合约束模型的训练。

参考图1，为本发明一种基于全局-局部特征动态对齐的行人重识别方法的具体实施流程图，具体实施步骤如下：

步骤1：挑选行人重识别领域的公开数据集Market-1501，该数据集是在清华大学校园内五个高分辨率和一个低分率摄像设备采集的1501个行人的图像。

对数据集中的训练集进行预处理的具体实施如下：

1)将所有训练和测试的图像大小调整为384×128；

2)参考图2，为通过随机水平翻转、随机擦除、随机裁剪和图像像素值的归一化，随机增加一些遮挡、旋转的样本来增强训练数据。从中可以看出，数据增强后可以增强样本的多样性，一定程度会提高模型的泛化能力和鲁棒性。

步骤2：对基础网络ResNet50模型预处理的具体实施如下：

1)使用ImageNet上预先训练的权重进行ResNet50模型的初始化，预训练的网络有助于实现更好的性能，因为它保留了ImageNet中的一些良好的视觉模式；

2)设置批处理的大小为32，在每个批次中随机选取P个不同身份的样本进行采样，并从训练集中为每个身份随机选取K张图像，在本发明的实验中设置P＝8，K＝4。

3)全局和局部分支的困难样本挖掘三元组损失的权重均设置为0.3；

4)选择Adam作为模型的优化器。训练模型设置Epochs的大小为300，其中学习率在前100个Epochs为3.5×10^-3，在100至200个Epochs之间学习率为3.5×10^-4，在200个Epochs之后学习率下降到3.5×10^-5，权重衰减设置为10^-5；

5)使用了标签平滑(LS)平滑样本的分布，相当于在真实样本分布中加入了噪声，避免模型对于正确标签过于自信，使得预测正负样本的输出值差别不那么大，标签平滑可以让分类之间的聚类更加紧凑，增加类间距离，减少类内距离，从而避免过拟合，提高模型的泛化能力；

6)最后模型是在PyTorch平台上实现的，并使用了一个NVIDIA 2080Ti GPU对模型进行训练。

步骤3：中对残差网络ResNet50改造为基础网络，参照图3，为本发明设计的GLDFA-Net的网络结构。输入图像经过Resnet50骨干网络的堆叠卷积层后，由全局分支(GlobalBranch)和局部分支(Local Branch)共享特征图。对于全局特征，本发明可以直接对特征图做全局平均池化得到。对于局部特征，本发明首先对特征图做水平分区，并通过局部平均池化得到每个水平条带的特征向量。然后，本发明采用LSA计算局部对齐距离，并结合全局距离用于三元组损失的困难样本挖掘。最后，本发明将全局特征和局部特征进行组合作为最终的特征表示，并经过全连接(FC)层和Softmax层以实现图像的分类。

构建全局和局部特征学习分支的具体实施如下：

1)为了让CNN学习到更多判别性的特征，本发明设计了一种新颖的GLDFA-Net框架用于行人Re-ID任务，采用具有竞争性性能和相对简洁体系结构的Resnet50作为骨干网络提取行人的特征图。首先，删除Resnet50的平均池化层和后续层，然后在ResBlock4块之后的部分划分为两个独立的分支，分别将其命名Global Branch和Local Branch；

2)对于全局分支，使用全局平均池化(GMP)将特征图转换为全局特征向量，并使用1x1卷积层批处理归一化和ReLU将2048-dim的特征减小到256-dim；

3)将Resnet50骨干网络的最后一个空间下采样的跨步从2更改为1。当输入384x128大小的图像时，可以得到较大空间尺寸(24x 8)的特征图；

4)对于局部分支，使用水平平均(最大)池化在输出特征图水平方向上均匀分成k个条带，将同一条带中的所有列向量平均为单个列向量l_i(i＝1,2,3,…,k,受PCB的启发，这里k的大小设置为8)，并将l_i的维度减小到256，在这些条带上独立地学习局部特征；

5)在测试阶段，将全局和局部特征缩小到256维，并连接为最终的特征。此外，全局分支和局部分支的每个条带都不会共享权重，即它们对应的三元组损失和分类损失均采用独立的权重约束模型的训练。

步骤4：中学习全局分支行人粗粒度的全局特征，并采用欧式距离计算全局分支的全局距离的具体实施如下：

1)在训练阶段，计算全局距离和局部距离用于三元组损失的度量学习；

2)在推理阶段，本发明使用局部距离计算图像之间的相似度。对于全局距离的计算，分别使用和代表图像A和B的全局特征，因此全局特征的欧式距离可以表示为：

步骤5：中局部分支学习行人细粒度的局部特征，并采用局部滑动对齐(LSA)计算局部分支的局部对齐距离。参考图4为局部滑动对齐(LSA)过程的示意图，本发明对行人划分水平条带，并且从上到下对局部条带设置滑动窗口，参考图5为对局部水平条纹设置滑动窗口的示意图，计算与窗口内的水平条带的最短对齐距离。箭头方向表示匹配的局部特征，实线箭头表示最短对齐距离，虚线表示非最短对齐距离，两张图像的对齐距离为所有局部条带的对齐距离之和。

具体实施如下：

1)本发明提出称为局部滑动对齐(LSA)的动态对齐策略用于计算局部距离。首先，对局部分支的特征图划分水平条纹。分别使用和代表图像A和B的局部特征，其中k为水平池化后的条带数，k的取值为8；

2)然后，对水平条纹设置滑动窗口(其中每个滑动窗口是相互影响和关联的)，对局部分支的水平条纹设置滑动窗口，并设置滑动窗口W的大小为4，滑动窗口的步长s默认设置为1；

3)最后，分别求解滑动窗口中的局部最短对齐距离来获得整个特征图的全局最短对齐距离。D_A和D_B分别为图像A和B采用局部滑动对齐相互匹配的最短距离集合。首先计算图像A或B的局部条纹的最短对齐距离然后将其加入到集合D_A或D_B。最后得到图像A和B的最短对齐距离L^dis。

步骤6：中使用困难样本挖掘三元组损失、中心损失和Softmax交叉熵损失联合作为行人重识别网络的监督器，约束行人重识别模型的训练的具体实施如下：

1)设计分类损失用于模型训练，通常在网络的最后连接一个用于分类的全连接层(Fully Connected Layers,FC)，通过Softmax激活函数将图片的特征向量映射概率空间上。因此，行人Re-ID的多分类的交叉熵损失可以表示为：

上式K代表每个批次训练样本ID类别的数量，q(x_i)表示样本图片x_i的标签，若x_i被识别为y_i，则q(x_i)＝1，否则q(x_i)＝0。p(y_i|x_i)为用Softmax激活函数计算图片x_i预测为类别y_i的概率；

2)设计三元组损失，目的是使类内的样本距离趋于最小，而不同类的样本距离趋于最大，被广泛应用于行人Re-ID的度量学习；

3)为了使模型能够有效挖掘困难样本，引入一种自适应的困难样本挖掘三元组损失，它是基于原始的三元组损失的改进版本。其损失函数可以表示为：

L_triplethard＝[m+w_pd(x_a,x_p)-w_nd(x_a,x_n)]₊

上式x_a为锚定样本，x_p为正样本，x_n为负样本，x_a和x_p图片的行人属于相同的ID，x_a和x_n图片的行人属于不同的ID，m为手动设置的超参数；d(x_a,x_p)表示为锚定样本x_a和正样本x_p之间的距离，同理，d(x_a,x_n)表示为锚定样本x_a和负样本x_n之间的距离，exp(d(x_a,x_p))表示为

通过对模型进行训练，使得在欧式空间内的x_a与x_p的距离比与x_n的距离更近。本发明使用Softmax函数来自适应地为正负样本分别分配权重w_p和w_n。该方法能够自适应地为困难样本分配权重，提高度量学习的鲁棒性；

4)虽然三元组损失能够有效地改善特征的空间分布，但对类内样本约束能力较差。然而，中心损失可以最小化类内样本距离，提高同一类样本的紧凑性。因此，引入中心损失和困难样本挖掘三元组损失联合约束模型训练。中心损失可以表示为：

上式中K代表每个批次训练样本ID类别的数量，y_i为批次训练样本图像i的标签，表示深层特征的类中心。该表达式能够准确反映类内样本的变化，可以加速同一类的样本的收敛；

5)分别计算全局分支和局部分支的困难样本挖掘三元组损失和中心损失。因此，最终的困难样本挖掘三重态损失和中心损失分别可以表示为：

6)将两种分支的特征f^g和f^l连接为最终的特征，可以写成f_final＝[f^g·f^l]，其中[·]表示串联。最后，本发明使用f_final计算多分类交叉熵损失L_id。因此，最终总的损失L_total是三种损失的组合可以表示为：

L_total＝L_id+L'_triplethard+λL'_center

上式中心损失的权重λ设置为0.05。

步骤7：将待查询行人图像作为行人重识别网络模型的输入，分别学习行人的全局特征和局部特征，并将全局特征和局部特征进行融合作为行人最终的特征描述符。然后从候选图库中进行识别，计算查询图片和候选库中所有图片之间的特征欧氏距离，并对距离进行排序，从候选库中识别出与查询图像距离最短的行人作为最终的识别结果。具体实施如下：

由于深度学习机制可以从整个图像中获取主体上的近似响应偏好，因此也可以从较小的局部区域中提取出更细粒度的局部特征显著性。本发明采用不同粒度的全局和局部信息相结合的特征学习策略，定义原始图像只包含一个全局信息的整体分割为最粗情况，并且随着分割数目的增加，局部特征可以更多地集中在每个部分条带中更精细的判别信息，过滤其他条带上的信息。所以将两种分支的特征f^g和f^l连接为最终的特征。

其中全局特征表示为f^g，为在ResNet50基准网络提取特征图经过全局池化得到，包含行人粗粒度的全局特征。

其中局部特征表示为f^l，为在原始图像上等分条带，每个条纹采取局部水平池化得到行人的局部判别性特征，包含行人细粒度的局部特征。最后的局部特征可以表示为f^l＝{l₁,l₂,l₃,…,l_k}，其中k为水平池化后的条带数，通常取值为8。

最终特征可以写成f_final＝[f^g·f^l]，其中[·]表示串联。串联后的最终特征粒度多样性，可以获得更强大的行人特征表示。

最后，将待查询行人图像作为行人重识别网络模型的输入，从候选库中进行检索，计算待查询行人图像与候选库中所有图像之间的最短对齐距离，根据最短对齐距离进行排序，距离最近的查询图库中的图像与待查询行人图像为同一行人的数据。

在本发明中将所有训练和测试的图像大小调整为384×128，使用ImageNet上预先训练的权重进行模型的初始化。在训练阶段，本发明首先对行人图像进行随机水平翻转、随机擦除和归一化来增强训练数据。然后，为了更好地使用困难样本挖掘三元组损失和中心损失训练网络模型，本发明设置批处理的大小为32，在每个批次中随机选取p个不同身份的样本进行采样，并从训练集中为每个身份随机选取4张图像，在本发明中设置p＝8。

全局和局部分支的困难样本挖掘三元组损失的权重均设置为0.3。最后，本发明选择Adam作为模型的优化器，设置Epochs的大小为300，其中学习率在前100个Epochs为3.5×10^-3，在100至200个Epochs之间学习率为3.5×10^-4，在200个Epochs之后学习率下降到3.5×10^-5，权重衰减设置为10^-5。此外，本发明还使用了标签平滑(LS)提高模型的性能。在推理阶段，将全局分支和局部分支的特征向量连接在一起，以生成最终的特征表示。本发明使用开源re-ranking(RK)技术来提高查询结果的准确度。本发明的模型是在PyTorch平台上实现的，并使用了一个NVIDIA 2080Ti GPU，在所有数据集上的实验均共享与上述相同的实验设置。

参考图6为本发明在Market-1501数据集上查询图像的前10排名列表。这些检索到的图像全部来自Gallery集，并且属于不同相机拍摄的图像。第一行行人的姿态或步态变化较大，本发明的方法通过对齐身体躯干部位的不变性特征，依然能够得到全部正确的检索结果。第二行的行人边界检测框出现错误导致容易丢失或者引入大量背景信息，本发明的方法通过动态对齐行人的身体部位，能够有效缓解这种情况。第三行为行人被部分遮挡的检索结果，虽然遮挡区域不仅丢失大量重要信息而且会引入额外的噪声，但本发明的对齐方法依然能够获得较高的检索结果。从检索结果来看，除了第二行最后一个匹配错误外，其余结果均显示出强大的鲁棒性。本发明将这一的结果归因于局部特征动态对齐的影响，这些对齐后的特征能够反映其身份的鲁棒性特征。