具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的阐述，显然阐述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本申请保护范围。

本申请实施例提供了一种三维人脸识别的生成方法及相关装置，极大程度提升了人脸识别率。

请参阅图1，本申请实施例中三维人脸识别的生成方法一个实施例包括：

101、获取目标人脸的RGB图像以及三维深度图像；

需要说明的是，本申请实施例中，RGB图像是一个MxNx3的彩色像素数组，其中每个彩色像素是一个三值组，这三个值分别对应一个特定空间位置处该RGB图像的红、绿和蓝分量。RGB也可以视为三幅灰度图像形成的“堆叠”，当将它们送到彩色显示器的红、绿、蓝输入端时，会在屏幕上生成一幅彩色图像，按照约定，形成一幅RGB彩色图像的三幅图像称为红色、绿色和蓝色分量图像。而一幅图画如果有(或看起来有)高度、宽度和纵深，那么就可以称之为三维(或3D)图像，或者三维深度图像。

本申请实施例中，要提高人脸识别率，需要同时获取目标人脸的RGB图像和三维深度图像来进行相关计算，以获取最终的RGB-D图像，即目标人脸三维图像。

102、根据所述RGB图像和所述三维深度图像的内外参数计算出旋转平移矩阵，所述旋转平移矩阵可以反映所述RGB图像与所述三维深度图像之间的映射关系；

需要说明的是，本申请实施例中，获取到RGB图像和三维深度图像后，还需要获取从RGB图像映射到三维深度图像的映射关系，或者从三维深度图像映射到RGB图像的映射关系，具体是通过RGB图像和三维深度图像的内外参数计算出旋转平移矩阵，通过该旋转平移矩阵来获取映射关系，该旋转平移矩阵可以反映RGB图像与三维深度图像之间的映射关系。

103、根据所述旋转平移矩阵通过旋转和/或平移得到所述RGB图像和所述三维深度图像的位置关系；

需要说明的是，本申请实施例中，通过旋转平移矩阵映射出来的映射关系进行相应的旋转和/或平移，调整RGB图像和三维深度图像之间的位置关系，此步骤是为了更好的消除RGB图像和三维深度图像之间的位置偏差。

104、将所述RGB图像的颜色通道分解成R、G、B三个独立通道；

105、将所述三维深度图像的坐标通道分解成x、y、z三个独立通道；

需要说明的是，本申请实施例中，为了将获取到的RGB图像和三维深度图像的图像信息输入目标模型进行相关训练，需要将获取到的RGB图像的RGB颜色通道分解成R、G、B三个独立的通道，同时将获取到的三维深度图像的人脸图像信息分解成x,y,z三个独立的通道，需要说明的是，x,y,z在图像中代表的是三维坐标，实际中这三个通道代表的是尺寸等信息，即分别对应长、宽、高三个尺寸。

106、将所述R、G、B三个通道以及所述x、y、z三个通道作为目标模型的六个数据输入通道，所述目标模型是根据多个RGB图像训练样本基于深度神经网络模型训练得到的模型；

需要说明的是，本申请实施例中，通过Concat函数连接R、G、B颜色三通道以及x、y、z深度图坐标通道，将这几个通道作为下一个网络层的输入，即作为事先已训练好的目标模型的数据输入通道。

107、将所述RGB图像以及所述三维深度图像的人脸图像信息通过所述六个数据输入通道输入到所述目标模型中；

本申请实施例中，通过该数据输入通道输入六维信息，在该目标模型中进行训练。

需要说明的是，通常在数值分析领域中，1-5个隐藏层可以解决大多数问题。在处理图像或语音数据时，网络结构会比较复杂，需要上百个神经层。同时训练起来也需要花费很大的算力。因此，可以使用一些预训练的模型，比如YOLO，ResNet，VGG等，将这些网络层的主要部分提取出来，放到自己的网络中，并在其基础之上训练模型。在这种情况下，模型仍然只需要训练后面自己添加的几层即可。

本申请实施例中，设计神经网络和数据，网络层可以使用ResNet5，也可以使用VGG卷积神经网络，还可以使用其他网络结构代替，具体本申请不做限制。

108、通过所述目标模型生成目标人脸三维图像。

需要说明的是，本申请实施例中，通过目标模型进行训练，并计算损失值，根据损失值进行模型调整，最后生成目标人脸三维图像。

本申请实施例中，设计一种三维人脸识别的生成方法，首先获取目标人脸的RGB图像以及三维深度图像，将两者输入至根据多个RGB图像训练样本基于深度神经网络模型训练得到的目标模型中，通过该目标模型进行特征提取和损失值计算，最后生成目标人脸三维图像。该方法极大程度提升了人脸识别率。

上面对三维人脸识别的生成方法进行了一个大概的说明，下面将对三维人脸识别的生成方法进行一个详细的介绍。

请参阅图2，本申请实施例中三维人脸识别的生成方法另一实施例包括：

201、通过RGB相机获取目标人脸的RGB图像；

202、通过三维深度相机获取所述目标人脸的三维深度图像；

需要说明的是，本申请实施例中，分别通过RGB相机和三维深度相机获取同一个人的人脸RGB图像和三维图像。

203、根据所述RGB图像和所述三维深度图像的内外参数计算出旋转平移矩阵，所述旋转平移矩阵可以反映所述RGB图像与所述三维深度图像之间的映射关系；

204、根据所述旋转平移矩阵通过旋转和/或平移得到所述RGB图像和所述三维深度图像的位置关系；

本申请实施例中，步骤203至204与前述步骤102至103类似，此处不再赘述。

205、将旋转和/或平移后的所述RGB图像和所述三维深度图像对齐成相同的尺寸；

需要说明的是，本申请实施例中，为了将RGB图像和三维深度图像更好的融合，还需要将获取到的RGB图像和三维深度图像对齐成相同的尺寸，比如可以采用112*112尺寸，具体尺寸不做限制，只要尺寸一致即可。

206、将所述RGB图像的颜色通道分解成R、G、B三个独立通道；

207、将所述三维深度图像的坐标通道分解成x、y、z三个独立通道；

本申请实施例中，步骤206至207与前述步骤104至105类似，此处不再赘述。

208、获取一组训练样本，所述训练样本包括至少两张人脸的RGB图像；

需要说明的是，一般很难获取那么多人的RGB图像和深度图像，一般是先用RGB信息训练一个初始模型，然后再用RGB-D信息进行微调，从而得到一个比较好的识别模型，因此，本申请先使用开源的ms1m人脸识别数据训练一个输入为RGB的可见光人脸识别模型，再用本申请描述的方式进行重复训练，得到最终的目标模型。

本申请实施例中，先获取一组包含多张人脸的RGB图像作为训练初始模型的训练样本。

209、将所述训练样本输入到初始模型中，所述初始模型为基于深度神经网络所建立的模型；

需要说明的是，本申请实施例中，获取到训练样本后，先后将每一个训练对象(RGB图像)输入到初始模型中，该初始模型是基于深度神经网络(比如ResNet)所建立的模型.

210、通过所述初始模型提取所述训练样本的特征向量；

211、根据所述特征向量进行损失值计算；

本申请实施例中，通过该初始模型的卷积神经网络提取每一训练对象的特征向量，然后全连接层进行扁平化，再送入损失函数实现分类，以获得损失值，需要说明的是，损失函数可以是softmax损失函数，可以是cosface损失函数，还可以是arcface损失函数，也可以是其他损失函数，具体本申请实施例不做限制。

此外，还需要说明的是，高质量的图片提取出来的特征范数大，低质量的图片提取出来的特征范数小，在后向传播的时候，低质量的图片特征会产生更大的梯度，也会获得网络更多的注意力。

212、判断所述损失值是否小于预设值，若是，则执行步骤213；若否，则执行步骤214。

需要说明的是，本申请实施例中，设置一个预设值，通过判断损失值是否小于预设值来确认网络是否收敛，若是损失值小于预设值，则说明网络已收敛，执行步骤213；若损失值大于或者等于预设值，则说明网络未收敛，执行步骤214。

213、将所述初始模型确定为目标模型；

需要说明的是，本申请实施例中，若是损失值小于预设值，则说明网络已收敛，将该初始模型确定为目标模型，并执行步骤215。

214、根据所述损失值调整所述初始模型的参数，并将所述训练样本重新输入更新参数后的初始模型；

需要说明的是，本申请实施例中，若损失值大于或者等于预设值，则说明网络未收敛，根据损失值调整初始模型的参数，并将训练样本重新输入更新参数后的初始模型，重新计算损失值，并判断损失值是否小于预设值，直到损失值小于预设值，此步骤方可结束，进入步骤213。

215、通过concat函数将所述R、G、B三个通道以及所述x、y、z三个通道作为目标模型的六个数据输入通道，所述concat函数用于连接多个通道作为下一个网络层的输入，所述目标模型是根据多个RGB图像训练样本基于深度神经网络模型训练得到的模型；

需要说明的是，本申请实施例中，通过Concat函数连接R、G、B颜色三通道以及x、y、z深度图坐标通道，将这几个通道作为下一个网络层的输入，即作为事先已训练好的目标模型的数据输入通道。

216、将所述六个数据输入通道的输入尺寸调整成和所述RGB图像以及所述三维深度图像的尺寸相同；

需要说明的是，网络数据输入尺寸与步骤205对齐后的RGB图像以及三维深度图像的尺寸保持一致，即为112*112，数据输入为6通道(RGBxyz)，训练时，Batchsize根据实际情况设置，Batchsize大小与网络复杂程度负相关，也即不同网络在相同Batchsize下会占用的显存数量是不同的。比如如果使用的8卡Tesla V100 32G，实际中Batchsize设置成512，即网络输入尺寸为512*6*112*112。

217、将所述RGB图像以及所述三维深度图像的人脸图像信息通过所述六个数据输入通道输入到所述目标模型中；

本申请实施例中，步骤217与前述步骤107类似，此处不再赘述。

218、通过所述目标模型提取所述人脸图像信息的特征向量；

219、根据所述特征向量计算所述目标模型的总损失值；

本申请实施例中，通过该目标模型的卷积神经网络提取每一训练对象的特征向量，然后全连接层进行扁平化，再送入损失函数实现分类，以获得损失值。

需要说明的是，高质量的图片提取出来的特征范数大，低质量的图片提取出来的特征范数小，在后向传播的时候，低质量的图片特征会产生更大的梯度，也会获得网络更多的注意力。

220、判断所述总损失值是否小于预设值；

需要说明的是，本申请实施例中，设置一个预设值，通过判断总损失值是否小于预设值来确认网络是否收敛，若是损失值小于预设值，则说明网络已收敛，执行步骤221；若损失值大于或者等于预设值，则说明网络未收敛，执行步骤222。

需要说明的是，本申请实施例设计损失函数对输入数据和标签进行监督，直到网络收敛，该损失函数可以是softmax、cosface、arcface、asofmax等等损失函数。

此外，选择学习速度非常重要，每当调整网络的其他参数时，都需要重新调整学习率。

为了找到最佳的学习率，可以从一个非常低的值开始，然后将其慢慢乘以一个常数，直到达到一个非常高的值。比如本申请实施例中，在训练时使用的Arcface loss，初始学习率可以设置成0.1，每训练15w次学习率乘以0.1，直到训练50w次为止。

221、通过所述目标模型生成目标人脸三维图像。

需要说明的是，本申请实施例中，若是总损失值小于预设值，则说明网络已收敛，直接通过所述目标模型生成目标人脸三维图像。

222、根据所述总损失值调整所述目标模型的参数，并将所述人脸图像信息重新输入所述更新后的目标模型。

需要说明的是，本申请实施例中，若总损失值大于或者等于预设值，则说明网络未收敛，根据总损失值调整目标模型的参数，并将人脸图像信息重新输入更新后的目标模型，重新计算损失值，并判断损失值是否小于预设值，直到损失值小于预设值，此步骤方可结束，进入步骤221。

本申请实施例中，设计一种基于RGBD相机的三维人脸识别的生成方法，分别通过RGB相机和三维深度相机获取同一个人的人脸RGB图像和三维深度图像，两者一起构成三维人脸信息，再放进事先训练好的目标模型进行训练，生成目标人脸三维图像，整个训练框架基于深度网络完成，简单快速，极大程度提升了人脸识别率。

请参阅图3，本申请实施例中三维人脸识别的生成装置一个实施例包括：

第一获取单元301，用于获取目标人脸的RGB图像以及三维深度图像；

第一计算单元302，用于根据所述RGB图像和所述三维深度图像的内外参数计算出旋转平移矩阵，所述旋转平移矩阵可以反映所述RGB图像与所述三维深度图像之间的映射关系；

旋转平移单元303，用于根据所述旋转平移矩阵通过旋转和/或平移得到所述RGB图像和所述三维深度图像的位置关系；

第一分解单元304，用于将所述RGB图像的颜色通道分解成R、G、B三个独立通道；

第二分解单元305，用于将所述三维深度图像的坐标通道分解成x、y、z三个独立通道；

合成单元306，用于将所述R、G、B三个通道以及所述x、y、z三个通道作为目标模型的六个数据输入通道，所述目标模型是根据多个RGB图像训练样本基于深度神经网络模型训练得到的模型；

第一输入单元307，用于将所述RGB图像以及所述三维深度图像的人脸图像信息通过所述六个数据输入通道输入到所述目标模型中；

生成单元308，用于通过所述目标模型生成目标人脸三维图像。

本申请实施例中，设计一种三维人脸识别的生成方法，首先通过第一获取单元301获取目标人脸的RGB图像以及三维深度图像，再通过第一输入单元307将两者输入至根据多个RGB图像训练样本基于深度神经网络模型训练得到的目标模型中，通过该目标模型进行特征提取和损失值计算，最后通过生成单元308生成目标人脸三维图像。该方法极大程度提升了人脸识别率。

上面对三维人脸识别的生成装置的各单元功能进行一个大概的描述，下面将对三维人脸识别的生成装置的各单元功能进行一个详细的描述。

请参阅图4，本申请实施例中，三维人脸识别的生成装置另一实施例包括：

第一获取单元401，用于获取目标人脸的RGB图像以及三维深度图像；

第一计算单元402，用于根据所述RGB图像和所述三维深度图像的内外参数计算出旋转平移矩阵，所述旋转平移矩阵可以反映所述RGB图像与所述三维深度图像之间的映射关系；

旋转平移单元403，用于根据所述旋转平移矩阵通过旋转和/或平移得到所述RGB图像和所述三维深度图像的位置关系；

第一分解单元404，用于将所述RGB图像的颜色通道分解成R、G、B三个独立通道；

第二分解单元405，用于将所述三维深度图像的坐标通道分解成x、y、z三个独立通道；

第二获取单元406，用于获取一组训练样本，所述训练样本包括至少两张人脸的RGB图像；

第二输入单元407，用于将所述训练样本输入到初始模型中，所述初始模型为基于深度神经网络所建立的模型；

第二计算单元408，用于通过所述初始模型计算所述训练样本的损失值；

判断单元409，用于判断所述损失值是否小于预设值；

确定单元410，用于在判断单元409判断所述损失值小于预设值之后，将所述初始模型确定为目标模型；

调整单元411，用于在判断单元409判断所述损失值大于或等于预设值之后，根据所述损失值调整所述初始模型的参数，并将所述训练样本重新输入更新参数后的初始模型。

合成单元412，用于将所述R、G、B三个通道以及所述x、y、z三个通道作为目标模型的六个数据输入通道，所述目标模型是根据多个RGB图像训练样本基于深度神经网络模型训练得到的模型；

第一输入单元413，用于将所述RGB图像以及所述三维深度图像的人脸图像信息通过所述六个数据输入通道输入到所述目标模型中；

生成单元414，用于通过所述目标模型生成目标人脸三维图像。

本申请实施例中，各单元模块的功能与前述图1至图2中所示实施例中的步骤对应，此处不再赘述。

请参阅图5，本申请实施例中三维人脸识别的生成装置另一实施例包括：

处理器501、存储器502、输入输出单元503以及总线504；

处理器501与存储器502、输入输出单元503以及总线504相连；

处理器501执行如下操作：

获取目标人脸的RGB图像以及三维深度图像；

根据所述RGB图像和所述三维深度图像的内外参数计算出旋转平移矩阵，所述旋转平移矩阵可以反映所述RGB图像与所述三维深度图像之间的映射关系；

根据所述旋转平移矩阵通过旋转和/或平移得到所述RGB图像和所述三维深度图像的位置关系；

将所述RGB图像的颜色通道分解成R、G、B三个独立通道；

将所述三维深度图像的坐标通道分解成x、y、z三个独立通道；

将所述R、G、B三个通道以及所述x、y、z三个通道作为目标模型的六个数据输入通道，所述目标模型是根据多个RGB图像训练样本基于深度神经网络模型训练得到的模型；

将所述RGB图像以及所述三维深度图像的人脸图像信息通过所述六个数据输入通道输入到所述目标模型中；

通过所述目标模型生成目标人脸三维图像。

本实施例中，处理器501的功能与前述图1至图2所示实施例中的步骤对应，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。