基于多特征图层融合的人脸图像还原方法、系统及终端
技术领域
本发明涉及图像处理
技术领域
，更具体地说，它涉及基于多特征图层融合的人脸图像还原方法、系统及终端。背景技术
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。图像融合广泛应用于医学、遥感、计算机视觉、气象预报及目标识别等方面。
目前，对于人脸图像的融合技术大部分基于单一的轮廓融合、梯度灰度直方图融合、RGB值融合，通过上述单一的融合方式或结合上述两者融合方式，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率。然而，受自然光、图像采集补光以及人脸微动作变化影响，即使是连续采集的人脸图像信息仍会在面部轮廓、RGB值、灰度值上存在较大的细节差异，而现有的人脸图像融合过程并未考虑到此细节差异、RGB值和灰度值对识别轮廓的影响以及RGB值与灰度值之间的融合影响，从而导致人脸图像融合后无法较高精度的还原成真实的人脸图像。
因此，如何研究设计一种基于多特征图层融合的人脸图像还原方法、系统及终端是我们目前急需解决的问题。
发明内容
为解决现有技术中的不足，本发明的目的是提供基于多特征图层融合的人脸图像还原方法、系统及终端，为人脸图像融合还原呈高精度的真实人脸图像提供了技术支撑。
本发明的上述技术目的是通过以下技术方案得以实现的：
第一方面，提供了基于多特征图层融合的人脸图像还原方法，包括以下步骤：
获取至少两个原始人脸图像，并对所有的原始人脸图像进行空间配准后得到统一视角下的目标人脸图像；
提取不同目标人脸图像的原始轮廓图层、原始灰度图层、原始RGB图层；
将所有的原始轮廓图层融合得到还原轮廓图层；
将所有的原始灰度图层融合得到融合灰度图层，并依据还原轮廓图层从融合灰度图层中截取得到还原灰度图层；
将所有的原始RGB图层融合得到与还原灰度图层对应的还原RGB图层；
将还原灰度图层、还原RGB图层重叠在还原轮廓图层后，得到还原图像。
进一步的，所述原始轮廓图层融合得到还原轮廓图层的过程具体为：
提取各个原始轮廓图层中不同五官部位的轮廓曲线，并将同一五官部位对应的所有轮廓曲线以同一中心重叠，得到集成线轮廓；
筛选出集成线轮廓中所有的非集成重叠为单一轮廓线的分散轮廓段，剩余为集成轮廓段；
选取分散轮廓段中离散值最小所对应的分散轮廓线作为基准轮廓线，并计算所有剩余分散轮廓线的统一节点相对于基准轮廓线的基准节点的偏离均值；
根据偏离均值确定统一节点所对应的集成节点，将所有的集成节点拟合形成集成轮廓线；
将所有的集成轮廓线嵌入集成轮廓段中对应位置得到同一五官部位的还原轮廓曲线，并将不同五官部位的还原轮廓曲线融合后得到还原轮廓图层。
进一步的，所述基准轮廓线的选取过程具体为：
选取其中一个分散轮廓线作为当前分散轮廓线；
依据剩余分散轮廓线计算得到的离散值为当前分散轮廓线对应的离散值；
将所有分散轮廓线对应的离散值对比，选取离散值最小的分散轮廓线作为基准轮廓线。
进一步的，所述统一节点、基准节点的形成过程具体为：
以集成线轮廓的重叠中心为原点作标定射线；
选取标定射线与剩余分散轮廓线的交点为对应剩余分散轮廓线的统一节点；
选取同一标定射线与基准轮廓线的交点为基准节点。
进一步的，所述偏离均值的计算过程具体为：
其中，表示偏离均值；dn表示第n个统一节点与基准节点的距离；εn表示第n个统一节点的偏离系数，且ε1、ε2…εn呈递增或递减变化；n表示统一节点的数量。
进一步的，所述原始灰度图层融合得到融合灰度图层的过程具体为：
根据标准灰度级差从原始灰度图层中提取得到灰度梯度图；
提取灰度梯度图中心至边缘各个方向的梯度灰度直方图；
对所有原始灰度图层中同一方向的梯度灰度直方图进行均值计算，得到均值直方图；
依据均值直方图中各个梯度的灰度值拟合得到对应方向的灰度变化曲线；
根据灰度变化曲线对相应方向的灰度值进行灰度均衡化处理，得到融合灰度图层。
进一步的，所述原始RGB图层融合得到还原RGB图层的过程具体为：
根据同一目标人脸图像中的原始RGB图层、原始灰度图层提取同一像素点的RGB-灰度数据对，所有目标人脸图像中同一像素点的RGB-灰度数据对形成RGB-灰度数据组；
根据所有像素点的RGB-灰度数据组训练得到RGB值与灰度值的映射关系；
根据映射关系和还原灰度图层进行RGB值还原后得到还原RGB图层。
进一步的，所述RGB值与灰度值的映射关系通过深度学习神经网络训练得到，深度学习神经网络包括：
输入层，用于提取同一目标人脸图像中各个像素点的RGB值、灰度值后形成多个数据对，并将所有目标人脸图像中同像素点的数据对集成得到数据组；
第一隐藏层，用于对各个数据组中的RGB值与灰度值进行训练，得到表征各个数据组中RGB值与灰度值之间关系的映射子函数；
第二隐藏层，用于依据函数类型对各个映射子函数进行分类后得到多个函数组，并提取同类型函数组中各个映射子函数的函数系数后得到系数集，以及根据系数集中各个像素点的坐标值、对应系数集中的系数元素训练得到表征各个映射子函数轨迹分布的轨迹函数；
输出层，用于将所有的轨迹函数和函数类型集成后得到表征RGB值与灰度值映射关系的映射网络。
第二方面，提供了基于多特征图层融合的人脸图像还原系统，包括：
图像处理模块，用于获取至少两个原始人脸图像，并对所有的原始人脸图像进行空间配准后得到统一视角下的目标人脸图像；
图层提取模块，用于提取不同目标人脸图像的原始轮廓图层、原始灰度图层、原始RGB图层；
轮廓融合模块，用于将所有的原始轮廓图层融合得到还原轮廓图层；
灰度融合模块，用于将所有的原始灰度图层融合得到融合灰度图层，并依据还原轮廓图层从融合灰度图层中截取得到还原灰度图层；
RGB融合模块，用于将所有的原始RGB图层融合得到与还原灰度图层对应的还原RGB图层；
还原融合模块，用于将还原灰度图层、还原RGB图层重叠在还原轮廓图层后，得到还原图像。
第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于多特征图层融合的人脸图像还原方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明创造性的从目标人脸图像中提取原始轮廓图层、原始灰度图层、原始RGB图层，实现对多个目标人脸图像中轮廓、灰度值、RGB值的独立融合，即有效克服了不同信道采集图像自身带来的误差，同时克服了光线、面部微动作对图像融合带来的误差，使得将多个目标人脸图像融合后能够更加清晰、精准的还原真实图像；
2、本发明对原始轮廓图层进行融合的过程中，通过同一中心重叠能够增强轮廓重叠的重合度，且通过选取基准轮廓线的方式将最为边缘化的轮廓过滤，最后通过计算得到的偏离均值确定集成节点，使得融合得到的集成轮廓线更加逼近真实轮廓；
3、本发明通过对梯度灰度直方图进行均值计算以及拟合得到灰度变化曲线，有效消除了受反光、背光、采集时间间隔影响而导致灰度值存在跳跃分布的情况，使得融合后的灰度值能够自然，同时依据还原轮廓图层进行修剪或填补处理，避免了边缘处灰度重叠而呈现较为明显的后期处理痕迹；
4、本发明通过深度学习神经网络训练得到的映射关系对RGB值进行填充，使得填充后的RGB值与灰度值之间的呈现效果与原始的效果相匹配。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明实施例中的整体流程图；
图2是本发明实施例中还原轮廓图层的融合流程图；
图3是本发明实施例中基准轮廓线的选取示意图；
图4是本发明实施例中统一节点、基准节点的形成示意图；
图5是本发明实施例中的系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例：基于多特征图层融合的人脸图像还原方法，如图1所示，包括以下步骤：
S1：获取至少两个原始人脸图像，并对所有的原始人脸图像进行空间配准后得到统一视角下的目标人脸图像；
S2：提取不同目标人脸图像的原始轮廓图层、原始灰度图层、原始RGB图层；
S3：将所有的原始轮廓图层融合得到还原轮廓图层；
S4：将所有的原始灰度图层融合得到融合灰度图层，并依据还原轮廓图层从融合灰度图层中截取得到还原灰度图层；
S5：将所有的原始RGB图层融合得到与还原灰度图层对应的还原RGB图层；
S6：将还原灰度图层、还原RGB图层重叠在还原轮廓图层后，得到还原图像。
需要说明的是，人脸图像还原过程中原始人脸图像的采集不限于同一采集设备，且原始人脸图像可以是多个，但一般不超过6个。另外，统一视角处理即为对原始人脸图像进行空间域变换处理。
如图2所示，原始轮廓图层融合得到还原轮廓图层的过程具体为：
S301：提取各个原始轮廓图层中不同五官部位的轮廓曲线，并将同一五官部位对应的所有轮廓曲线以同一中心重叠，得到集成线轮廓；
S302：筛选出集成线轮廓中所有的非集成重叠为单一轮廓线的分散轮廓段，剩余为集成轮廓段；
S303：选取分散轮廓段中离散值最小所对应的分散轮廓线作为基准轮廓线，并计算所有剩余分散轮廓线的统一节点相对于基准轮廓线的基准节点的偏离均值；
S304：根据偏离均值确定统一节点所对应的集成节点，将所有的集成节点拟合形成集成轮廓线；
S305：将所有的集成轮廓线嵌入集成轮廓段中对应位置得到同一五官部位的还原轮廓曲线，并将不同五官部位的还原轮廓曲线融合后得到还原轮廓图层。
需要说明的是，单一轮廓线并非仅限于同轨迹、无间距的重合线，还可以是通过相识度识别、间距差值进行占比权重计算后，将计算结果与预设阈值对比筛选后得到的轮廓线。
如图3所示，基准轮廓线的选取过程具体为：
S3031：选取其中一个分散轮廓线作为当前分散轮廓线；
S3032：依据剩余分散轮廓线计算得到的离散值为当前分散轮廓线对应的离散值；
S3033：将所有分散轮廓线对应的离散值对比，选取离散值最小的分散轮廓线作为基准轮廓线。
以选取的分散轮廓线数量为5的局部分散轮廓段为例，其中心点为O，5个分散轮廓线分别为A、B、C、D、E。经过计算，分散轮廓线A所对应的离散值为0.82，分散轮廓线B所对应的离散值为0.84，分散轮廓线C所对应的离散值为0.88，分散轮廓线D所对应的离散值为0.83，分散轮廓线E所对应的离散值为0.79。其中，分散轮廓线E所对应的离散值最小，所以选取分散轮廓线E作为基准轮廓线。
如图4所示，统一节点、基准节点的形成过程具体为：
S3034：以集成线轮廓的重叠中心为原点作标定射线；
S3035：选取标定射线与剩余分散轮廓线的交点为对应剩余分散轮廓线的统一节点，如图中的a、b、c、d点所示；
S3036：选取同一标定射线与基准轮廓线的交点为基准节点，如图中的e点所示。
偏离均值的计算过程具体为：
其中，表示偏离均值；dn表示第n个统一节点与基准节点的距离；εn表示第n个统一节点的偏离系数，且ε1、ε2…εn呈递增或递减变化；n表示统一节点的数量。
原始灰度图层融合得到融合灰度图层的过程具体为：
S401：根据标准灰度级差从原始灰度图层中提取得到灰度梯度图；
S402：提取灰度梯度图中心至边缘各个方向的梯度灰度直方图；
S403：对所有原始灰度图层中同一方向的梯度灰度直方图进行均值计算，得到均值直方图；
S404：依据均值直方图中各个梯度的灰度值拟合得到对应方向的灰度变化曲线；
S405：根据灰度变化曲线对相应方向的灰度值进行灰度均衡化处理，得到融合灰度图层。
原始RGB图层融合得到还原RGB图层的过程具体为：
S501：根据同一目标人脸图像中的原始RGB图层、原始灰度图层提取同一像素点的RGB-灰度数据对，所有目标人脸图像中同一像素点的RGB-灰度数据对形成RGB-灰度数据组；
S502：根据所有像素点的RGB-灰度数据组训练得到RGB值与灰度值的映射关系；
S503：根据映射关系和还原灰度图层进行RGB值还原后得到还原RGB图层。
在本实施例中，RGB值与灰度值的映射关系通过深度学习神经网络训练得到。深度学习神经网络包括输入层、第一隐藏层、第二隐藏层、输出层。
其中，输入层：提取同一目标人脸图像中各个像素点的RGB值、灰度值后形成多个数据对，并将所有目标人脸图像中同像素点的数据对集成得到数据组。
第一隐藏层：对各个数据组中的RGB值与灰度值进行训练，得到表征各个数据组中RGB值与灰度值之间关系的映射子函数。
第二隐藏层：用于依据函数类型对各个映射子函数进行分类后得到多个函数组，并提取同类型函数组中各个映射子函数的函数系数后得到系数集，以及根据系数集中各个像素点的坐标值、对应系数集中的系数元素训练得到表征各个映射子函数轨迹分布的轨迹函数。
输出层：将所有的轨迹函数和函数类型集成后得到表征RGB值与灰度值映射关系的映射网络。
通过深度学习神经网络训练得到的映射关系对RGB值进行填充，使得填充后的RGB值与灰度值之间的呈现效果与原始的效果精准匹配。
实施例2：基于多特征图层融合的人脸图像还原系统，如图5所示，包括图像处理模块、图层提取模块、轮廓融合模块、灰度融合模块、RGB融合模块以及还原融合模块。
其中，图像处理模块，用于获取至少两个原始人脸图像，并对所有的原始人脸图像进行空间配准后得到统一视角下的目标人脸图像。图层提取模块，用于提取不同目标人脸图像的原始轮廓图层、原始灰度图层、原始RGB图层。轮廓融合模块，用于将所有的原始轮廓图层融合得到还原轮廓图层。灰度融合模块，用于将所有的原始灰度图层融合得到融合灰度图层，并依据还原轮廓图层从融合灰度图层中截取得到还原灰度图层。RGB融合模块，用于将所有的原始RGB图层融合得到与还原灰度图层对应的还原RGB图层。还原融合模块，用于将还原灰度图层、还原RGB图层重叠在还原轮廓图层后，得到还原图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：柱塞泵故障信号时频图降噪增强方法和系统
