待处理图像的优化方法及装置、存储介质及电子设备
技术领域
本公开涉及图像处理
技术领域
,具体而言,涉及一种待处理图像的优化方法及装置、计算机可读存储介质及电子设备。背景技术
当拍摄照片时,若画面中出现人脸,人脸在整个拍摄中关注度是最高的。相对于背景区域而言,人脸区域的瑕疵会被放大,尤其是模糊不清的人脸,难以被用户接受。
相关技术中,基于深度学习的去模糊方法在效果上已经全面超越传统去模糊算法。但是,基于深度学习的去模糊方法计算量大,算法时延较长且功耗较高。
需要说明的是,在上述
背景技术
部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种待处理图像的优化方法、待处理图像的优化装置、计算机可读介质和电子设备,在一定程度上克服了基于深度学习的去模糊方法计算量大,而导致算法时延较长且功耗较高的问题。
根据本公开的第一方面,提供一种待处理图像的优化方法,所述待处理图像包括至少一个人脸,包括:
从所述待处理图像中提取各所述人脸对应的参考人脸图像,并确定各所述参考人脸图像的尺寸;
获取多个图像优化模型,并确定各所述图像优化模型对应的输入图像尺寸;
根据所述参考人脸图像的尺寸和所述输入图像尺寸为各所述参考人脸图像匹配对应的图像优化模型;
利用所述图像优化模型对每一个所述参考人脸图像进行优化处理得到目标人脸图像,并基于所述目标人脸图像得到所述待处理图像对应的优化图像。
根据本公开的第二方面,提供一种待处理图像的优化装置,包括:
图像获取模块,用于提取所述待处理图像中各所述人脸对应的参考人脸图像,并确定各所述参考人脸图像的参考人脸图像的尺寸;
模型获取模块,用于获取多个图像优化模型,并确定各所述图像优化模型输入图像的输入图像尺寸;
模型匹配模块,用于根据所述参考人脸图像的尺寸和所述输入图像尺寸为各所述参考人脸图像匹配对应的图像优化模型;
图像优化模型,用于利用所述图像优化模型对每一个所述参考人脸图像进行优化处理得到目标人脸图像,并基于所述目标人脸图像得到所述待处理图像对应的优化图像。
根据本公开的第三方面,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面,提供一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。
本公开的实施例所提供的待处理图像的优化方法,从待处理图像中提取各人脸对应的参考人脸图像,并确定各参考人脸图像的尺寸;获取多个的图像优化模型,并确定各图像优化模型对应的输入图像尺寸;根据参考人脸图像的尺寸和输入图像尺寸为各参考人脸图像匹配对应的图像优化模型;利用图像优化模型对每一个参考人脸图像进行优化处理得到目标人脸图像,并基于目标人脸图像得到待处理图像对应的优化图像。相较于现有技术,一方面,针对提取出的不同尺寸的参考人脸图像采用不同的图像优化模型进行处理,可以提升对图像优化的精度,另一方面,可以同时由多个图像优化模型同时对多张参考人脸图像进行优化处理,增加了图像的优化速率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图;
图2示出了可以应用本公开实施例的一种电子设备的示意图;
图3示意性示出相关技术中的对待处理图像的优化优化方法;
图4示意性示出本公开示例性实施例中一种待处理图像的优化方法的流程图;
图5示意性示出本公开示例性实施例中一种利用初始图像和损失值得到目标人脸图像的示意图;
图6示意性示出本公开示例性实施例中对待处理图像进行去模糊处理的流程图;
图7示意性示出本公开示例性实施例中待处理图像的优化装置的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种待处理图像的优化方法及装置的示例性应用环境的系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的待处理图像的优化方法一般由终端设备101、102、103中执行,相应地,待处理图像的优化装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是,本公开实施例所提供的待处理图像的优化方法也可以由服务器105执行,相应的,待处理图像的优化装置也可以设置于服务器105中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,可以是用户通过终端设备101、102、103包括的用于从待处理图像中提取各所述人脸对应的参考人脸图像,然后将参考人脸图像上传至服务器105,服务器通过本公开实施例所提供的待处理图像的优化方法对待处理图像优化后,将优化图像传输给终端设备101、102、103等。
本公开的示例性实施方式提供一种用于实现待处理图像的优化方法的电子设备,其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行待处理图像的优化方法。
下面以图2中的移动终端200为例,对电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。在另一些实施方式中,移动终端200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出,并不构成对移动终端200的结构限定。在另一些实施方式中,移动终端200也可以采用与图2不同的接口连接方式,或多种接口连接方式的组合。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus,USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令:检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令,并由处理器210来控制执行。
充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中,天线1和天线2用于发射和接收电磁波信号;移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案;调制解调处理器可以包括调制器和解调器;无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络)、蓝牙(Bluetooth,BT)等无线通信的解决方案。在一些实施例中,移动终端200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏290和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中,ISP用于处理摄像模组291反馈的数据;摄像模组291用于捕获静态图像或视频;数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号;视频编解码器用于对数字视频压缩或解压缩,移动终端200还可以支持一种或多种视频编解码器。
外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
深度传感器2801用于获取景物的深度信息。在一些实施例中,深度传感器可以设置于摄像模组291。
压力传感器2802用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中,可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。
此外,还可以根据实际需要在传感器模块280中设置其他功能的传感器,例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
移动终端200中还可包括其它提供辅助功能的设备。例如,按键294包括开机键,音量键等,用户可以通过按键输入,产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如,指示器292、马达293、SIM卡接口295等。
在相关技术中,由于运动带来的人脸模糊最为常见,其次是对焦问题引起的人脸虚焦模糊,或是多人场景下前后人脸位置超出相机景深限制而引起的虚焦模糊。相关技术中解决对模糊图像进行优化功耗较大,计算量较大时,通常采用的方法是模型小型化,就是让模型跑的更快,或者对于动则处理2k或4k甚至更高分辨率的图片而言,考虑到内存和带宽限制,通常会将图片切块处理,块的大小适配AI模型输入大小。
参照图3所示,在进行图像优化时,可以首先确定人脸检测框301、然后根据人脸检测框301确定人脸扩框302,然后在待处理图像中确定出待处理的人脸图像303,并对待处理的图像及进行分块,最后由模型对人脸图像303进行处理,由于模型输出图像304的尺寸大于人脸图像303的尺寸,在处理过程中需要对人脸图像进行边缘平滑处理。相关技术中的人脸分块处理方案从一定程度上提升了AI去模糊算法的执行效率,但是当画面中存在多张人脸,同时位置分布比较分散时,此分块方法效率会变差,甚至接近于全图分块处理的时间。基于人脸区域分块失去意义。
下面对本公开示例性实施方式的待处理图像的优化方法和待处理图像的优化装置进行具体说明。
图4示出了本示例性实施方式中一种待处理图像的优化方法的流程,本公开提供一种待处理图像的优化方法,其中,待处理图像包括至少一个人脸,待处理图像的优化方法可以包括以下步骤:
步骤S410,从所述待处理图像中提取各所述人脸对应的参考人脸图像,并确定各所述参考人脸图像的尺寸;
步骤S420,获取多个图像优化模型,并确定各所述图像优化模型对应的输入图像尺寸;
步骤S430,根据所述参考人脸图像的尺寸和所述输入图像尺寸为各所述参考人脸图像匹配对应的图像优化模型;
步骤S440,利用所述图像优化模型对每一个所述参考人脸图像进行优化处理得到目标人脸图像,并基于所述目标人脸图像得到所述待处理图像对应的优化图像。
相较于现有技术,一方面,针对提取出的不同尺寸的参考人脸图像采用不同的模型进行处理,可以提升对图像优化的精度,另一方面,可以同时由多个模型同时对多张参考人脸图像进行优化处理,增加了图像的优化速率。
下面对上述各个步骤进行详细说明。
在步骤S410中,从所述待处理图像中提取各所述人脸对应的参考人脸图像,并确定各所述参考人脸图像的尺寸。
在本公开的一种示例实施方式中,可以首先获取待处理图像,其中,待处理图像中可以包括至少一张人脸,可以从待处理图像中提取与所述人脸对应的参考人脸图像,并确定各个参考人脸图像的尺寸。
在本示例实施方式中,上述待处理图像可以但不限于:获取待监测区域内的监控视频,通过对监控视频进行逐帧处理得到多张图像;或由工作人员直接上传包含有人脸的图像作为待识别图像。
在本示例实施方式中,可以使用人脸图像提取模型来实现对参考人脸图像的提取,具体而言,可以将上述待处理图像输入至预训练的人脸图像提取模型得到上述待处理图像中的所有人脸对应的参考人脸图像。
其中,在获取上述人脸图像提取模型时,可以首先配置一输入为具有多张人脸的图像,输入出为图像中各个人脸分别对应的人脸图像的第一初始模型,然后从数据库中提取多张具有多个人脸的训练图像,并人工从上述训练图像中筛选出各个人脸对应的人脸图像,利用训练图像和对应的人脸图对上述第一初始模型进行训练得到上述人脸图像提取模型。
其中,上述人脸图像提取模型可以Retinaface检测网络(其是基于目标检测算法(one-stage)的人脸检测网络),具体而言,Retinaface检测网络提取出待识别图像的图像特征后,会经过特征金字塔网络((Feature Pyramid Networks,FPN)和SSH(singlestageheadless)网络进一步提取更为精细的人脸特征,然后通过检测预测人脸框和人脸特征点坐标,从而根据人脸特征点坐标和人脸框从待识别图像中提取出人脸图像。
需要说明的是,从待处理图像中提取参考人脸图像的方案包括多种,只要能够完成对待处理图像中的参考人脸图像的提取即可,在本示例实施方式中不做具体限定。
在本示例实施方式中,在提取到各参考人脸图像之后,可以确定各个参考人脸图像的尺寸。
在步骤S420,获取多个图像优化模型,并确定各所述图像优化模型对应的输入图像尺寸。
在本公开的一种示例实施方式中,可以从数据库中获取多个图像优化模型,并获取各个图像优化模型的输入图像尺寸,其中,图像优化模型可以是用于对待处理图像进行去模糊的模型,也可以是对待处理图像中的人脸进行美颜、瘦脸等模型,在本示例实施方式中不做具体限定。
在本示例实施方式中,上述多个图像优化模型的输入图像的尺寸各不相同,以使得上述多个模型可以同时对不同尺寸的待处理图像进行优化处理。
数据库中的多个图像优化模型均是通过训练得到的,在训练时,可以实现配置一个输入为待优化图像输出为优化后图像的第二初始模型,然后从数据获取多张待优化图像以及待优化图像相互对应的优化后图像作为训练数据,利用训练数据对上述第二初始模型进行训练得到上述图像优化模型。
在步骤S430中,根据所述参考人脸图像的尺寸和所述输入图像尺寸为各所述参考人脸图像匹配对应的图像优化模型。
在本公开的一种示例实施方式中,在获取到上述参考人脸的图像以及上述输入图像的尺寸之后,可以根据参考人脸图像的尺寸和上述个图像优化模型的输入图像的尺寸为各参考人脸图像匹配对应的图像优化模型。
具体而言,可以针对其中每一个参考人脸图像执行如下的操作,具体而言,可以首先获取参考人脸图像的尺寸和各图像优化模型的输入图像的尺寸之间的映射关系,然后根据映射关系为上述参考人脸图像匹配图像优化模型。
在本示例实施方式中,上述映射关系可以包括参考人脸图像的尺寸与输入图像尺寸之间的差值,可以首先获取各差值的绝对值,将差值的绝对值的输入图像尺寸对应的图像优化模型分配给上述参考人脸图像。
在本公开的另一种示例实施方式中,上述映射关系还可以包括参考人脸图像的尺寸与输入图像尺寸之间的比值,可以首先确定一预设比例范围,将落入上述预设比例范围内的比值对应的输入图像尺寸的图像优化模型分配给上述参考人脸图像。
在步骤S440中,利用所述图像优化模型对每一个所述参考人脸图像进行优化处理得到目标人脸图像,并基于所述目标人脸图像得到所述待处理图像对应的优化图像。
在本示例实施方式中,优化处理可以包括去参考人脸图像进行去模糊处理,或者对上述参考人脸图像进行美颜、瘦脸等,相应的,上述图像优化模型可以是去模糊模型、美颜模型以及瘦脸模型等,在本示例实施方式中不做具体限定。
在本公开的一种示例实施方式中,可以针对每一个参考人脸图像执行如下操作。具体而言,确定参考人脸图像的尺寸与对应的图像优化模型的输入图像尺寸的大小,若参考人脸图像的尺寸小于输入图像尺寸,则在上述待处理图像中截取与输入图像尺寸相同的初始人脸图像,其中,初始人脸图像包含参考人脸图像;具体而言,以上述参考人脸图像为中心截取初始人脸图像,其中上述初始人脸图像中包括上述参考人脸图像将初始人脸图像输入至图像优化模型得到目标人脸图像。
在本公开的一种示例实施方式中,若参考人脸图像的尺寸大于输入图像尺寸,则对参考人脸图像进行下采样得到输入图像尺寸相同尺寸的初始人脸图像;将初始人脸图像输入至图像优化模型进行优化,并对优化后的初始人脸图像进行上采样得到目标人脸图像。其中,在并对优化后的初始人脸图像进行上采样得到目标人脸图像是,可以首先获取下采样过程中初始人脸图像与参考人脸图像之间的损失量;然后,可以基于损失量对优化后的初始人脸图像进行上采样得到目标人脸图像。
具体而言,参照图5所示,可以采用拉普拉斯金字塔就是记录图片在下采样过程中的损失量502,然后根据下采样过程中的损失量502利用拉普拉斯金字塔补偿的方式得到上述目标人脸图像。能够提升对待处理图像的优化精度。即对初始人脸图像501进行上采样之后,将损失量与上采样后的图像相加得到目标人脸图像503。
在本示例实施方式中,获取下采样的损失量的方式不局限于上述拉普拉斯金字塔补偿的方式,还可以根据用户需求进行自定义,在本示例实施方式中不做具体限定。
在本示例实施方式中,在得到上述目标人脸图像之后,可以基于所述目标人脸图像得到所述待处理图像对应的优化图像,具体而言,用上述目标人脸图像替换待处理图像中的参考人脸图像对应的区域得到替换后图像,然后可以对上述替换后图像进行平滑处理,完成对上述待处理图像的优化处理,得到优化图像。
需要说明的是,上述平滑处理可以采用多种方式,例如,均值滤波平滑处理、中值滤波平滑处理、高斯滤波平滑处理等,在本示例实施方式中不做具体限定。
在本公开的一种示例实施方式中,上述待处理图像的优化方法还可以包括根据各输入图像尺寸中的最小值,确定一最小允许尺寸;若参考人脸图像的尺寸小于最小允许尺寸,则将参考人脸图像的尺寸对应的参考人脸图像删除。
举例而言,若上述输入图像尺寸中的最小值为A,可以将上述最小允许尺寸设置为A/2、A/3、A/4等,也可以根据用户的需求进行自定义,在本示例实施方式中不做具体限定。将小于最小允许尺寸的图像删除利于过滤掉非重要小人脸,提升对待处理图像的优化速度
在本公开的一种示例实施方式中,上述待处理图像的优化方法还可以包括根据各输入图像尺寸中的最大值,确定一最大允许尺寸;若参考人脸图像的尺寸大于做大允许尺寸,则将参考人脸图像的尺寸对应的参考人脸图像划分为多个新的参考人脸图像;根据新的参考人脸图像的尺寸与多个图像优化模型的输入图像的尺寸,确定新的参考人脸图像对应的图像优化模型。
举例而言,若上述输入图像尺寸中的最小值为B,可以将上述最小允许尺寸设置为2B、3B、4B等,也可以根据用户的需求进行自定义,在本示例实施方式中不做具体限定。对过大尺寸的图像进行分块能够使提升对待处理图像处理的精度。
在本公开的一种示例实施方式中,上述待处理图像的优化方法还可以包括针对每一个参考人脸图像执行如下操作。具体而言,确定与参考人脸图像对应图像优化模型的最大极限尺寸;若参考人脸图像的尺寸大于做大允许尺寸,则将参考人脸图像的尺寸对应的参考人脸图像划分为多个新的参考人脸图像;根据新的参考人脸图像的尺寸与多个图像优化模型的输入图像的尺寸,确定新的参考人脸图像对应的图像优化模型。
举例而言,可以根据各图像优化模型的输入图像尺寸确定个所述参考人脸图像的最大极限尺寸;具体而言,若与参考人脸图像对应的图像优化模型的输入图像尺寸为C,可以将上述最大极限尺寸设置为2C、3C、4C等,也可以根据用户的需求进行自定义,在本示例实施方式中不做具体限定。对过大尺寸的图像进行分块能够使提升对待处理图像处理的精度。
在本示例实施方式中,参照图6所示,以上述图像优化模型为图像去模糊模型为例,上述图像优化模型的模型数量为三个为例对上上述待处理图像的优化方法进行说明。
在本示例实施方式中,参照图6所示,可以首先执行步骤S601,在提取参考人脸图像,即从待处理图像中提取多个参考人脸图像。由于人脸尺寸变化大,可以设定一个最小允许尺寸,然后执行步骤S602,过滤尺寸小于最小允许尺寸的图像,即将尺寸小于最小允许尺寸的参考人脸图像删除,过滤掉非重要小人脸。然后可以执行步骤S603、为参考人脸图像匹配去模糊模型。
然后可以执行步骤S604、步骤S605以及步骤S606,在本示例实施方式中包括三个去模糊模型,将与第一去模糊模型匹配的参考人脸图像输入至第一去模糊模型入口,将与第二去模糊模型匹配的参考人脸图像输入至第二去模糊模型入口,将与第三去模糊模型匹配的参考人脸图像输入至第三去模糊模型入口。即依据每张人脸的尺寸,判断其与哪一个个去模糊模型的输入尺寸最为相近,则放进对应去模糊模型的处理队列里面。
在本示例实施方式中,在完成对模型的分配后,可以执行步骤S608,判断参考人脸图像尺寸是否大于模型输入尺寸,当参考人脸图像尺寸小于等于模型输入尺寸时,则可以执行步骤S611,截取包括参考人脸图像的初始人脸图像,具体可以为直接以参考人脸图像尺寸为中心裁剪出与模型尺寸大小的相同的初始人脸图像然后执行步骤S612,去模糊模型进行去模糊处理,送入对应模型处理。最后执行步骤S613和步骤S614,根据初始人脸图像获取目标人脸图像,然后用上述目标人脸图像替换待处理图像中的参考人脸图像对应的区域。当参考人脸图像尺寸大于模型输入尺寸时,则可以执行步骤S609和步骤S610,依据拉普拉斯金字塔保留损失量,并对参考人脸图像下采样获取初始人脸图像,然后执行步骤S612,利用去模糊模型进行去模糊处理,最后执行步骤S613和步骤S614,根据初始人脸图像获取目标人脸图像,然后用上述目标人脸图像替换待处理图像中的参考人脸图像对应的区域,并进行平滑处理。平滑处理的方式上述已经进行了详细说明,因此,此处不再赘述。
在本示例实施方式中,还可以执行步骤S607,对较大的参考人脸图像进行分块,分块之后再次执行步骤S603。具体而言,确定与参考人脸图像对应的去模糊模型的最大允许尺寸,若上述参考人脸图像的尺寸大于上述最大允许尺寸,则对上述参考人脸图像进行分块处理,再按照上述流程,重新处理。
综上所述,本示例性实施方式中,利用具有不同输入尺寸的图像优化模型对从上述待处理图像中提取出来的不同尺寸的参考人脸图像进行优化处理,有针对性的对人参考人脸图像进行优化处理,能够提升对待处理图像的优化精度;且多个图像优化模型可以同时工作,提升了对待处理图像优化的速度。
需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
进一步的,参考图7所示,本示例的实施方式中还提供一种待处理图像的优化装置700,包括图像获取模块710、模型获取模块720、模型匹配模块730以及图像优化模块740。其中:
图像获取模块710可以用于从待处理图像中提取各人脸对应的参考人脸图像,并确定各参考人脸图像的尺寸。
模型获取模块720可以用于获取多个预训练的图像优化模型,并确定各图像优化模型对应的输入图像尺寸。
模型匹配模块730可以用于根据参考人脸图像的尺寸和输入图像尺寸为各参考人脸图像匹配对应的图像优化模型。
在本示例实施方式中,模型匹配模块730具体可以针对参考人脸图像执行以下操作。具体而言,获取参考人脸图像的尺寸与各输入图像尺寸之间的映射关系;根据映射关系为参考人脸图像匹配图像优化模型。其中,上述映射关系包括参考人脸图像的尺寸与各输入图像尺寸之间的差值;或映射关系包括参考人脸图像的尺寸与各输入图像尺寸之间的差值的比值。
图像优化模块740可以用于利用图像优化模型对每一个参考人脸图像进行优化处理得到目标人脸图像,并基于目标人脸图像得到待处理图像对应的优化图像。
在本公开的一种示例实施方式中,图像优化模块740具体可以针对每一个参考人脸图像执行如下操作,确定参考人脸图像的尺寸与对应的图像优化模型的输入图像尺寸的大小;若参考人脸图像的尺寸小于输入图像尺寸,则截取与输入图像尺寸相同的初始人脸图像,其中,初始人脸图像包含参考人脸图像;将初始人脸图像输入至匹配图像优化模型得到目标人脸图像。若参考人脸图像的尺寸大于输入图像尺寸,则对参考人脸图像进行下采样得到输入图像尺寸相同尺寸的初始人脸图像;将初始人脸图像输入至匹配图像优化模型进行优化,并对优化后的初始人脸图像进行上采样得到目标人脸图像。其中,在对优化后的初始人脸图像进行上采样得到目标人脸图像时,可以首先获取下采样过程中初始人脸图像与参考人脸图像之间的损失量;基于损失量优化后的初始人脸图像进行上采样得到目标人脸图像。
在本公开的一种示例实施方式中,上述待处理图像的优化装置700还可以包括图像筛选模块和图像分块筛选模块,其中,图像筛选模块可以用于根据各输入图像尺寸中的最小值,确定一最小允许尺寸;若参考人脸图像的尺寸小于最小允许尺寸,则将参考人脸图像的尺寸对应的参考人脸图像删除。
图像分块模块可以用于根据各输入图像尺寸中的最大值,确定一最大允许尺寸;若参考人脸图像的尺寸大于做大允许尺寸,则将参考人脸图像的尺寸对应的参考人脸图像划分为多个新的参考人脸图像;根据新的参考人脸图像的尺寸与多个图像优化模型的输入图像的尺寸,确定新的参考人脸图像对应的图像优化模型。
在本公开的另一种示例实施方式中,上述图像分块模块还可以用于对每一个参考人脸图像执行如下操作,具体为确定与参考人脸图像对应图像优化模型的最大允许尺寸;若参考人脸图像的尺寸大于做大允许尺寸,则将参考人脸图像的尺寸对应的参考人脸图像划分为多个新的参考人脸图像;根据新的参考人脸图像的尺寸与多个图像优化模型的输入图像的尺寸,确定新的参考人脸图像对应的图像优化模型。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
此外,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。