具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1是根据一示例性实施例示出的图像处理方法的一个实施例的流程图。该方法包括以下步骤：

步骤101，响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置。

当用户期望改变眉毛形状时，用户可以进行修改指示操作，以生成眉型修改指令。例如，当用户期望调整人脸图像中的眉毛的形状时，在相关界面上展示用户的人脸图像和设计人员设计的眉毛形状例如柳叶眉、一字眉等。修改指示操作可以为：用户利用鼠标将作为目标眉毛形状的、设计人员设计的一个眉毛形状拖动至人脸图像中，点击指示进行眉形修改的按钮。

在本公开中，可以将人脸图像中原有的眉毛称之为原始眉毛。人脸图像中的原始眉毛由所有属于原始眉毛的像素组成。

在本公开中，原始眉毛的位置可以由原始眉毛的轮廓的中心的位置表征。例如，可以利用原始眉毛的轮廓的中心的坐标表示原始眉毛的位置。与原始眉毛的位置对应的位置可以与原始眉毛的位置相同，与原始眉毛的位置对应的位置也可以为与原始眉毛的位置与用户设置的位置偏移量相加之后得到的位置。

步骤102，确定人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了重合区域、第一非重合区域、第二非重合区域之外的其他皮肤区域。

在本公开中，在将目标眉毛形状叠加到人脸图像中之后，人脸图像包括原始眉毛、目标眉毛形状。原始眉毛区域为所有属于原始眉毛的像素占据的区域。目标眉毛区域为目标眉毛形状包围的区域。

在本公开中，可以将人脸图像中的、同时属于目标眉毛区域和原始眉毛区域的区域称之为重合区域。

在本公开中，可以将人脸图像中的、属于原始眉毛区域并且不属于目标眉毛区域的区域称之为第一非重合区域。可以将人脸图像中的、属于目标眉毛区域并且不属于原始眉毛区域的区域称之为第二非重合区域。可以将人脸图像中的、除了重合区域、第一非重合区域、第二非重合区域之外的区域称之为其他皮肤区域。

步骤103，对人脸图像进行像素替换处理，得到经过处理的人脸图像。

在本公开中，经过处理的人脸图像中的眉毛的形状为目标眉毛形状。

像素替换处理包括：遍历人脸图像中的像素，对于遍历到的当前像素，当该当前像素位于第一非重合区域中时，基于其他皮肤区域中用于替换该当前像素的皮肤像素的像素值，修改该当前像素的像素值；当该当前像素位于第二非重合区域中时，基于原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值，修改该当前像素的像素值。

在本公开中，对于遍历到的任意一个像素，可以根据该当前像素的位置、皮肤区域、原始眉毛区域、目标眉毛区域、重合区域等区域的边界的位置，确定该当前像素属于皮肤区域、原始眉毛区域、目标眉毛区域、重合区域中的哪一个区域。

在本公开中，对于遍历到的任意一个当前像素，当该当前像素位于第一非重合区域中时，可以通过patchmatch算法确定其他皮肤区域中用于替换该当前像素的皮肤像素。patch为对人脸图像进行划分得到的预设尺寸例如3*3的图像块。当该当前像素位于第一非重合区域中时，可以通过patchmatch算法确定其他皮肤区域中的、与第一非重合区域中该当前像素所在的图像块相似度最高的图像块，从该相似度最高的图像块中查找出与该当前像素的相似度最高的像素，将查找出的像素作为其他皮肤区域中用于替换该当前像素的皮肤像素。然后，可以将该当前像素的像素值修改为其他皮肤区域中用于替换该当前像素的皮肤像素的像素值。

对于遍历到的任意一个当前像素，当该当前像素位于第二非重合区域中时，可以通过patchmatch算法确定原始眉毛区域中用于替换该当前像素的原始眉毛像素。可以通过patchmatch算法确定原始眉毛区域中的、与第二非重合区域中该当前像素所在的图像块相似度最高的图像块，从该相似度最高的图像块中查找出与该当前像素的相似度最高的像素，将查找出的像素作为原始眉毛区域中用于替换该当前像素的原始眉毛像素。然后，可以将该当前像素的像素值修改为原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值。

在本公开中，在需要对眉毛形状进行调整时，自动确定相关区域，对人脸图像进行像素替换处理，得到经过处理的人脸图像，经过处理的人脸图像中的眉毛的形状为目标眉毛形状，可以将任意一种眉毛形状调整为目标眉毛形状，提高了对眉毛形状进行修改的便利性。

在一些实施例中，对于遍历到的任意一个当前像素，当该当前像素位于第一非重合区域中时，基于其他皮肤区域中用于替换该当前像素的皮肤像素的像素值，修改该当前像素的像素值包括：将其他皮肤区域中与该当前像素的距离最近的皮肤像素确定为用于替换该当前像素的皮肤像素；将该当前像素的像素值修改为用于替换该当前像素的皮肤像素的像素值。

人脸图像是通过图像传感器采集的，每一个像素各自对应三维空间中的一个三维点。同一个对象的像素点对应的三维点的位置越接近，像素点对应的三维点的光强越接近，光强直接影响像素值，因此，在正常情况下，属于同一个对象的像素点的应该满足的关系为：像素点的位置越接近，像素点的像素值越接近。否则，在属于一个对象的多个像素都不符合这个关系的情况下，该对象占据的区域的显示效果就会不自然，导致图像处理之后出现图像失真的情况。

在本公开中，对于遍历到的任意一个当前像素，当当前像素位于第一非重合区域中时，可以将该当前像素的像素值修改为其他皮肤区域中与该当前像素的距离最近的皮肤像素的像素值，该当前像素与其他皮肤区域中与该当前像素的距离最近的皮肤像素的距离近，该当前像素的修改后的像素值与其他皮肤区域中与该当前像素的距离最近的皮肤像素的像素值相同，使得修改之后，满足属于同一个对象的像素点的应该满足的关系，可以避免图像处理之后图像失真的情况。

在一些实施例中，对于遍历到的任意一个当前像素，当该当前像素位于第二非重合区域中时，基于原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值，修改该当前像素的像素值包括：将原始眉毛区域中与该当前像素的距离最近的原始眉毛像素确定为用于替换该当前像素的原始眉毛像素；将该当前像素的像素值修改为用于替换该当前像素的原始眉毛像素的像素值。

在本公开中，对于遍历到的任意一个当前像素，当当前像素位于第二非重合区域中时，可以将该当前像素的像素值修改为原始眉毛区域中与该当前像素的距离最近的原始眉毛像素的像素值，该当前像素与原始眉毛区域中与该当前像素的距离最近的原始眉毛像素的距离近，该当前像素的修改后的像素值与原始眉毛区域中与该当前像素的距离最近的原始眉毛像素的像素值相同，使得修改之后，满足属于同一个对象的像素点的应该满足的关系，可以避免图像处理之后图像失真的情况。

在一些实施例中，在对人脸图像进行处理，得到经过处理的人脸图像之后，还包括：对经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。

在经过处理的人脸图像中，第一非重合区域中的像素的像素值、第二非重合区域中的像素的像素值已经改变，不再是原有的像素值，因此，可能第一非重合区域的显示效果不自然和/或在第二非重合区域的显示效果不自然，对经过处理的人脸图像进行柏松克隆处理，可以使得得到的目标人脸图像中的第一非重合区域的显示效果、第二非重合区域的显示效果更加逼真自然。

在一些实施例中，在响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，还包括：对人脸图像进行人脸关键点检测，得到眉毛关键点；基于眉毛关键点，确定原始眉毛的边缘；将原始眉毛的边缘包围的区域确定为原始眉毛区域。

人脸图像中的属于原始眉毛的眉毛关键点位于人脸图像中的原始眉毛的边缘上。可以通过人脸关键点检测，得到眉毛关键点。基于眉毛关键点，确定原始眉毛的边缘。例如，可以利用计算机视觉和机器学习软件库opencv中fillConvexPoly功能基于眉毛关键点的坐标，确定原始眉毛的边缘。将原始眉毛的边缘包围的区域确定为原始眉毛区域。

在本公开中，基于眉毛关键点，可以精确地确定原始眉毛的边缘，进而可以精确地确定原始眉毛区域。

在一些实施例中，还包括：在查询到第一非重合区域对应的掩码图中位置与当前像素的位置相同的掩码像素的像素值为第一值时，确定该当前像素位于第一非重合区域中；在查询到第二非重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为该第一值时，确定该当前像素位于第二非重合区域中。

在本公开中，可以建立其他皮肤区域对应的掩码图、重合区域对应的掩码图、第一非重合区域对应的掩码图、第二非重合区域对应的掩码图。

其他皮肤区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于其他皮肤区域对应的掩码图中的每一个掩码像素，该掩码像素在其他皮肤区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在其他皮肤区域对应的掩码图中，对应于其他皮肤区域中的像素的掩码像素的像素值为第一值例如255，其他皮肤区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。

重合区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于重合区域对应的掩码图中的每一个掩码像素，该掩码像素在重合区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在重合区域对应的掩码图中，对应于重合区域中的像素的掩码像素的像素值为第一值例如255，重合区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。

第一非重合区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于第一非重合区域对应的掩码图中的每一个掩码像素，该掩码像素在第一非重合区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在第一非重合区域对应的掩码图中，对应于第一非重合区域中的像素的掩码像素的像素值为第一值例如255，第一非重合区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。

第二非重合区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于第二非重合区域对应的掩码图中的每一个掩码像素，该掩码像素在第二非重合区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在第二非重合区域对应的掩码图中，对应于第二非重合区域中的像素的掩码像素的像素值为第一值，第二非重合区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。

在本公开中，对于遍历到的任意一个当前像素，可以分别查询每一个掩码图中位置与该当前像素的位置相同的掩码像素的像素值。

在查询到其他皮肤区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，可以确定该当前像素位于其他皮肤区域中，可以不对该当前像素的像素值进行修改，继续访问该当前像素的下一个像素。

在查询到重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，可以确定该当前像素位于重合区域中，可以不对该当前像素的像素值进行修改，继续访问该当前像素的下一个像素。

在查询到第一非重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，可以确定该当前像素位于第一非重合区域中。然后，可以基于其他皮肤区域中用于替换该当前像素的皮肤像素的像素值，修改该当前像素的像素值。

在查询到第二非重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，确定该当前像素位于第二非重合区域中。然后，可以基于原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值，修改该当前像素的像素值。

在本公开中，对于遍历到的任意一个当前像素，均可以通过查询各个区域对应的掩码图，快速地确定当前像素所在的区域，根据当前像素所在的区域，确定是否对当前像素的像素值进行修改，从而，减少图像处理的耗时，提升图像处理的速度。

图2是根据一示例性实施例示出的一种图像处理装置的结构框图。参照图2，图像处理装置包括：叠加模块201，确定模块202，处理模块203。

叠加模块201被配置为响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置，其中，所述原始眉毛的位置由所述原始眉毛的轮廓的中心的位置表征；

确定模块202被配置为确定确定所述人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了所述重合区域、第一非重合区域、第二非重合区域之外的其他皮肤区域，其中，所述重合区域为同时属于原始眉毛区域和目标眉毛区域的区域，所述第一非重合区域为属于原始眉毛区域并且不属于目标眉毛区域的区域，所述第二非重合区域为属于目标眉毛区域并且不属于原始眉毛区域的区域；

处理模块203被配置为对所述人脸图像进行像素替换处理，得到经过处理的人脸图像，所述像素替换处理包括：遍历所述人脸图像中的像素，对于遍历到的当前像素，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值；当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值。

在一些实施例中，在一些实施例中，处理模块包括：

第一替换子模块，被配置为将所述其他皮肤区域中与所述当前像素的距离最近的皮肤像素确定为用于替换所述当前像素的皮肤像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的皮肤像素的像素值。

在一些实施例中，处理模块包括：

第二替换子模块，被配置为将所述原始眉毛区域中与所述当前像素的距离最近的原始眉毛像素确定为用于替换所述当前像素的原始眉毛像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的原始眉毛像素的像素值。

在一些实施例中，图像处理装置还包括：

查询模块，被配置为在查询到所述第一非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为第一值时，确定所述当前像素位于所述第一非重合区域中；在查询到所述第二非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为所述第一值时，确定所述当前像素位于所述第二非重合区域中。

在一些实施例中，图像处理装置还包括：

定位模块，被配置为在响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，对所述人脸图像进行人脸关键点检测，得到眉毛关键点；基于所述眉毛关键点，确定原始眉毛的边缘；将所述原始眉毛的边缘包围的区域确定为所述原始眉毛区域。

在一些实施例中，在一些实施例中，图像处理装置还包括：

优化模块，被配置为在得到经过处理的人脸图像之后，对所述经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。

图3是根据一示例性实施例示出的电子设备300的框图。例如，电子设备300可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图3，电子设备300可以包括以下一个或多个组件：处理组件302、存储器304、电力组件306、多媒体组件308、音频组件310、输入/输出(I/O)的接口312、传感器组件314以及通信组件316。

处理组件302通常控制电子设备300的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的图像处理方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。

存储器304被配置为存储各种类型的数据以支持在电子设备300的操作。这些数据的示例包括用于在电子设备300上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。

电源组件306为电子设备300的各种组件提供电力。电源组件306可以包括电源管理系统，一个或多个电源，及其他与为设备电子300生成、管理和分配电力相关联的组件。

多媒体组件308包括在所述电子设备300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个目标摄像头和/或后置摄像头。当电子设备300处于操作模式，如拍摄模式或视频模式时，目标摄像头和/或后置摄像头可以接收外部的多媒体数据。每个目标摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件310被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。

I/O接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件314包括一个或多个传感器，用于为电子设备300提供各个方面的状态评估。例如，传感器组件314可以检测到电子设备300的打开/关闭状态，组件的相对定位，例如所述组件为电子设备300的显示器和小键盘，传感器组件314还可以检测电子设备300或电子设备300一个组件的位置改变，用户与电子设备300接触的存在或不存在，电子设备300方位或加速/减速和电子设备300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件316被配置为便于电子设备300和其他设备之间有线或无线方式的通信。电子设备300可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或6G)，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，本申请还提供一种计算机程序产品，包括计算机可读代码，当计算机可读代码在电子设备上运行时，使得电子设备执行上述图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。