具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的漫画风格图像的转换方法的流程示意图。该基于残差的卡尔曼滤波模型的参数调节方法应用于含有触控屏的电子设备中，该方法通过安装于用户终端中的应用软件进行执行，用户终端即是用于执行漫画风格图像的转换方法的电子设备中，例如平板电脑、手机、笔记本、台式电脑、智能可穿戴设备(如智能手表、智能手环)等。下面对所述的漫画风格图像的转换方法进行详细说明。

如图1所示，该方法包括以下步骤S110～S150。

S110、接收含有人脸的图像。

接收含有人脸的图像。具体的，所述含有人脸的图像为不具备漫画风格的图像，所述含有人脸的图像既可以为RGB图像，也可以为灰阶图像，还可以为YCBCR图像。在本发明实施例中，所述含有人脸的图像为RGB图像，用户终端在接收到所述含有人脸的图像后，便可执行对所述含有人脸的图像进行漫画风格的转换，进而得到所述含有人脸的图像的漫画风格的图像。其中，RGB图像使用R、G、B三个分量标识一个像素的颜色，R、G、B分别代表红、绿、蓝三种不同的基础颜色，通过三基色可以合成出任意颜色。图形文件格式把RGB图像存储为24位的图像，红、绿、蓝分量分别占用8位。

S120、对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。

对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。具体的，用户终端在接收到所述含有人脸的图像后，通过对所述含有人脸的图像进行扫描以获取所述含有人脸的图像中人脸中眼睛的像素信息，进而便可对所述含有人脸的图像进行分割处理，以将所述含有人脸的图像中分割成所述眼睛区域的图像和非眼睛区域的图像，然后对眼睛区域的图像进行转换处理，便可使得所述眼睛区域的图像具备漫画风格。

在另一实施例中，如图2所示，步骤S120之前还包括步骤S120a。

S120a、根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。

根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。具体的，所述预处理规则为用于将所述含有人脸的图像进行预处理的规则信息，所述含有人脸的图像根据所述预处理规则进行预处理后，便可进一步减少后续终端设备对所述含有人脸图像的运算量，进而提高对所述含有人脸的图像进行漫画风格转换的效率。

在另一实施例中，如图3所示，步骤S120a包括子步骤S120a1。

S120a1、对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像。

对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像。在本发明实施例中，所述含有人脸的图像为RGB图像，即所述含有人脸的图像为三通道数据，该三通道数据的范围在0-255之间，用户终端在接收到所述含有人脸的图像后，为了减少用户终端对所述含有人脸的图像的计算量，需要将所述含有人脸的图像进行剪裁处理，进而更好的进行漫画风格的转换。其中，所述含有人脸的图像在进行裁剪处理后，所述裁剪处理后的图像的尺寸不超过320mm*240mm。

S120a2、将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像。

将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像。在本发明实施例中，所述含有人脸的图像在进行裁剪处理后，为了进一步减少用户终端的计算量，需将所述裁剪处理后的图像进行缩放处理。其中，所述裁剪处理后的图像在进行缩放处理后，得到的缩放处理后的图像的尺寸不超过320mm*240mm。

S120a3、将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。

将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。在本发明实施例中，所述含有人脸的图像在进行裁剪和缩放处理后，对所述缩放处理后的图像的三通道数据减去均值127，使得所述缩放处理后的图像的数据的范围从0～255变换为-127～128，进而将所述缩放处理后的图像的数据的中心变成以(0，0)为中心，然后将换换后的数据除以255，便可完成所述缩放处理后的图像的归一化，使得所述含有人脸的图像的数据范围变成-0.5～0.5之间。

在另一实施例中，如图4所示，步骤S120包括子步骤S121、S122。

S121、获取所述预处理后的图像中眼睛区域的坐标数据。

获取所述预处理后的图像中眼睛区域的坐标数据。在本发明实施例中，通过将所述预处理后的图像输入至预置的人脸检测器中，得到所述坐标数据。其中，所述人脸检测器为用于检测所述预处理后的图像中眼睛区域的坐标数据，所述人脸检测器可用于对所述预处理后的图像中的关键点进行检测，便可从所述预处理后的图像中获取所述眼睛区域的坐标数据，在获取所述坐标数据后，便可对所述预处理后的图像进行分割处理，进而得到所述眼睛区域的图像和非眼睛区域的图像。其中，所述人脸检测器为Haar级联分类器，所述Haar级联分类器采用矩形框在所述预处理后的图像中从左往右和从上往下进行扫描并比对，便可从所述预处理后的图像中搜寻到所述眼睛区域的坐标数据。

S122、根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。

根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。在本发明实施例中，通过Haar级联分类器确定所述预处理后的图像中眼睛区域的坐标数据后，对从所述预处理后的图像中对所述眼睛区域的图像进行分割处理，便可将所述预处理后的图像分割成眼睛区域的图像和非眼睛区域的图像，进而便于后续分别对所述眼睛区域的图像和所述非眼睛区域的图像进行漫画风格的处理。

S130、根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像。

根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像。具体的，所述轻量化神经网络为在原有的深度神经网络的基础上减少网络的参数量，使得轻量化后的神经网络可以进行快速运算，进而便可提高漫画转换的效率。在本发明实施例中，由于含有人脸的漫画与原始图像的差异性比较低，眼睛是最大的差异地方，而且以人类主观的视觉感受也是眼睛是最重要的部分。因此，通过采用轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像，进而保证含有人脸的图像进行漫画转后的效果。

在另一实施例中，如图5所示，步骤S130包括子步骤S131和S132。

S131、将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行卷积处理，得到所述眼睛区域的图像的特征信息。

将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行卷积处理，得到所述眼睛区域的图像的特征信息。具体的，所述Cycle GAN(循环生成对抗网络)模型为预先训练好且用于对所述含有人脸的图像中的眼睛进行漫画转换，循环生成对抗网络是一种功能强大的计算机算法，具有改善数字生态系统的潜力，能够将信息从一种表示形式转换为另一种表示形式。在本发明实施例中，所述Cycle GAN模型中的编码器为MobileNet，MobileNet为一种轻量级的卷积神经网络，MobileNet的基本单元是深度级可分离卷积(depthwise separable convolution)，深度级可分离卷积其实是一种可分解卷积操作(factorized convolutions)，其可以分解为两个更小的操作：深度卷积(depthwiseconvolution)和逐点卷积(pointwise convolution)，在进行深度卷积的时每个卷积核只关注单个通道的信息，而在逐点卷积中每个卷积核可以联合多个通道的信息，通过CycleGAN模型的MobileNet对所述眼睛区域的图像进行卷积处理，不仅降低了用户终端的计算量，提高了运算速度，同时也保证了对所述眼睛区域的图像进行编码的精确度。

S132、将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述Cycle GAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。

将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述CycleGAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。在本发明实施例中，所述CycleGAN模型中的编码器为Unet架构，所述Cycle GAN模型中的MobileNet在对所述眼睛区域的图像进行卷积操作后，得到所述眼睛区域的图像的特征信息，然后通过所述Cycle GAN模型的Unet进行解码，得到多个含有漫画风格的眼睛图像，然后通过所述Cycle GAN模型中的辨别器从多个含有漫画风格的眼睛图像中进行识别筛选，便可得到所述含有漫画风格的眼睛图像，进而便可完成对所述含有人脸的图像中眼睛区域的漫画风格的转换。

S140、根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像。

根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像。具体的，所述传统图像算法为现有技术中对图像进行图像去噪、图像变换、图像分析、图像压缩、图像增强、图像模糊处理等算法，通过采用传统图像算法对所述非眼睛区域的图像进行漫画风格处理，既可以减少用户终端的计算量，同时也保证了所述含人脸的图像中非眼睛区域的漫画风格特征。

在另一实施例中，如图6所示，步骤S140包括子步骤S141、S142。

S141、对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓。

对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓。具体的，所述边缘检测为用于在所述非眼睛区域的图像中进行人脸轮廓的检测，进而得到所述非眼睛区域的人脸轮廓，其中，边缘检测本质上就是一种滤波算法，区别在于滤波器的选择，滤波的规则是完全一致的。所述边缘检测包括：一阶边缘检测算子、Sobel边缘检测算子、Canny边缘检测算子、二阶边缘检测算子。在本实施例中，采用Canny边缘检测算子对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓。其中，Canny边缘检测算法不仅具有严格定义，而且可以提供良好可靠检测，Canny边缘检测算子的具体流程为：使用高斯滤波器，以平滑图像，滤除噪声；计算图像中每个像素点的梯度强度和方向；应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应；应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘；通过抑制孤立的弱边缘最终完成边缘检测。

S142、根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。

根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。具体的，所述k均值聚类算法是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。在本发明实施例中，通过k均值聚类算法对所述非眼睛区域中非人脸轮廓区域的像素进行聚类分析，使得像素相差不大的区域聚类为同一像素，进而便可得到类似于漫画风格的颜色，然后将所述非眼睛区域的人脸轮廓添加进去后，便可得到所述漫画风格处理后的图像。

S150、将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。

将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。在本发明实施例中，通过所述轻量级神经网络对所述含有人脸的图像中的眼睛区域单独进行漫画风格处理，同时采用传统图像处理算法对所述含有人脸的图像中非人脸区域进行漫画风格处理，最后将两者得到的图像进行拼接，便可完成对所述含有人脸的图像的漫画风格的转换，不仅提高了漫画转换的效率，减少了计算量，同时还保证了转换后得到的图像的漫画效果。

在本发明实施例所提供的漫画风格图像的转换方法中，通过接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。本发明基于漫画与原始照片中人眼的差异性，采用轻量化神经网络对含有人脸的图像中的眼睛进行转换以得到具有漫画风格的眼睛，同时采用传统图像处理方法对非眼睛区域进行处理并同转换得到的具有漫画风格的眼睛进行拼接，便可将含有人脸的图像转换成漫画风格的图像，极大的提高了漫画风格图像的转换效率，减少了运算量。

本发明实施例还提供了一种漫画风格图像的转换装置100，该装置用于执行前述漫画风格图像的转换方法的任一实施例。

具体地，请参阅图7，图7是本发明实施例提供的漫画风格图像的转换装置100的示意性框图。

如图7所示，所述的漫画风格图像的转换装置100，该装置包括接收单元110、第一分割单元120、转换单元130、第一处理单元140和拼接单元150。

接收单元110，用于接收含有人脸的图像。

第一分割单元120，用于对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。

在其他发明实施例中，所述的漫画风格图像的转换装置100还包括：预处理单元。

预处理单元，用于根据预设的预处理规则对所述含有人脸的图像进行预处理，得到预处理后的图像。

在其他发明实施例中，所述预处理单元包括：裁剪单元、缩放单元和归一化单元。

裁剪单元，用于对所述含有人脸的图像进行裁剪处理，得到裁剪处理后的图像；缩放单元，用于将所述裁剪处理后的图像进行缩放处理，得到缩放处理后的图像；归一化单元，用于将所述缩放处理后的图像进行归一化处理，得到所述预处理后的图像。

在其他发明实施例中，所述第一分割单元120包括：获取单元和第二分割单元。

获取单元，用于获取所述预处理后的图像中眼睛区域的坐标数据；第二分割单元，用于根据所述坐标数据对所述预处理后的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像。

转换单元130，用于根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像。

在其他发明实施例中，所述转换单元130包括：第一输入单元和第二输入单元。

第一输入单元，用于将所述眼睛区域的图像输入至预置的Cycle GAN模型的MobileNet中进行编码处理，得到所述眼睛区域的图像的特征信息第二输入单元，用于将所述特征信息输入至所述Cycle GAN模型的Unet中进行解码并根据所述Cycle GAN模型中的辨别器识别出所述含有漫画风格的眼睛图像。

第一处理单元140，用于根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像。

在其他发明实施例中，所述第一处理单元140包括：检测单元和第二处理单元。

检测单元，用于对所述非眼睛区域的图像进行边缘检测，得到所述非眼睛区域的人脸轮廓；第二处理单元，用于根据k均值聚类算法对所述非眼睛区域中非人脸轮廓区域进行处理，得到所述漫画风格处理后的图像。

拼接单元150，用于将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。

本发明实施例所提供的漫画风格图像的转换装置100用于执行上述接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。

请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。

参阅图8，该设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。

该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行漫画风格图像的转换方法。

该处理器502用于提供计算和控制能力，支撑整个设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行漫画风格图像的转换方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的设备500的限定，具体的设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。

本领域技术人员可以理解，图8中示出的设备500的实施例并不构成对设备500具体构成的限定，在其他实施例中，设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，设备500可以仅包括存储器及处理器502，在这样的实施例中，存储器及处理器502的结构及功能与图8所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器502、数字信号处理器502(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器502可以是微处理器502或者该处理器502也可以是任何常规的处理器502等。

在本发明的另一实施例中提供计算机存储介质。该存储介质可以为非易失性的计算机可读存储介质，也可以是易失性的存储介质。该存储介质存储有计算机程序5032，其中计算机程序5032被处理器502执行时实现以下步骤：接收含有人脸的图像；对所述含有人脸的图像进行分割处理，得到眼睛区域的图像和非眼睛区域的图像；根据预置的轻量化神经网络对所述眼睛区域的图像进行转换处理，得到含有漫画风格的眼睛图像；根据传统图像算法对所述非眼睛区域的图像进行漫画风格处理，得到漫画风格处理后的图像；将所述含有漫画风格的眼睛图像与所述漫画风格处理后的图像进行拼接，得到含有漫画风格的图像。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备500(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。