一种车牌图像生成方法、系统、装置及存储介质
技术领域
本申请涉及数据处理领域,尤其涉及一种车牌图像生成方法、系统、装置及存储介质。
背景技术
随着计算机技术的不断发展,车牌识别算法得到了广泛的应用,基于字符切分的传统车牌识别算法逐渐被基于深度学习的端到端车牌识别算法所取代,端到端车牌识别算法所采用的模型是基于大量标注的车牌图像样本进行训练的,其中用于训练的车牌图像样本主要通过摄像机的采集得到,再进行标注,而由于摄像机采集的的车牌图像一般类型较为单一且字符分布不均,导致车牌识别模型训练易偏向常见样本,如果采用这样的车牌图像样本来训练车牌识别模型,这对车牌识别模型的鲁棒性非常不利。
因此,现有技术提供的方案中,为了提高车牌识别模型的识别率,一般采用的方法就是有目的地增加训练数据,然而通过人工收集训练数据效率较低并且数量很有限,而通过软件合成的数据虽然满足数量要求,但合成的数据与真实数据差异很大,难以用于车牌识别模型的训练。如何高效获得大量的高质量的数据成为了亟待解决的问题。
发明内容
为了解决上述技术问题,本申请提供了一种车牌图像生成方法、系统、装置及存储介质。
本申请第一方面提供了一种车牌图像生成方法,包括:
获取原始车牌图像;
将所述原始车牌图像输入至预设的生成对抗网络模型中,并确定用于构建生成车牌图像的字符类以及字符域,所述字符类表示车牌图像中字符的字符类别,所述字符域表示字符在车牌图像中的字符位置,所述生成对抗网络模型为预先训练好的模型;
通过所述生成对抗网络模型提取所述车牌图像的图像特征;
通过所述生成对抗网络模型结合所述图像特征、所述字符类以及字符域构建并输出生成车牌图像。
可选的,所述生成对抗网络模型通过如下方法训练得到:
构建初始生成对抗网络模型,所述初始生成对抗网络模型中包含有生成器和判别器,所述生成器用于生成模拟车牌图像,所述判别器用于对模拟车牌图像进行判别;
分别对所述判别器以及所述生成器进行训练,当训练结束后,得到所述生成对抗网络模型。
可选的,对所述判别器进行训练包括:
获取样本车牌图像,所述样本车牌图像包含有原始字符域以及原始字符类;
固定所述生成器的参数,并通过所述样本车牌图像对所述判别器进行训练。
可选的,对所述生成器进行训练包括:
获取样本车牌图像,所述样本车牌图像包含有原始字符域以及原始字符类;
确定目标字符域以及目标字符类,并将所述目标字符域、所述目标字符类以及所述样本车牌图像输入至所述生成器中,以使得所述生成器生成模拟车牌图像,所述模拟车牌图像中包含有所述目标字符域以及所述字符目标类;
将所述原始字符域、所述原始字符类以及所述模拟车牌图像输入至所述生成器中,以使得所述生成器生成重建原始域图像,所述重建原始域图像中包含有所述原始字符域以及所述原始字符类;
根据所述重建原始域图像调整所述生成器的重建损失参数;
将所述模拟车牌图像输入至所述判别器中,并根据所述判别器输出的判别结果对所述判别器的参数进行优化调整。
可选的,所述确定用于构建生成车牌图像的字符类以及字符域包括:
获取用户的输入的车牌信息并根据所述车牌信息确定用于构建生成车牌图像的字符类以及字符域。
可选的,所述确定用于构建生成车牌图像的字符类以及字符域包括:
随机生成车牌信息,并根据生成的所述车牌信息确定用于构建生成车牌图像的字符类以及字符域。
可选的,所述字符域中第一个字符域包含有34个字符类。
本申请第二方面提供了一种车牌图像生成系统,包括:
获取单元,用于获取原始车牌图像;
输入单元,用于将所述原始车牌图像输入至预设的生成对抗网络模型中,并确定用于构建生成车牌图像的字符类以及字符域,所述字符类表示车牌图像中字符的字符类别,所述字符域表示字符在车牌图像中的字符位置,所述生成对抗网络模型为预先训练好的模型;
提取单元,用于通过所述生成对抗网络模型提取所述车牌图像的图像特征;
输出单元,用于通过所述生成对抗网络模型结合所述图像特征、所述字符类以及字符域构建并输出生成车牌图像。
本申请第三方面提供了一种车牌图像生成装置,所述装置包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述存储器保存有程序,所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。
从以上技术方案可以看出,本申请具有以下优点:
本申请提供的车牌图像生成方法中,将原始车牌图像输入至对抗网络模型中后,对抗网络模型可以根据字符域以及字符类来构建生成车牌图像,进而得到生成车牌图像,用户可以通过该方法来编辑所需要的车牌的字符域以及字符类,并且该对抗网络模型可以提取原始车牌图像的图像特征,可以使得生成车牌图像更为逼真,通过该方法可以大量生成车牌图像,并且能够为训练车牌识别模型提供更优质的训练数据,从而提高识别效果。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的车牌图像生成方法一个实施例流程示意图;
图2为本申请提供的生成对抗网络模型的训练方法一个实施例流程示意图;
图3为本申请中提供的判别器的训练方法一个实施例流程示意图;
图4为本申请中提供的生成器的训练方法一个实施例流程示意图;
图5为本申请提供的车牌图像生成系统一个实施例结构示意图;
图6为本申请提供的车牌图像生成装置一个实施例结构示意图。
具体实施方式
随着计算机技术的不断发展,车牌识别算法得到了广泛的应用,基于字符切分的传统车牌识别算法逐渐被基于深度学习的端到端车牌识别算法所取代,端到端车牌识别算法所采用的模型是基于大量标注的车牌图像样本进行训练的,其中用于训练的车牌图像样本主要通过摄像机的采集得到,再进行标注,而由于摄像机采集的的车牌图像一般类型较为单一且字符分布不均,导致车牌识别模型训练易偏向常见样本,如果采用这样的车牌图像样本来训练车牌识别模型,这对车牌识别模型的鲁棒性非常不利。
因此,现有技术提供的方案中,为了提高车牌识别模型的识别率,一般采用的方法就是有目的地增加训练数据,然而通过人工收集训练数据效率较低并且数量很有限,而通过软件合成的数据虽然满足数量要求,但合成的数据与真实数据差异很大,难以用于车牌识别模型的训练。如何高效获得大量的高质量的数据成为了亟待解决的问题。
基于此,本申请提供了一种车牌图像生成方法,用于生成车牌图像,为模型训练提供数据基础,减小生成的车牌图像与真实图像的差异,提升模型训练效果。
需要说明的是,本申请提供的车牌图像生成方法,可以应用于终端也可以应用于系统,还可以应用于服务器上,例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述,本申请中以终端为执行主体进行举例说明。
请参阅图1,图1为本申请提供的车牌图像生成方法一个实施例流程示意图,该车牌图像生成方法包括:
101、获取原始车牌图像;
在实际需要生成车牌图像时,首先需要获取一张或者多张原始车牌图像,该原始车牌图像可以是真实的车牌图像也可以是合成的车牌图像,该图像中可以包含有完整的车牌区域,进而生成对抗网络模型可以根据该车牌图像来生成其它的车牌图像。
102、将原始车牌图像输入至预设的生成对抗网络模型中,并确定用于构建生成车牌图像的字符类以及字符域,字符类表示车牌图像中字符的字符类别,字符域表示字符在车牌图像中的字符位置,生成对抗网络模型为预先训练好的模型;
将原始车牌图像输入至对抗网络模型中,输入后用户可以编辑所需要的字符类以及字符域,本申请中所提及的字符类是指字符的类别,例如字符类可以包括数字0至9、字母A至Z、以及各省份的简称,简称如“川”、“京”、“苏”、“粤”等,字符域是指字符在车牌中的位置,例如第一个字符域的字符一般为车牌所属地省份简称,因此,第一个字符域可以有34个字符类,而第二位的字符域为地级市的字母代码,普通蓝牌的第三位字符域到第七位字符域为车牌号,新能源车牌是在蓝牌基础上,在第三位字符域或第八位字符域中插入额外的字符D或F。用户可以编辑所需要生成的车牌图像,具体的可以是终端获取用户的输入的车牌信息并根据车牌信息确定用于构建生成车牌图像的字符类以及字符域,终端也可以是随机生成车牌信息,并根据生成的车牌信息确定用于构建生成车牌图像的字符类以及字符域。
103、通过生成对抗网络模型提取车牌图像的图像特征;
该生成对抗网络模型为预先训练好的网络模型,可以根据字符域以及字符类来生成新的生成车牌图像,该生成车牌图像保留了原始车牌图像的图像特征,例如灰度、色彩、噪声、背景以及未被编辑的字符等特征,该生成对抗网络模型的训练方法将在下述实施例详细阐述。
104、通过生成对抗网络模型结合图像特征、字符类以及字符域构建并输出生成车牌图像。
将原始车牌图像输入生成对抗网络模型之后,用户可以编辑所需要的车牌图像,进而模型生成新的生成车牌图像,生成车牌图像中的字符类以及字符域为用户所编辑的字符类以及字符域,通过该方法,只需要少量的原始车牌图像,用户通过编辑相关的字符类以及字符域,就可以生成大量的其它车牌图像,为训练车牌识别模型提供了数据便利。
请参阅图2,图2为本申请提供的生成对抗网络模型的训练方法的一个实施例流程示意图,该训练方法包括:
201、构建初始生成对抗网络模型,初始生成对抗网络模型中包含有生成器和判别器,生成器用于生成模拟车牌图像,判别器用于对模拟车牌图像进行判别;
在实际应用中,首先构建初始生成对抗网络模型,也可以是直接使用初始化的模型,该模型中被设计有一个生成器和一个判别器,生成器用与生成模拟车牌图像,判别器用于对模拟车牌图像进行判别并输出判别结果,即判别该模拟车牌图像为真实的车牌图像或是生成的模拟车牌图像。
202、分别对判别器以及生成器进行训练,当训练结束后,得到生成对抗网络模型。
交替对判别器以及生成器进行训练,具体的可以是先迭代训练判别器一次再迭代训练生成器K次,K大于等于1,请参阅图3,训练判别器的具体过程可以是:
301、获取样本车牌图像,样本车牌图像包含有原始字符域以及原始字符类;
使用样本车牌图像、字符类以及字符域来训练,样本车牌图像中原始的字符域和字符类分别为原始字符域以及原始字符类。
302、固定生成器的参数,并通过样本车牌图像对判别器进行训练。
在训练时,使用目标字符类以及目标字符域与样本车牌图像相结合,来生成具有目标字符域以及目标字符类的模拟车牌图像,进而对判别器进行训练,训练过程中不断优化判别器的参数,以提高判别器对模拟车牌图像的判别能力,在训练判别器的过程中可以固定生成器的参数,而在训练生成器的过程中,可以固定判别器的参数,
请参阅图4,对生成器的训练过程具体可以是:
401、获取样本车牌图像,样本车牌图像包含有原始字符域以及原始字符类;
使用样本车牌图像、字符类以及字符域来训练,样本车牌图像中原始的字符域和字符类分别为原始字符域以及原始字符类。
402、确定目标字符域以及目标字符类,并将目标字符域、目标字符类以及样本车牌图像输入至生成器中,以使得生成器生成模拟车牌图像,模拟车牌图像中包含有目标字符域以及目标字符类;
在训练时,生成器根据目标字符域以及目标字符类来构建新的模拟车牌图像,模拟车牌图像中包含有目标字符域以及目标字符类。
403、将原始字符域、原始字符类以及模拟车牌图像输入至生成器中,以使得生成器生成重建原始域图像,重建原始域图像中包含有原始字符域以及原始字符类;
将模拟车牌图像输入生成器中重建为原始车牌图像,进而可以对生成器的重建损失参数进行优化,使得生成器生成的模拟车牌图像更为逼真。
404、根据重建原始域图像调整生成器的重建损失参数;
调整重建损失参数。
405、将模拟车牌图像输入至判别器中,并根据判别器输出的判别结果对判别器的参数进行优化调整。
将模拟车牌图像输入至判别器中,根据判别结果来对判别器参数以及生成器的参数进行优化,具体的可以是,如果判别器的判别结果正确,则对生成器的参数进行优化,以使得生成器生成的图像能够欺骗判别器,如果判别器的判别结果错误,则对判别器的参数进行优化,以使得判别器的判别结果更为准确。
上述实施例对本申请中提供的车牌图像生成方法进行了阐述,下面将结合附图对本申请中提供的车牌图像生成系统、装置以及存储介质进行阐述。
请参阅图5,图5为本申请中提供的车牌图像生成系统的一个实施例结构示意图,该车牌图像生成系统包括:
获取单元501,用于获取原始车牌图像;
输入单元502,用于将原始车牌图像输入至预设的生成对抗网络模型中,并确定用于构建生成车牌图像的字符类以及字符域,字符类表示车牌图像中字符的字符类别,字符域表示字符在车牌图像中的字符位置,生成对抗网络模型为预先训练好的模型;
提取单元503,用于通过生成对抗网络模型提取车牌图像的图像特征;
输出单元504,用于通过生成对抗网络模型结合图像特征、字符类以及字符域构建并输出生成车牌图像。
输入单元501具体用于:获取用户的输入的车牌信息并根据车牌信息确定用于构建生成车牌图像的字符类以及字符域。
输入单元501具体用于:随机生成车牌信息,并根据生成的车牌信息确定用于构建生成车牌图像的字符类以及字符域。
本申请还提供了一种车牌图像生成装置,包括:
处理器601、存储器602、输入输出单元603、总线604;
处理器601与存储器602、输入输出单元603以及总线604相连;
存储器602保存有程序,处理器601调用程序以执行如上任一车牌图像生成方法。
本申请还涉及一种计算机可读存储介质,计算机可读存储介质上保存有程序,其特征在于,当程序在计算机上运行时,使得计算机执行如上任一车牌图像生成方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:校验方法及装置、电子设备和存储介质