一种车辆品牌识别方法、装置及存储介质
技术领域
本发明涉及智能交通
技术领域
，特别涉及一种车辆品牌识别方法、装置及存储介质。背景技术
在交通管理系统中，车辆品牌识别是一个重要的组成部分。
现有车辆品牌识别方法中，一般是通过对车辆的固定区域(例如车牌周边)进行特征提取，根据提取的特征信息采用分类器对车辆品牌直接进行分类，存在分类性能较低、不具备自适应性等缺陷。例如，有些公开的车辆品牌识别方法中，是通过对车前灯位置进行定位并进行HOG特征提取并进行SVM分类完成车辆品牌识别，因为只使用车前灯区域进行车辆品牌识别，提取到的特征比较少且HOG特征的特征描述能力不强，因此分类性能较差。还有的车辆品牌识别方法中，根据车牌位置按固定规则向四周扩展图像区域，得到可供CNN提取特征的图像块，从而实现车辆品牌型号识别，但因为是按照固定规则获取用于车辆品牌型号的识别的图像块，不具有自适应性。
发明内容
有鉴于此，本发明的目的在于提供一种车辆品牌识别方法、装置及存储介质。
为了达到上述目的，本发明提供了如下技术方案：
一种车辆品牌识别方法，包括：
根据车辆品牌的结构化信息构建，基于注意力机制的卷积循环神经网络模型；
使用标注有车辆品牌的结构化信息的车辆图像，训练所述基于注意力机制的卷积循环神经网络模型得到车辆品牌识别模型；
利用所述车辆品牌识别模型对待识别车辆图像进行识别，确定待识别车辆图像中的车辆品牌。
一种车辆品牌识别装置，包括：处理器以及与所述处理器通过总线连接的非瞬时计算机可读存储介质；
所述非瞬时计算机可读存储介质，用于存储可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
根据车辆品牌的结构化信息构建，基于注意力机制的卷积循环神经网络模型；
使用标注有车辆品牌的结构化信息的车辆图像，训练所述基于注意力机制的卷积循环神经网络模型得到车辆品牌识别模型；
利用所述车辆品牌识别模型对待识别车辆图像进行识别，确定待识别车辆图像中的车辆品牌。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述车辆品牌识别方法中的步骤。
由上面的技术方案可知，本发明中，根据车辆品牌的结构化信息构建基于注意力机制的卷积循环神经网络，并使用标注有车辆品牌的结构化信息对其进行训练得到车辆品牌识别模型，利用此车辆品牌识别模型识别待识别车辆图像中车辆的品牌信息。本发明能够自适应地结合车辆品牌的结构化信息和注意力机制对车辆图像进行品牌识别，相比于现有通过提取车辆的固定区域的特征来识别车辆品牌，分类性能较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一车辆品牌识别方法流程图；
图2是本发明实施例车辆品牌的结构化信息展示图；
图3是本发明实施例二车辆品牌识别方法流程图；
图4是本发明实施例基于注意力机制的卷积循环神经网络模型示意图；
图5是本发明实施例三车辆品牌识别方法流程图；
图6是本发明实施例四车辆品牌识别方法流程图；
图7是本发明实施例基于注意力机制的循环神经网络模型示意图；
图8是本发明实施例车辆品牌识别装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1是本发明实施例一车辆品牌识别方法流程图，如图1所示，该方法包括以下步骤：
步骤101、根据车辆品牌的结构化信息，构建基于注意力机制的卷积循环神经网络模型。
本发明实施例中，车辆品牌的结构化信息，是指用于描述车辆品牌的多个层级的品牌信息。例如有如下车辆品牌：大众帕萨特2019款，此车辆品牌中包括3个层级的品牌信息，即：第一层级‘大众’、第二层级‘帕萨特’、第三层级‘2019款’，其中，第一层级‘大众’是总品牌，第二层级‘帕萨特’是第一层级‘大众’的分属品牌，第三层级‘2019款’是第二层级‘帕萨特’的分属品牌，指明了‘帕萨特’的生产年份。
图2是本发明实施例车辆品牌的结构化信息的层级示例图，如图2所示，其中包括：大众帕萨特2019款至2015款和大众途观2019款至2015款(即图2中最左侧的层级展示图)、丰田凯美瑞2019款至2015款和丰田卡罗拉2019款至2015款(即图2中最中间的层级展示图)、奥迪A4L 2019款至2015款和奥迪Q5 2019款至2015款(即图2中最右侧的层级展示图)。
步骤102、使用标注有车辆品牌的结构化信息的车辆图像，训练基于注意力机制的卷积循环神经网络模型得到车辆品牌识别模型；
步骤103、利用车辆品牌识别模型对待识别车辆图像进行识别，确定待识别车辆图像中的车辆品牌。
基于图1所示本发明实施例可以看出，本发明中，在构建基于注意力机制的卷积循环神经网络时结合了车辆品牌的结构化信息，利用这种基于注意力机制的卷积循环神经网络训练出的车辆品牌识别模型时，可以自适应地结合车辆品牌的结构化信息和注意力机制对车辆图像进行品牌识别，相比于现有通过提取车辆的固定区域的特征来识别车辆品牌，分类性能较高。
参见图3，图3是本发明实施例二车辆品牌识别方法流程图，如图3所示，该方法包括以下步骤：
步骤3011、构建用于提取车辆图像的特征信息的卷积神经网络。
步骤3012、根据车辆品牌的结构化信息，构建用于根据卷积神经网络输出的车辆图像的特征信息识别车辆图像的车辆品牌的基于注意力机制的循环神经网络。
步骤3013、将由卷积神经网络模型和基于注意力机制的循环神经网络组成的模型作为基于注意力机制的卷积神经网络模型。
以上步骤3011至3013是上述图1所示步骤101的具体细化，即图1所示步骤101的一种可能的实现方案。
通过以上步骤3011至步骤3013构建的基于注意力机制的卷积循环神经网络模型如图4所示。
步骤302、使用标注有车辆品牌的结构化信息的车辆图像，训练基于注意力机制的卷积循环神经网络得到车辆品牌识别模型。
步骤3031、利用车辆品牌识别模型中的卷积神经网络对待识别车辆图像进行编码得到待识别图像的特征信息；
步骤3032、利用车辆品牌识别模型中的基于注意力机制的循环神经网络，对待识别车辆图像的特征信息进行解码得到待识别车辆图像的车辆品牌信息。
以上步骤3031至3032是图1所示步骤103的具体细化，即图1所示步骤103的一种可能的实现方案。
基于图3所示本发明实施例可以看出，本发明中，通过构建由卷积神经网络和基于注意力机制的循环神经网络组成的基于注意力机制的卷积循环神经网络模型，可以利用卷积神经网络可以对图像进行特征提取这一特点来对输入到基于注意力机制的卷积循环神经网络模型的车辆图像进行特征提取，利用基于注意力机制的循环神经网络可以对图像进行分类这一特点来对卷积神经网络输出的车辆图像的特征信息进行分析确定车辆图像的车辆品牌，由于卷积神经网络和基于注意力机制的循环神经网络集成在同一模型中，因此可以实现对车辆图像的端到端的学习，这不仅减少了人为干预的成本，也有助于神经网络内部显式学习到输入与输出之间的关系，提升网络性能。
参见图5，图5是本发明实施例三车辆品牌识别方法流程图，如图5所示，该方法包括以下步骤：
步骤5011a、对指定卷积神经网络进行结构调整。
本发明实施例中，对指定卷积神经网络进行结构调整，包括：删除指定卷积神经网络的全局池化层和全连接层，并修改指定卷积神经网络中指定卷积层的指定卷积的步长stride，以使指定卷积神经网络中整个卷积层的输入图像和输出图像之间的分辨率比值保持在预设比值范围(例如[6，10])内。
现有技术中，卷积神经网络通常包括输入层、多个卷积层、(全局)池化层、全连接层、输出层，本发明实施例中，仅保留卷积神经网络的输入层和卷积层，并且对部分卷积层中指定卷积的步长(stride)进行调整，使得车辆图像经过整个卷积层(即卷积神经网络的所有卷积层)的处理后分辨率不会下降过多或过少。
本发明实施例中，指定卷积层为指定卷积神经网络中的排序靠后的M(例如M＝2)个卷积层；指定卷积是指定卷积层中步长不为1的卷积。修改指定卷积神经网络中指定卷积层的指定卷积的步长的方法具体为：将指定卷积神经网络的排序靠后的M个卷积层中指定卷积的步长设置为1。
以指定卷积神经网络是深度卷积神经网络mobilenetv1为例，可以将mobilenetv1的第4个卷积层(即conv4)和第5个卷积层(即conv5)作为指定卷积层，将conv4及conv5中步长为2的深度可分离卷积作为指定卷积，则可以将mobilenetv1的conv4中步长为2的深度可分离卷积修改为步长为1的深度可分离卷积，以及将mobilenetv1的conv5中步长为2的深度可分离卷积修改为步长为1的深度可分离卷积。
步骤5011b、将结构调整后的指定卷积神经网络作为用于对车辆图像进行图像特征提取的卷积神经网络。
以上步骤5011a至5011b是图3所示步骤3011的具体细化，即步骤3011的一种可能的实现方法。
步骤5012、根据车辆品牌的结构化信息，构建用于根据卷积神经网络输出的车辆图像的特征信息识别车辆图像的车辆品牌的基于注意力机制的循环神经网络。
步骤5013、将由卷积神经网络模型和基于注意力机制的循环神经网络组成的模型作为基于注意力机制的卷积神经网络模型。
以上步骤5011a至5013是上述图1所示步骤101的具体细化，即图1所示步骤101的一种可能的实现方法。
步骤502、使用标注有车辆品牌的结构化信息的车辆图像，训练基于注意力机制的卷积循环神经网络得到车辆品牌识别模型。
步骤5031、利用车辆品牌识别模型中的卷积神经网络对待识别车辆图像进行编码得到待识别图像的特征信息；
步骤5032、利用车辆品牌识别模型中的基于注意力机制的循环神经网络，对待识别车辆图像的特征信息进行解码得到待识别车辆图像的车辆品牌信息。
以上步骤5031至5032是图1所示步骤103的具体细化，即图1所示步骤103的一种可能的实现方法。
基于图5所示本发明实施例可以看出，本发明中，通过对卷积神经网络进行结构调整，从而可以利用主要用作分类的卷积神经网络实现对车辆图像的特征提取，并保证提取的车辆特征拥有适量的维度，以便于后续使用基于注意力机制的循环神经网络进行车辆品牌识别。
参见图6，图6是本发明实施例四车辆品牌识别方法流程图，如图6所示，该方法包括以下步骤：
步骤6011、构建用于提取车辆图像的特征信息的卷积神经网络。
步骤6012a、构建一N+2层LSTM网络，并针对第2层至第N+2层LSTM网络中的每层LSTM网络设置一注意力机制模块；
步骤6012b、将N+2层LSTM网络的第1层LSTM网络的输入信息设置为0；
步骤6012c、针对第2层至第N+1层LSTM网络中的每层LSTM网络，执行以下步骤6012c_1和步骤6012c_2：
步骤6012c_1、将前一层LSTM的输出信息和针对该层LSTM网络设置的注意力机制模块的输出信息作为该层LSTM网络的输入信息；
步骤6012c_2、将前一层LSTM的输出信息中的分类信息和卷积神经网络的输出信息作为针对该层LSTM网络设置的注意力机制模块的输入信息，以使该注意力机制模块根据前一层LSTM网络的输出信息中的分类信息确定目标品牌信息，并对目标品牌信息进行注意力加权。
以上步骤6012a至步骤6012c_2是图3所示步骤3012的具体细化，即图3所示步骤3012的一种可能的实现方法。
通过以上步骤6012a至步骤6012c_2构建的基于注意力机制的循环神经网络如图7所示。
由图7所示的基于注意力机制的循环神经网络可以看出，本发明中，利用多层LSTM序列化输出的特点将车辆品牌的多个层级的品牌信息(“如大众帕萨特2019款、丰田凯美瑞2018款”)进行切分，然后按照顺序对切分后的品牌信息分别进行预测，从而可以隐式学习到车辆品牌的结构化信息。比如第2层LSTM输出预测‘大众’、第3层LSTM输出预测‘帕萨特’、第4层LSTM输出预测‘2019款’。又如，第2层LSTM输出预测‘丰田’、第3层LSTM输出预测‘凯美瑞’、第4层LSTM输出预测‘2018款’。其中，当第2层LSTM输出预测为“大众”车辆品牌时，针对第3层LSTM设置的注意力机制模块将对‘大众’的下一层级的品牌信息进行注意力加权，从而使得第3层LSTM在“帕萨特”、“途观”等品牌信息下进行预测，如果第3层LSTM输出预测‘帕萨特’，则针对第4层LSTM设置的注意力机制模块将对‘帕萨特’的下一层级的品牌信息进行注意力加权，从而使得第4层LSTM在‘2019款’、‘2018款’、……、‘2015款’等品牌信息下进行预测。
本发明实施例中，第1层LSTM网络的输出信息中的分类信息为分类启动信息，针对第2层LSTM网络设置的注意力机制模块根据该分类启动信息，将车辆品牌信息中第一层级的品牌信息确定为目标品牌信息。
本发明实施例中，第2层至第N+2层LSTM网络中每层LSTM网络的输出信息中的分类信息为品牌信息，针对第3层至第N+2层LSTM网络中每一层LSTM网络设置的注意力机制模块将前一层LSTM网络输出的品牌信息的下一层级的品牌信息确定为目标品牌信息。
步骤6013、将由卷积神经网络模型和基于注意力机制的循环神经网络组成的模型作为基于注意力机制的卷积神经网络模型。
以上步骤6011至6013是上述图1所示步骤101的具体细化，即图1所示步骤101的一种可能的实现方案。。
步骤602、使用标注有车辆品牌的结构化信息的车辆图像，训练基于注意力机制的卷积循环神经网络得到车辆品牌识别模型。
步骤6031、利用车辆品牌识别模型中的卷积神经网络对待识别车辆图像进行编码得到待识别图像的特征信息；
步骤6032、利用车辆品牌识别模型中的基于注意力机制的循环神经网络，对待识别车辆图像的特征信息进行解码得到待识别车辆图像的车辆品牌信息。
以上步骤6031至6032是图1所示步骤103的具体细化，即图1所示步骤103的一种可能的实现方法。
基于图6所示本发明实施例可以看出，本发明中，通过将车辆品牌的结构化信息和注意力机制结合起来构建基于注意力机制的循环神经网络，可以实现对车辆品牌的结构化信息的挖掘，能够将类别间的关联进行隐式学习，有助于提升分类器性能。本发明中，通过在多层循环神经网络中添加注意力机制，可以自适应地实现对车辆特征的加权处理，从而隐式地实现了区域特征提取，并且在网络在学习过程中，车辆品牌的结构化信息可以对空间注意力机制提供半监督信号，使得在端到端的学习过程中二者能够互相促进。
以上用多个实施例对本发明提供的车辆品牌识别方法进行了详细说明，本发明实施例还提供了一种车辆品牌识别装置，以下结合图8进行详细说明。
参见图8，图8是本发明实施例车辆品牌识别装置的结构示意图，如图8所示，该装置包括：处理器801以及与所述处理器801通过总线连接的非瞬时计算机可读存储介质802；
所述非瞬时计算机可读存储介质802，用于存储可在所述处理器801上运行的计算机程序，所述处理器801执行所述程序时实现以下步骤：
根据车辆品牌的结构化信息，构建基于注意力机制的卷积循环神经网络模型；
使用标注有车辆品牌的结构化信息的车辆图像，训练基于注意力机制的卷积循环神经网络模型得到车辆品牌识别模型；
利用车辆品牌识别模型对待识别车辆图像进行识别，确定待识别车辆图像中的车辆品牌。
图8所示装置中，
所述处理器801，根据车辆品牌的结构化信息，构建基于注意力机制的卷积循环神经网络，包括：
构建用于提取车辆图像的特征信息的卷积神经网络；
根据车辆品牌的结构化信息，构建用于根据卷积神经网络输出的车辆图像的特征信息识别车辆图像的车辆品牌的基于注意力机制的循环神经网络。
图8所示装置中，
所述处理器801，构建用于提取车辆图像的特征信息的卷积神经网络时，用于：
对指定卷积神经网络进行结构调整，将结构调整后的指定卷积神经网络作为用于对车辆图像进行特征提取的卷积神经网络；
其中，对指定卷积神经网络进行结构调整，包括：删除指定卷积神经网络的全局池化层和全连接层，并修改指定卷积神经网络的指定卷积层的指定卷积的步长stride，以使指定卷积神经网络中整个卷积层的输入图像和输出图像之间的分辨率比值保持在预设比值范围内。
图8所示装置中，
指定卷积层为指定卷积神经网络中的排序靠后的M个卷积层；指定卷积是指定卷积层中步长不为1的卷积；
所述处理器801，修改指定卷积神经网络中指定卷积层的指定卷积的步长时，用于：将指定卷积神经网络的排序靠后的M个卷积层中指定卷积的步长设置为1。
图8所示装置中，
车辆品牌的结构化信息包括按从属关系划分层级的N级品牌信息，其中，每一层级的品牌信息是其上一层级的品牌信息的分属品牌信息；
所述处理器801，根据车辆品牌的结构化信息，构建用于根据卷积神经网络输出的车辆图像的特征信息识别车辆图像的车辆品牌的基于注意力机制的循环神经网络，包括：
构建一N+2层LSTM网络，并针对第2层至第N+2层LSTM网络中的每层LSTM网络设置一注意力机制模块；
将N+2层LSTM网络的第1层LSTM网络的输入信息设置为0；
针对第2层至第N+1层LSTM网络中的每层LSTM网络，执行以下操作：
将前一层LSTM的输出信息和针对该层LSTM网络设置的注意力机制模块的输出信息作为该层LSTM网络的输入信息；
将前一层LSTM的输出信息中的分类信息和卷积神经网络的输出信息作为针对该层LSTM网络设置的注意力机制模块的输入信息，以使该注意力机制模块根据前一层LSTM网络的输出信息中的分类信息确定目标品牌信息，并对目标品牌信息进行注意力加权。
图8所示装置中，
第1层LSTM网络的输出信息中的分类信息为分类启动信息，针对第2层LSTM网络设置的注意力机制模块根据该分类启动信息，将车辆品牌信息中第一层级的品牌信息确定为目标品牌信息；
第2层至第N+2层LSTM网络中每层LSTM网络的输出信息中的分类信息为品牌信息，针对第3层至第N+2层LSTM网络中每一层LSTM网络设置的注意力机制模块将前一层LSTM网络输出的品牌信息的下一层级的品牌信息确定为目标品牌信息。
图8所示装置中，
所述处理器801，利用车辆品牌识别模型对待识别车辆图像进行识别，确定待识别车辆图像中的车辆品牌，包括：
利用车辆品牌识别模型中的卷积神经网络对待识别车辆图像进行编码得到待识别图像的特征信息；
利用车辆品牌识别模型中的基于注意力机制的循环神经网络，对待识别车辆图像的特征信息进行解码得到待识别车辆图像的车辆品牌信息。
本发明实施例中，一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如图1、3、5、6所示的车辆品牌识别方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
