具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如图1所示，本发明实施例提供一种陶瓷洁具的款式识别方法，包括步骤S100-S200：

S100、获取陶瓷洁具的图像集合。

本发明实施例中，图像集合包括陶瓷洁具的俯视图、仰视图以及侧视图。具体地，将三个相机分别放置于生产线上陶瓷洁具的正上方、正侧面以及背面，分别采集陶瓷洁具的俯视图、仰视图以及侧视图，以实时采集陶瓷洁具不同视觉的图像。

S200、将图像集合输入至训练后的款式识别模型，得到分类结果。

具体地，将图像集合中的俯视图、仰视图以及侧视图输入至训练后的款式识别模型，训练后的款式识别模型输出分类结果，该分类结果表示当前陶瓷洁具的款式类别。需要说明的是，当得到款式类别后，可以根据得到的款式类别进一步对陶瓷洁具进行分类摆放或者进行不同的处理。需要说明的是，训练后的款式识别模型可以布置于与三个相机通信连接的工控机上，在得到分类结果后工控机控制相应的设备对陶瓷洁具进行分类，实现陶瓷洁具的款式划分。

本发明实施例中，在将图像集合输入之前可以对图像集合进行去噪处理。可选地，去噪处理为通过一定尺寸(例如3*3)的高斯滤波核对图像集合进行去噪处理。

如图2所示，可选地，训练后的款式识别模型的获取步骤包括步骤S300-S400：

S300、将训练数据输入款式识别模型得到陶瓷洁具的定位位置以及款式类别。

具体地，训练数据为包括陶瓷洁具的俯视图、仰视图以及侧视图等图像样本的图像样本集合，款式识别模型指的是能够在图像样本集合中对陶瓷洁具进行定位以及输出陶瓷洁具的款式类别的模型，当训练数据输入至款式识别模型后，款式识别模型输出陶瓷洁具的定位位置以及款式类别。

可选地，在获取图像样本后可以对图像样本进行数据清洗和数据扩充。例如，数据清洗具体为：找出图像样本中不属于陶瓷洁具产品的图像、拍摄质量不佳导致产品款式难以判定的图像以及重复拍摄的同一目标在同一姿态下几乎同时拍下的图像，进行删除；数据扩充具体为：通过亮度调整、对比度调整及添加噪声等策略对图像样本进行扩充。可以理解的是，在对图像样本进行数据清洗和数据扩充后，对图像样本进行分类，得到包含一致特征样本集合和款式样本集合的训练数据。具体地，一致特征样本集合包括同一视角下的不同款式类别的陶瓷洁具之间外观一致的图像样本，记为第一图像样本，具有标注的第一标签，第一标签包括陶瓷洁具的最小外接矩形框(代表真实位置)和特征名称；款式样本集合包括除一致特征样本集合以外的其余图像样本，记为第二图像样本，具有标注的第二标签，第二标签包括陶瓷洁具的最小外接矩形框(代表真实位置)和真实款式类别。其中，第一标签和第二标签构成训练数据的标签信息。

例如：具有款式A的陶瓷洁具和款式B的陶瓷洁具，当A、B两款陶瓷洁具的侧面外观完全一样时，即侧视图一样，侧视图相对于A、B两款陶瓷洁具不具备区分的特征，此时将A、B两款陶瓷洁具的侧视图都分类到一致特征样本集合中，并使得第一标签的特征名称记为“AB侧”，通过该分类可以提高款式识别模型的识别准确度，降低模型误识别风险，原因在于：如果将A、B两款陶瓷洁具的侧视图分为记为“A侧”和“B侧”，那么款式识别模型的模型参数在训练的过程中会变得混乱，款式识别模型在尝试区分两个一模一样的图像，这样会导模型参数出现严重的过拟合，最终会使得款式识别模型的识别准确度降低。

如图3所示，具体地，步骤S300包括以下步骤S311-S313：

S311、将训练数据输入款式识别模型进行特征提取，得到多个不同尺度下的特征图。

具体地，款式识别模型中分别特征提取部分和回归分类部分组成，特征提取部分可以采用VGG16网络为快速迁移学习提供基础，而回归分类部分如图4所示，将通过VGG16网络处理后得到的尺寸为14*14*512的特征图利用四组3*3卷积核进行卷积，最终得到五个尺度下的特征图，分别为14*14*512、7*7*1024、5*5*256、3*3*256、1*1*256。

S312、在每一特征图上生成多个不同尺寸大小的默认框，对每一默认框进行预测得到预测结果。

具体地，通过定位分类器对特征图记性定位和分类，在每一个尺度下的每一特征图均生成多个不同尺寸大小的默认框，例如四个不同尺寸大小的默认框，然后对每一默认框进行预测，确定预测结果。其中，默认框用于对定位陶瓷洁具在图像中的位置，预测结果包括陶瓷洁具的款式类别。可选地，四个不同尺寸大小的默认框的尺寸分别为：(scale(i)*x，scale(i)*y,scale(i)*1,scale(i)*1)、(scale(i)*x,scale(i)*y,scale(i)*1)、(scale(i)*x,scale(i)*y,scale(i)*1,)、(scale(i)*x,scale(i)*y, )，其中x、y表示第i个特征图的坐标点的横坐标和纵坐标，上述()内的四项内容分别表示默认框的中心点横坐标，默认框的中心点纵坐标，默认框的宽度和默认框的高度，scale(i)表示VGG16输入层宽高尺寸与当前特征图宽高尺寸的比例，以宽高尺寸为224为例，此时即

可选地，步骤S312中对每一默认框进行预测得到预测结果，包括以下步骤S3121-S3122：

S3121、对每一默认框进行预测，确定每一默认框对应的多个类别概率。

本发明实施例中，类别概率表征不同款式的概率以及背景的概率。具体地，对每一默认框进行预测，每一默认框对应的多个类别概率。例如，以款式类别为三种为例，每一默认框得到类别概率C₀，C₁,C₂,C₃，其中C₀代表背景的概率，C₁,C₂,C₃分别三种不同款式的概率。

S3122、根据类别概率，通过非极大值抑制确定最终保留的默认框，将最终保留的默认框中最大的类别概率对应的款式类别作为最终保留的默认框的预测结果。

具体地，根据步骤S3121得到的类别概率，通过非极大值抑制(NMS)确定每一特征图中的四个默认框中最终保留的默认框，将最终保留的默认框中最大的类别概率对应的款式类别作为最终保留的默认框的预测结果，即最大的类别概率将对应的款式类别作为最终保留的默认框的预测结果。

S313、对默认框进行补偿处理，得到定位位置。

具体地，该步骤中进行补偿处理的前提为不等于C₀。

具体地，步骤S313包括以下步骤S3131-S3135：

S3131、获取默认框的补偿误差。

本发明实施例中，获取的补偿误差包括默认框的中心点横坐标补偿值d_x、默认框的中心点纵坐标补偿值d_y、默认框的宽度补偿值d_w和默认框的高度补偿值d_h。

S3132、根据默认框当前的中心点横坐标，以及默认框当前的宽度与默认框的宽度补偿值的乘积，确定默认框补偿后的中心点横坐标。

具体地，假设默认框当前的中心点横坐标为P_x，默认框当前的中心点纵坐标为P_y，默认框当前的宽度为P_w，默认框当前的高度为P_h，确定默认框补偿后的中心点横坐标的公式为：

S3133、根据默认框当前的中心点纵坐标，以及默认框当前的高度与默认框的中心点纵坐标补偿值的乘积，确定默认框补偿后的中心点纵坐标。

确定默认框补偿后的中心点纵坐标的公式为：

S3134、根据默认框当前的宽度以及默认框的宽度补偿值，确定默认框补偿后的宽度。

确定默认框补偿后的宽度的公式为：

S3135、根据默认框当前的高度以及默认框的高度补偿值，确定默认框补偿后的高度。

确定默认框补偿后的高度的公式为：

需要说明的是，定位位置包括补偿后的中心点横坐标补偿后的中心点纵坐标补偿后的宽度和补偿后的高度

S400、根据定位位置、款式类别以及目标损失函数对款式识别模型进行训练，得到训练后的款式识别模型。

具体地，利用款式识别模型中设置的目标损失函数对款式识别模型进行训练，在训练过程中更新模型参数，从而得到训练后的款式识别模型。本发明实施例中，目标损失函数中款式类别的第一权重大于定位位置的第二权重。

具体地，步骤S400包括以下步骤S411-S415：

S411、根据定位位置与第一标签的匹配结果，确定匹配值。

具体地，步骤S411中根据定位位置与第一标签的匹配结果，确定匹配值，包括以下步骤S4111或者S4112：

S4111、当定位位置与第一标签的交并比大于等于交并阈值，确定匹配值为1。

可选地，当定位位置与第一标签的交并比IoU大于等于交并阈值，确定匹配值δ为1。

S4112、当定位位置与第一标签的交并比小于交并阈值，确定匹配值为0。

可选地，当定位位置与第一标签的交并比小于交并阈值，确定匹配值δ为0。

S412、根据款式类别以及匹配值，采用第一损失函数确定第一损失参数。

具体地，第一损失函数包括但不限于Softmax交叉熵损失函数，根据款式类别以及匹配值采用Softmax交叉熵损失函数确定第一损失参数为L_conf(δ,c)，其中δ为匹配值，c为款式类别。

S413、根据匹配值、定位位置、第一标签和第二标签，采用第二损失函数确定第二损失参数。

具体地，第二损失函数包括但不限于Smooth L1损失函数，根据匹配值、定位位置、第一标签和第二标签，采用Smooth L1损失函数确定第二损失参数L_loc(δ，l，g)，其中δ为匹配值，l为定位位置，g为包含第一标签和第二标签的标签信息。

S414、将第一损失参数、第一权重、第二损失参数以及第二权重进行加权，根据加权结果确定目标损失函数的损失值。

具体地，第一权重W₁大于第二权重W₂，例如第一权重W₁为2，第二权重W₂为1。

具体地，步骤S414中根据加权结果确定目标损失函数的损失值，包括以下步骤S4141或者S4142：

S4141、确定匹配值为1的默认框的总数量N。

可选地，总数量N是指经过NMS处理后，不同尺度下的特征图上匹配值为1的默认框的总数量。

S4142、根据加权结果与总数量的比值，确定目标损失函数的损失值。

具体地，目标损失函数L(δ，c，l，g)为：

从公式可知，目标损失函数的损失值，通过总数量N与加权结果的比值确定，加权结果为

第一损失参数L_conf(δ,c)、第一权重W₁、第二损失参数L_loc(δ,l,g)以及第二权重W₂进行加权所得。

S415、根据损失值对款式识别模型进行训练，对款式识别模型的模型参数进行更新，得到训练后的款式识别模型。

具体地，利用目标损失函数确定损失值，并根据损失值对款式识别模型进行训练，在训练过程中对模型参数进行更新，当损失值小于等于损失阈值时，利用当前更新后的模型参数确定训练后的款式识别模型。可选地，模型参数包括但不限于数据处理(或预处理)相关参数、训练过程与训练相关的参数或者网络相关参数。例如，数据处理(或预处理)相关参数包括但不限于丰富数据库的参数(enrich data)、数据泛化处理的参数(featurenormalization and scaling)和BN处理的参数(batch normalization)；训练过程与训练相关的参数包括但不限于训练动量、学习率、衰减函数、权值初始化和正则化相关方法；网络相关参数包括但不限于分类器的选择参数、神经元数量、过滤器数量和网络层数。

综上，本发明实施例本发明使用多相机视角方法采集图像并基于深度卷积神经网络技术对陶瓷洁具产品款式进行识别，大大提高了陶瓷洁具产品款式识别的便捷度、识别范围和准确率，包括但不限于具有以下优点：

1)使用便捷：由于采用机器视觉技术，解决了条码扫码识别和RFID射频识别等方法需要人为参与标识以及一次性使用的问题，仅需生产前对新款式产品进行人工标注和模型训练，生产过程无需对给每一个陶瓷洁具产品人工标记；相机、工控机和识别模型均可重复利用，非一次性使用品。

2)识别范围广：本方法使用三个相机从三个不同视角拍摄陶瓷洁具产品，适用于识别更多细微差别的产品，打破了单相机识别方式只能识别产品单面的局限性，使陶瓷洁具产品款式的自动识别能灵活、可靠地应用于实际产线。

3)识别准确：本方法基于自定义的目标检测网络，使用加权的目标损失函数，并通过设置不同的第一权重和第二权重，在满足基本定位功能的基础上更加侧重于分类性能，从而确保产品识别的准确度。

本发明还提供一种陶瓷洁具的款式识别装置，包括：

获取模块，用于获取陶瓷洁具的图像集合；图像集合包括产品的俯视图、仰视图以及侧视图；

分类模块，用于将图像集合输入至训练后的款式识别模型，得到分类结果；

训练后的款式识别模型的获取步骤包括：

将训练数据输入款式识别模型得到陶瓷洁具的定位位置以及款式类别；

根据定位位置、款式类别以及目标损失函数对款式识别模型进行训练，得到训练后的款式识别模型；目标损失函数中款式类别的第一权重大于定位位置的第二权重。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供了一种陶瓷洁具的款式识别装置，该设备包括处理器以及存储器；

存储器用于存储程序；

处理器用于执行程序实现本发明实施例的陶瓷洁具的款式识别方法。本发明实施例的装置可以实现陶瓷洁具的款式识别的功能。该装置可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意智能终端。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序被处理器执行完成如前述发明实施例的陶瓷洁具的款式识别方法。

本发明实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述发明实施例的陶瓷洁具的款式识别方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。