基于图协同训练的半监督小样本图像分类方法
技术领域
本发明涉及模式识别
技术领域
，特别涉及一种基于图协同训练的半监督小样本图像分类方法。背景技术
在过去的几年中，基于深度学习的视觉识别方法在某些情况下已经达到甚至超过人类的水平，成功的一个不可缺少的因素是大量的标记数据。但是在实际情况下，数据收集和维护的负担可能很重。因此，针对每个类别中缺乏标记样本的小样本学习吸引了越来越多的关注。
目前，主要的小样本图像分类方法有以下几种：
(1)基于优化的小样本图像分类方法：如果监督信息丰富，就可以通过梯度下降法进行学习并进行交叉验证，但是小样本学习的样本数量少，不足以支撑这种方法，因此提供一个良好的初始化参数θ可以大大降低训练的成本以及错误率。2019年Singh等人将域自适应与MAML结合起来，使得模型在有限的样本上进行快速拟合；2019年Rajeswaran和Finn等人解决了MAML在求解梯度过程中出现的需要计算Hessian矩阵的问题，提出了改进版本iMAML；2019年Lee等人提出的基于可微凸优化的元学习，利用优化的隐式可微性和分类器的低秩特性进行学习；2019年Luca等人使用降维的思想解决小样本学习中数据计算困难的问题，提升了运算速度。
(2)基于度量的小样本图像分类方法：基于度量的小样本学习是将度量学习与小样本学习结合，其基本原理是根据不同的任务来自主学习出针对某个特定任务的度量距离函数。2017年Snell等人提出的原型网络是一种简单高效的小样本学习方法，通过计算嵌入空间中各个原型的中心进行学习；2018年Oreshkin等人通过度量缩放的方式，是原型网络的一种改进，缩小了余弦相似度与欧拉距离在小样本学习上的差距，并提出了辅助任务协同训练，使得具有任务依赖性的特征提取更容易训练，并且具有很好的泛化能力；2018年Ren等人成功的将原型网络的方法应用在了领域；2018年Wang等人通过生成模型生成虚拟数据来扩充样本的多样性并利用原型网络进行训练。不同度量学习的小样本学习方法在小样本图像分类任务上取得了较好的性能，但是由于测试时支持集样本数量很少，原型网络中计算的每一类别的类原型不能很好的表示测试样本整体的分布情况，存在特征不匹配问题，会在一定程度上限制小样本图像分类的性能。
发明内容
为了解决现有技术的小样本图像分类方法在图像分类过程中存在的问题，本发明实施例提供一种基于图协同训练的半监督小样本图像分类方法，通过将孤立图学习扩展到图协同训练框架，从多模态融合的角度来解决小样本学习中特征不匹配问题，较大幅度的提升小样本图像的分类性能。所述技术方案如下：
本发明提供了一种基于图协同训练的半监督小样本图像分类方法包括：
采用卷积神经网络提取图像特征；
采用邻接矩阵对图学习中的边与点之间的关系进行编码，其中，所述邻接矩阵中的元素为：
其中，表示一个图学习，和分别表示点集合和边集合，点集合由图像样本组成；表示邻接矩阵；xi，(i＝1，2，…，N)是vi嵌入特征，vi是的第i个顶点；e表示在一个边；dis(xi，xj)表示计算vi和vj之间嵌入特征距离的算子；
采用目标函数进行孤立图学习，将特征空间中的样本转化为图空间的样本，通过学习正则化的投影来对不同的测试样本进行分类，其中，所述目标函数为：
其中，表示正规化的投影，C表示类别总数；X表示样本的嵌入特征；表示归一化图拉普拉斯算子；表示点矩阵，是一个对角矩阵，其第(i，i)个个元素等于A的第i行元素之和；表示初始标签嵌入矩阵；
将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架，通过使用无标签数据进行图协同训练得到最优基础学习器，并采用最优基础学习器预测查询标签的类别，所述查询标签的类别为：
其中，表示与旋转模态特征提取器ωr(·)对应的新数据嵌入特征，其中和分别表示支持集、无标签集和查询集数据在旋转模态上的嵌入特征；表示与镜像模态特征提取器ωm(·)对应的新数据嵌入特征，其中 分别表示支持集、无标签集和查询集数据在镜像模态上的嵌入特征；和表示两个最优基础学习器。
可选的，所述采用目标函数进行孤立图学习，将特征空间中的样本转化为图空间的样本，通过学习正则化的投影来对不同的测试样本进行分类，具体为：
通过松弛所述目标函数得到松弛后的函数交替更新P和B直至松弛后的函数收敛，得到
其中，表示正规化的投影，C表示类别总数；X表示样本的嵌入特征；表示归一化图拉普拉斯算子；表示点矩阵，是一个对角矩阵，其第(i，i)个个元素等于A的第i行元素之和；B表示一个对角矩阵(B(ii)表示B的第i行、第j列的元素，P(i·)表示P的第i行元素)；表示初始标签嵌入矩阵；
预测测试样本的类别的的方法如下所示：
其中，表示测试样本；max表示最大值在向量中的索引的操作符。
可选的，将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架，通过使用无标签数据进行图协同训练得到最优基础学习器，具体为：
第一步：利用两个模态支持集特征分别构造两个不同的基础学习器；
第二步：从两个模态特征预测无标签数据的软伪标签；
第三步：对软伪标签矩阵中的值进行排序，然后在每个模态的嵌入特征上选择置信度最高的未标记样本，交叉地将伪标记实例和相应的标签扩展到不同模式上的支持集；
第四步：重复上述三步直到待学习基础学习器的性能不上升，得到两个最优基础学习器。
本发明实施例提供的技术方案带来的有益效果是：
本发明实施例提供的一种基于图协同训练的半监督小样本图像分类方法，该方法提出一种新的标签预测方法——孤立的图学习，通过引入拉普拉斯算子将原始数据编码到图空间，减少分类时对特征的依赖，然后将图空间的样本投影到标签空间进行预测。其次，提出一种半监督的图协同训练方法，通过将孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架，从多模态融合的角度来解决小样本学习中特征不匹配问题，较大幅度的提升小样本图像的分类性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于图协同训练的半监督小样本图像分类方法的流程示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
下面将结合附图1，对本发明实施例的一种基于图协同训练的半监督小样本图像分类方法进行详细说明。
参考附图1所示，本发明实施例的一种基于图协同训练的半监督小样本图像分类方法包括：
步骤110：采用卷积神经网络提取图像特征。
采用卷积神经网络模型Resnet-12模型提取图像特征。具体的，首先，将图像尺度大小变为84×84大小，然后调用Resnet-12模型，得到待处理图像的特征。其中，采用卷积神经网络提取图像特征的过程并不是本发明的保护内容，采用卷积神经网络提取图像特征属于已有技术，是一种常用的图像特征提取方法，本领域技术人员可以参考已有技术，本发明实施例在此不再累述。
步骤120：采用邻接矩阵对图学习中的边与点之间的关系进行编码。
定义为一个图学习，其中和分别表示点集合和边集合，点集合由图像样本组成。
通过邻接矩阵对图学习中的边与点之间的关系进行编码，其中，xi，(i＝1，2，…，N)是vi嵌入特征，vi是的第i个顶点，邻接矩阵A中的元素用下式表示：
其中，e表示在一个边，dis(xi，xj)表示计算vi和vj之间嵌入特征距离的算子；
步骤130：采用目标函数进行孤立图学习，将特征空间中的样本转化为图空间的样本，通过学习正则化的投影来对不同的测试样本进行分类。
孤立图学习是一种新的标签预测方法，它将特征空间中的样本转化为图空间的样本，与图学习不同的是，图学习既需要有标记的数据也需要无标签的数据来构造图，而孤立图学习通过学习正则化的投影(C表示类别总数)来对不同的测试样本进行分类，从而更灵活地独立完成训练和测试过程。
定义损失函数为：
其中，f1(P)表示图的拉普拉斯正则化器；λ和μ表示平衡函数的参数；f2(P)表示经验损失项；f3(P)表示约束项。
f1(P)的表示函数如下所示：
其中，X表示样本的嵌入特征；(·)(i·)表示(·)的第i行数据，表示点矩阵，是一个对角矩阵，其第(i，i)个个元素等于A的第i行元素之和；表示归一化图拉普拉斯算子；
f2(P)的表示函数如下所示：
其中，表示初始标签嵌入矩阵；Y(ij)在第i个样本属于第j类样本时为1，否则为0；
引入来选择P的一个基本特征并避免过拟合，f3(P)的表示函数如下所示：
其中，表示(·)的 表示正则化，是一种稀疏学习方法；
孤立图学习的目标函数为：
通过松弛孤立图学习的目标函数得到松弛后的函数交替更新P和B直至松弛后的函数收敛，得到
其中，B表示一个对角矩阵(B(ii)表示B的第i行、第j列的元素，P(i·)表示P的第i行元素)；
给定一个测试样本预测测试样本的类别的的方法如下所示：：
其中，max表示最大值在向量中的索引的操作符。
步骤140：将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架，通过使用无标签数据进行图协同训练得到最优基础学习器，并采用最优基础学习器预测查询标签的类别。
定义表示与旋转模态特征提取器ωr(·)对应的新数据嵌入特征，其中和分别表示支持集、无标签集和查询集数据在旋转模态上的嵌入特征；表示与镜像模态特征提取器ωm(·)对应的新数据嵌入特征，其中 分别表示支持集、无标签集和查询集数据在镜像模态上的嵌入特征。
第一步：根据步骤130中的公式利用两个模态支持集特征和分别构造两个不同的基础学习器Pr和Pm，两个不同的基础学习器Pr和Pm如下所示：
第二步：从两个模态特征预测无标签数据的软伪标签，无标签数据在旋转模态上预测的软伪标签矩阵和无标签数据在镜像模态上预测的软伪标签矩阵如下所示：
第三步：对软伪标签矩阵中的值进行排序，然后在每个模态的嵌入特征上选择置信度最高的无标签样本和交叉地将伪标记实例和相应的标签扩展到不同模式上的支持集；
其中，表示两种模态支持集样本的标签矩阵；表示两种模态支持集样本的标签矩阵；和表示伪标签矩阵。
第四步：重复前三步直到待学习基础学习器的性能不上升，得到两个最优基础学习器和
预测查询标签的类别为：
本发明实施例提供的一种基于图协同训练的半监督小样本图像分类方法，该方法提出一种新的标签预测方法——孤立的图学习，通过引入拉普拉斯算子将原始数据编码到图空间，减少分类时对特征的依赖，然后将图空间的样本投影到标签空间进行预测。其次，提出一种半监督的图协同训练方法，通过将孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架，从多模态融合的角度来解决小样本学习中特征不匹配问题，较大幅度的提升小样本图像的分类性能。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
