基于局部判别性增强的无监督三维物体分类方法
技术领域
本发明涉及计算机视觉技术，具体是涉及一种基于局部判别性增强的无监督三维物体分类方法。
背景技术
传统的无监督三维物体分类方法使用神经网络提取点云物体的高维全局特征，根据高维全局特征进行分类，忽略物体局部结构特征的重要性，使得学习到的特征的判别性较弱，比如Achlioptas等人(Achlioptas,Panos,O.Diamanti,IoannisMitliagkas andL.Guibas.“Learning Representations and Generative Models for 3D PointClouds.”ICML(2018))在特征提取过程中独立学习点云样本中每个点的特征，融合每个点的特征得到物体的高维全局特征。
卷积神经网络的成功证明物体局部结构特征的重要性，部分方法考虑到局部特征的重要性，结合局部特征以改善学习到的物体表示特征的判别能力。比如Rao等人(Rao,Yongming,Jiwen Lu and J.Zhou.“Global-Local Bidirectional Reasoning forUnsupervised Representation Learning of 3D Point Clouds.”2020IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR)(2020):5375-5384)在特征提取过程中将点云样本分成多个子集，每个子集是一个局部结构，使用神经网络提取每个局部结构的特征。但是这些方法等同考虑物体局部结构的重要性，没有考虑到不同的局部结构对物体表示具有不同的贡献。You等人(You,Haoxuan,Y.Feng,R.Ji and YueGao.“PVNet:A Joint Convolutional Network of Point Cloud and Multi-View for 3DShape Recognition.”Proceedings of the 26th ACM international conference onMultimedia(2018):n.pag)考虑到局部结构不同的重要性，使用多视角数据提取出的特征挖掘原始点云数据不同局部结构之间的相关性，然而有标签的多视角数据和原始点云数据难以获取，不适用于只有一种无标签的点云数据的场景。
发明内容
本发明提出一种基于局部判别性增强的无监督三维物体分类方法。其特征在于，搭建深度网络框架，学习点云样本的高维全局特征，并使用高维全局特征增强局部特征的判别性。首先对原始点云样本进行随机数据增强，约束原始点云样本和增强后的点云样本提取出的特征的相似性，以此学习点云样本的高维全局特征。通过计算高维全局特征与局部特征的相关性以增强局部特征的判别性，融合判别性最强的局部特征和高维全局特征，最后使用融合特征训练线性支持向量机进行无监督三维物体分类。
本发明包括以下步骤：
A.准备用于三维物体分类的点云数据集；
B.对原始点云样本进行数据增强，保留原始点云样本和增强后的点云样本；
C.对比每个点云样本的原始版本和数据增强后的版本，提取每个点云样本的高维全局特征；
D.使用点云样本的高维全局特征挖掘不同局部结构的相关性和判别性，进而增强点云样本局部特征的判别性；
E.融合点云样本增强后的局部特征和高维全局特征得到判别性增强的融合特征；
F.训练线性支持向量机，使用点云样本的融合特征进行无监督分类。
在步骤A中，所述准备用于三维物体分类的点云数据集进一步包括以下子步骤：
A1.采用无监督三维点云物体分类的常用数据集ModelNet(Wu,Zhirong,ShuranSong,A.Khosla,et al.“3D ShapeNets:A deep representation for volumetricshapes.”2015IEEE Conference on Computer Vision and Pattern Recognition(CVPR)(2015):1912-1920.)，包括ModelNet40和ModelNet10；ModelNet40包含40个类别12311个人为设计的CAD模型，其中训练集9843个模型，测试集2468个模型；ModelNet10包含10个类别4900个CAD模型，其中训练集3991个模型，测试集909个模型；
A2.预处理点云数据，从每个点云样本的表面均匀采样1024个点，每个点包含xyz坐标信息。
在步骤B中，所述对原始点云样本进行数据增强进一步包括以下子步骤：
B1.在准备好点云数据集之后，对点云样本进行随机数据增强操作，可能的数据增强包括平移和尺度变换、旋转、抖动、随机去除部分点等，保留原始样本和增强后的样本。
在步骤C中，所述提取每个点云样本的高维全局特征进一步包括以下子步骤：
C1.输入点云样本是一个包含n个点的无序点云集合每个点包含三维坐标，对输入的点云样本和对应随机增强后的点云样本使用两个深度卷积网络实现的共享参数的编码器分别提取特征，对原始点云提取得到局部特征L＝{l1,l2,...,ln}和全局特征g，其中li代表不同抽象层次的局部特征，对增强点云提取得到局部特征和全局特征
C2.对其中一个编码器提取的全局特征g或使用多层感知机实现的特征变换网络进行特征变换，得到变换特征z或
C3.为使网络能够有效学习到点云不变的高维全局特征，即学习到的全局特征能够不受不同的数据增强影响，使用对称损失函数约束一个编码器提取得到的全局特征和另一个编码器提取到的全局特征经变换后得到的变换特征的相似性，损失函数如下：
其中，S为相似性函数，计算两个特征之间的相似性，stopgrad为停止梯度操作，停止该编码器梯度的反向传播；通过网络训练可以提取到点云样本的高维全局特征，这个特征保留每个点云样本不受数据增强影响的独特的信息。
在步骤D中，所述增强点云样本局部特征的判别性进一步包括以下子步骤：
D1.点云不同的局部结构对物体表示的重要性不同，具有更强的判别性的局部结构能更好地代表物体；使用点云判别性更强的全局特征来挖掘出局部结构中判别性更强的特征；首先计算局部特征li和全局特征g的相关性分数如下：
其中，操作σ是将全局特征复制n遍，然后将复制后的全局特征拼接到局部特征的每个点上；是使用多层感知机实现的关系函数，推导局部特征和全局特征之间的关系；φ是正则化函数，经过正则化使得得到的相关性分数范围在[0,1]之间；得到的相关性分数表示每个局部特征和全局特征之间的相关性，分数越高，相关性越大，表明局部特征的判别性越强；
D2.使用得到的全局特征和局部特征的相关性分数增强局部特征li的判别性：
l′i＝li*(1+Score(li,g))
使得原本判别性较强的局部特征得到进一步增强，判别性较弱的局部特征得到进一步削弱。
在步骤E中，所述融合点云样本增强后的局部特征和高维全局特征得到判别性增强的融合特征进一步包括以下子步骤：
E1.融合点云样本增强后的局部特征和高维全局特征得到判别性增强的融合特征：
f＝ρ(γ(l′1),γ(l'2),...,γ(l'n),γ(g))
其中，γ是最大池化操作，ρ是特征拼接操作，挑选出点云样本局部特征li和全局特征g中判别性最强的特征，并将它们拼接起来得到融合后的具有强大判别性的融合特征f；
E2.使用深度卷积网络实现的解码器从融合特征重建点云样本，使用相似性函数约束重建的点云样本和原始输入点云样本的相似性，以此优化融合特征。
在步骤F中，所述训练线性支持向量机，使用点云样本的融合特征进行无监督分类是使用训练集数据提取出的特征训练线性支持向量机，使用训练好的线性支持向量机预测测试集数据的类别，实现无监督三维物体分类。
本发明首先通过对比原始点云样本和数据增强后的点云样本的特征相似性学习高维全局特征，进一步计算点云局部特征和高维全局特征的相关性，增强局部特征的判别性。融合判别性最强的局部特征和高维全局特征得到的物体表示特征可以实现良好的无监督分类性能。
与现有技术相比，本发明具有以下突出的优点：
本发明只使用原始点云这一种数据，先前的无监督基于点云的三维物体分类方法等同考虑不同局部结构的重要性，本发明指出点云物体不同局部结构对物体表示应当具有不同的重要性，判别性强的局部结构能更好地表示物体。先学习点云样本的高维全局特征，这个特征包含每个点云样本的独特信息，具有较强判别性。然后通过计算高维全局特征与局部特征的相关性以增强局部特征的判别性，最后融合增强后的局部特征和高维全局特征得到判别性更强的融合特征，使用融合特征进行三维物体分类得到显著的性能效果。
附图说明
图1为本发明实施例的无监督三维物体分类框架示意图。
具体实施方式
以下实施例将结合附图对本发明的方法作详细说明，实施例在以本发明技术方案为前提下进行实施，给出实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。
参见图1，本发明实施例的实施方式包括以下步骤：
1.准备点云数据集。
A.采用无监督三维点云物体分类的常用数据集ModelNet(Wu,Zhirong,ShuranSong,A.Khosla,et al.“3D ShapeNets:A deep representation for volumetricshapes.”2015IEEE Conference on Computer Vision and Pattern Recognition(CVPR)(2015):1912-1920.)，包括ModelNet40和ModelNet10。ModelNet40包含40个类别12311个人为设计的CAD模型，其中训练集9843个模型，测试集2468个模型。ModelNet10包含10个类别4900个CAD模型，其中训练集3991个模型，测试集909个模型。
B.预处理点云数据，从每个点云样本的表面均匀采样1024个点，每个点包含xyz坐标信息。
2.对点云样本进行数据增强。在准备好点云数据集之后，对点云样本进行随机数据增强操作，可能的数据增强包括平移和尺度变换，旋转，抖动，随机去除部分点等，保留原始样本和增强后的样本。
3.提取点云样本的高维全局特征。
A.输入点云样本是一个包含n个点的无序点云集合每个点包含三维坐标，对输入的点云样本和对应随机增强后的点云样本使用两个深度卷积网络实现的共享参数的编码器分别提取特征，对原始点云提取得到局部特征L＝{l1,l2,...,ln}和全局特征g，其中li代表不同抽象层次的局部特征，对增强点云提取得到局部特征和全局特征
B.对其中一个编码器提取的全局特征g或使用多层感知机实现的特征变换网络进行特征变换，得到变换特征z或
C.为使网络能够有效学习到点云不变的高维全局特征，即学习到的全局特征能够不受不同的数据增强影响，使用对称损失函数约束一个编码器提取得到的全局特征和另一个编码器提取到的全局特征经变换后得到的变换特征的相似性，损失函数如下：
其中，stopgrad为停止梯度操作，停止该编码器梯度的反向传播。S为负余弦相似性函数，计算两个特征之间的相似性：
其中，||·||2是l2范数。通过网络训练可以提取到点云样本的高维全局特征，这个特征保留每个点云样本不受数据增强影响的独特的信息。
4.增强点云样本局部特征的判别性。
A.点云不同的局部结构对物体表示的重要性不同，具有更强的判别性的局部结构能更好地代表物体。使用点云判别性更强的全局特征来挖掘出局部结构中判别性更强的特征。首先计算局部特征li和全局特征g的相关性分数如下：
其中操作σ是将全局特征复制n遍，然后将复制后的全局特征拼接到局部特征的每个点上。是使用多层感知机实现的关系函数，推导局部特征和全局特征之间的关系。φ是正则化函数，经过正则化使得得到的相关性分数范围在[0,1]之间。得到的相关性分数表示每个局部特征和全局特征之间的相关性，分数越高，相关性越大，表明局部特征的判别性越强。
B.使用得到的全局特征和局部特征的相关性分数增强局部特征li的判别性：
l′i＝li*(1+Score(li,g))
使得原本判别性较强的局部特征得到进一步增强，判别性较弱的局部特征得到进一步削弱。
5.融合点云样本增强后的局部特征和高维全局特征得到融合特征。
A.融合点云样本增强后的局部特征和高维全局特征得到判别性增强的融合特征：
f＝ρ(γ(l′1),γ(l'2),...,γ(l'n),γ(g))
其中，γ是最大池化操作，ρ是特征拼接操作，挑选出点云样本局部特征li和全局特征g中判别性最强的特征，并将它们拼接起来得到融合后的具有强大判别性的融合特征f。
B.使用深度卷积网络实现的解码器从融合特征重建点云样本，使用chamferdistance函数约束重建的点云样本和原始输入点云样本的相似性，以此优化融合特征：
其中，X是原始点云，是重建得到的点云。
6.训练线性支持向量机，使用点云样本的融合特征进行无监督分类。使用训练集数据提取出的特征和对应的数据标签训练线性支持向量机，使用训练好的线性支持向量机预测测试集数据的类别，通过对比预测的类别和真实数据标签计算分类精度。
表1为三维点云物体分类数据集ModelNet40/10上，本发明提出的方法与其他无监督三维点云物体分类方法的对比，评估准则采用分类精度，
表1
LGAN对应为Achlioptas等人提出的方法(Achlioptas,Panos,O.Diamanti,IoannisMitliagkas and L.Guibas.“Learning Representations and GenerativeModels for 3D Point Clouds.”ICML(2018).)；
FoldingNet对应为Yang等人提出的方法(Yang,Y.,Chen Feng,Y.Shen and DongTian.“FoldingNet:Point Cloud Auto-Encoder via Deep Grid Deformation.”2018IEEE/CVF Conference on Computer Vision and Pattern Recognition(2018):206-215.)；
ClusterNet对应为Zhang等人提出的方法(Zhang,L.and Z.Zhu.“UnsupervisedFeature Learning for Point Cloud Understanding by Contrasting and ClusteringUsing Graph Convolutional Neural Networks.”2019International Conference on 3DVision(3DV)(2019):395-404.)；
3D-PointCapsNet对应为Zhao等人提出的方法(Zhao,Y.,TolgaBirdal,HaowenDeng and Federico Tombari.“3D Point Capsule Networks.”2019IEEE/CVF Conferenceon Computer Vision and Pattern Recognition(CVPR)(2019):1009-1018.)；
MAP-VAE对应为Han等人提出的方法(Han,Z.,Xiyang Wang,Yu-Shen Liu andMatthias Zwicker.“Multi-Angle Point Cloud-VAE:Unsupervised Feature Learningfor 3D Point Clouds From Multiple Angles by Joint Self-Reconstruction andHalf-to-Half Prediction.”2019IEEE/CVF International Conference on ComputerVision(ICCV)(2019):10441-10450.)；
PointGLR对应为Rao等人提出的方法(Rao,Yongming,Jiwen Lu and J.Zhou.“Global-Local Bidirectional Reasoning for Unsupervised RepresentationLearning of 3D Point Clouds.”2020IEEE/CVF Conference on Computer Vision andPattern Recognition(CVPR)(2020):5375-5384.)。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：基于群表示特征的半监督学习图像分类方法
