具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

目前，在移动终端上做三维重建时，需要在移动终端上安装深度传感器，例如深度相机等，来获取图像的深度信息；进而结合图像以及图像的深度信息，确定移动终端的位姿信息；进而结合移动终端的位姿信息、图像以及图像的深度信息，对图像中的对象进行三维重建。上述方法中，需要在移动终端上安装深度传感器，成本高，适应性差；且深度传感器的量程有限，扩展性差。

本公开主要针对相关技术中需要在移动终端上安装深度传感器，成本高，适应性差，扩展性差的问题，提出一种三维重建方法。本公开实施例的三维重建方法，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。

下面结合附图，对本公开实施例提供的三维重建方法进行详细说明。

图1是根据一示例性实施例所示出的三维重建方法的流程图。

需要说明的是，本公开实施例的三维重建方法的执行主体可以为三维重建装置，该三维重建装置，可以配置在未安装有深度传感器的电子设备中，以在电子设备上对待重建对象进行三维重建。

其中，电子设备，可以是任意能够进行数据处理的静止或移动计算设备，例如笔记本电脑、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者其它类型的计算设备，本公开实施例对此不作限定。

如图1所示，三维重建方法可以包括以下步骤101-105。

在步骤101中，获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧。

其中，待重建对象，例如可以为任意一个物品，或者任意一个空间区域。图像序列，为单目的图像采集器从各个角度对待重建对象进行图像采集得到的连续图像帧。其中，单目的图像采集器例如可以为移动计算设备上的单个摄像头。

在步骤102中，针对图像序列中的待处理图像，提取待处理图像的深度信息。

其中，三维重建装置提取待处理图像的深度信息的方式可以为，将待处理图像输入预设的深度网络模型，以获取待处理图像的深度信息。其中，深度网络模型的结构示意图可以如图2所示，在图2中，深度网络模型的结构可以包括：特征提取模块、特征融合模块和预测模块。特征提取模块主要用于对图像进行从底层到高层的特征提取；特征融合模块用来逐步恢复图像分辨率以及缩减通道数，并融合了特征提取模块提取得到的高层特征和底层特征，得到融合特征；预测模块主要用于基于融合特征中每个像素的特征，预测图像中该像素的深度值。

其中，深度网络模型的训练方式可以为，获取训练数据，其中，所述训练数据包括：各个样本图像以及对应的深度信息；采用所述各个样本图像以及对应的深度信息，对初始的深度网络模型进行训练，得到训练好的深度网络模型。

在步骤103中，根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像。

在示例性实施例中，单目的图像采集器上可以配置有惯性测量单元(Inertialmeasurement unit，IMU)，用于实时测量图像采集器的惯性测量信息，从而能够获取到图像采集器采集待处理图像时的惯性测量信息。其中，惯性测量信息可以包括旋转位姿信息。需要说明的是，旋转位姿信息，为图像采集器的第一姿态相对于第二姿态的角度偏移信息。其中，第一姿态为图像采集器采集待处理图像时的姿态；第二姿态为图像采集器采集图像序列中首帧图像时的姿态。

在上述实施例中，通过在单目的图像采集器上设置惯性测量单元，从而可以直接的获取到图像采集器采集待处理图像时的旋转位姿信息，进而方便结合旋转位姿信息来确定平移位姿信息，从而提高确定平移位姿信息的速率以及准确度。

在示例性实施例中，由于待重建对象的位置固定，不随图像采集器的移动而移动，因此，图像采集器连续拍摄得到的多张图像中所述待重建对象的世界坐标信息是相同的。另外，图像采集器在连续拍摄过程中，拍摄相邻两张图像时图像采集器的姿态变化是有限的，不会出现大幅度变化，因此，可以基于此构建六自由度位姿约束，以六自由度位姿约束为条件来求解平移位姿信息，能够提高平移位姿信息的求解准确度。其中，六自由度指的是，世界坐标系中沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个直角坐标轴的转动自由度。因此，三维重建装置执行步骤103的过程例如可以为，获取参考图像中各个特征点的世界坐标信息；对参考图像中的各个特征点进行光流跟踪，确定待处理图像中各个特征点的图像坐标信息；以待处理图像的平移位姿信息作为变量，以参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到待处理图像的平移位姿信息。

在上述实施例中，采用上述求解原理求解待处理图像的平移位姿信息的算法，例如可以为多点透视成像算法(pespective-n-point，PNP)。其中，图像中各个特征点的提取方式可以为，对图像进行GFTT(good feature to track)特征点提取，以获取图像中的各个特征点。需要说明的是，平移位姿信息，为图像采集器的第一姿态相对于第二姿态的位置偏移信息。其中，第一姿态为图像采集器采集待处理图像时的姿态；第二姿态为图像采集器采集图像序列中首帧图像时的姿态。

在步骤104中，根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图。

在示例性实施例中，根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，可以直接确定各帧图像中各个像素点的世界坐标信息，进而结合各帧图像中各个像素点的世界坐标信息来生成点云图，能够提高生成点云图的速率和准确度。因此，三维重建装置执行步骤104的过程例如可以为，针对图像序列中的每帧待处理图像，根据待处理图像的旋转位姿信息、待处理图像的平移位姿信息、以及图像序列中首帧图像对应的图像采集器位置信息，确定待处理图像对应的图像采集器位置信息；根据待处理图像对应的图像采集器位置信息、以及待处理图像的深度信息，确定待处理图像中各个像素点的世界坐标信息；根据各帧图像中各个像素点的世界坐标信息，生成点云图。

在上述实施例中，待处理图像的旋转位姿信息和平移位姿信息，为第一位姿与第二位姿之间的偏移信息，其中，第一姿态为图像采集器采集待处理图像时的姿态；第二姿态为图像采集器采集图像序列中首帧图像时的姿态。因此，结合待处理图像的旋转位姿信息、平移位姿信息以及图像序列中首帧图像对应的图像采集器位置信息，就能够确定待处理图像对应的图像采集器位置信息。

在上述实施例中，待处理图像的深度信息，指的是待处理图像中各个像素点相对于图像采集器在固定坐标轴上或者多个坐标轴确定的固定方位上的距离偏移信息，因此，结合待处理图像对应的图像采集器位置信息、以及待处理图像的深度信息，就能够确定待处理图像中各个像素点的世界坐标信息。

在步骤105中，根据点云图，对待重建对象进行三维重建。

本公开实施例的三维重建方法，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。

下面结合图3，对本公开实施例提供的三维重建方法中根据点云图，对待重建对象进行三维重建的过程进行说明。

图3是根据一示例性实施例示出的另一种三维重建方法的流程图。

如图3所示，图1所示的步骤105具体可以包括以下步骤301-304。

在步骤301中，对点云图进行空间网格划分，以获取各个体素块。

在示例性实施例中，可以设置好体素块的数量，按照该数量对点云图进行空间网格划分，以获取该数量个体素块；或者，可以设置好体素块的尺寸，按照该尺寸对点云图进行空间网格划分，以获取到多个具有该尺寸的体素块。其中，一个体素块中可以包括多个体素，体素为体素块中的最小块结构。

在步骤302中，针对图像序列中各帧图像的每个像素点，以像素点为起点对点云图进行射线投射处理，确定射线穿过的体素块。

在示例性实施例中，为了方便体素块的存储和查找，提高查找效率，步骤302之后，三维重建装置还可以执行以下步骤：针对以每个像素点为起点穿过的体素块，根据体素块的空间位置信息，确定体素块对应的哈希值；根据体素块对应的哈希值查找哈希表，确定体素块的目标存储区域；其中，哈希表中存储有哈希值与存储区域之间的映射关系；在目标存储区域中查找体素块。其中，体素块的存储方式为，按照对应的哈希值存在与哈希值对应的存储区域中。

在上述实施例中，根据体素块的空间位置信息，确定体素块对应的哈希值的方式为，确定体素块的左下角像素点的世界坐标信息，该世界坐标信息中包括X轴坐标、Y轴坐标和Z轴坐标；确定每个轴对应的预设编码值，确定存储区域的数量；对各个轴的坐标以及预设编码值进行乘积并求和处理，对处理结果与存储区域的数量进行求余数处理，得到该体素块对应的哈希值。

在步骤303中，根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定。

在示例性实施例中，每个体素块对应有一个带符号的阶段距离函数值(truncatedsigned distance function，TSDF)以及权重。其中，体素块的TSDF值，由体素块中各个体素的TSDF值以及权重经过融合处理得到。

在上述实施例中，确定等值面后，还需要采用体素块中的体素来精确表示等值面。其中，具体地，可以根据体素每一顶点与等值面的相对位置，将等值面与体素边的交点连接，确定等值面在体素内的一个逼近表示。对于每个体素来说，每个顶点有两种情况，即(大于或者小于)当前等值面的值，8个顶点共256中情况，考虑到旋转对称性，重新分类后可得到如图4所示的15中基本模式。将这些情况编码成体素状态表，根据当前体素顶点状态索引们可以快速计算出体素内的等值面与边的位置坐标。最后利用向量叉乘求出等值面每个顶点的法相，进而确定等值面的位置信息。

在步骤304中，根据各个等值面以及对应的位置信息，绘制待重建对象的三维模型。

本公开实施例的三维重建方法，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；对点云图进行空间网格划分，以获取各个体素块；针对图像序列中各帧图像的每个像素点，以像素点为起点对点云图进行射线投射处理，确定射线穿过的体素块；根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，等值面中各个体素块的TSDF值相同，体素块的TSDF值根据体素块至像素点的射线长度确定；根据各个等值面以及对应的位置信息，绘制待重建对象的三维模型，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好，且能够通过射线投射处理，准确找到等值面，提高三维重建效率。

为了实现上述实施例，本公开实施例提出了一种三维重建装置。

图5是根据一示例性实施例所示出的三维重建装置的框图。

参照图5，该三维重建装置500，可以包括：获取模块510、提取模块520、确定模块530、生成模块540和重建模块550。

其中，获取模块510，被配置为执行获取待重建对象的图像序列，其中，所述图像序列，为单目的图像采集器对所述待重建对象进行图像采集得到的连续图像帧；

提取模块520，被配置为执行针对所述图像序列中的待处理图像，提取所述待处理图像的深度信息；

确定模块530，被配置为执行根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息；其中，所述参考图像，为所述图像序列中对应的采集时间点位于所述待处理图像之前的相邻图像；

生成模块540，被配置为执行根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；

重建模块550，被配置为执行根据所述点云图，对所述待重建对象进行三维重建。

在示例性实施例中，所述获取模块510，还被配置为执行获取所述图像采集器采集所述待处理图像时的惯性测量信息，其中，所述惯性测量信息中包括所述旋转位姿信息。

在示例性实施例中，所述确定模块530具体被配置为执行，获取所述参考图像中所述各个特征点的世界坐标信息；对所述参考图像中的所述各个特征点进行光流跟踪，确定所述待处理图像中所述各个特征点的图像坐标信息；以所述待处理图像的平移位姿信息作为变量，以所述参考图像中所述各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到所述待处理图像的平移位姿信息。

在示例性实施例中，所述生成模块540具体被配置为执行，针对所述图像序列中的每帧待处理图像，根据所述待处理图像的旋转位姿信息、所述待处理图像的平移位姿信息、以及所述图像序列中首帧图像对应的图像采集器位置信息，确定所述待处理图像对应的图像采集器位置信息；根据所述待处理图像对应的图像采集器位置信息、以及所述待处理图像的深度信息，确定所述待处理图像中各个像素点的世界坐标信息；根据所述各帧图像中各个像素点的世界坐标信息，生成所述点云图。

在示例性实施例中，所述重建模块550具体被配置为执行，对所述点云图进行空间网格划分，以获取各个体素块；针对所述图像序列中各帧图像的每个像素点，以所述像素点为起点对所述点云图进行射线投射处理，确定所述射线穿过的体素块；根据以各个像素点为起点的射线穿过的体素块，确定各个等值面以及对应的位置信息，其中，所述等值面中各个体素块的TSDF值相同，所述体素块的TSDF值根据所述体素块至所述像素点的射线长度确定；根据所述各个等值面以及对应的位置信息，绘制所述待重建对象的三维模型。

在示例性实施例中，所述重建模块550具体还被配置为执行，针对以每个像素点为起点穿过的体素块，根据所述体素块的空间位置信息，确定所述体素块对应的哈希值；根据所述体素块对应的哈希值查找哈希表，确定所述体素块的目标存储区域；其中，所述哈希表中存储有哈希值与存储区域之间的映射关系；在所述目标存储区域中查找所述体素块。

需要说明的是，本公开实施例的三维重建装置，可以执行前述实施例中的三维重建方法，该三维重建装置可以为电子设备，也可以配置在电子设备中，以在电子设备中进行三维重建。

其中，电子设备，可以是任意能够进行数据处理的静止或移动计算设备，例如笔记本电脑、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者其它类型的计算设备，本公开实施例对此不作限定。

需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例的三维重建装置，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。

为了实现上述实施例，本公开实施例还提出了一种电子设备。

其中，电子设备200包括：

处理器220；

用于存储处理器220可执行指令的存储器210；

其中，处理器220被配置为执行指令，以实现如前所述的三维重建方法。

作为一种示例，图6是根据一示例性实施例示出的一种用于三维重建的电子设备200的框图，如图6所示，上述电子设备200，还可以包括：

存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本公开实施例所述的三维重建方法。

总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备200典型地包括多种计算机可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本公开所描述的实施例中的功能和/或方法。

电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的三维重建方法的解释说明，此处不再赘述。

本公开实施例提供的电子设备，通过获取待重建对象的图像序列，其中，图像序列，为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；其中，参考图像，为图像序列中对应的采集时间点位于待处理图像之前的相邻图像；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据点云图，对待重建对象进行三维重建，从而在避免使用深度传感器的情况下，仅结合单目的图像采集器实现对待重建对象的三维重建，克服深度传感器量程有限的缺陷，降低成本，适应性好，且扩展性好。

为了实现上述实施例，本公开实施例还提出了一种计算机可读存储介质。

其中，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前所述的三维重建方法。

为了实现上述实施例，本公开还提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行如前所述的三维重建方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。