具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

下面结合附图，对本申请实施例作进一步阐述。

参照图1，本发明实施例提供一种基于单目相机的可通行区域检测方法，包括但不限于以下步骤：

S100.获取单目相机采集的图像；

S200.利用单目SLAM特征点法对图像进行特征提取和特征匹配，得到三维特征点集；

S300.确定目标区域，目标区域为图像上的任意一个区域；

S400.对目标区域进行分割，得到多个子区域；

S500.利用KD-Tree获取每个子区域的邻近特征点集；

S600.通过计算每个邻近特征点集中每个邻近特征点到达相应子区域的距离，获取每个子区域的最近障碍物距离；

S700.根据每个子区域的最近障碍物距离，通过代价求解器求得代价值和视觉代价地图；

S800.根据代价值和视觉代价地图，结合预先设定的代价阈值得到可通行区域；

S900.利用随机采样一致算法对可通行区域的特征点进行过滤，得到地面点集；

S1000.根据地面点集，利用尺度因子求解器获取尺度因子；

S1100.根据尺度因子更正可通行区域的尺度，将视觉代价地图进行投影变换获得可通行方向。

本实施例中，为了稳定、鲁棒地实现纯视觉传感器小车的可通行区域检测，提出了一种基于单目SLAM特征点地图的区域划分算法。利用单目SLAM特征点法计算得到三维特征点集，在相机视野范围内使用障碍物距离求解器计算当前位置与邻近特征点集的最小距离，将得到的最近障碍物距离放入代价求解器中计算得到对应代价值，最后视觉代价地图经过重投影变换获得可通行方向；同时为了解决单目SLAM中的尺度不一致问题，对相机高度和旋转平面进行了一定约束，计算得到尺度因子，通过该尺度因子对可通行区域的尺度进行更正；本发明实施例仅需要低成本的单目相机便可实现可通行区域的检测任务，可方便地移植到轻量级的移动设备。而且，不同于往常的基于深度学习或者点云分割的区域检测算法，本发明实施例计算得到了可通行区域中的代价值，更加方便后续小车进行路径规划任务。

参照图2，本实施例中，关于步骤S200，在获取单目相机采集的图像之后，利用单目SLAM特征点法对图像进行特征提取和特征匹配，得到三维特征点集具体地，对单目相机进行标定以获取该单目相机的内参矩阵和畸变参数，依时序对图像提取ORB特征点并获取ORB描述子，然后对图像进行特征点匹配，得到图像特征点，最后根据对极点约束求解相机在图像之间的运动，利用三角化测量来计算图像特征点的三维坐标，以此得到三维特征点集

关于步骤S300和步骤S400，本实施例中，可以当前图像中的前方区域空间S为目标区域，然后对前方区域空间S进行均匀分割成多个细小的子区域(s₁,s₂,...,s_m,)。分割完成后，执行步骤S500，也就是利用KD-Tree查找每个子区域附近K个邻近特征点集 例如，对目标区域进行均匀分割后得到n个正方体小块，其中一个正方体小块代表一个子区域，通过KD-Tree查找第一个正方体小块附件所有的邻近特征点，将这些所有邻近特征点的集合记为第一邻近特征点集；同样地，通过KD-Tree查找第二个正方体小块附件所有的邻近特征点，将这些所有邻近特征点的集合记为第二邻近特征点集；通过KD-Tree查找第三个正方体小块附件所有的邻近特征点，将这些所有邻近特征点的集合记为第三邻近特征点集。其中，假设第一邻近特征点集中包含有a个邻近特征点，第二邻近特征点集中包含有b个邻近特征点，第三邻近特征点集中包含有c个邻近特征点。遍历每一个正方体小块(子区域)，通过KD-Tree查找得到每一个正方体小块的邻近特征点集。

本实施例中，通过KD-Tree获取每个子区域的邻近特征点集之后，进一步执行步骤S600，也就是通过计算每个邻近特征点集中每个邻近特征点到达相应子区域的距离，获取每个子区域的最近障碍物距离这一步骤，具体地，该步骤包括以下子步骤：

S601.计算每个邻近特征点集中每个邻近特征点到达相应子区域的距离；

S602.根据每个邻近特征点集中每个邻近特征点到达相应子区域的距离，计算得到平均距离；

S603.根据每个邻近特征点集中每个邻近特征点的概率分布密度函数，通过高斯核密度估计计算得到第一距离；

S604.根据平均距离和第一距离，计算得到每个子区域的最近障碍物距离。

具体地，平均距离通过以下公式计算得到：

式中，d_ave表示平均距离，n表示邻近特征点数量，d_i表示邻近特征点集中第i个邻近特征点到达相应子区域的距离。

第一距离通过以下公式计算得到：

式中，d_kde表示第一距离，peak_i(f_h(d))表示邻近特征点的分布密度函数f_h(d)对应的密度分布图像中的第i个波峰值；

其中，式中，f_h(d)表示邻近特征点的分布密度函数，n表示邻近特征点数量，d_i表示邻近特征点集中第i个邻近特征点到达相应子区域的距离，h表示带宽，d表示待计算的距离值；

其中，式中，K(x)表示高斯核函数，

最近障碍物距离通过以下公式执行：

d＝α·d_kde+(1-α)·d_ave；

式中，d表示最近障碍物距离，d_kde表示第一距离，d_ave表示平均距离，α表示权重因子。

本实施例中，考虑到如果直接使用平均距离进行计算不能很好表示不同位置之间的差异，从而并不能获取准确的最近障碍物距离。而核密度估计一般求解随机变量的分布密度问题，因此，本实施例采用高斯核密度估计来获取子区域附近邻近特征点的分布情况，并结合平均距离进行最近障碍物距离求解。同样以目标区域中的第一个正方体小块(子区域)为例，假设通过KD-Tree查找第一个正方体小块附件所有的邻近特征点，将这些所有邻近特征点的集合记为第一邻近特征点集；同样地，通过KD-Tree查找第二个正方体小块附件所有的邻近特征点，将这些所有邻近特征点的集合记为第二邻近特征点集；通过KD-Tree查找第三个正方体小块附件所有的邻近特征点，将这些所有邻近特征点的集合记为第三邻近特征点集。其中，假设第一邻近特征点集中包含有a个邻近特征点，第二邻近特征点集中包含有b个邻近特征点，第三邻近特征点集中包含有c个邻近特征点。计算第一邻近特征点集中a个邻近特征点到达第一个正方体小块的距离，可得到a个距离，通过公式对这a个距离求平均，可得到第一邻近特征点集中a个邻近特征点到达第一个正方体小块的平均距离。然后采用高斯核密度估计来获取第一邻近特征点集中a个邻近特征点的分布情况，根据该分布情况，通过公式可得到第一距离，即首峰距离；也就是通过高斯核密度估计计算得到的第一邻近特征点集中a个邻近特征点到达第一个正方体小块的最短距离。得到这两个距离之后，通过公式d＝α·d_kde+(1-α)·d_ave计算得到第一个正方体小块(第一子区域)的最近障碍物距离。同样地，计算第二邻近特征点集中b个邻近特征点到达第二个正方体小块的距离，可得到b个距离，通过公式对这b个距离求平均，可得到第二邻近特征点集中b个邻近特征点到达第二个正方体小块的平均距离。然后采用高斯核密度估计来获取第二邻近特征点集中b个邻近特征点的分布情况，根据该分布情况，通过公式可得到第一距离，也就是通过高斯核密度估计计算得到的第二邻近特征点集中b个邻近特征点到达第二个正方体小块的最短距离。得到这两个距离之后，通过公式d＝α·d_kde+(1-α)·d_ave计算得到第二个正方体小块(第二子区域)的最近障碍物距离。同样地，计算第三邻近特征点集中c个邻近特征点到达第三个正方体小块的距离，可得到c个距离，通过公式对这c个距离求平均，可得到第三邻近特征点集中c个邻近特征点到达第三个正方体小块的平均距离。然后采用高斯核密度估计来获取第三邻近特征点集中c个邻近特征点的分布情况，根据该分布情况，通过公式可得到第一距离，也就是通过高斯核密度估计计算得到的第三邻近特征点集中c个邻近特征点到达第三个正方体小块的最短距离；得到这两个距离之后，通过公式d＝α·d_kde+(1-α)·d_ave计算得到第三个正方体小块(第三子区域)的最近障碍物距离。对目标区域中的每一子区域都按照这种计算方式进行计算，便可得到每个子区域的最近障碍物距离。

具体地，参照图3，图3中(a)表示当前计算子区域s邻近特征点的距离值情况，图3中(b)表示使用高斯核密度估计得到的分布情况。

由图3(b)可以看出，该当前计算子区域s附近有两个特征点簇x₁,x₂，分别表示两个障碍物O₁,O₂，为了得到离当前计算子区域s最近的障碍物距离信息，取第一个坡峰f(x₁)的距离x₁作为当前计算子区域s的最近障碍物距离d_s，此做法可以实现简单的聚类功能，实现了对不同位置障碍物的区分处理。本实施例在图3(b)中选取x₁＝0.3作为当前场景下的最近障碍物距离值。

参照图4，图4(a)表示使用公式计算得到的障碍物距离值，图4(b)表示使用公式d＝α·d_kde+(1-α)·d_ave计算得到的障碍物距离值，图4(c)表示使用公式计算得到的障碍物平均距离，图4(d)表示距离标准差。

如图4(a)和(d)所示，道路中间(水平偏移量为0处)数据方差小，数值较接近，直接取第一个坡峰数据作为距离量会有较大波动和误差，直接使用d_kde或d_ave均不能很好地满足道路中间障碍物距离小，道路两侧障碍物距离大的原则，本实施例将d_kde和d_ave相结合，当方差较小时增大d_ave的权重，最终求得d如图4(b)所示，很好地解决了这个问题。

本实施例中，计算得到每个子区域的最近障碍物距离之后，也就是得到了各个位置的最近障碍物距离信息之后，为了降低机器人撞击障碍物的概率和方便后续机器人进行路径规划，距障碍物较近区域代价值应当远高于距障碍物较远区域代价值。为此，本实施例借鉴路径规划中一种常见的避障技术(人工势场法)，对人工势场法中的代价函数进行了一定修改。另外，由于基于特征点进行代价求解还有两个问题，一是障碍物背部的特征点信息缺失，如果直接进行代价计算，该算法会将障碍物背部视为空闲区域，针对该问题，本实施例引入了代价传播机制；二是空闲区域中心位置附近特征点数量较少，此时计算得到的距离信息可能会有较大误差，如果不加以修正，会出现中心空闲区域代价值更高的情况，这是不合逻辑的，尽管该问题可以通过增大KD-Tree搜索范围解决，但此举会增加时间复杂度，降低实时性。为保证实时性和避免少数邻近特征点带来过大误差，本实施例倾向于引入一个数量临界值，若邻近特征点数量过小，表示当前区域距离障碍物过远，应当适当减小代价值。

具体地，经过测试，代价求解器公式如下：

式中，C表示子区域的代价值，d表示最近障碍物距离，d^*表示影响半径，n表示邻近特征点数量，n^*表示邻近特征点数量边界值，η表示代价尺度因子。本实施例中，将影响半径d^*设置为1.0，邻近特征点数量边界值n^*设置为100，代价尺度因子η设置为0.1。

参照图5，本实施例中，为了避免因障碍物背面检测不到特征点而导致可通行区域计算出现错误的情况，本实施例增加一个代价传播步骤，如图5所示，由相机位置(原点)向障碍物潜在区域(代价值较大区域)发射射线，将障碍物代价值向后方区域传播。

本实施例中，将障碍物距离信息d_s,s∈S代入代价求解器可求得代价值和视觉代价地图，然后结合预先设定好的代价阈值对空间进行划分得到可通行区域。本实施例考虑到单目SLAM中存在尺度不一致问题，因此需要进一步获取尺度因子对得到的可通行区域的尺度进行更正。具体地，利用随机采样一致算法对所述可通行区域的特征点进行过滤，得到地面点集。然后根据地面点集，利用尺度因子求解器获取尺度因子。其中，步骤S1000，也就是根据地面点集，利用尺度因子求解器获取尺度因子这一步骤，具体包括：

S1001.根据地面点集，计算归一化尺度下的地面高度；

S1002.根据地面高度和预设单目相机高度，计算得到尺度因子。

具体地，本实施例中，根据地面高度和预设单目相机高度，计算得到尺度因子是通过以下公式执行：

式中，f_scale表示尺度因子，h表示预设单目相机高度，h′表示地面高度。

参照图6，本实施例假定单目相机高度一定并且单目相机只进行水平面旋转。首先使用得到的可通行区域和随机采样一致算法(RANSAC)对特征点进行过滤，得到地面点集。然后算出归一化尺度下的地面高度，即图6中的h′，然后利用预设相机高度h计算尺度因子最后利用尺度因子f_scale进行障碍物深度估计和特征点真实尺寸恢复；即对可通行区域的尺度进行更正。最后，将视觉代价地图进行投影变换获得可通行区域的可通行方向。

本发明实施例一种基于单目相机的可通行区域检测方法具有以下技术效果：

本发明实施例通过利用单目SLAM特征点法对单目相机采集的图像进行特征提取和特征匹配，得到三维特征点集；确定目标区域，并对目标区域进行分割，得到多个子区域；然后利用KD-Tree获取每个子区域的邻近特征点集；通过计算每个邻近特征点集中每个邻近特征点到达相应子区域的距离，获取每个子区域的最近障碍物距离；然后通过代价求解器求得代价值和视觉代价地图，并结合预先设定的代价阈值得到可通行区域；利用随机采样一致算法对可通行区域的特征点进行过滤，得到地面点集，并利用尺度因子求解器获取尺度因子；最后根据尺度因子更正可通行区域的尺度，并将视觉代价地图进行投影变换获得可通行方向。本发明通过计算得到最近障碍物距离，通过代价求解器得到可通行区域，即仅需要低成本的单目相机便可实现可通行区域的检测任务，而且同时计算得到了可通行区域中的代价值，更加方便后续小车的路径规划模块；计算得到的尺度因子对可通行区域的尺度进行更正，能够解决单目SLAM中的尺度不一致问题。

参照图7，本发明实施例还提供了一种基于单目相机的可通行区域检测装置200，具体包括：

至少一个处理器210；

至少一个存储器220，用于存储至少一个程序；

当至少一个程序被至少一个处理器210执行，使得至少一个处理器210实现如图1所示的方法。

其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

可以理解到，图7中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图7所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图1所示实施例的步骤。

以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，处理器可执行的程序在被处理器执行时用于实现如图1所示的方法。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。