无人机集群监测三维机器视觉构图方法、设备和系统
技术领域
本发明涉及无人化三维机器视觉技术,具体涉及种无人机集群自主协同联合监测三维机器视觉构图方法、设备和系统。
背景技术
当前,基于机器视觉的监测监管等应用,随着无人机平台的快速渗透成为信息化社会构建的重要内容之一。比如,构建三维地图是全社会数字化建设的热点之一。尤其是无人机测绘平台的快速推广应用,基于无人机平台机器视觉的三维地图构建得到各行业的充分认可,其成本低、速度快、构图精准的显著优点,是传统方式无法比拟的。对重要目标的监测、交通场景的监管和重大活动安保等场合,基于无人机平台的机器视觉都发挥重要作用。
然而,基于单个无人机进行机器视觉监测,往往只能得到二维的机器视觉图,只能判断前方有无障碍、有无危险等,而无法得到距离、行为预测等更为精确、深入的信息。这些信息的获得,需要三维机器视觉的分析。但是基于单个无人机机器视觉的三维机器视觉构建,需要利用无人机进行规划的路径测量,并进行线下的构图运算,并不能实时得到监测对象的三维视觉图。这在某些场合是不能满足要求的。比如,在城市交通监管领域,需要的是实时的场景三维视觉,而不是线下的。对于重大活动安保等,更是需要全场景、多目标的实时动态三维视觉,才能确保对全局的准确掌控。
因此,需要研究无人机集群自主协同联合监测三维视觉构图方法、设备和系统,利用多无人机平台,以协同监测的模式,融合多角度的实时拍摄图像,在线生成三维机器视觉构图,解决单无人机平台无法在线生成三维机器视觉图的问题,提高重要场景的多维全局监测能力,为准确研判、精确指挥和证据获取提供三维数据基础。该研究具有较强的实用背景和多场景适用性,在技术上也有较强的创新意义,因此具有较强的理论和实用价值。
发明内容
为解决上述技术问题,本发明的目的是提供本发明的目的在于提出一种无人机集群自主协同联合监测三维视觉构图方法、设备和系统。
本发明的技术方案如下:
无人机集群监测三维机器视觉构图方法,其特征在于,包括如下步骤:
S1、为多个无人机中的每一个分配检测目标区域;
S2、任一无人机获取其检测目标区域的图像信息;
S3、无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中;
S4、无人机集群三维机器视觉生成模块,选取任一无人机传输的一副图像根据机器视觉算法进行图像拼接。
进一步的,所述步骤S1中,分配检测目标根据监测场景和目标的性质、监测需求,以及无人机集群的成员构成、搭载设备的性能等情况进行。
进一步的,还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
进一步的,步骤S3具体为根据无人机集群三维机器视觉构图的需求,由各架无人机按照数据汇聚的计算节点地址,采用wifi、4G、5G无线传输手段,把各自的监测图像数据按顺序和时延要求进行传输。
进一步的,步骤S4中算法为halcon机器视觉算法包。
无人机集群监测三维机器视觉构图系统,其特征在于,包括:
分配系统,为多个无人机中的每一个分配检测目标区域;
图像获取系统,任一无人机获取其检测目标区域的图像信息;
图像传输系统,无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中;
图像拼接系统,无人机集群三维机器视觉生成模块,选取任一无人机传输的一副图像根据机器视觉算法包halcon进行图像拼接。
进一步的,所述分配系统中,分配检测目标根据监测场景和目标的性质、监测需求,以及无人机集群的成员构成、搭载设备的性能等情况进行。
进一步的,还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
进一步的,所述图像拼接系统具体为根据无人机集群三维机器视觉构图的需求,由各架无人机按照数据汇聚的计算节点地址,采用wifi、4G、5G无线传输手段,把各自的监测图像数据按顺序和时延要求进行传输。
借由上述方案,本发明至少具有以下优点:
利用多无人机平台,以协同监测的模式,融合多角度的实时拍摄图像,在线生成三维机器视觉构图,解决单无人机平台无法在线生成三维机器视觉图的问题,提高重要场景的多维全局监测能力,为准确研判、精确指挥和证据获取提供三维数据基础。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某个实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明的场景图;
图2是本发明的方法工作框图;
图3是本发明的系统结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
参见图1和图2,本发明一较佳实施例。
本发明的具体方法如下:
无人机集群监测三维机器视觉构图方法,包括如下步骤:
第一步,根据监测场景和目标的性质、监测需求,以及无人机集群的成员构成、搭载设备的性能等情况,为每个无人机进行检测目标的分配,并设定其拍摄监测图像的角度、分辨率、刷新率参数。
由于目标的高度不统一,每一个无人机在分配的时候,均要保持相对地面同样的高度。拍摄图像的角度一般固定在同一角度,分辨率可以为720p、1080p、2180p中的任一种,或是任意两者时间的数据,刷新率为24hz-120hz。
第二步,由各架无人机依据任务分配结果,对各自的监测目标进行图像拍摄,并依据规划进行动态拍摄并进行图像存储。
无人机上一般设置有相机和对应的储存芯片,通过无人机的相机拍摄过,将图像信息存储到存储芯片中。
第三步,根据无人机集群三维机器视觉构图的需求,由各架无人机按照数据汇聚的计算节点地址,采用包括wifi,4G,5G,adhoc模块等无线传输手段,方式,把各自的监测图像数据按顺序和时延要求传输到“无人机集群三维机器视觉生成”模块。
在具体选取照片的时候,一般选择分辨率较高的图片。无人机上一般还包括设置有信息发送模块,信息发送模块采用包括wifi,4G,5G,adhoc模块等无线传输手段,将数据传输到“无人机集群三维机器视觉生成”模块中,在具体传输的时候,为了防止信息堵塞,需要设置每一个无人机传输的时间,实现每一个无人机在传输的时候只有一个无人机在进行数据传输。
第四步,计算节点依据无人机汇聚的多角度拍摄图像,运用三维机器视觉生成算法,根据场景地图、目标先验信息等,定制生成关注目标和整体场景的三维机器视觉构图。
具体在拼接的时候采用halcon机器视觉算法包进行拼接。
本发明一般还可以包括第五步和第六步,具体为:
第五步,根据无人机集群数据汇聚得到的三维机器视觉构图,进行场景内部关注的距离分析,进行实时三维环境感知、三维精准识别等分析与应用,并对关注的监测目标进行行为分析。
第六步,根据“无人机集群场景三维机器视觉构图分析与应用”模块的分析结果,比较监测要求,找准还需要进一步提高精度的目标,以及需要添加的新的监测目标,规划无人机集群内成员监测的任务重新分配,并预判重新分配后的监测效果,符合监测需求,则下达监测任务调度指令到各成员无人机,进行集群监测的协同调整。
本发明方法依赖的硬件如下,一是多个无人机,无人机具有摄像、图像存储、无线传输的功能。
二是分配系统,为多个无人机中的每一个分配检测目标区域;图像获取系统,任一无人机获取其检测目标区域的图像信息;图像汇聚系统,无人机将其获取的图像信息通过网络传输到无人机集群三维机器视觉生成模块中;图像生成系统,无人机集群三维机器视觉生成模块,选取任一无人机传输的一副图像根据机器视觉算法包halcon进行图像拼接。
-所述分配系统中,分配检测目标根据监测场景和目标的性质、监测需求,以及无人机集群的成员构成、搭载设备的性能等情况进行。
-还包括设定每一个无人机的拍摄监测图像的角度、分辨率、刷新率参数。
-所述图像拼接系统具体为根据无人机集群三维机器视觉构图的需求,由各架无人机按照数据汇聚的计算节点地址,采用wifi、4G、5G无线传输手段,把各自的监测图像数据按顺序和时延要求进行传输。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图1个流程或多个流程和/或方框图1个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图1个流程或多个流程和/或方框图1个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图1个流程或多个流程和/或方框图1个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,并不用于限制本发明,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。