海量ais轨迹数据存储方法
技术领域
本发明涉及数据储存
技术领域
,尤其涉及海量AIS轨迹数据存储方法。背景技术
船舶自动识别系统AIS可对船舶的运动状态进行实时监控,对船舶操纵人员来说,利用AIS数据可了解本船及其他目标船舶的航行动态信息,有利于船舶导航和避碰等行动;对海事交管部门来将,利用AIS数据信息可对船舶进行管理及控制;对事故调查人员来讲,利用AIS数据信息回顾船舶发生事故前的动态信息,并提取有效的特征信息,有利于事故的调查,目前,作为船舶避碰和自动交换信息的重要助航工具,越来越多的船舶配置了AIS设备,补充了雷达获取信息的不足,船舶通过该设备能够自动实时地与其他装有同类设备的船舶交换位置、航速和航向等动态信息,可有效避免船舶碰撞等海损事故的发生,通过AIS船舶也能向AIS基站发送船名、识别码、目的地、是否装载危险货物等静态信息,同时还能接收管理当局通过基站发送来的助航和告警等信息。
所以在海量AIS轨迹存在着大量的数据,导致数据在存储时的时间变长,导致存储的速度降低,同时由于AIS轨迹数据存在大量的数据,在对数据进行读取与检索时,也要耗费大量的时间,降低了查询数据的效率。
发明内容
本发明提供海量AIS轨迹数据存储方法,解决了在海量AIS轨迹存在着大量的数据,导致数据在存储时的时间变长,导致存储的速度降低,同时由于AIS轨迹数据存在大量的数据,在对数据进行读取与检索时,也要耗费大量的时间,降低了查询数据的效率的问题。
为解决上述技术问题,本发明提供的海量AIS轨迹数据存储方法,包括以下步骤:
步骤一,接收需要储存的海量AIS轨迹数据,并对AIS轨迹数据进行加密处理,得到加密数据;
步骤二,分析AIS轨迹数据的类型,并基于需要存储的AIS轨迹数据的类型,将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储,以实现对数据的优化存,并将加密数据发送给服务器;
步骤三,如果需要存储的AIS轨迹数据的类型为静态信息,则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储;
步骤四,如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等,则将所述数据发送至混合硬盘的闪存区存储;
步骤五,如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间,则AIS轨迹数据存储至混合硬盘的闪存区。
优选的,所述步骤一内包括自动监控模块与决策模块,所述决策模块是用于船舶数据库中的判断。
优选的,所述步骤二包括数据储存规划模块,所述数据储存规划模块内的数据均匀分布在各个集群之中,保持负载均衡,出现故障节点数据为常态数据。
优选的,所述常态数据内包括关联数据,所述关联数据采用标准Hadoop布局方案,对数据进行连续操作需要在约定时间内完成,在此过程中,有大量无用数据被传输,如果该数据在上传保留了一部分设备属性,那么可将该设备上的全部数据都存储到相同节点的位置,利用自映射功能,实现存储的连续性操作行为,进而大大降低阶段数据通信时间,提高整体存储效率。
优选的,所述步骤三中的AIS数据静态信息是指舶系统固有的属性信息,所述步骤四中的AIS数据动态信息包含船舶的实时数据。
优选的,所述步骤五包括数据储存优化模块,所述数据储存优化模块内设置有集群技术。
优选的,所述集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理,从而使客户与集群交互和独立服务器交互无异。
优选的,所述数据储存规划模块是由于网络中节点呈树状结构分布,所以不同子数根节点都需要按照计算机连接方式进行节点交换,不同节点之间的距离是一个节点到另一个节点需要经过的跳数。
优选的,所述自动监控模块是用于船舶数据库中监控目标的提取,进而形成监控队列,计算队列中的优先级,将全部数据存储,方便对目标的跟踪与监控。
与现有技术相比,本发明的有益效果是:
1、通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法,使用数据相关性多副本一致的哈希值存储优化方法,该方法可按照系统主属性相关性的数据在集群节点中聚集,进而加快数据存储优化速度。
2、基于集群方案,可用于海量AIS数据存储和检索,建立了面向海量时空数据的索引机制,索引结构包含了基本的静态、动态和轨迹信息索引,在动态和轨迹信息索引中引入了部分静态信息,从而有效提升了查询效率,提升了AIS轨迹数据的查询效率,同时也为实现高效AIS数据挖掘分析奠定了基础。
附图说明
图1为本发明提供的海量AIS轨迹数据存储方法的实施例的步骤示意图;
图2为本发明提供的海量AIS轨迹数据存储方法的实施例的数据集群的流程框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
请结合参阅图1-2所示。海量AIS轨迹数据存储方法包括以下步骤:
步骤一,接收需要储存的海量AIS轨迹数据,并对AIS轨迹数据进行加密处理,得到加密数据;
步骤二,分析AIS轨迹数据的类型,并基于需要存储的AIS轨迹数据的类型,将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储,以实现对数据的优化存,并将加密数据发送给服务器;
步骤三,如果需要存储的AIS轨迹数据的类型为静态信息,则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储;
步骤四,如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等,则将数据发送至混合硬盘的闪存区存储;
步骤五,如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间,则AIS轨迹数据存储至混合硬盘的闪存区,如果AIS轨迹数据所需的存储空间超过混合硬盘的闪存区剩余的存储空间,则按照预设的混合硬盘的闪存区数据存储规则,将混合硬盘的闪存区中存储级别低的数据转存入混合硬盘的磁性硬盘区,以优先将存储级别高的数据存储至混合硬盘的闪存区。
步骤一内包括自动监控模块与决策模块,所述决策模块是用于船舶数据库中的判断,通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法,使用数据相关性多副本一致的哈希值存储优化方法,该方法可按照系统主属性相关性的数据在集群节点中聚集,进而加快数据存储优化速度,步骤二包括数据储存规划模块,所述数据储存规划模块内的数据均匀分布在各个集群之中,保持负载均衡,出现故障节点数据为常态数据,常态数据内包括关联数据,所述关联数据采用标准Hadoop布局方案,对数据进行连续操作需要在约定时间内完成,在此过程中,有大量无用数据被传输,如果该数据在上传保留了一部分设备属性,那么可将该设备上的全部数据都存储到相同节点的位置,利用自映射功能,实现存储的连续性操作行为,进而大大降低阶段数据通信时间,提高整体存储效率,步骤三中的AIS数据静态信息是指舶系统固有的属性信息,所述步骤四中的AIS数据动态信息包含船舶的实时数据,步骤五包括数据储存优化模块,所述数据储存优化模块内设置有集群技术,集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理,从而使客户与集群交互和独立服务器交互无异,集群技术允许用户仅支付较低成本即可获得较高性能,并且系统的可靠性、可扩展性及灵活性等方面均获得提升,数据储存规划模块是由于网络中节点呈树状结构分布,所以不同子数根节点都需要按照计算机连接方式进行节点交换,不同节点之间的距离是一个节点到另一个节点需要经过的跳数,自动监控模块是用于船舶数据库中监控目标的提取,进而形成监控队列,计算队列中的优先级,将全部数据存储,方便对目标的跟踪与监控,基于集群方案,可用于海量AIS数据存储和检索,建立了面向海量时空数据的索引机制,索引结构包含了基本的静态、动态和轨迹信息索引,在动态和轨迹信息索引中引入了部分静态信息,从而有效提升了查询效率,提升了AIS轨迹数据的查询效率,同时也为实现高效AIS数据挖掘分析奠定了基础。
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:磁盘消磁方法、装置及系统