一种数据存储方法和系统
技术领域
本发明涉及计算机
技术领域
,尤其涉及一种数据存储方法和系统。背景技术
随着互联网技术的发展,数据呈现爆炸式增长,数据的存储技术对于应对海量数据的情况变得尤为重要,具体来说,对数据存储具有访问量大、数据量大、高并发等要求。目前,常用的数据存储系统为集中式数据系统,即将数据存储在每台服务器上。这种存储系统对服务器的内存资源消耗很大,并且每台服务器存储相同的数据也是对存储资源的浪费,总而言之这种存储系统已经无法满足大规模数据存储的需求。
发明内容
有鉴于此,本发明实施例提供一种数据存储方法和系统,能够解决在大数据量的情况下,服务器内存不能全量存储数据的问题,有效缓解服务器内存压力,节省服务器资源,并保证确保数据存储的可靠性、安全性和存取效率;同时能够自动调整数据存储位置,自动分散热点数据和访问压力,实现负载均衡化。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据存储方法,该方法包括多个服务器,该方法还包括:
将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;
确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上;
确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;
根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;
更新所述存储映射关系,将第一目标数据迁移到第二服务器组以及将第二目标存储数据迁移到第一服务器组。
可选地,确定各服务器组的负载值包括:对于每一服务器组,确定所述服务器组中每个服务器的负载指标值;根据所述负载指标值以及其对应的权重,确定每个服务器的负载值;根据所述每个服务器的负载值,确定所述服务器组的负载值。
可选地,所述负载指标值包括以下一种或多种:cpu使用率、内存使用率和接口响应时间。
可选地,根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组包括:将所有服务器组中负载值大于或等于预设阈值的服务器组作为第一服务器组;根据各服务器组的负载值,确定负载平均值;将所有服务器组中负载值小于所述负载平均值的服务器组作为第二服务器组。
可选地,根据预设的第一条件,确定存储在第一服务器组上的第一目标数据包括:
确定第一目标数据的数量;
当第一服务器组的数量为1时,从所述第一服务器组上获取第一数据,所述第一数据的数量等于所述第一目标数据的数量;
当第一服务器组的数量大于1时,根据各第一服务器组的负载值与所述负载平均值的差值,确定各第一服务器组之间的差值比;根据所述差值比,从各第一服务器组上获取第一数据,将所述第一数据作为第一目标数据,其中,所述第一数据之间的数量比等于所述差值比,且所述第一数据的数量之和等于所述第一目标数据的数量;
根据预设的第二条件,确定存储在第二服务器组上的第二目标数据包括:
确定第二目标数据的数量,其中,所述第二目标数据的数量等于第一目标数据的数量;
当第二服务器组的数量为1时,从所述第二服务器组上获取第二数据,所述第二数据的数量等于所述第二目标数据的数量;
当第二服务器组的数量大于1时,根据各第二服务器组的负载值与所述负载平均值的差值,确定各第二服务器组之间的差值比;根据所述差值比,从各第二服务器组上获取第二数据,将所述第二数据作为第二目标数据,其中,所述第二数据之间的数量比等于所述差值比,且所述第二数据的数量之和等于第二目标数据的数量。
可选地,根据如下过程确定第一数据:
确定存储在第一服务器组上的数据的访问次数;
根据所述访问次数对所述存储在第一服务器组上的数据进行排序,其中,访问次数越大相应的数据的排序越靠前;
将所述存储在第一服务器组上的数据中排序靠前的至少一个数据作为第一数据;
根据如下过程确定第二数据:
确定存储在第二服务器组上的数据的访问次数;
根据所述访问次数对所述存储在第二服务器组上的数据进行排序,其中,访问次数越小相应的数据的排序越靠前;
将所述存储在第二服务器组上的数据中排序靠前的至少一个数据作为第二数据。
可选地,更新所述存储映射关系,将第一目标数据迁移到第二服务器组,以及将第二目标存储数据迁移到第一服务器组包括:
将访问次数最高的第一目标数据迁移到负载值最低的第二服务器组以及将访问次数最低的第二目标数据迁移到负载值最高的第一服务器组。
为实现上述目的,根据本发明实施例的另一个方面,提供了一种数据存储系统,所述系统包括多个服务器,所述系统还包括:
分组模块,用于将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;
存储模块,用于确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上;
服务器组确定模块,用于确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;
目标数据确定模块,用于根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;
更新模块,用于更新所述存储映射关系,将第一目标数据迁移到第二服务器组以及将第二目标存储数据迁移到第一服务器组。
可选地,所述服务器组确定模块还用于:对于每一服务器组,确定所述服务器组中每个服务器的负载指标值;根据所述负载指标值以及其对应的权重,确定每个服务器的负载值;根据所述每个服务器的负载值,确定所述服务器组的负载值。
可选地,所述负载指标值包括以下一种或多种:cpu使用率、内存使用率和接口响应时间。
可选地,所述服务器组确定模块还用于:将所有服务器组中负载值大于或等于预设阈值的服务器组作为第一服务器组;根据各服务器组的负载值,确定负载平均值;将所有服务器组中负载值小于所述负载平均值的服务器组作为第二服务器组。
可选地,所述目标数据确定模块还用于:
确定第一目标数据的数量;
当第一服务器组的数量为1时,从所述第一服务器组上获取第一数据,所述第一数据的数量等于所述第一目标数据的数量;
当第一服务器组的数量大于1时,根据各第一服务器组的负载值与所述负载平均值的差值,确定各第一服务器组之间的差值比;根据所述差值比,从各第一服务器组上获取第一数据,将所述第一数据作为第一目标数据,其中,所述第一数据之间的数量比等于所述差值比,且所述第一数据的数量之和等于所述第一目标数据的数量;
确定第二目标数据的数量,其中,所述第二目标数据的数量等于第一目标数据的数量;
当第二服务器组的数量为1时,从所述第二服务器组上获取第二数据,所述第二数据的数量等于所述第二目标数据的数量;
当第二服务器组的数量大于1时,根据各第二服务器组的负载值与所述负载平均值的差值,确定各第二服务器组之间的差值比;根据所述差值比,从各第二服务器组上获取第二数据,将所述第二数据作为第二目标数据,其中,所述第二数据之间的数量比等于所述差值比,且所述第二数据的数量之和等于第二目标数据的数量。
可选地,所述目标数据确定模块还用于:
确定存储在第一服务器组上的数据的访问次数;
根据所述访问次数对所述存储在第一服务器组上的数据进行排序,其中,访问次数越大相应的数据的排序越靠前;
将所述存储在第一服务器组上的数据中排序靠前的至少一个数据作为第一数据;
确定存储在第二服务器组上的数据的访问次数;
根据所述访问次数对所述存储在第二服务器组上的数据进行排序,其中,访问次数越小相应的数据的排序越靠前;
将所述存储在第二服务器组上的数据中排序靠前的至少一个数据作为第二数据。
可选地,所述更新模块还用于:将访问次数最高的第一目标数据迁移到负载值最低的第二服务器组以及将访问次数最低的第二目标数据迁移到负载值最高的第一服务器组。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的数据存储方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的数据存储方法。
上述发明中的一个实施例具有如下优点或有益效果:通过将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上,能够解决在大数据量的情况下,服务器内存不能全量存储数据的问题,有效缓解服务器内存压力,节省服务器资源,并保证确保数据存储的可靠性、安全性和存取效率;通过确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;更新所述存储映射关系,将第一目标数据迁移到第二服务器组以及将第二目标存储数据迁移到第一服务器组,能够自动调整数据存储位置,自动分散热点数据和访问压力,实现负载均衡化。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合
具体实施方式
加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明实施例的数据存储方法的主要流程的示意图;
图2是本发明实施例的数据存储方法的子流程的示意图;
图3是本发明实施例的数据存储方法的子流程的示意图;
图4是本发明实施例的数据存储系统的主要模块的示意图;
图5是本发明实施例可以应用于其中的示例性系统架构图;
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的数据存储方法的主要流程的示意图,该数据存储方法包括多个服务器。如图1所示,该方法包括:
步骤S101:将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组。
在本实施例中,服务器组的数量与待存储数据组的数量可以灵活设置,本发明在此不做限制。值得说明的是,每个服务器组中至少包括两台服务器,以将相同的待存储数据存储在至少两台服务器上,从而保证待存储数据具有备份。对待存储的数据进行分组时可以根据数据的具体内容灵活设置分组规则,本发明在此不做限制。例如,若待存储的数据是与商品相关的数据,则可以根据商品所属的品类进行分组。在其它可选的实施例中,也可以为待存储数据命名唯一的标识(如ID),然后根据该唯一的标识进行分组,或根据Hash算法进行分组。其中,Hash算法(哈希算法)可以将一个数据转换为一个标志,这个标志和源数据的每一个字节都有十分紧密的关系。
作为具体的示例,假设共有20台服务器,则可以分为4个服务器组:服务器组A、服务器组B、服务器组C和服务器组D。每个服务器组均有5台服务器。假设待存储的数据为160个类目的商品数据,则可以根据类目将待存储的数据分为4组:待存储数据组T1、待存储数据组T2、待存储数据组T3和待存储数据组T4。每个待存储数据组包含40个类目的商品数据。
步骤S102:确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上。
其中,该存储映射关系用于表示待存储数据组与服务器组的存储关系。在存储待存储数据组时,可以将待存储数据组中所有的待存储数据存储在对应的服务器组中的每个服务器上,即,若对应的服务器组中存在5台服务器,则在每台服务器上均存储有相同的待存储数据组,这样既可以保证数据具有备份,也可以在后续访问数据时将访问请求分散到不同的服务器上,以降低访问压力。
继续以上述示例为例,存储映射关系可以如下表1所示:
表1:
待存储数据组
存储位置
待存储数据组T1
服务器组A
待存储数据组T2
服务器组B
待存储数据组T3
服务器组C
待存储数据组T4
服务器组D
在本示例中,每个服务器组中有5台服务器,则可以在这5台服务器中设置一台服务器为中心服务器,由该中心服务器负责待存储数据组的分发、存储和同步。
在具体的实施例中,在确定存储映射关系之后,可以将该存储映射关系记录到配置文件中,即将待存储数据组及其对应的服务器组的IP记录到配置文件中,还可以记录每个服务器组的中心服务器的IP。更具体的,在存储数据之前可以设置两张表,其中一张表用于记录每台服务器存储数据的状态(此表可以称为表A),另一张用于记录每个待存储数据组的存储状态(此表可以称为表B)。表B的作用是可以人工干预某个数据的加载状态,以实现对个别数据的灵活控制。在存储数据开始时,首先获取配置文件的内容,每个服务器组的中心服务器根据配置文件的内容确定本服务器组需要存储的数据组,然后获取本服务器组需要存储的且在表B中的状态为“未存储”的数据组,通过数据接口将其分发到该服务器组内的每台服务器上(包括中心服务器),然后将表B中的数据组的状态更新为“存储中”。在存储数据时,中心服务器还需要更新表A中对相应服务器的状态为“存储中”。当服务器存储完成之后,将表A中相应服务器的状态更新为“存储完成”。若表A中该服务器组中所有服务器对应的状态为“存储完成”,则更新表B中数据组的状态为“已完成”。
经过步骤S101和S102,待存储的数据组已经存储到对应的服务器组上。随后数据会被随机访问,每个服务器组的负载就会出现不同,可能会出现某个服务器组上的某个数据的访问频率远超其他数据,即出现热点数据,从而导致该服务器组的访问压力过大,而其他服务器组的访问压力较小。因此,在步骤S103-S105中,需要将热点数据分散,均匀化每个服务器组的负载,具体过程如下所示。
步骤S103:确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组。
其中,如图2所示,可以根据如下过程确定各服务器组的负载值:
步骤S201:对于每一服务器组,确定所述服务器组中每个服务器的负载指标值;其中,该负载指标值包括以下一种或多种:cpu使用率、内存使用率和接口响应时间。上述负载指标值均可通过现有的方法获取,本发明在此不在赘述。
步骤S202:根据所述负载指标值以及其对应的权重,确定每个服务器的负载值;具体的,可以将各负载指标值及其对应的权重相乘,再将所得的乘积相加得到服务器的负载值。
步骤S203:根据所述每个服务器的负载值,确定所述服务器组的负载值。具体的,可以将服务器组内的所有服务器的负载值相加得到该服务器组的负载值。
得到各个服务器组的负载值后,可以根据该负载值从所有服务器组中确定第一服务器组和第二服务器组,具体的过程可以包括:
将所有服务器组中负载值大于或等于预设阈值的服务器组作为第一服务器组;其中,该预设阈值可以根据应用场景灵活设置,本发明在此不做限制。在本实施例中,当某一服务器组的负载值大于预设阈值时,说明该服务器组的负载能力达到了一定的限度,需要其他服务器组分担负载。
根据各服务器组的负载值,确定负载平均值;
将所有服务器组中负载值小于所述负载平均值的服务器组作为第二服务器组。
例如,预设阈值为5,服务器组A的负载值为6,服务器组B的负载值为4,服务器组C的负载值为8,服务器组D的负载值为2,则负载平均值为5,第一服务器组为服务器组A和服务器组C,第二服务器组为服务器组B和服务器组D。
在本实施例中,第一服务器组和第二服务器组的数量可以是一个,也可以是多个。当第一服务器组和第二服务器组的数量分别是一个时,可以直接交换第一目标数据和第二目标数据的存储位置。当第一服务器组的数量为多个且第二服务器组的数量为1个时,或者当第二服务器组的数量为多个且第一服务器组的数量为1时,或者第一服务器组和第二服务器组的数量均是多个时,需要按照一定的规则将第一目标数据和第二目标数据在多个第一服务器组和第二服务器组之间进行分配。具体的,如步骤S104所示。
步骤S104:根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据。
其中,根据预设的第一条件,确定存储在第一服务器组上的第一目标数据的过程包括:
(1)确定第一目标数据的数量。在本实施例中,可以根据各服务器上存储的数据总量和应用场景灵活设置第一目标数据的数量。例如,在各服务器上存储的数据均为40个类目的商品的相关数据,则可以设置第一目标数据的数量为40×10%=4,即需要确定4个类目的第一目标数据。
(2)当第一服务器组的数量为1时,从所述第一服务器组上获取第一数据,所述第一数据的数量等于所述第一目标数据的数量。即当只有一个第一服务器组时,需要在该服务器组上确定4个类目的第一数据作为第一目标数据,其中,确定第一数据的过程在下文介绍。
(3)当第一服务器组的数量大于1时,根据各第一服务器组的负载值与所述负载平均值的差值,确定各第一服务器组之间的差值比;根据所述差值比,从各第一服务器组上获取第一数据,将所述第一数据作为第一目标数据,其中,所述第一数据之间的数量比等于所述差值比,且所述第一数据的数量之和等于所述第一目标数据的数量。
继续以上述示例为例进行说明,第一服务器组第一服务器组为服务器组A和服务器组C。服务器组A的负载值6与负载平均值5的差值为1,服务器组C的负载值8与负载平均值5的差值为3,第一服务器组之间的差值比(即服务器组A与服务器组C的差值比)为1:3,又因为第一目标数据的数量为4,则需要从服务器组A上获取1个类目的商品数据作为第一数据,从服务器组C上获取3个类目的商品数据作为第一数据。
同样地,根据预设的第二条件,确定存储在第二服务器组上的第二目标数据的过程包括:
(1)确定第二目标数据的数量,其中,所述第二目标数据的数量等于第一目标数据的数量。例如,第一目标数据的数量为4个类目的商品数据,则第二目标数据的数量也为4个类目的商品数据。在本实施例中设置第二目标数据的数量等于第一目标数据的数量是为了在更新存储映射关系、重新分配数据存储位置之后,各个服务器组上存储的数据的数量相等。
(2)当第二服务器组的数量为1时,从所述第二服务器组上获取第二数据,所述第二数据的数量等于所述第二目标数据的数量。即当只有一个第二服务器组时,需要在该服务器组上确定4个类目的第二数据作为第二目标数据,其中,确定第二数据的过程在下文介绍。
(3)当第二服务器组的数量大于1时,根据各第二服务器组的负载值与所述负载平均值的差值,确定各第二服务器组之间的差值比;根据所述差值比,从各第二服务器组上获取第二数据,将所述第二数据作为第二目标数据,其中,所述第二数据之间的数量比等于所述差值比,且所述第二数据的数量之和等于第二目标数据的数量。
继续以上述示例为例进行说明,第二服务器组为服务器组B和服务器组D。服务器组B的负载值4与负载平均值5的差值为1,服务器组D的负载值2与负载平均值5的差值为3,第二服务器组之间的差值比(即服务器组B与服务器组D的差值比)为1:3,则需要从服务器组B上获取1个类目的商品数据作为第二数据,从服务器组D上获取3个类目的商品数据作为第二数据。
进一步的,如图3所示,可以根据如下过程确定第一数据:
步骤S301:确定存储在第一服务器组上的数据的访问次数;对于同一数据,该数据存储在对应的服务器组内的所有服务器上,因此,该数据的访问次数等于该服务器内所有服务器上的数据的访问次数之和。
步骤S302:根据所述访问次数对所述存储在第一服务器组上的数据进行排序,其中,访问次数越大相应的数据的排序越靠前;
步骤S303:将所述存储在第一服务器组上的数据中排序靠前的至少一个数据作为第一数据。具体的,可以根据上文确定的各第一服务器组需获取的第一数据的数量来选取数据。继续以上述示例为例,对于服务器组A,需要从该服务器组上获取1个类目的商品数据作为第一目标数据,则取排序第一的数据作为第一数据;对于服务器组C,需要从该服务器组上获取3个类目的商品数据作为第一目标数据,取排序第一、第二和第三的数据作为第一数据。
更进一步的,可以根据如下过程确定第二数据:
确定存储在第二服务器组上的数据的访问次数;对于同一数据,该数据存储在对应的服务器组内的所有服务器上,因此,该数据的访问次数等于该服务器内所有服务器上的数据的访问次数之和。
根据所述访问次数对所述存储在第二服务器组上的数据进行排序,其中,访问次数越小相应的数据的排序越靠前;
将所述存储在第二服务器组上的数据中排序靠前的至少一个数据作为第二数据。具体的,可以根据上文确定的各第二服务器组需获取的第二数据的数量来选取数据。继续以上述示例为例,对于服务器组B,需要从该服务器组上获取1个类目的商品数据作为第二目标数据,则取排序第一的数据作为第二数据;对于服务器组D,需要从该服务器组上获取3个类目的商品数据作为第二目标数据,取排序第一、第二和第三的数据作为第二数据。
步骤S105:更新所述存储映射关系,将第一目标数据迁移到第二服务器组,以及将第二目标存储数据迁移到第一服务器组。
在本实施例中,第一目标数据是负载最大的服务器组上访问次数较多的数据,可以被称为热点数据。第二目标数据是负载较小的服务器组上访问次数较少的数据。将两者的存储位置进行交换,可以均衡化各服务器组的负载,分散热点数据,提高数据访问稳定性和效率。
由于第一目标数据、第二目标数据、第一服务器组和第二服务器组都可能是多个,因此在更新存储映射关系时,需要按照一定的规则,具体的可以是,将访问次数最高的第一目标数据迁移到负载值最低的第二服务器组以及将访问次数最低的第二目标数据迁移到负载值最高的第一服务器组。通过将访问次数最高的第一目标数据迁移到负载值最低的第二服务器组上,可以提高该第二服务器组的负载值,将访问次数最低的第二目标数据迁移到负载值最高的第一服务器组上,可以降低该第一服务器组的负载值,从而分散热点数据,均衡化各服务器组的负载,提高数据访问稳定性和效率。
本发明实施例的数据存储方法,通过将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上,能够解决在大数据量的情况下,服务器内存不能全量存储数据的问题,有效缓解服务器内存压力,节省服务器资源,并保证确保数据存储的可靠性、安全性和存取效率;通过确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;更新所述存储映射关系,以将第一目标数据存储在第二服务器组上,以及将第二目标存储数据存储在第一服务器组上,能够自动调整数据存储位置,自动分散热点数据和访问压力,实现负载均衡化。
为使本发明实施例的数据存储方法更加清楚,以下述示例为例进行说明。
(1)假设共有20台服务器,将该20台服务器分为4组,每个服务器组有5台服务器(以下将服务器组称为分片),然后分别在每个分片中设置一台服务器为中心服务器(也可以称为leader主机),该中心服务器负责数据分发、加载(即存储)和同步数据存储任务完成情况。共有160个类目的商品数据需要存储,按照类目对待存储的数据进行分组,分为4个数据组,每个数据组有40个类目的商品数据。
(2)设置待存储数据组与各个分片之间的存储映射关系。具体的,可以将待存储数据组中每个类目的商品数据和对应的分片信息写入配置文件中,即待存储数据组1的类目,对应分片1的服务器IP以及leader主机的IP写入配置文件中。数据库设置二张表,一张用于记录每台服务器将来加载数据的状态(表A),每行一台服务器IP和一个类目ID。另一张记录每个类目的数据的加载状态(表B)。
(4)数据存储任务开始运行,获取配置文件内容,每个分片的leader主机开始获取本分片需要加载且表B中状态为“未加载”的商品数据,通过接口将其分发到分片内的每台服务器上(包括本机),然后更新表B对应类目状态为“加载中”。各台服务器把收到的类目ID存储到缓存的队列中,然后启动多线程,消费队列中的数据。
(5)在加载商品数据前,先调用leader主机的接口,通知其更新表A中对应记录的状态为“加载中”。接下来开始加载每个类目ID下的商品数据。加载完成后,通知leader主机更新表A中对应记录的状态为“加载完成”。
(6)leader主机按照类目ID定时扫描表A中分片内各台服务器的加载状态,如果全为“加载完成”,则更新表B中对应类目ID的状态为“已完成”。表B的作用是可以人工干预某个分类的商品数据的加载状态,以灵活控制对个别分类下商品数据的加载。
(7)经过步骤(1)至(6)加载完需要存储的数据,随后在数据被访问的过程中,各个分片会不断监控数据的访问频率,通过内存计算各个类目被访问的次数,当分片的服务器负载能力到达一定的限度时(即当服务器的负载值大于或等于预设阈值时),分片中的各个服务器会统计自己访问次数最高的T个类目ID(T=服务器加载类目数*10%)。然后调用leader主机的接口,同步给leader主机。
作为示例,预设阈值为7,分片1、分片2、分片3和分片4的负载值分别为6、4、8、2,则分片3的各个服务器会将存储在其上的40个类目的商品数据的访问次数降序排列,取访问次数最高的4个类目ID发送给leader主机,由leader主机将相同类目ID的访问次数进行合并,最后得到访问次数最高的4个类目ID。
(8)负载能力到达一定的限度分片通过调用各分片leader主机的接口,查询各分片的负载情况,找出M个负载最低的分片(M=集群负载平均值以下分片数),计算M个分片的负载值和集群负载平均值的差值,根据M个分片间的差值比,计算出每个分片分配类目数(优先分配访问次数的高的类目),然后通过修改配置文件,把类目分配到各分片上。
例如,分片3的leader主机通过接口查询到分片1,2,4的负载,计算负载平均值是(6+4+8+2)/4=5,那分片2和分片4就是集群负载平均值以下的分片,M=2。计算差值比(5-4):(5-2)=1:3。那么分片2要获得类目数是(1/4)*4=1个,分片4要获得类目数(3/4)*4=3个。在分配时,访问次数最高的数据优先分配给负载最低的分片,即访问次数最高的数据优先分配给分片4。
(9)被分配到新类目的分片,会进行(4)至(6)的步骤加载。同时各分片的leader主机会把各自分片上访问次数最低的X个类目(X的取值等于被分配到的新类目数)分发到步骤(7)中高负载的分片上。高负载分片同样进行(4)至(6)的步骤加载数据。
例如分片2,被分配到了1个类目,所以分片2的leader主机从其分片内的5台服务器上获取一个访问次数最低的类目,通过分片3的leader主机接口,分配给分片3。分片4也进行相同的操作,找出访问次数最低的3个类目,通过分片3的leader主机接口,分配给分片3。
(10)在高负载分片完成新数据加载后或者在低负载分片加载完新数据后,更新存储映射关系,并调用高负载分片和低负载分片的leader主机接口删除数据。
(11)至此完成了热点数据的转移,降低了分片的负载。在服务器运行过程中可以周期性地执行步骤(7)-(10)。
图4是本发明实施例的数据存储系统400的主要模块的示意图,所述系统400包括多个服务器。如图4所示,该数据存储系统400还包括:
分组模块401,用于将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;
存储模块402,用于确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上;
服务器组确定模块403,用于确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;
目标数据确定模块404,用于根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;
更新模块405,用于更新所述存储映射关系,将第一目标数据迁移到第二服务器组以及将第二目标存储数据迁移到第一服务器组。
可选地,所述服务器组确定模块403还用于:对于每一服务器组,确定所述服务器组中每个服务器的负载指标值;根据所述负载指标值以及其对应的权重,确定每个服务器的负载值;根据所述每个服务器的负载值,确定所述服务器组的负载值。
可选地,所述负载指标值包括以下一种或多种:cpu使用率、内存使用率和接口响应时间。
可选地,所述服务器组确定模块403还用于:将所有服务器组中负载值大于或等于预设阈值的服务器组作为第一服务器组;根据各服务器组的负载值,确定负载平均值;将所有服务器组中负载值小于所述负载平均值的服务器组作为第二服务器组。
可选地,所述目标数据确定模块404还用于:
确定第一目标数据的数量;
当第一服务器组的数量为1时,从所述第一服务器组上获取第一数据,所述第一数据的数量等于所述第一目标数据的数量;
当第一服务器组的数量大于1时,根据各第一服务器组的负载值与所述负载平均值的差值,确定各第一服务器组之间的差值比;根据所述差值比,从各第一服务器组上获取第一数据,将所述第一数据作为第一目标数据,其中,所述第一数据之间的数量比等于所述差值比,且所述第一数据的数量之和等于所述第一目标数据的数量;
确定第二目标数据的数量,其中,所述第二目标数据的数量等于第一目标数据的数量;
当第二服务器组的数量为1时,从所述第二服务器组上获取第二数据,所述第二数据的数量等于所述第二目标数据的数量;
当第二服务器组的数量大于1时,根据各第二服务器组的负载值与所述负载平均值的差值,确定各第二服务器组之间的差值比;根据所述差值比,从各第二服务器组上获取第二数据,将所述第二数据作为第二目标数据,其中,所述第二数据之间的数量比等于所述差值比,且所述第二数据的数量之和等于第二目标数据的数量。
可选地,所述目标数据确定模块404还用于:
确定存储在第一服务器组上的数据的访问次数;
根据所述访问次数对所述存储在第一服务器组上的数据进行排序,其中,访问次数越大相应的数据的排序越靠前;
将所述存储在第一服务器组上的数据中排序靠前的至少一个数据作为第一数据;
确定存储在第二服务器组上的数据的访问次数;
根据所述访问次数对所述存储在第二服务器组上的数据进行排序,其中,访问次数越小相应的数据的排序越靠前;
将所述存储在第二服务器组上的数据中排序靠前的至少一个数据作为第二数据。
可选地,所述更新模块405还用于:将访问次数最高的第一目标数据迁移到负载值最低的第二服务器组以及将访问次数最低的第二目标数据迁移到负载值最高的第一服务器组。
本发明实施例的数据存储系统,通过将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上,能够解决在大数据量的情况下,服务器内存不能全量存储数据的问题,有效缓解服务器内存压力,节省服务器资源,并保证确保数据存储的可靠性、安全性和存取效率;通过确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;更新所述存储映射关系,将第一目标数据迁移到第二服务器组以及将第二目标存储数据迁移到第一服务器组,能够自动调整数据存储位置,自动分散热点数据和访问压力,实现负载均衡化。
上述数据存储系统可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
图5示出了可以应用本发明实施例的数据存储方法或数据存储系统的示例性系统架构500。
如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是,本发明实施例所提供的数据存储方法一般由服务器505执行,相应地,数据存储系统一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中,这些模块的名称在某种情况下并不构成对该单元本身的限定,例如,发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
将多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;
确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上;
确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;
根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;
更新所述存储映射关系,将第一目标数据迁移到第二服务器组,以及将第二目标存储数据迁移到第一服务器组。
本发明实施例的技术方案,通过将所述多个服务器进行分组,得到多个服务器组,按照预设的规则将待存储的数据进行分组,得到多个待存储数据组;确定所述待存储数据组与所述服务器组之间的存储映射关系,并根据所述存储映射关系将待存储数据组存储在对应的服务器组上,能够解决在大数据量的情况下,服务器内存不能全量存储数据的问题,有效缓解服务器内存压力,节省服务器资源,并保证确保数据存储的可靠性、安全性和存取效率;通过确定各服务器组的负载值,并根据所述负载值从所有服务器组中确定第一服务器组和第二服务器组;根据预设的第一条件,确定存储在第一服务器组上的第一目标数据,以及根据预设的第二条件,确定存储在第二服务器组上的第二目标数据;更新所述存储映射关系,将第一目标数据迁移到第二服务器组以及将第二目标存储数据迁移到第一服务器组,能够自动调整数据存储位置,自动分散热点数据和访问压力,实现负载均衡化。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:存储器装置及其操作方法