外部数据使用方法、装置和设备
技术领域
本申请涉及计算机领域,尤其涉及一种外部数据使用方法、装置和设备。
背景技术
随着IT时代向DT时代转变,数据的价值越来越被重视。为了拓展数据维度,在数据分析过程中增加外部数据,成为一个重要的数据补充环节。针对外部数据,如何有效的完成外部数据的统一管理、建立完善的处理链条和完备灵活的数据服务,成为数据规划过程中的重要一环。
外部数据通常具有体量大、非结构化的特点。目前,外部数据的应用主要包括数据接入、数据整合和数据分析三个步骤。其中,数据接入包括获取外部数据的报文,进而解析得到外部数据。数据整合包括将解析得到的外部数据整理为标准格式,并存储到数据库中。数据分析包括从数据库中读取外部数据进行分析。
上述外部数据的应用方法虽然解决了外部数据的存储问题,但是仍然存在外部数据使用效率低的问题。
发明内容
本申请提供一种外部数据使用方法、装置和设备,用以解决外部数据使用效率低的问题。
第一方面,本申请提供一种外部数据使用方法,包括:
以预设频率获取外部数据,并根据所述外部数据确定目标数据;
根据所述目标数据和目标字段集,拆解得到该目标字段集中各个目标字段对应的字段内容,所述目标字段集中包括至少一个待查询字段的字段名称;
将所述目标字段集中各个目标字段对应的字段内容保存到存储单元内,以使所述存储单元在接收到查询请求时返回相应的字段内容。
可选地,所述根据所述外部数据确定目标数据,具体包括:
对所述外部数据进行格式转换,生成预设格式的报文数据;
根据所述报文数据更新所述目标数据。
可选地,所述根据所述报文数据更新所述目标数据,具体包括:
根据预设数据类别对所述报文数据进行分类,得到不同种类的报文数据;
根据所述不同种类的所述报文数据对所述不同种类的所述目标数据进行更新。
可选地,所述方法,还包括:
将所述外部数据保存到存储单元内,以使所述存储单元在接收到查询请求时返回相应的外部数据。
可选地,当所述目标字段为订阅字段时,所述方法,还包括:
根据所述目标字段及其对应的字段内容,生成订阅信息;
发送所述订阅信息。
可选地,所述方法,还包括:
获取查询记录,所述查询记录中包括待查询字段的字段名称;
根据所述查询记录更新所述目标字段集,以增加所述目标字段集中的目标字段。
第二方面,本申请提供一种外部数据使用装置,包括:
获取模块,用于以预设频率获取外部数据,并根据所述外部数据确定目标数据;
拆解模块,用于根据所述目标数据和目标字段集,拆解得到该目标字段集中各个目标字段对应的字段内容,所述目标字段集中包括至少一个待查询字段的字段名称;
第一保存模块,用于将所述目标字段集中各个目标字段对应的字段内容保存到存储单元内,以使所述存储单元在接收到查询请求时返回相应的字段内容。
可选地,所述获取模块,具体包括:
生成子模块,用于对所述外部数据进行格式转换,生成预设格式的报文数据;
更新子模块,用于根据所述报文数据更新所述目标数据。
可选地,所述更新子模块,具体用于根据预设数据类别对所述报文数据进行分类,得到不同种类的报文数据;根据所述不同种类的所述报文数据对所述不同种类的所述目标数据进行更新。
可选地,所述装置,还包括:
第二保存模块,用于将所述外部数据保存到存储单元内,以使所述存储单元在接收到查询请求时返回相应的外部数据。
可选地,当所述目标字段为订阅字段时,所述装置,还包括:
订阅模块,用于根据所述目标字段及其对应的字段内容,生成订阅信息;发送所述订阅信息。
可选地,所述装置,还包括:
目标字段更新模块,用于获取查询记录,所述查询记录中包括待查询字段的字段名称;根据所述查询记录更新所述目标字段,以增加所述目标字段中的字段名称。
第三方面,本申请提供一种服务器,包括:存储器和处理器;
存储器用于存储程序指令;处理器用于调用存储器中的程序指令执行第一方面及第一方面任一种可能的设计中的外部数据使用方法。
第四方面,本申请提供一种可读存储介质,可读存储介质中存储有执行指令,当服务器的至少一个处理器执行该执行指令时,服务器执行第一方面及第一方面任一种可能的设计中的外部数据使用方法。
第五方面,本申请提供一种算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现第一方面及第一方面任一种可能的设计中的外部数据使用方法。
本申请提供的外部数据使用方法,通过根据预设频率从前置系统中获取外部数据;对该外部数据进行格式转换,生成预设格式的报文数据;根据报文数据更新目标数据;根据该目标字段集,从目标数据中拆解各个目标字段对应的字段内容;将目标字段集中各个目标字段对应的字段内容保存到存储单元内;当从该数据检索平台上获取用户发送的查询请求时,根据该查询请求中包括的待查询字段,从存储单元中获取该待查询字段对应的字段内容的手段,实现提高用户对该外部数据中字段的检索效率,提高外部数据的使用效率,提高外部数据的实用性效果。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种外部数据使用系统示意图;
图2为本申请一实施例提供的一种快照生成示意图;
图3为本申请一实施例提供的一种外部数据使用方法的流程图;
图4为本申请一实施例提供的另一种外部数据使用方法的流程图;
图5为本申请一实施例提供的再一种外部数据使用方法的流程图;
图6为本申请一实施例提供的一种外部数据使用装置的结构示意图;
图7为本申请一实施例提供的另一种外部数据使用装置的结构示意图;
图8为本申请一实施例提供的再一种外部数据使用装置的结构示意图;
图9为本申请一实施例提供的服务器的硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着IT时代向DT时代转变,数据的价值越来越被重视。为了拓展数据维度,在数据分析过程中增加外部数据,成为一个重要的数据补充环节。针对外部数据,如何有效的完成外部数据的统一管理、建立完善的处理链条和完备灵活的数据服务,成为数据规划过程中的重要一环。
在数据分析过程,外部数据作为辅助数据被应用于数据分析中。外部数据通常指非本公司产生的,来自第三方的数据。例如,银行系统的第三方数据可以包括征信、工商、法院等。该外部数据主要用于对内部数据进行补充,增加数据维度。例如,使用征信数据评估客户还贷水平、使用法院数据对客户进行有效预警等。
目前,外部数据通常具有体量大、非结构化的特点。外部数据的应用主要包括数据接入、数据整合和数据分析三个步骤。其中,数据接入包括获取外部数据的报文,进而解析得到外部数据。数据整合包括将解析得到的外部数据整理为标准格式,并存储到数据库中。数据分析包括从数据库中读取外部数据进行分析。上述过程实现了对外部数据的的统一管理。然而,上述数据分析过程,需要先从数据库读取数据后,实现数据分析。该数据分析过程的使用效率受限于数据库存储和计算能力。并且该分析过程中,数据计算受SQL语法局限,数据服务较为单一。
因此,现有技术中存在数据分析服务单一的问题。并且,如何建立完善的处理链条和完备灵活的数据服务,实现外部数据高效、实用、灵活的处理成为亟待解决的技术问题。
针对上述问题,本申请提出了一种外部数据使用方法。本申请中,服务器使用sqoop定期抽取前置系统数据库中保存的外部数据,实现数据接入。该外部数据为前置系统实时获取的第三方数据。服务器获取该外部数据后,将使用两种方式对该报文数据进行处理。一种方式中,服务器将基于Spark完成数据的整合、加工及结构化映射,得到目标数据。另一种方式中,外部报文数据将被直接导入到HBase中。针对目标数据,服务器可以在确定目标字段后,根据该目标字段,从目标数据中拆解得到各个字段对应的字段内容。其中,目标字段可以由服务器根据数据服务的类型确定。例如,当数据服务类型为数据检索服务时,该目标字段中可以包括用户可能查询的字段。又如,当数据服务类型为数据订阅服务时,该目标字段可以为用户选择的字段。针对直接被导入HBase的外部数据,服务器将提供非结构化数据的K-V查询,实现灵活、有效的数据检索服务。此外,服务器还可以通过机器学习技术,对外部数据进行分析,从而实现调度分析服务和异常告警服务。
其中,Sqoop是一种开源大数据组件,主要用于hadoop与传统数据库之间进行数据传递。
其中,Spark是一种开源大数据计算引擎,支持交互式计算和复杂算法。使用Spark引擎完成各种运算时,其中间结果可保存在内存中。该数据存储方式可以提高迭代运算效率。并且,Spark引擎完成的运算可以包括SQL查询、文本处理、机器学习等。
其中,Hbase是一种列式存储数据库,适合非结构化数据存储。
其中,Elastic Search是一种基于Lucene的搜索引擎,通过Restful API接口提供数据检索能力。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1示出了本申请一实施例提供的一种外部数据使用系统示意图。如图1所示,本申请的外部数据使用系统与前置系统连接,用于从该前置系统中获取外部数据。该前置系统中包括数据库(Data Base,DB)。当前置系统获取外部数据后,将该外部数据存储在DB中。本申请所示的外部数据使用系统使用sqoop,定期从该DB中抽取外部数据。外部数据使用系统基于Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)实现对外部数据的处理,以及服务的对接。HDFS获取Sqoop抽取的外部数据。该外部数据为文本格式或者二进制格式的报文数据。其后,服务器将根据服务类型,对数据进行处理。
其一,针对字段数据相关的服务,HDFS将基于Spark完成数据的整合、加工及结构化映射,得到Json格式的快照。服务器可以使用订阅管理功能获取每一用户的订阅字段,并确定该订阅字段为目标字段。HDFS可以从Json格式的快照中获取目标字段的字段内容。服务器可以通过文件传输协议(File Transfer Protocol,FTP),将该字段内容批量下发到其对应的用户终端。服务器还可以使用Spark将该Json格式的快照导入到Elastic Search(ES)中。服务器可以在该ES中生成生成对应的索引。服务器还可以从数据检索平台获取检索指令。该检索指令用于从ES的Json格式的快照中检索一个或者多个字段的字段内容。
其二,针对实时查询需求,服务器可以将外部数据通过bulkload直接导入HBase中。服务器可以向用户提供该外部数据的Key-Value查询服务。例如,当Key为时间时,服务器可以根据该时间,查询得到某企业在该时间的历史数据。
其中,HDFS基于Spark完成数据的整合、加工及结构化映射的具体过程可以如图2所示。其中,源层的数据为HDFS直接通过sqoop从DB中获取的外部数据。该外部数据的格式为文本格式或者二进制格式。该外部数据可以包括征信数据、工商数据、法院数据等。如图2所示的人行征信和鹏元征信为征信数据中不同来源的两个外部数据。Sqoop定期从DB中获取这些外部数据。在图2所示的示例中,sqoop获取外部数据的间隔时间为T。Spark在获取到sqoop从DB中获取的人行征信和鹏元征信的数据后,对比T日前获取的人行征信和鹏元征信的数据,确定其中新增的数据。Sqark将人行征信和鹏元征信的新增数据整合到一起,得到T日增量数据。Sqark获取T日前获取的快照,并确定该快照为T-1日快照。Sqark将该T日增量的数据合并到T-1日快照中,得到T日快照。该T日快照中的数据为使用T日增量的数据覆盖T-1日快照中的数据后得到的快照数据。其中,T日增量数据可以覆盖T-1日快照中部分或者全部的数据。该T日快照中还可以包括数据类型、入库时间、数据版本等辅助信息。该辅助信息在生成该T日快照时由服务器添加到该快照中。
本申请中,以服务器为执行主体,执行如下实施例的外部数据使用方法。具体地,该执行主体可以为服务器的硬件装置,或者为服务器中实现下述实施例的软件应用,或者为安装有实现下述实施例的软件应用的计算机可读存储介质,或者为实现下述实施例的软件应用的代码。
图3示出了本申请一实施例提供的一种外部数据使用方法的流程图。在图1和图2所示实施例的基础上,如图3所示,以服务器为执行主体,本实施例的方法可以包括如下步骤:
S101、以预设频率获取外部数据,并根据外部数据确定目标数据。
本实施例中,服务器可以根据预设频率从前置系统中获取外部数据。其中,预设频率可以根据实际数据量确定,该预设频率即为图2的时间间隔T。例如,一天获取一次、一周获取一次、一月获取一次等。前置系统中可以存储有全部的外部数据。或者,前置系统还可以在每次将外部数据上传到服务器后,删除其中的外部数据。或者,前置系统还可以在每次将外部数据上传到服务器,并在该前置系统中保留一定时间后,删除该外部数据。服务器获取的外部数据中可以包括前置系统中的全部外部数据。或者,服务器获取的外部数据可以包括时间间隔T中,前置系统获取的外部数据。
服务器获取该外部数据后,根据该外部数据确定目标数据。其中,服务器根据外部数据确定目标数据具体可以包括如下步骤:
步骤1、对外部数据进行格式转换,生成预设格式的报文数据。
本步骤中,服务器可以对该外部数据进行格式转换,以统一该外部数据的格式。其中,外部数据的格式可以包括文本格式和二进制格式。其中,预设格式可以为Json格式。服务器可以根据该预设的Json格式,从外部数据中获取数据内容。服务器将获取的数据内容保存到Json格式的报文数据中。例如,服务器可以从外部数据中获取公司名称,并将该公司名称保存到Json格式的报文数据中。
其中,针对不同种类的外部数据,其预设格式中可以包括不同的内容。例如,当外部数据为征信数据时,其预设格式的报文数据中可以包括姓名、证件类型等字段。当外部数据为工商信息时,其预设格式的报文数据中可以包括公司名称、统一社会信用代码等字段。
当该外部数据中仅包括T日新增时,生成的预设格式的报文数据中可能包括部分或者全部字段的字段内容。该在报文数据中出现的字段内容为该T日内更新的字段内容。否则,该在报文数据中出现的字段内容可能为T日内更新的字段内容,也可能为T日前更新的字段内容。
步骤2、根据报文数据更新目标数据。
本步骤中,服务器根据上述的报文数据,更新目标数据。该更新前的目标数据即为图2中的T-1日快照。该更新前的目标数据为上一次生成的目标数据。该报文数据的格式与该更新前的目标数据的格式相同。当该报文数据为T日新增时,服务器使用该报文数据中的字段,覆盖更新前的目标数据中的字段。否则,服务器使用该报文数据与更新前的目标数据不同的字段,覆盖更新前的目标数据中的字段。进而得到更新后的目标数据。
由于针对不同种类的外部数据,其预设格式中可以包括不同的内容。针对不同的预设格式,其生成的报文数据和目标数据也是不同的。因此,服务器针对不同种类的外部数据、报文数据、目标数据,可以使用下述具体步骤,实现目标数据的更新:
步骤2.1、根据预设数据类别对报文数据进行分类,得到不同种类的报文数据。
本步骤中,服务器可以根据预设数据类别对外部数据进行分类。服务器可以根据该预设数据类别确定该外部数据的预设格式。服务器可以根据该预设格式和该外部数据生成其对应的报文数据。
步骤2.2、根据不同种类的报文数据对不同种类的目标数据进行更新。
本步骤中,服务器可以报文数据的数据类别,确定其对应的目标数据的数据类别。进而,服务器根据该数据类别,确定其对应的更新前的目标数据。服务器使用报文数据更新该更新前的目标数据,得到更新后的目标数据。
S102、根据目标数据和目标字段集,拆解得到该目标字段集中各个目标字段对应的字段内容,目标字段集中包括至少一个待查询字段的字段名称。
本实施例中,服务器可以根据用户的检索内容,确定目标字段集。即,该目标字段集中的各个目标字段为用户可能检索到的字段。服务器根据该目标字段集,从目标数据中拆解各个目标字段对应的字段内容。其中,目标字段的格式可以为Json格式。其中,拆解得到的目标字段对应的字段内容可以为该Json格式中,名称与该目标字段一致的数据的值。
S103、将目标字段集中各个目标字段对应的字段内容保存到存储单元内,以使存储单元在接收到查询请求时返回相应的字段内容。
本实施例中,服务器可以将目标字段集中各个目标字段对应的字段内容保存到存储单元内。该存储单元可以为图1所示的数据检索平台的存储单元。当服务器从该数据检索平台上获取用户发送的查询请求时,服务器可以根据该查询请求中包括的待查询字段,从存储单元中获取该待查询字段对应的字段内容。该待查询字段对应的字段内容将通过该数据检索平台反馈到用户终端。
本申请提供的外部数据使用方法,服务器可以根据预设频率从前置系统中获取外部数据。服务器可以对该外部数据进行格式转换,生成预设格式的报文数据。服务器根据报文数据更新目标数据。服务器根据该目标字段集,从目标数据中拆解各个目标字段对应的字段内容。服务器可以将目标字段集中各个目标字段对应的字段内容保存到存储单元内。当服务器从该数据检索平台上获取用户发送的查询请求时,服务器可以根据该查询请求中包括的待查询字段,从存储单元中获取该待查询字段对应的字段内容。本申请中,通过将外部数据中的目标字段存储在存储单元内,减少了待检索数据的数据量,提高了检索效率和外部数据的使用效率。
图4示出了本申请一实施例提供的另一种外部数据使用方法的流程图。在图1至图3所示实施例的基础上,如图4所示,以服务器为执行主体,本实施例的方法可以包括如下步骤:
S201、以预设频率获取外部数据,并根据外部数据确定目标数据。
S202、根据目标数据和目标字段集,拆解得到该目标字段集中各个目标字段对应的字段内容,目标字段集中包括至少一个待查询字段的字段名称。
S203、将目标字段集中各个目标字段对应的字段内容保存到存储单元内,以使存储单元在接收到查询请求时返回相应的字段内容。
其中,步骤S201至S203与图2实施例中的步骤S101至S103实现方式类似,本实施例此处不再赘述。
S204、获取查询记录,查询记录中包括待查询字段的字段名称。
本实施例中,服务器可以获取该数据检索平台上,用户的查询记录。该查询记录中包括查询请求,以及该查询请求中的待查询字段。
S205、根据查询记录更新目标字段集,以增加目标字段集中的目标字段。
本实施例中,服务器可以对该查询记录中的待查询字段进行统计。当该查询记录中出现目标字段集中没有的字段时,服务器可以将该字段作为新的目标字段加入目标字段集中。
本申请提供的外部数据使用方法,服务器可以根据预设频率从前置系统中获取外部数据。服务器可以对该外部数据进行格式转换,生成预设格式的报文数据。服务器根据报文数据更新目标数据。服务器根据该目标字段集,从目标数据中拆解各个目标字段对应的字段内容。服务器可以将目标字段集中各个目标字段对应的字段内容保存到存储单元内。服务器可以获取该数据检索平台上,用户的查询记录。服务器可以对该查询记录中的待查询字段进行统计。服务器根据查询记录更新目标字段集,以增加目标字段集中的目标字段。本申请中,通过更新目标字段集,更新存储单元内存储的字段内容,从而确保存储单元内数据的实用性,在保证用户检索成功率的基础上,尽可能少的将外部数据存储到存储单元内,从而提高数据库检索效率。
图5示出了本申请一实施例提供的再一种外部数据使用方法的流程图。在图1至图4所示实施例的基础上,如图5所示,以服务器为执行主体,本实施例的方法可以包括如下步骤:
S301、以预设频率获取外部数据,并根据外部数据确定目标数据。
其中,步骤S301与图2实施例中的步骤S101实现方式类似,本实施例此处不再赘述。
S302、将外部数据保存到存储单元内,以使存储单元在接收到查询请求时返回相应的外部数据。
本实施例中,服务器可以直接将外部数据存储到存储单元内。该存储单元可以为如图1所示的报文查询服务对应的存储单元。当外部数据直接存储到该存储单元后,服务器可以通过获取查询请求,将其对应的外部数据直接反馈到用户终端。例如,当该查询请求用于查询工商信息时,该查询请求中可以包括公司名称。服务器可以根据该公司名称,从该存储单元中获取与该公司名称相关的全部外部数据。该全部外部数据中包括各个时间点,该公司的工商数据。服务器将该外部数据反馈到用户终端。
S303、根据目标数据和订阅字段集,拆解得到订阅字段集中各个订阅字段对应的字段内容。
本实施例中,服务器中的目标字段集可以为订阅字段集。该订阅字段集中包括的订阅字段可以根据用户选择确定。用户可以在订阅平台选择想要查看的字段,生成订阅字段集。服务器根据该订阅字段集,从目标数据中拆解得到订阅字段集中各个订阅字段对应的字段内容。
S304、根据订阅字段集中各个订阅字段对应的字段内容,生成订阅信息。
本实施例中,服务器可以将订阅字段集中各个订阅字段对应的字段内容整合成输出文本。该输出文本即订阅信息。该订阅信息将发送到用户终端,以供用户查看其订阅的字段内容。
S305、发送订阅信息。
本实施例中,服务器可以通过FTP协议将该订阅信息发送到用户终端。该订阅信息中的订阅字段和字段内容的数据格式可以为文本格式。
本申请提供的外部数据使用方法,服务器可以以预设频率获取外部数据,并根据外部数据确定目标数据。服务器可以直接将外部数据存储到存储单元内。服务器可以通过获取查询请求,将其对应的外部数据直接反馈到用户终端。服务器根据目标数据和订阅字段集,拆解得到订阅字段集中各个订阅字段对应的字段内容。服务器可以根据订阅字段集中各个订阅字段对应的字段内容,生成订阅信息。服务器可以通过FTP协议将该订阅信息发送到用户终端。本申请中,服务器通过上述多种查询方式,将外部数据应用于多种不同的数据服务,解决了外部数据服务单一的问题,提高了外部数据的实用性和使用效率。
图6示出了本申请一实施例提供的一种外部数据使用装置的结构示意图,如图6所示,本实施例的外部数据使用装置10用于实现上述任一方法实施例中对应于服务器的操作,本实施例的外部数据使用装置10包括:
获取模块11,用于以预设频率获取外部数据,并根据外部数据确定目标数据。
拆解模块12,用于根据目标数据和目标字段集,拆解得到该目标字段集中各个目标字段对应的字段内容,目标字段集中包括至少一个待查询字段的字段名称。
第一保存模块13,用于将目标字段集中各个目标字段对应的字段内容保存到存储单元内,以使存储单元在接收到查询请求时返回相应的字段内容。
本申请实施例提供的外部数据使用装置10,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本实施例此处不再赘述。
图7示出了本申请一实施例提供的另一种外部数据使用装置的结构示意图,在图6所示实施例的基础上,如图7所示,本实施例的外部数据使用装置10用于实现上述任一方法实施例中对应于服务器的操作,本实施例的获取模块11包括:
生成子模块111,用于对外部数据进行格式转换,生成预设格式的报文数据。
更新子模块112,用于根据报文数据更新目标数据。
一种示例中,更新子模块112,具体用于根据预设数据类别对报文数据进行分类,得到不同种类的报文数据。根据不同种类的报文数据对不同种类的目标数据进行更新。
本申请实施例提供的外部数据使用装置10,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本实施例此处不再赘述。
图8示出了本申请一实施例提供的再一种外部数据使用装置的结构示意图,在图6和图7所示实施例的基础上,如图8所示,本实施例的外部数据使用装置10用于实现上述任一方法实施例中对应于服务器的操作,本实施例的外部数据使用装置10包括:
第二保存模块14,用于将外部数据保存到存储单元内,以使存储单元在接收到查询请求时返回相应的外部数据。
订阅模块15,用于根据目标字段及其对应的字段内容,生成订阅信息。发送订阅信息。
目标字段更新模块16,用于获取查询记录,查询记录中包括待查询字段的字段名称。根据查询记录更新目标字段集,以增加目标字段集中的目标字段。
本申请实施例提供的外部数据使用装置10,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本实施例此处不再赘述。
图9示出了本申请实施例提供的一种服务器的硬件结构示意图。如图9所示,该服务器20,用于实现上述任一方法实施例中对应于服务器的操作,本实施例的服务器20可以包括:存储器21,处理器22和通信接口24。
存储器21,用于存储计算机程序。该存储器21可能包含高速随机存取存储器(Random Access Memory,RAM),也可能还包括非易失性存储(Non-Volatile Memory,NVM),例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
处理器22,用于执行存储器存储的计算机程序,以实现上述实施例中的外部数据使用方法。具体可以参见前述方法实施例中的相关描述。该处理器22可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
可选地,存储器21既可以是独立的,也可以跟处理器22集成在一起。
当存储器21是独立于处理器22之外的器件时,服务器20还可以包括总线23。该总线23用于连接存储器21和处理器22。该总线23可以是工业标准体系结构(IndustryStandard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
通信接口24,可以通过总线23与处理器21连接。通信接口24用于获取外部数据并将该外部数据发送到处理器,以实现上述外部数据使用方法。该通信接口24还用于获取用户终端发送的查询请求,并将查询结果反馈到用户终端。
本实施例提供的服务器可用于执行上述的外部数据使用方法,其实现方式和技术效果类似,本实施例此处不再赘述。
本申请还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中,计算机可读存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,计算机可读存储介质耦合至处理器,从而使处理器能够从该计算机可读存储介质读取信息,且可向该计算机可读存储介质写入信息。当然,计算机可读存储介质也可以是处理器的组成部分。处理器和计算机可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits,ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和计算机可读存储介质也可以作为分立组件存在于通信设备中。
具体地,该计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random-Access Memory,SRAM),电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM),可编程只读存储器(Programmable read-only memory,PROM),只读存储器(Read-OnlyMemory,ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本申请还提供一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质中读取该计算机程序,至少一个处理器执行该计算机程序使得设备实施上述的各种实施方式提供的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
其中,各个模块可以是物理上分开的,例如安装于一个的设备的不同位置,或者安装于不同的设备上,或者分布到多个网络单元上,或者分布到多个处理器上。各个模块也可以是集成在一起的,例如,安装于同一个设备中,或者,集成在一套代码中。各个模块可以以硬件的形式存在,或者也可以以软件的形式存在,或者也可以采用软件加硬件的形式实现。本申请可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
当各个模块以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。
应该理解的是,虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并可以在同一时刻执行完成,也可以在不同的时刻执行。其执行顺序也可以是依次执行,也可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制。尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换。而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。