一种基于大数据的城市信息和服务集成系统及方法
技术领域
本发明涉及计算机软件应用的
技术领域
，特别是涉及基于大数据的城市信息和服务集成系统。背景技术
城市中的服务设施在为城市居民带来生活便利的同时，积累了海量的、多元的、异构的、时空多维的、多尺度和多粒度的城市大数据，这些数据往往种类多样，数据的具体形式难以描述。随着“信息城市”“数字城市”“物联网”如火如荼的发展，城市中建立了不同规模等级的城市数据库，基于城市大数据提供的相关城市服务的范围也越来越广泛。但是由于数据本身海量、多源、异构、分布的特点，尽管近年来基于城市数据的服务已经逐步建立和完善，各服务应用之间仍然存在壁垒。各自独立、相对封闭的城市服务应用之间无法交互和组合，彼此之间构成了一个个“信息孤岛”。
为了减少城市各服务内部与外部之间的“信息孤岛”，优化城市信息资源配置，促进城市服务资源共享，提高空间信息资源利用效率，建立一个实现城市信息和服务集成功能的系统对于社会有着巨大的作用和价值。通过跨域异构城市服务数据的高效分发、服务组合优化，实现多源、异构的服务主体、服务数据和服务资源的高效可靠地汇聚，城市信息和服务集成系统可以屏蔽数据源和服务的异构性、分布性，实现通过客户端操作透明的访问与管理服务。
城市服务集成平台接到用户提交的服务请求后通过一系列分析对于服务进行分解，根据用户需求从服务平台中选择符合需求的服务并将它们组合起来以共同执行用户任务。从众多的组合服务中选择出最符合要求的组合服务进行服务组合，是一个具有强NP-hard复杂度的组合优化问题。依据服务发现和服务集成的过程是在任务执行时还是处理树或业务流模型解析时进行，可以将物联网环境中的服务组合分为运行时组合和运行前组合两种类型。根据用户通过编程接口创建的业务流模型，组合服务执行引擎借助服务模版，为业务流程中的每一个环节动态选择和运行时绑定实体服务或云服务，并根据业务流程中的数据流设置服务之间的参数传递和参数映射，从而形成满足任务需要的组合服务。由于未来对于服务智能化的程度会日益提高，物联网环境中的服务组合多为运行时组合的形式。运行时组合方法分为基于规划理论的服务组合方法和基于图规划的服务组合方法。前者与后者一样，均是基于某种形式化方法对于服务描述进行形式化转化后，通过可满足行推理机制的方式得出服务组合的结果。而前者求解服务组合问题时往往效率低下。本发明提出了一种基于图规划的服务组合方法，该方法对于服务进行建模时，将组合问题转化成一个规划图问题，将服务映射为规划图中的动作。将服务的输入输出参数映射为状态，用过规划图的扩展和规划解求得组合方案。由于规划图问题可以在多项式时间内构造，因此可以在更短的时间内求解服务组合问题。
在对处于异构平台、分布存放的城市信息和服务进行集成时，需要跨越一系列挑战，拟解决的关键技术问题如下：
(1)海量城市多源异构数据多粒度结构化描述差异
以构建城市智能服务数据的多粒度分割与描述机制，以应用服务为导向，有效融合多源城市服务大数据，在深度与广度上提升智慧城市感知数据的理解程度与应用水平。面向城市服务的多模数据，构建统一的城市多模数据的多尺度分析模型和智能融合方法。
(2)城市服务协同的基于语义的服务数据自动分发机制
基于集成思想的高效匹配算法，通过集成多个匹配算法，根据当前系统的状态和工作负载变化，实现匹配算法的优化选择，保障服务数据分发的性能和稳定性。基于发布/订阅系统实现服务数据的动态按需分发，通过解析服务关联关系，自动生成表达服务间数据分发需求的订阅，当服务完成协同操作后，自动实现订阅的删除操作，在保持服务松耦合关系的前提下，以提高系统的可扩展性。
(3)图规划的异构城市服务的组合与优化
根据城市服务治理与协同模型，结合跨域异构城市服务的具体流程，提出了基于图规划的服务组合方法。
发明内容
本发明的技术解决问题：克服海量城市多源异构数据多粒度结构化描述差异、城市服务协同的基于语义的服务数据自动分发机制、基于图计算的异构城市服务的组合与优化。
本发明提出一种基于大数据的城市信息和服务集成系统，针对城市服务的分布异构性与可信服务汇聚需求的矛盾，数据高效分发、服务组合优化技术，突破大规模城市服务主体在接入方式、封闭程度和负载能力方面存在的障碍，实现多源、异构、分布的服务主体、服务数据和服务资源的高效可靠地汇聚。所述系统包括客户端浏览器和数据集成服务器和服务集成服务器，利用B/S架构，将多源异构数据集成模块部署在数据服务器，城市服务集成模块部署在服务集成管理服务器，在客户端利用浏览器进行各个模块的访问，所述系统模块包括海量多源异构数据集成模块、多维信息可视化模块、服务注册维护模块、城市服务集成模块。
本发明的城市信息和服务集成系统，所述海量多源异构数据集成模块，用于实现海量多源异构数据集成的功能，本模块导入来自分布在不同数据存储平台的数据，即多源数据，进行城市数据集成，为多维信息可视化模块和服务注册维护模块提供可用的数据模式和查询通用接口。此模块功能包括：查询集成数据视图、模式、结构、内容；封装源数据，将多源数据的数据转化成集成系统可以处理的同一的格式；构建多源异构数据集的XML数据视图；对于XML视图进行解析，完成节点映射，获取表、字段、数据信息；与源数据库建立JDBC连接，拷贝数据到数据集成服务器中，完成数据导入；将SQL请求结果通过集成数据模式和查询通用接口输出，完成数据的查询；用户通过客户端请求查询数据，查询返回的结果即为该模块输出的集成数据。
本发明的城市信息和服务集成系统，所述多维信息可视化模块，基于海量多源异构数据集成模块提供的集成数据，实现以图表呈现已加载的集成数据，所述功能包括：使用拖拽或填表的方式，自定义数据呈现维度、过滤数据呈现的颗粒度、设置度量项、设置度量项计算项、设置图表配置项；所述计算项包括求和、平均、最大值、最小值；所述呈现包括各种多维度的呈现类型，包括折线图、柱状图、饼图、漏斗图，数据的各个维度均可进行展现。
本发明的城市信息和服务集成系统，所述服务注册维护模块，基于海量多源异构数据集成模块提供的集成数据，用于实现系统中服务的描述、注册和管理，以便系统能够快速定位用户请求服务的所需子服务；本模块对于系统中待注册实体服务的接口说明使用语义级别的描述，主要说明包括：服务描述、服务参数和服务协议。具体将服务描述分为能力和属性两大类；上述服务描述的能力部分包括：服务输入、服务输出、服务类型。所述服务描述的属性部分包括：服务的非功能属性和服务的情景信息；服务的非功能属性包括环境信息、用户信息、平台软硬件信息；服务的情景信息包括服务代价、服务性能、服务可靠性参数；管理系统中的注册服务，本模块采用一种基于一致哈希表的结构化分布式方法。服务描述作为系统中的服务注册信息，用一对二元组表示，二元组是由包含了服务名称和服务参数两项内容。其中，服务名称是指该服务在系统中的唯一ID，可用于实现一致性哈希表的索引，服务参数包括了该服务的物理资源信息和云端资源地址。云端资源地址由IPv4地址和端口号构成，实现了服务在分布式提供下的调用；最后本模块实现了对于系统中已注册的服务服务实体进行管理，管理操作包括：创建、注册、监听、添加、修改、删除和编辑。
本发明的城市信息和服务集成系统，所述城市服务集成模块，基于服务注册维护模块，用于实现系统中服务查找和服务组合；本模块按照用户提供的请求服务描述，采用集中式的匹配查找来找到满足应用需求的城市子服务，从而为用户直接或通过服务组合获得所需的城市服务提供必要的支持；具体实现基于语义进行精确服务查找，将用户服务请求和实体服务都抽象成包含属性和操作的本体，利用基于本体的发现机制进行推理，实现了请求分解、子查询管理、感知服务发现、有效性评价管理的功能；请求分解具体是指将用户的服务请求本体分解为层次化的若干子本体；子查询管理具体是指基于子本体创建子查询；感知服务发现具体是指基于子查询获得相应的感知服务；有效性评价管理具体是指，评价查询结果与用户请求的匹配效果；本模块从客户端获取用户需求，并按照需求处理执行计划通过服务发现找到需要的实体服务和云服务，选择多个服务将它们编排起来形成可运行的物联网系统，以完成指定的应用任务；具体实现基于图规划的跨域异构城市服务组合方法，动态自适应服务组合，根据形式化逻辑模型找出相关的实体城市服务，自动确定业务流模型并将找到的相关实体服务组合起来以完成的城市应用服务。
根据本发明的另一方面，提出一种基于大数据的城市信息和服务集成系统的方法，包括以下步骤：
步骤(1)海量多源异构数据集成
首先通过构造中间件，协调各多源异构数据，为后续模块提供虚拟的集成XML数据视图和基于视图的数据模式和查询通用接口，对基于SQL的结构化数据、半结构化数据进行集成。在这一过程中，各数据源仍然相互独立，中间件相当于为异构数据提供一个高层次的检索服务；所述中间件的实现基于XML模式和关系模式之间的转换，实现了把关系模式中的相关信息用XML文档的层次关系表示出来的功能；通过对于数据库建立JDBC连接，系统自动提取数据库中的视图，完成信息抽取；根据抽取信息的字段名称、类型、主键、外键，构建DOM树，并完成信息合成；生成中间DOM文档。最后对于DOM文档序列化，生成XML文档；对于各数据库进行查询重写，完成统一的数据库查询模式；建立XML文件的解析模式；封装集成数据模式和查询通用接口，输出经过XML解析的SQL查询结果；
步骤(2)多维信息可视化
通过列表展示出海量多源异构数据集成的数据，然后通过选择相应数据集，显示选中数据集对应的所有字段；利用鼠标拖拽，将字段拖动到度量项、过滤筛选区域，选择要生成的图表类型，包括柱状图、折线图、漏斗图、饼图、通过设置各类图表的配置项；对已加载的数据集提供各类图表的呈现，功能包括：自定义数据呈现维度，过滤数据呈现的颗粒度，设置度量项，设置计算项如求和、平均、最大值、最小值，设置各图表配置项，如图表标题、参考线；
步骤(3)服务注册维护
对于待注册的服务进行语义层次的说明，说明类型包括服务描述、服务参数和服务协议；服务描述分为能力和属性两类；上述服务描述的能力部分包括：服务输入、服务输出、服务类型。所述服务描述的属性部分包括：服务的非功能属性和服务的情景信息；服务的非功能属性包括环境信息、用户信息、平台软硬件信息；服务的情景信息包括服务代价、服务性能、服务可靠性参数；采用一种基于一致哈希表的结构化分布式方法来管理系统中的注册服务。注册信息用一对二元组表示，二元组是由包含了服务名称和服务参数两项内容。其中，服务名称是指该服务在系统中的唯一ID，可用于实现一致性哈希表的索引，服务参数包括了该服务的物理资源信息和云端资源地址。云端资源地址由IPv4地址和端口号构成，实现了服务在分布式提供下的调用；最后实现对于系统中已注册的服务服务实体的管理功能，管理功能包括：创建、注册、监听、添加、修改、删除和编辑配置文件；
步骤(4)城市服务集成
城市服务集成模块接收到外界的服务请求，针对请求信息提取需求信息并进行需求调用；接受外界请求，分析并提取出服务相关的需求信息；将处理后的需求信息处理，集中式的匹配查找来找到满足应用需求的城市子服务，生成调用服务的相关数据请求命令和服务请求命令；将数据请求命令发送给数据集成模块，获取相关数据，并将数据发送给服务请求命令调用的服务。
与现有技术相比本发明的有益效果为：
(1)海量城市多源异构数据多粒度结构化描述差异
以构建城市智能服务数据的多粒度分割与描述机制，以应用服务为导向，有效融合多源城市服务大数据，在深度与广度上提升智慧城市感知数据的理解程度与应用水平。面向城市服务的多模数据，构建统一的城市多模数据的多尺度分析模型和智能融合方法。
(2)城市服务协同的基于语义的服务数据自动分发机制
基于集成思想的高效匹配算法，通过集成多个匹配算法，根据当前系统的状态和工作负载变化，实现匹配算法的优化选择，保障服务数据分发的性能和稳定性。基于发布/订阅系统实现服务数据的动态按需分发，通过解析服务关联关系，自动生成表达服务间数据分发需求的订阅，当服务完成协同操作后，自动实现订阅的删除操作，在保持服务松耦合关系的前提下，以提高系统的可扩展性。
(3)图规划的异构城市服务的组合与优化
根据城市服务治理与协同模型，结合跨域异构城市服务的具体流程，提出了基于图规划的服务组合方法，该算法可在多项式时间内求解最优服务组合结果。
(4)通过海量多源异构数据集成、多维信息可视化、服务注册维护、服务集成管理的功能，实现了海量多源异构数据和城市服务的集成系统的建立，将各自分散的数据和服务进行数据集成，通过集成系统进行了同构和统一，为用户访问城市集成数据和使用城市集成服务提供了透明、便捷的接口；
(5)本发明通过对于海量多源异构数据和服务集成，优化城市信息资源配置，促进城市服务资源共享，提升了城市信息和服务集成系统的现实应用。
附图说明
图1为本发明的总体结构图；
图2为本发明系统的组成框图；
图3为本发明系统中的海量多源异构数据集成模块实现过程；
图4为本发明系统中的多维信息可视化模块实现过程；
图5为本发明系统中的服务注册维护模块实现过程；
图6为本发明系统中的市服务集成实现过程；
图7为基于图规划实现的服务组合算法中扩展阶段的算法流程图；
图8为基于图规划实现的服务组合算法中求解阶段的算法流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1-图8所示，本发明基于大数据的城市信息和服务集成系统部署在服务器端，在系统中导入各类多源异构信息数据，数据服务器部署多源异构数据集成模块、多维信息可视化模块，服务集成管理服务器部署服务注册维护模块、城市服务集成模块；
整个系统的实现过程如下：
(1)当客户端发生服务请求功能时，与服务集成服务器对于此请求进行记录，服务集成服务器对于服务请求基于语义分析完成服务描述，基于服务描述的结果调用服务组合功能，分解服务需求，调用集成数据查询接口，获取服务数据。当客户端服务器与服务集成服务器和数据集成服务器通讯时，在客户端TCP/IP端口过滤数据流，对用户业务行为与数据资源提交行为进行记录并形成记录结果文件；
(2)海量多源异构数据集成模块，读取外界的各类多源异构数据，通过导入Excel文件、执行SQL脚本方式来输入数据源的资源地址，并存放到系统数据库中。构建数据结构转换中间件，对于多源异构数据进行集成，将集成的过程封装成集成数据模式和查询通用接口，允许各客户端通过请求服务调用接口来获取相关的数据。
(3)多维信息可视化模块，根据用户请求调用海量多源异构数据集成模块提供的集成数据模式和查询通用接口，获取需求数据。分析需求数据类型，根据用户调用结果，绘制不同的数据表；自定义数据呈现维度，过滤数据呈现的颗粒度，设置度量项，设置度量项计算项(求和、平均、最大值、最小值)。
(4)服务注册维护模块，对于待注册的服务进行语义层次的说明，说明类型包括服务描述、服务参数和服务协议；服务描述分为能力和属性两类；上述服务描述的能力部分包括：服务输入、服务输出、服务类型。上述服务描述的属性部分包括：所述服务描述的属性部分包括：服务的非功能属性和服务的情景信息；服务的非功能属性包括环境信息、用户信息、平台软硬件信息；服务的情景信息包括服务代价、服务性能、服务可靠性参数；采用一种基于一致哈希表的结构化分布式方法来管理系统中的注册服务。注册信息用一对二元组表示，二元组是由包含了服务名称和服务参数两项内容。其中，服务名称是指该服务在系统中的唯一ID，可用于实现一致性哈希表的索引，服务参数包括了该服务的物理资源信息和云端资源地址。资源地址由IPv4地址和端口号构成，实现了服务在分布式提供下的调用；最后实现对于系统中已注册的服务服务实体的管理功能，管理功能包括：创建、注册、监听、添加、修改、删除和编辑配置文件；
(5)城市服务集成模块，分为两个部分，服务查找和服务组合；基于语义匹配进行精确服务查找，将用户服请求和实体服务都抽象成包含属性和操作的本体，利用基于本体的发现算法，实现了请求分解、子查询管理、感知服务发现、有效性评价管理的功能；按照用户提供的请求服务描述，采用集中式的语义匹配查找算法需按照满足应用需求的城市子服务，从而为用户直接或通过服务组合获得所需的城市服务提供必要的支持；从客户端获得应用需求，并按照需求处理后执行计划，通过服务发现算法找到需要的实体服务和云服务，选择多个服务将它们编排起来形成可运行的物联网系统，以完成指定的应用任务；具体基于图规划算法实现跨域异构城市服务组合方法，动态自适应服务组合，根据形式化逻辑模型找出相关的实体城市服务，自动确定业务流模型并将找到的相关实体服务组合起来以完成的城市应用服务。
根据本发明的一个实施例，上述实现过程的具体实施如下：
1.硬件设备选型
上述客户端服务器与中心服务器的硬件选型如下：
客户端服务器最低配置要求：
CPU主频：1GHz
内存：2GB
硬盘容量：1T
以太网卡：百兆
中心服务器最低配置要求：
CPU主频：128GHz
内存：64GB
硬盘容量：128T
以太网卡：千兆
2.海量多源异构数据集成模块
该模块的实现过程如图3所示：构建中间件的实现基于XML模式和关系模式之间的转换，实现了把关系模式中的相关信息用XML文档的层次关系表示出来的功能；通过对于数据库建立JDBC连接，系统自动提取数据库中的视图，完成信息抽取；根据抽取信息的字段名称、类型、主键、外键，构建DOM树，并完成信息合成；生成中间DOM文档。最后对于DOM文档序列化，生成XML文档；对于各数据库进行查询重写，完成统一的数据库查询模式；建立XML文件的解析模式；封装集成数据模式和查询通用接口，输出经过XML解析的SQL查询结果；当发生数据请求时，经过数据模式和查询通用接口完成目标数据的返回。
3.多维信息可视化模块
该模块的实现过程如图4所示：根据用户请求调用海量多源异构数据集成模块提供的集成数据模式和查询通用接口，获取需求数据。分析需求数据类型，根据用户调用结果，绘制不同的数据表。当用户选择刷新操作时，重复调用集成数据查询接口获取最新的集成数据可视化展示。在用户选择保存操作时，需要保存相关的参数，则将数据集的名称保存到对应的数据集名称字段，将数据处理状态从草稿修改为保存，在数据集描述字段中写入一些描述性的信息。
4.服务注册维护模块
该模块实现了服务的描述、注册和管理功能，实现过程如图5所示。主要分为以下步骤：
(1)构建语义描述器对于服务进行语义级别的描述。描述具体包括服务描述、服务参数和服务协议。具体将服务描述分为能力和属性两大类。上述服务描述的能力部分包括：服务输入、服务输出、服务类型。所述服务描述的属性部分包括：服务的非功能属性和服务的情景信息；服务的非功能属性包括环境信息、用户信息、平台软硬件信息；服务的情景信息包括服务代价、服务性能、服务可靠性参数；
(2)构建一致哈希表管理系统中的注册服务。注册信息用一对二元组表示,二元组是由包含了服务名称和服务参数两项内容。其中，服务名称是指该服务在系统中的唯一ID，可用于实现一致性哈希表的索引，服务参数包括了该服务的物理资源信息和云端资源地址。资源地址由IPv4地址和端口号构成，实现了服务在分布式提供下的调用；
(3)实现服务的基本操作，包括创建、注册、监听、添加、修改、删除和编辑。使用数据库语句实现基于服务注册表的服务的创建、插入、删除、编辑功能。
5.城市服务集成模块
该模块的实现过程如图6所示：实现主要分为两个步骤，服务查找和服务组合；基于语义匹配进行精确服务查找，将用户服务请求和实体服务都抽象成包含属性和操作的本体，利用基于本体的发现机制进行推理，实现了请求分解、子查询管理、感知服务发现、有效性评价管理的功能；按照用户提供的请求服务描述，采用集中式的匹配查找来找到满足应用需求的城市子服务，从而为用户直接或通过服务组合获得所需的城市服务提供必要的支持；从用户端获得应用需求，并按照需求处理执行计划通过服务发现模块找到需要的实体服务和云服务，选择多个服务将它们编排起来形成可运行的物联网系统，以完成指定的应用任务；具体基于图规划算法实现跨域异构城市服务组合方法，动态自适应服务组合，根据形式化逻辑模型找出相关的实体城市服务，自动确定业务流模型并将找到的相关实体服务组合起来以完成的城市应用服务。
图规划算法实现服务组合主要过程如图7、图8所示：图规划算法分为两个阶段，扩展阶段和求解阶段。算法主要概括为，给定初始状态与目标状态，找到一组服务序列使得初始状态到达目标状态。图规划算法分为扩展阶段和求解阶段。在扩展阶段中，根据给定的初始状态使用迭代法扩展新的服务并得到新的状态，直到最终目标状态经过一步迭代不发生改变，则扩展结束。若规划图进入了不动层，则表示没有满足需求的规划解使得初始状态达到目标状态。否则，开始逆向求解阶段，该阶段将为目标状态查找一组后驱状态满足该目标状态的动作集合，并通过这一组动作集合得到新的目标状态，直到所有的目标状态均出现在初始状态中为止，则得到该规划问题的规划解，即得到一组服务序列可使初始状态转移到目标状态。
具体服务组合步骤如下：
(1)将服务组合问题映射到图规划求解问题，基于以下步骤构建规划图的边和节点。
i.城市服务service映射为图规划中的动作action；
ii.城市服务service的输入参数映射为动作action的前驱状态pre(action)；
iii.城市服务service的输出参数映射为动作action的后驱状态pos(action)；
iv.用户的服务请求映射为图规划中的初始状态Sinitial；
v.用户的服务请求得到的服务组合结果映射为图规划中的最终状态Sfinal；
vi.动作集合和状态集合和构成规划图的边和节点。
(2)完成规划图的扩展阶段建立。
重复以下步骤构建每一层状态集合和动作集合，直到最终状态全部出现在状态集合中或者状态集合不再更新。
i.将用户服务请求的内容作为规划图的初始状态构建第一层状态集合；
ii.根据上一层的状态集合查找满足服务请求条件的动作添加到新的动作集合；
iii.遍历得到的动作集合，将每个动作的后去状态添加到下一层的状态集合；
(3)完成规划图的求解阶段建立。
对于每个最终状态Sfinal，查找一组满足服务请求条件的动作集合，并将该动作集合的每一个动作的前驱状态pre(action)作为新的最终状态集合。
重复以上过程，构成新的最终状态集合，直到回溯到初始状态时得到一组从初始状态转移到最终状态的服务组合解。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
