具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

请参考图1所示，本发明所提供的交易数据流获取方法，具体包含：

S101接收交易信息，根据交易信息分析获得交易流程数据；

S102采集后台数据库的监控数据，根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息，并以所述变化数据信息的时间发生先后进行排序生成数据流集合；

S103根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。

在上述实施例中，所述监控数据可包含查询文本即SQL文本、执行时间和对应的表名等要素信息。根据交易信息分析获得交易流程数据包含：分析所述交易信息获得交易要素，对所述交易要素进行归类生成交易流程数据。具体的，所述交易信息在实际工作中主要包含三要素：交易名称、开始时间、结束时间；其中开始时间和结束时间可通过打点或者快照的方式来实现，最大的可能简化手工操作。其后，将收集上来的交易信息要素归类并提供至后续步骤S103进行关联。

请参考图2所示，在本发明一实施例中，根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息包含：

S201根据所述交易信息中的开始结束时间于所述监控数据中的数据表结构中获得主键信息；

S202通过所述主键信息提取所述监控数据中对应时段的变化数据信息。

具体的，在该实施例中主要进行时间链路提取，即从监控数据中，提取在步骤S101中确定时间段内的变化数据信息，采取按主键提取的方式(主键可以在数据表的结构中获取)，并将该信息按照时间发生的先后顺序(根据数据库中的时间戳，目前规范的分布式事务设计的数据库表中，交易类表普遍具有时间戳的信息)。

进一步的，请参考图3所示，在本发明一实施例中，以所述变化数据信息的时间发生先后进行排序生成数据流集合可包含：

S301当所述变化数据信息分别来至于不同时间设置的数据库时，通过时间换算公式计算所述变化数据信息的标准时间；

S302根据所述标准时间将所述变化数据信息的时间发生先后进行排序生成数据流集合。

具体请参考图4所示，实际工作中的处理流程主要是将从各个分布式数据库中采集到的变化信息汇总，并按照时间戳的顺序重新排列组合(假设各个分布式数据库的时间采取同步机制，为同一时间。)如各个数据库的时间不同(存在于某些用于测试的数据库)，则需要采取换算公式来对应自然时间后，再进行排列组合。排列组合后的信息，汇总进入临时信息库，用于后续的进一步处理。

请参考图5所示，在本发明一实施例中，根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含：

S501当所述数据流集合中存在交易链路数据流在传递过程中主键变化时，通过主键传递跟踪技术获取主键跳跃位置；

S502根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合。

上述实施例主要适用于在整个交易链路数据流传递的过程中，出现主键变化的情况，即主键发生“跳跃”，比如从集团编号跳跃到某一具体的交易流水号，在此过程中通过此技术去跟踪主键跳跃的情况，避免数据流跟踪断裂，保护其传递完整性。具体可参考图6所示，在实际工作中，主键传递跟踪的数据源为步骤S102处理完成的临时信息库中有序数据的集合，在这些数据中，逐一提取每一条数据的主键信息进行分析，假设数据库中有n条数据，通过for循环的方式，将每一条主键数据与其余n-1条主键数据进行比对，如发现共同主键，且存在这一主键上的相同数据值，可视为一条关联数据，即串联起数据流中的“一环”，可纳入数据链路。如未发现关联主键，则寻找跳跃主键的信息。跳跃主键寻找的原理为：假设A数据中存在主键A1，B数据中存在主键B1，A1不等于B1，但是通过对其他中间表的扫描，发现存在表TAB1，可以建立从A1到B1的主键关联关系，则可以通过TAB1表作为中间转换，形成A1与B1之间的串联信息。此情况可能是：A1与B1是一对多的关系，或者A1与B1一一对应的关系，也存在A1与B1为多对一的关系；以此可纳入数据链路；如为发现跳跃主键则可认定为可疑噪声数据予以滤除。

在本发明一实施例中，根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含：通过不同预设周期的业务要素采集提取与交易关联的相关信息，通过所述相关信息对所述数据流集合进行降噪处理。该实施例主要是针对获取的数据流集合中的噪音部分，通过在不同时段的业务要素采集，反复提取真正与交易有直接关系的信息，降低噪声对数据流链接形成的影响。具体可参考图7所示，在实际工作中可按照x轴、y轴两个维度对数据链路进行处理，x轴将数据链路信息按照业务时段分别存放为不同的数据集合，Y轴按照数据链路的唯一值进行存储。根据横轴和纵轴的排列关系，可以将数据链路提取为三类：A：在全业务时段均存在的数据流，B：偶尔出现的数据流C：只出现过一次的数据流。此三类数据，A类数据直接进入提取信息库，B类数据进如可疑信息库，C类数据抛弃。需要说明的是，业务时段的数据是一个动态逐次递增的过程，随着不同业务时段采集的数据流越来越多，对数据链路的ABC类分流越来越准确，知道最后将可疑信息逐一分析提取，纳入提取库或者抛弃库。

为便于更清楚的理解本发明所提供的交易数据流获取方法的具体实施流程及方式，以下以一个业务名称为Trade 1的交易为例，对上述实施例做整合说明，本领域相关技术人员当可知，该实例并不对其进行任何限定。

1、Trade1分别在业务时段：T1、T2、T3采集，纳入数据库。

2、从监控数据库中提取T1、T2、T3时段的变化数据信息，假设为A库的A1表，新增了n条数据(insert操作)、B库的B1表，修改或者更新了n条数据(update操作)，C库的C1、C2表，分别新增了m条数据(insert操作)。

3、提取数据之间的时间戳关系，发现时间顺序为：B1更新->A1新增->C1新增->C2新增。

4、B1表存在主键B1pk1，A1表存在主键A1pk1，C1表处在主键C1pk1，C2表存在主键C2pk1,经业务逻辑比对发现，B1pk1等于A1pk1，C1pk1等于C2pk1。

5、对A、B、C库的数据结构分别扫描，发现B库的B2表，存在B1pk1与C1pk1的关联，由此满足主键跳跃的条件，链路生成，为：B1pk1->A1pk1->C1pk1->C2pk1。

6、根据5中的链路，对n条数据内容逐一进行数据流链路建立，在数据链路信息库中存储n条数据流信息：dataflow1……dataflow n。

7、建立起数据流与业务时段的对应存储关系，如：

T1：dataflow 1……dataflow x(均具备同一数据链路B1pk1->A1pk1->C1pk1->C2pk1)；

T2：dataflow x+1……dataflow y(均具备同一数据链路B1pk1->A1pk1->C1pk1->C2pk1)；

T3：dataflow y+1……dataflow n(均具备同一数据链路B1pk1->A1pk1->C1pk1->C2pk1)；

8、由于同一数据链路的数据在T1、T2、T3 3个时段均存在，则认定为与Trade1存在密切关联的数据链路，进入数据链路提取库。

9、在监控中提取的数据，还发现了另外一条数据链路,假设为：A库的A2表，到B库的B2表，C库的C3表，数据链路为：A2pk1->B2pk1->C2pk1。

10、该数据链路只在T1时段存在，在T2、T3时段均未发现，则进入可疑库，等待更多时段样本T4……Tn入库后进一步分析。

请参考图8所示，本发明还提供一种交易数据流获取装置，所述装置包含交易采集模块、技术数据流处理模块和汇总模块；所述交易采集模块用于接收交易信息，根据交易信息分析获得交易流程数据；所述技术数据流处理模块用于采集后台数据库的监控数据，根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息，并以所述变化数据信息的时间发生先后进行排序生成数据流集合；所述汇总模块用于根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。

在上述实施例中，所述技术数据流处理模块还包含主键传递跟踪模块和噪声处理模块；所述主键传递跟踪模块用于当所述数据流集合中存在交易链路数据流在传递过程中主键变化时，通过主键传递跟踪技术获取主键跳跃位置；根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合；所述噪声处理模块用于通过不同预设周期的业务要素采集提取与交易关联的相关信息，通过所述相关信息对所述数据流集合进行降噪处理。

为便于更清楚额说明，本发明所提供的交易数据流获取装置的具体结构及彼此之间的关系，以下请参考图9所示，对上述交易数据流获取装置在实际应用工作中各组件的具体原理做进一步说明。

本发明所提供的交易数据流获取装置在实际工作中主要包含三个模块：交易采集模块、技术数据流处理模块和汇总模块。

其中，交易采集模块包含交易信息录入和交易流程采集两个单元：

交易信息录入，录入交易的信息，主要包括三要素：交易名称、开始时间、结束时间。其中开始时间和结束时间通过打点或者快照的方式来实现，最大的可能简化手工操作。

交易流程采集，将收集上来的交易信息要素归类，并上送信息汇总单元。

其中，技术数据流处理模块包含监控数据获取、时间链路提取、主键传递跟踪和噪声处理四个单元：

监控数据获取，数据来源为后台数据库监控数据，其中包括SQL文本、执行时间、对应的表名等要素信息。

时间链路提取，从监控数据中，提取在子模块1中获取的时间段内的变化数据信息，采取按主键提取的方式(主键可以在数据表的结构中获取)，并将该信息按照时间发生的先后顺序(根据数据库中的时间戳，目前规范的分布式事务设计的数据库表中，交易类表普遍具有时间戳的信息)。

主键传递跟踪：该模块为可选模块，普遍适用于在整个交易链路数据流传递的过程中，出现主键变化的情况，即主键发生“跳跃”，比如从集团编号跳跃到某一具体的交易流水号，在此过程中通过此技术去跟踪主键跳跃的情况，避免数据流跟踪断裂，保护其传递完整性。

噪声处理：针对获取的数据流集合中的噪音部分，通过在不同时段的业务要素采集，反复提取真正与交易有直接关系的信息，降低噪声对数据流链接形成的影响。

其中，汇总模块包含信息汇总和交易流程数据流关系提取两个单元：

信息汇总：存储交易流程采集和时间链路提取、主键传递跟踪、噪声处理处理后传递的两路数据源信息。

交易流程数据流关系：将业务要素和数据流信息进行有序匹配，匹配的依据是业务时间段内提取到的经过时间链路提取、主键传递跟踪、噪声处理处理后的有序数据流集合，并对外展示，供查询和检索用。

本发明的有益技术效果在于：大幅降低人工梳理的时间成本和经验门槛要求，只需前期样本采集期间少量的人工录入；自动生成的数据流信息，对于全链路交易的监控和跟踪，提供了分析和问题排查的有效依据；通过监控数据不断自动刷新丰富内容，形成一套完整的数据流信息资产沉淀。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

如图10所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图10中所示的所有部件；此外，电子设备600还可以包括图10中没有示出的部件，可以参考现有技术。

如图10所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。