应用于大数据业务的数据资源共享方法及大数据服务器
技术领域
本申请涉及大数据和资源共享
技术领域
,特别涉及一种应用于大数据业务的数据资源共享方法及大数据服务器。背景技术
共享经济(Shared economy)是指闲置业务资源的拥有方,将闲置业务资源进行共享,从而使得其他业务参与方通过拥有方所共享的闲置业务资源创造价值。在共享经济的中,闲置业务资源是第一要素,也是最关键的要素。它是资源拥有方和资源使用方实现资源共享的基础。共享经济概念下的闲置业务资源可以理解为:该业务资源原本为个人或组织自身使用,在没有处于使用状态或被占用的状态时,即为闲置业务资源。
现目前,随着大数据技术的不断发展,许多在线业务也开始采用共享经济模式进行业务处理,这样可以将不同业务端的资源进行有效整合和互通,从而提高业务办理的智能化程度。
一般而言,基于大数据业务的共享经济大多涉及数据资源共享。然而,在实际应用过程中发明人发现,相关的数据资源共享技术仍然存在一些问题,比如在数据资源共享过程中容易对处于办理状态的业务造成干扰。
发明内容
鉴于上述内容,本申请提供了如下方案。
本申请实施例之一的方案提供一种应用于大数据业务的数据资源共享方法,包括:结合历史业务数据资源,通过待更新的数据资源共享线程进行资源内容提取得到所述历史业务数据资源的目标资源内容分布;结合所述目标资源内容分布,通过所述待更新的数据资源共享线程确定所述历史业务数据资源对应的动态共享状态信息;结合所述历史业务数据资源的有效共享状态信息和所述动态共享状态信息,更新所述数据资源共享线程的线程参数,得到更新完成的数据资源共享线程。
本申请实施例之一的方案提供一种大数据服务器,包括处理引擎、网络模块和存储器;所述处理引擎和所述存储器通过所述网络模块通信,所述处理引擎从所述存储器中读取计算机程序并运行,以执行上述的方法。
在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
本申请将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本申请的一些实施例所示的一种示例性应用于大数据业务的数据资源共享方法和/或过程的流程图;
图2是根据本申请的一些实施例所示的一种示例性应用于大数据业务的数据资源共享装置的框图;
图3是根据本申请的一些实施例所示的一种示例性应用于大数据业务的数据资源共享系统的框图,以及
图4是根据本申请的一些实施例所示的一种示例性大数据服务器中硬件和软件组成的示意图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
本申请旨在提供一种应用于大数据业务的数据资源共享方法及大数据服务器,首先采用待更新的数据资源共享线程对历史业务数据资源进行资源内容提取得到目标资源内容分布,其次通过目标资源内容分布确定历史业务数据资源对应的动态共享状态信息,这样可以结合有效共享状态信息以及动态共享状态信息对数据资源共享线程的线程参数进行更新以得到更新完成的数据资源共享线程。
可以理解的是,由于在更新数据资源共享线程的线程参数时同时考虑了有效共享状态信息以及动态共享状态信息,因而能够将在先的业务状态和当前的业务状态同时考虑在内,且由于动态共享状态信息是根据目标资源内容分布确定的,因而可以确保有效共享状态信息与动态共享状态信息之前的业务关联性和连续性。如此,能够基于业务关联性层面以及业务连续性层面对数据资源共享线程的线程参数进行更新,从而确保在采用更新完成的数据资源共享线程进行数据资源共享时能够匹配实际的业务情况,进而最小化数据资源共享过程中对处于办理状态的业务的影响。由此可见,上述方案能够改善相关数据资源共享技术容易对处于办理状态的业务造成干扰的技术问题。
首先,对应用于大数据业务的数据资源共享方法进行示例性的说明,请参阅图1,是根据本申请的一些实施例所示的一种示例性应用于大数据业务的数据资源共享方法和/或过程的流程图,应用于大数据业务的数据资源共享方法可以包括以下步骤100-步骤300所描述的技术方案。
步骤100、结合历史业务数据资源,通过待更新的数据资源共享线程进行资源内容提取得到所述历史业务数据资源的目标资源内容分布。
例如,历史业务数据资源可以是已经被共享过或者被部分共享过的业务数据资源。待更新的数据资源共享线程具有数据资源共享功能,该线程可以理解为神经网络模型,也可以是通过其他方式形成的具有数据共享功能的模块单元。数据资源共享线程部署在大数据服务器中,用于执行相关的数据资源共享操作。进一步地,目标资源内容分布可以同于描述历史业务数据资源的详细信息,比如数据资源类型、数据资源存储地址、数据资源共享情况等。一般而言,目标资源内容分布可以通过图表的形式表达。
在一些可能的实施例中,步骤100所描述的结合历史业务数据资源,通过待更新的数据资源共享线程进行资源内容提取得到所述历史业务数据资源的目标资源内容分布,可以通过以下方式实施:获取历史业务数据资源和所述历史业务数据资源对应的有效共享状态信息,所述历史业务数据资源对应的有效共享状态信息包括所述历史业务数据资源中各资源项目的有效项目分类信息;将所述历史业务数据资源输入到待更新的数据资源共享线程中的资源预处理线程,通过所述资源预处理线程的资源内容提取子线程对所述历史业务数据资源进行资源内容提取得到所述历史业务数据资源的目标资源内容分布。
例如,有效共享状态信息可以理解为在先的共享状态信息,比如在先的数据资源的共享情况(共享时段、共享对象和共享方式等),此外,历史业务数据资源中包括多个资源项目,上述资源项目可以涉及多个领域,比如区块链金融、区块链医疗、区块链办公、区块链工厂等。相应地,有效项目分类信息可以用于对资源项目进行区分。进一步地,资源预处理线程可以是数据资源共享线程中的其中一个处理线程,用于进行目标资源内容分布的提取。
在一些可选的实施例中,上述步骤所描述的获取历史业务数据资源和所述历史业务数据资源对应的有效共享状态信息,可以通过以下实施方式实现:获取待更新的数据资源共享线程的样本业务数据资源;从样本业务数据资源中,获取至少一个预设大小的业务数据资源,将获取的业务数据资源作为所述待更新的数据资源共享线程的历史业务数据资源;基于所述历史业务数据资源在对应的样本业务数据资源中的资源分布情况,从所述样本业务数据资源的有效样本共享状态信息中获取所述历史业务数据资源的有效共享状态信息。
在相关的实施例中,所述样本业务数据资源的资源特征包括:样本业务数据资源的有效样本共享状态信息,所述有效样本共享状态信息包括所述样本业务数据资源中各资源项目的有效项目分类信息。进一步地,预设大小可以理解为业务数据资源的数据量,比如xxxMB或者xxxGB。由于预设大小可以根据实际需求进行调整,因而能够在确保历史业务数据资源的使用效率的前提下尽可能减少数据资源共享线程的数据处理压力。
在另一些可能的实施例中,上述步骤所描述的通过所述资源预处理线程的资源内容提取子线程对所述历史业务数据资源进行资源内容提取得到所述历史业务数据资源的目标资源内容分布,可以通过以下实施方式实现:通过所述资源预处理线程的资源内容提取子线程,对所述历史业务数据资源进行资源内容提取,得到所述历史业务数据资源的多个业务场景的资源内容分布,并对所述多个业务场景的资源内容分布进行整合,得到所述历史业务数据资源的目标资源内容分布。
例如,不同的业务场景的资源内容分布可能不同,通过确定多个业务场景的资源内容分布并进行整合,能够确保对每个业务场景的资源内容分布的提取,从而确保目标资源内容分布的完整性,避免对某些业务场景的资源内容分布的遗漏。
在一些示例中,所述资源内容提取子线程可以包括资源内容整合单元以及至少两个依次连接的资源内容提取单元,资源内容整合单元和资源内容提取单元可以为相应的功能单元模块。基于此,上述步骤所描述的通过所述资源预处理线程的资源内容提取子线程,对所述历史业务数据资源进行资源内容提取,得到所述历史业务数据资源的多个业务场景的资源内容分布,并对所述多个业务场景的资源内容分布进行整合,得到所述历史业务数据资源的目标资源内容分布,可以通过以下实施方式实现:通过依次连接的所述资源内容提取单元对所述历史业务数据资源进行资源内容提取,得到不同资源内容提取单元输出的不同业务场景的资源内容分布;通过所述资源内容整合单元,对所述不同业务场景的资源内容分布按照从最后一个资源内容提取单元到第一个资源内容提取单元的先后顺序进行整合,得到所述历史业务数据资源的目标资源内容分布。
可以理解的是,资源内容提取单元的先后顺序可以通过预先配置的优先级规则确定,如此,通过所述资源内容整合单元以及至少两个依次连接的资源内容提取单元进行目标资源内容分布的确定,不仅可以确保目标资源内容分布的完整性,还可以尽可能提高目标资源内容分布的有序性。
在一些可能的示例中,所述资源内容整合单元的数量比所述资源内容提取单元少一个,基于此,上述步骤所描述的通过所述资源内容整合单元,对所述不同业务场景的资源内容分布按照从最后一个资源内容提取单元到第一个资源内容提取单元的先后顺序进行整合,得到所述历史业务数据资源的目标资源内容分布,可以通过以下实施方式实现:对输入当前资源内容整合单元的资源内容分布进行业务场景调整处理,得到调整后资源内容分布;通过所述当前资源内容整合单元对所述调整后资源内容分布,与所述未参与整合处理的资源内容分布中由最后一个资源内容提取单元提取的资源内容分布进行资源内容分布整合,将整合后的资源内容分布输入前一个资源内容整合单元。
在相关实施例中,所述调整后资源内容分布与未参与整合处理的资源内容分布中由最后一个资源内容提取单元提取的资源内容分布的业务场景相同。其中,若当前资源内容整合单元为最后一个资源内容整合单元,输入所述当前整合单元的资源内容分布为最后一个资源内容提取单元提取的资源内容分布。进一步地,若所述当前资源内容整合单元为第一个资源内容整合单元,所述当前资源内容整合单元得到的整合后的资源内容分布为目标资源内容分布。
在相关实施例中,业务场景调整处理可以理解为对业务场景的更新或者对换,从而实现对资源内容分布的更新处理。可以理解,通过上述对资源内容整合单元的顺序进行分析,能够尽可能避免对个别资源内容分布的整合遗漏,从而确保目标资源内容分布的完整性。
步骤200、结合所述目标资源内容分布,通过所述待更新的数据资源共享线程确定所述历史业务数据资源对应的动态共享状态信息。
例如,动态共享状态信息可以理解为当前/实时的共享状态信息,比如历史业务数据资源在当前时段或者当前业务场景下的数据资源的共享情况(共享时段、共享对象和共享方式等)。可以理解,通过确定动态共享状态信息,能够对历史业务数据资源在当前时段或者当前业务场景下的数据资源的共享情况进行分析,从而定位处于办理状态的其他业务,这样可以避免后续的数据资源共享对处于办理状态的其他业务的影响。
在一些可能的实施例中,步骤200所描述的结合所述目标资源内容分布,通过所述待更新的数据资源共享线程确定所述历史业务数据资源对应的动态共享状态信息,可以包括以下内容:通过所述资源预处理线程的共享状态确定子线程,基于所述目标资源内容分布确定所述历史业务数据资源对应的动态共享状态信息,所述历史业务数据资源对应的动态共享状态信息包括所述历史业务数据资源中各资源项目的动态项目分类信息。
例如,共享状态确定子线程可以用于对动态共享状态信息进行确定,相应的,动态项目分类信息可以用于区分各资源项目的实时分类情况。这样有利于分析不同资源项目的在先共享情况和当前共享情况。
步骤300、结合所述历史业务数据资源的有效共享状态信息和所述动态共享状态信息,更新所述数据资源共享线程的线程参数,得到更新完成的数据资源共享线程。
例如,通过更新数据资源共享线程的线程参数,能够调整数据资源共享线程的数据资源更新策略,从而确保更新完成的数据资源共享线程在进行数据资源共享时能够匹配实际的业务情况和数据资源使用情况,进而最小化数据资源共享过程中对处于办理状态的业务的影响。进一步地,线程参数包括针对数据资源的共享调用方式、共享调用筛选规则等。
在一些可能的实施例中,上述步骤300所描述的结合所述历史业务数据资源的有效共享状态信息和所述动态共享状态信息,更新所述数据资源共享线程的线程参数,得到更新完成的数据资源共享线程,可以包括以下内容:通过所述待更新的数据资源共享线程中的共享状态分类子线程,基于所述历史业务数据资源的有效共享状态信息和动态共享状态信息,确定所述动态共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第一判别结果,以及所述有效共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第二判别结果;基于所述第一判别结果和第二判别结果更新所述数据资源共享线程的线程参数,得到更新完成的数据资源共享线程。
举例而言,共享状态分类子线程可以用于对相关的共享状态进行分类,比如共享状态分类子线程可以是分类器,但不限于次。进一步地,动态共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第一判别结果可以理解为动态共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第一可能性(比如第一概率值),有效共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第二判别结果可以理解为有效共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第二可能性(比如第二概率值)。
这样一来,可以基于不同共享状态信息可能处于闲置状态的判别结果更新数据资源共享线程的线程参数,得到更新完成的数据资源共享线程。如此设计,能够基于业务关联性层面以及业务连续性层面对数据资源共享线程的线程参数进行更新,从而确保在采用更新完成的数据资源共享线程进行数据资源共享时能够匹配实际的业务情况,进而最小化数据资源共享过程中对处于办理状态的业务的影响。由此可见,上述方案能够改善相关数据资源共享技术容易对处于办理状态的业务造成干扰的技术问题。
在另外的一些实施例中,所述有效共享状态信息为具有有效共享状态的业务数据资源,所述动态共享状态信息为具有动态共享状态的业务数据资源。基于此,上述步骤所描述的通过所述待更新的数据资源共享线程中的共享状态分类子线程,基于所述历史业务数据资源的有效共享状态信息和动态共享状态信息,确定所述动态共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第一判别结果,以及所述有效共享状态信息属于所述历史业务数据资源的闲置的共享状态信息的第二判别结果,可以通过以下步骤310-步骤350所描述的内容实现。
步骤310、将所述历史业务数据资源和对应的具有有效共享状态的业务数据资源进行关联,得到关联后具有有效共享状态的业务数据资源,将所述历史业务数据资源和对应的具有动态共享状态的业务数据资源进行关联,得到关联后具有动态共享状态的业务数据资源。
可以理解,通过对具有有效共享状态的业务数据资源进行关联以及对具有动态共享状态的业务数据资源进行关联,能够尽可能确保不同共享状态下的业务数据资源的关联性和连续性,从而在进行闲置的共享状态判别时提高判别的可信度。
在一些可能的示例中,所述具有有效共享状态的业务数据资源和具有动态共享状态的业务数据资源的资源共享需求条件的数量相同。进一步地,所述具有有效共享状态的业务数据资源的各资源共享需求条件对应的局部业务数据资源包括:所述历史业务数据资源的各资源项目是否为资源共享需求条件对应的有效项目分类的信息。此外,所述具有动态共享状态的业务数据资源各资源共享需求条件对应的局部业务数据资源包括:所述历史业务数据资源的各资源项目为资源共享需求条件对应的动态项目分类的动态判别结果。
进一步地,上述步骤所描述的将所述历史业务数据资源和对应的具有有效共享状态的业务数据资源进行关联,得到关联后具有有效共享状态的业务数据资源,将所述历史业务数据资源和对应的具有动态共享状态的业务数据资源进行关联,得到关联后具有动态共享状态的业务数据资源,可以包括以下内容:将历史业务数据资源和具有有效共享状态的业务数据资源的各资源共享需求条件的局部业务数据资源,作为关联后具有有效共享状态的业务数据资源的各资源共享需求条件的局部业务数据资源,对历史业务数据资源和具有有效共享状态的业务数据资源进行关联得到关联后具有有效共享状态的业务数据资源;将历史业务数据资源和具有动态共享状态的业务数据资源的各资源共享需求条件的局部业务数据资源,作为关联后具有动态共享状态的业务数据资源的各资源共享需求条件的局部业务数据资源,对历史业务数据资源和具有动态共享状态的业务数据资源进行关联得到关联后具有动态共享状态的业务数据资源。
如此设计,在对业务数据资源进行关联时,能够考虑不同的资源共享需求条件,从而确保业务数据资源的关联能够匹配对应的资源共享需求条件,这样可以保证关联后具有有效共享状态的业务数据资源以及关联后具有动态共享状态的业务数据资源的资源共享适配性。
步骤320、通过所述共享状态分类子线程的资源内容获取子线程,从所述关联后具有动态共享状态的业务数据资源中获取第一业务数据资源的资源内容信息。
可以理解,资源内容信息用于记录第一业务数据资源中的相关数据资源内容。
步骤330、通过所述共享状态分类子线程的状态判别单元,基于所述第一业务数据资源的资源内容信息确定所述关联后具有动态共享状态的业务数据资源对应的具有动态共享状态的业务数据资源,属于所述历史业务数据资源的闲置的共享状态的业务数据资源的第一判别结果。
可以理解,状态判别单元可以是相关的判别决策层,通过对关联后具有动态共享状态的业务数据资源对应的具有动态共享状态的业务数据资源进行决策分析,能够准确确定所述关联后具有动态共享状态的业务数据资源对应的具有动态共享状态的业务数据资源,属于所述历史业务数据资源的闲置的共享状态的业务数据资源的第一判别结果。
步骤340、通过所述共享状态分类子线程的资源内容获取子线程,从所述关联后具有有效共享状态的业务数据资源中获取第二业务数据资源的资源内容信息。
步骤350、通过所述共享状态分类子线程的状态判别单元,基于所述第二业务数据资源的资源内容信息确定所述关联后具有有效共享状态的业务数据资源对应的具有有效共享状态的业务数据资源,属于所述历史业务数据资源的闲置的共享状态的业务数据资源的第二判别结果。
可以理解,步骤340和步骤350的描述与步骤320和步骤330的描述类似,在此不作赘述。
在一些可能的实施例中,上述步骤所描述的基于所述第一判别结果和第二判别结果更新所述数据资源共享线程的线程参数,得到更新完成的数据资源共享线程,可以通过以下方式实现:基于所述第一判别结果,确定所述资源预处理线程的第一共享状态识别偏差(比如可以用相似度或者准确率来表达,第一共享状态识别偏差用于表征局部性的识别偏差);基于所述历史业务数据资源的有效共享状态信息和动态共享状态信息中,相同资源项目的动态项目分类信息和有效项目分类信息之间的信息比较结果(比如可以通过分类信息对应分类标签之间的余弦距离来表达),确定所述资源预处理线程的第二共享状态识别偏差(第二共享状态识别偏差用于表征全局性的识别偏差);基于所述第一共享状态识别偏差和第二共享状态识别偏差,更新所述资源预处理线程的线程参数,得到更新完成的资源预处理线程;基于所述第一判别结果和第二判别结果,确定所述共享状态分类子线程的状态分类偏差;基于所述状态分类偏差更新所述共享状态分类子线程的线程参数。
可以理解,在实施上述内容时,不仅可以基于所述第一共享状态识别偏差和第二共享状态识别偏差,更新所述资源预处理线程的线程参数,还可以基于所述第一判别结果和第二判别结果,确定所述共享状态分类子线程的状态分类偏差,从而可以从细化对数据资源共享线程的线程参数的更新,进而确保相关子线程的线程参数的更新,确保数据资源共享线程的全局线程参数的更新效率和可靠性。
在另外一些示例中,所述动态项目分类信息包括动态项目分类和在所述动态项目分类中的动态判别结果,其中,动态判别结果可以是随着时间变化的判别结果。相应的,上述步骤所描述的基于所述历史业务数据资源的有效共享状态信息和动态共享状态信息中,相同资源项目的动态项目分类信息和有效项目分类信息之间的信息比较结果,确定所述资源预处理线程的第二共享状态识别偏差,可以包括以下内容:基于历史业务数据资源的有效共享状态信息和动态共享状态信息,确定历史业务数据资源中各资源项目的有效项目分类,和在所述动态共享状态信息中各资源项目在对应的有效项目分类中的动态判别结果;基于历史业务数据资源的资源项目的有效项目分类和所述有效项目分类中的动态判别结果,确定所述资源预处理线程的第二共享状态识别偏差。
在相关实施例中,通过确定历史业务数据资源中各资源项目的有效项目分类和在所述动态共享状态信息中各资源项目在对应的有效项目分类中的动态判别结果,能够确保第二共享状态识别偏差具有时序变化特性,从而保证第二共享状态识别偏差的时效性,以便为线程参数的更新提供准确可靠的决策依据。
在一些选择性的实施例中,在得到更新完成的数据资源共享线程之后,可以利用更新完成的数据资源共享线程进行相关数据业务资源的共享。在完成相关数据业务资源的共享之后,可以对采用共享的数据业务资源进行业务交互的业务终端进行行为检测。基于此,在上述步骤300的基础上,该方法还可以包括以下内容:利用预先调用的行为检测模型对第一云业务互动数据进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容;基于所述第一检测对象内容和所述第一检测意图内容优化所述预先调用的行为检测模型的第一模型参数,以及通过所述第一云业务互动数据和第二云业务互动数据优化所述预先调用的行为检测模型的第二模型参数,得到优化后的行为检测模型;利用所述优化后的行为检测模型以及所述第二云业务互动数据,确定参考对象内容、参考意图内容、第二检测对象内容以及第二检测意图内容;通过所述参考对象内容、所述参考意图内容、所述第二检测对象内容以及所述第二检测意图内容对所述优化后的行为检测模型进行训练,得到训练后的行为检测模型,以通过所述训练后的行为检测模型对云业务互动数据中目标业务互动操作行为的对象内容和意图内容进行行为检测。
其中,关于上述行为检测的相关技术方案可以参阅以下实施例。
步骤S1:利用预先调用的行为检测模型对第一云业务互动数据进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容。
在本实施例中,预先调用的行为检测模型可以是基于人工智能的神经网络模型(Neural Networks,NN),预先调用的行为检测模型可以理解为初始行为检测模型,比如是大数据服务器从其他数据库或者其他服务器中调取的初始行为检测模型。一般而言,如果直接使用该预先调用的行为检测模型进行用户行为检测,可能存在业务场景不适配以及模型参数偏差等问题,这样可能导致用户行为检测结果出现较大的误差。为此,本实施例基于模型使用和模型训练的循环迭代,以实现对预先调用的行为检测模型的优化和二次训练,从而强化行为检测模型针对不同云业务互动数据的学习能力,从而提高行为检测模型针对业务互动操作行为的检测敏感性,提高行为检测模型的行为检测效率和可信度,并确保行为检测模型在不同云业务场景下的适配能力。
在本实施例中,云业务互动数据可以是业务终端与大数据服务器之间的业务互动数据,也可以是不同业务终端之间的业务互动数据。进一步地,云业务互动数据可以是支付业务互动数据、游戏业务互动数据、政企业务互动数据、智慧医疗互动数据、智慧城市互动数据、智慧工厂互动数据、可视化业务互动数据,相应地,业务终端和大数据服务器的应用领域也可以包括上述业务互动数据对应的领域。
此外,对象内容检测和意图内容检测可以理解为行为检测中的一部分,对象内容检测用于对云业务互动数据的互动对象的身份和相关业务行为进行分析,意图内容检测可以挖掘出相关业务行为的意图倾向,从而在挖掘/预测得到异常意图内容时及时执行相关的应对措施。
在一些可能的实施例中,步骤S1所描述的利用预先调用的行为检测模型对第一云业务互动数据进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容,可以包括以下步骤S11和S12所描述的内容。
步骤S11:获取包含目标业务互动操作行为的第一云业务互动数据和第二云业务互动数据,所述第一云业务互动数据为添加有所述目标业务互动操作行为的目标对象内容和目标意图内容的云业务互动数据。
步骤S12:通过预先调用的行为检测模型对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容。
在本实施例中,目标业务互动操作行为可以是预先进行标记的操作行为,以支付业务为例,目标业务互动操作行为可以是跨境收付款行为,以云游戏业务为例,目标业务互动操作行为可以是游戏助手开启行为。目标对象内容可以理解为与目标业务互动操作行为相关的直接对象内容和间接对象内容,而目标意图内容可以理解为与目标业务互动操作行为相关行为意图内容,比如目标业务互动操作行为对应的业务需求或者行为倾向等。
可以理解,在执行步骤S12时,所得到的第一检测对象内容和第一检测意图内容与目标对象内容和目标意图内容存在差异,换言之,目标对象内容和目标意图内容可以对应于真实对象内容和真实意图内容。若直接通过步骤S12进行后续的行为检测,可能会存在较大的误差,为此,需要基于第一检测对象内容、第一检测意图内容、目标对象内容以及目标意图内容对预先调用的行为检测模型进行不断迭代优化。
在一些可能的实施例中,上述步骤S12所描述的“通过预先调用的行为检测模型对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容”,可以通过以下步骤S121和步骤S122实现。
步骤S121:通过所述预先调用的行为检测模型对所述第一云业务互动数据进行业务互动特征提取,得到所述第一云业务互动数据对应的第一业务互动特征信息。
在步骤S121中,业务互动特征可以对第一云业务互动数据的业务互动情况进行总结和归纳,以在确保完整描述业务互动情况的前提下减少数据量,从而提高预先调用的行为检测模型的处理效率。
在一些实施例中,预先调用的行为检测模型包括冷门业务特征处理单元,所述冷门业务特征处理单元包括由多个动态识别单元组成的分类器。例如,冷门业务特征处理单元可以对一些热度较低的业务特征进行识别和捕获,从而确保业务互动特征提取的完整性,避免遗漏热度较低的业务特征而带来的模型训练偏差。基于此,步骤S121所描述的“通过所述预先调用的行为检测模型对所述第一云业务互动数据进行业务互动特征提取,得到所述第一云业务互动数据对应的第一业务互动特征信息”,可以包括以下步骤S1210所描述的内容。
步骤S1210:依次通过所述分类器的多个动态识别单元对所述第一云业务互动数据进行识别操作,以提取所述第一云业务互动数据对应的第一业务互动特征信息。可以理解的是,由于分类器包括多个动态识别单元,每个动态识别单元对冷门业务特征的捕获能力和识别能力不同,因而能够基于实际的业务情况进行不同的冷门业务特征的捕获和识别,从而确保提取得到的第一云业务互动数据对应的第一业务互动特征信息的完整性,避免对某些冷门业务特征的遗漏。
步骤S122:通过所述预先调用的行为检测模型基于所述第一业务互动特征信息对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容。
在步骤S122中,可以将第一业务互动特征信息输入所述预先调用的行为检测模型,然后得到所述预先调用的行为检测模型输出的第一检测对象内容和第一检测意图内容。
在一些可选的实施例中,所述预先调用的行为检测模型包括操作行为分类单元,所述操作行为分类单元包括决策树分类执行网络层、意图内容检测执行网络层和对象内容分类执行网络层。在此基础上,上述步骤S122所描述的“通过所述预先调用的行为检测模型基于所述第一业务互动特征信息对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容”,可以包括以下步骤S1221-步骤S1223所描述的内容。
步骤S1221:通过所述决策树分类执行网络层基于所述第一业务互动特征信息对所述第一云业务互动数据中的所述目标业务互动操作行为进行决策树分类,得到决策树分类结果。
在实际实施时,可以将第一业务互动特征信息输入所述决策树分类执行网络层,由所述决策树分类执行网络层对第一业务互动特征信息执行基于决策树的分类,从而得到决策树分类结果。
步骤S1222:通过所述意图内容检测执行网络层基于所述第一业务互动特征信息和所述决策树分类结果,对所述第一云业务互动数据中的所述目标业务互动操作行为的非热度行为与所述目标业务互动操作行为的热度行为的实时行为画像和延时行为画像差异进行检测,得到所述目标业务互动操作行为在所述第一云业务互动数据中的第一检测意图内容。
在实际实施时,可以将所述第一业务互动特征信息和所述决策树分类结果输入所述意图内容检测执行网络层,由所述意图内容检测执行网络层对所述第一云业务互动数据中的所述目标业务互动操作行为的非热度行为与所述目标业务互动操作行为的热度行为的实时行为画像和延时行为画像差异进行检测。
进一步地,意图内容检测执行网络层可以先对所述第一云业务互动数据中的所述目标业务互动操作行为的非热度行为与所述目标业务互动操作行为的热度行为进行实时行为画像差异检测,然后对所述第一云业务互动数据中的所述目标业务互动操作行为的非热度行为与所述目标业务互动操作行为的热度行为进行延时行为画像差异检测。也可以先对所述第一云业务互动数据中的所述目标业务互动操作行为的非热度行为与所述目标业务互动操作行为的热度行为进行延时行为画像差异检测,然后对所述第一云业务互动数据中的所述目标业务互动操作行为的非热度行为与所述目标业务互动操作行为的热度行为进行实时行为画像差异检测。
在本实施例中,热度行为可以理解为热门行为,非热度行为可以理解为冷门行为,实时行为画像可以理解为当前时段的显性行为画像,延时行为画像可以理解为当前时段的潜在行为画像。
可以理解的是,在将所述第一业务互动特征信息和所述决策树分类结果输入所述意图内容检测执行网络层之后,所述意图内容检测执行网络层可以基于所述决策树分类结果进行行为画像差异检测指标的调整,之后再对所述第一业务互动特征信息进行处理,从而实现热度行为与非热度行为的实时/延时行为画像差异检测。
步骤S1223:通过所述对象内容分类执行网络层基于所述第一业务互动特征信息和所述决策树分类结果,对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容检测,得到所述目标业务互动操作行为的第一检测对象内容。
在实际实施时,可以将所述第一业务互动特征信息和所述决策树分类结果输入到所述对象内容分类执行网络层,由所述对象内容分类执行网络层先后基于所述决策树分类结果以及所述第一业务互动特征信息对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容检测,得到所述目标业务互动操作行为的第一检测对象内容。
比如,所述对象内容分类执行网络层可以基于所述决策树分类结果进行网络层参数的更新,之后再对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容检测,得到所述目标业务互动操作行为的第一检测对象内容。
由此,通过执行上述步骤S1221-步骤S1223,能够利用操作行为分类单元包括的决策树分类执行网络层、意图内容检测执行网络层和对象内容分类执行网络层对第一业务互动特征信息进行处理,且由于决策树分类执行网络层位于意图内容检测执行网络层和对象内容分类执行网络层之前,因而在基于意图内容检测执行网络层和对象内容分类执行网络层进行处理时,能够充分考虑决策树分类结果,进而有效减少第一检测意图内容和第一检测对象内容的误差。
步骤S2:基于所述第一检测对象内容和所述第一检测意图内容优化所述预先调用的行为检测模型的第一模型参数,以及通过所述第一云业务互动数据和第二云业务互动数据优化所述预先调用的行为检测模型的第二模型参数,得到优化后的行为检测模型。
在本实施例中,第一模型参数和第二模型参数可以对应于预先调用的行为检测模型的不同模型性能,比如第一模型参数可以对应于模型预测准确率,第二模型参数可以对应于模型泛化能力。基于此,上述步骤S2所描述的“基于所述第一检测对象内容和所述第一检测意图内容优化所述预先调用的行为检测模型的第一模型参数,以及通过所述第一云业务互动数据和第二云业务互动数据优化所述预先调用的行为检测模型的第二模型参数,得到优化后的行为检测模型”,可以包括以下步骤S20所描述的内容。
步骤S20:将所述第一检测对象内容与所述目标对象内容进行比较,以及将所述第一检测意图内容与所述目标意图内容进行比较,以优化所述预先调用的行为检测模型的第一模型参数,以及通过所述预先调用的行为检测模型对所述第一云业务互动数据和所述第二云业务互动数据进行深度学习,以优化所述预先调用的行为检测模型的第二模型参数,得到优化后的行为检测模型。
可以理解的是,通过将所述第一检测对象内容与所述目标对象内容进行比较,以及将所述第一检测意图内容与所述目标意图内容进行比较,能够获得所述第一检测对象内容与所述目标对象内容之间的差异以及所述第一检测意图内容与所述目标意图内容之间的差异,从而可以基于这些差异实现对所述预先调用的行为检测模型的第一模型参数的优化,比如按照设定参数调整步长对第一模型参数进行优化。
进一步地,通过所述预先调用的行为检测模型对所述第一云业务互动数据和所述第二云业务互动数据进行深度学习可以理解为对抗学习,这样可以通过对抗学习结果优化所述预先调用的行为检测模型的第二模型参数,以提高模型的泛化能力。
由此可见,通过实施上述步骤S20,能够基于模型预测准确率和模型泛化能力层面进行模型参数的优化调整,从而得到优化后的行为检测模型。
在一些示例中,所述第一云业务互动数据可以为历史云业务互动数据,所述第二云业务互动数据可以为待处理云业务互动数据,所述历史云业务互动数据为添加有所述目标业务互动操作行为的目标对象内容和目标意图内容的云业务互动数据,所述待处理云业务互动数据为未添加有所述目标业务互动操作行为的目标对象内容和目标意图内容的云业务互动数据。进一步地,所述预先调用的行为检测模型包括自监督对抗训练单元,所述自监督对抗训练单元包括对抗结果调整层。
在此基础上,上述步骤S20所描述的“将所述第一检测对象内容与所述目标对象内容进行比较,以及将所述第一检测意图内容与所述目标意图内容进行比较,以优化所述预先调用的行为检测模型的第一模型参数,以及通过所述预先调用的行为检测模型对所述第一云业务互动数据和所述第二云业务互动数据进行深度学习,以优化所述预先调用的行为检测模型的第二模型参数,得到优化后的行为检测模型”,可以包括以下步骤S21-步骤S24所描述的内容。
步骤S21:通过所述预先调用的行为检测模型对所述第二云业务互动数据进行业务互动特征提取,得到所述第二云业务互动数据对应的第二业务互动特征信息。
关于步骤S21的进一步说明可以参阅上述步骤S121的说明。
步骤S22:基于所述决策树分类结果、所述第一检测意图内容以及所述第一检测对象内容构建全局模型性能指标。
在本实施例中,全局模型性能指标可以从整体上反映模型性能,比如,可以根据所述决策树分类结果、所述第一检测意图内容以及所述第一检测对象内容各自对应的模型状态权重来确定全局模型性能指标,模型状态权重越高,表明对应的所述决策树分类结果、所述第一检测意图内容或所述第一检测对象内容相较于模型而言较为重要,这样可以确保全局模型性能指标与实际的业务情况相匹配。
步骤S23:通过所述全局模型性能指标将所述第一检测对象内容与所述目标对象内容进行比较,以及将所述第一检测意图内容与所述目标意图内容进行比较,以优化所述预先调用的行为检测模型的第一模型参数。
在本实施例中,可以根据全局模型性能指标确定所述第一检测对象内容与所述目标对象内容的差异阈值,以及根据全局模型性能指标确定所述第一检测意图内容与所述目标意图内容的差异阈值,然后通过不断收敛所述第一检测对象内容与所述目标对象内容以及不断收敛所述第一检测意图内容与所述目标意图内容,从而实现对预先调用的行为检测模型的第一模型参数的优化。
步骤S24:通过所述自监督对抗训练单元行为检测所述第一业务互动特征信息和所述第二业务互动特征信息所属的所述历史云业务互动数据或所述待处理云业务互动数据,得到行为检测结果,通过所述对抗结果调整层对所述行为检测结果进行对抗结果调整,以分析不存在时序变化的业务互动特征值,基于所述不存在时序变化的业务互动特征值对所述第一云业务互动数据和所述第二云业务互动数据的类型进行深度学习,以优化所述预先调用的行为检测模型的第二模型参数,得到优化后的行为检测模型。
在本实施例中,可以将所述第一业务互动特征信息和所述第二业务互动特征信息分别输入所述自监督对抗训练单元中,通过所述自监督对抗训练单元进行行为检测,得到所述历史云业务互动数据或所述待处理云业务互动数据各自对应的行为检测结果,然后基于对抗结果调整层对所述行为检测结果进行对抗结果调整,这样可以对不存在时序变化的业务互动特征值进行分析并确定出不存在时序变化的业务互动特征值。其中,业务互动特征值可以对不同的业务互动特征进行量化表示,这样可以辅助行为检测模型对所述第一云业务互动数据和所述第二云业务互动数据的类型进行深度学习,从而通过优化所述预先调用的行为检测模型的第二模型参数以提高行为检测模型的泛化能力。
步骤S3:利用所述优化后的行为检测模型以及所述第二云业务互动数据,确定参考对象内容、参考意图内容、第二检测对象内容以及第二检测意图内容。
可以理解,通过确定参考对象内容、参考意图内容、第二检测对象内容以及第二检测意图内容,能够实现对优化后的行为检测模型的进一步训练,从而确保优化后的行为检测模型的模型稳定性。基于此,上述步骤S3所描述的“利用所述优化后的行为检测模型以及所述第二云业务互动数据,确定参考对象内容、参考意图内容、第二检测对象内容以及第二检测意图内容”,可以包括以下步骤S31和步骤S32所描述的内容。
步骤S31:通过所述优化后的行为检测模型获取所述第二云业务互动数据中所述目标业务互动操作行为对应的业务互动特征标签值最大的对象内容和意图内容分别作为参考对象内容和参考意图内容。
在步骤S31中,业务互动特征标签值可以用于对对象内容和意图内容进行区分,也可以用于量化对象内容和意图内容的特征识别度。比如,业务互动特征标签值越大,所对应的对象内容和意图内容的征识别度越高,通过选取业务互动特征标签值最大的对象内容和意图内容分别作为参考对象内容和参考意图内容,能够确保参考对象内容和参考意图内容具有较高的特征识别度,从而便于后续的模型训练。
在一些可能的实施例中,上述步骤S31所描述的“通过所述优化后的行为检测模型获取所述第二云业务互动数据中所述目标业务互动操作行为对应的业务互动特征标签值最大的对象内容和意图内容分别作为参考对象内容和参考意图内容”,可以包括以下步骤S311和步骤S313所描述的内容。
步骤S311:通过所述优化后的行为检测模型对所述第二云业务互动数据进行业务互动特征提取,得到第三业务互动特征信息。
可以理解,关于步骤S311的描述可以参数上述类似的步骤。
步骤S312:基于所述第三业务互动特征信息对所述第二云业务互动数据中的所述目标业务互动操作行为进行对象内容和意图内容检测,得到至少一个优化后的检测对象内容及其对应的业务互动特征标签值和至少一个优化后的检测意图内容及其对应的业务互动特征标签值。
在本实施例中,可以基于优化后的行为检测模型执行对应的行为检测,从而得到优化后的检测对象内容和优化后的检测意图内容,同时,还可以利用优化后的行为检测模型确定优化后的检测对象内容和优化后的检测意图内容各自对应的业务互动特征标签值,从而实现对优化后的检测对象内容和优化后的检测意图内容的特征识别度的绑定。
步骤S313:从所述优化后的检测对象内容中筛选出业务互动特征标签值最大的对象内容作为所述第二云业务互动数据中所述目标业务互动操作行为对应的参考对象内容,以及从所述优化后的检测意图内容中筛选出业务互动特征标签值最大的意图内容作为所述第二云业务互动数据中所述目标业务互动操作行为对应的参考意图内容。
在上述基础上,可以通过确定出的业务互动特征标签值筛选出符合要求的参考对象内容和参考意图内容。
步骤S32:将所述第二云业务互动数据输入所述优化后的行为检测模型进行对象内容和意图内容检测,得到第二检测对象内容和第二检测意图内容。
在一些可能的实施例中,上述步骤S32所描述的“将所述第二云业务互动数据输入所述优化后的行为检测模型进行对象内容和意图内容检测,得到第二检测对象内容和第二检测意图内容”,可以包括以下步骤S321和步骤S322所描述的内容。
步骤S321:通过所述优化后的行为检测模型对所述第二云业务互动数据进行业务互动特征提取,得到所述第二云业务互动数据对应的第四业务互动特征信息。
步骤S322:通过所述优化后的行为检测模型基于所述第四业务互动特征信息,对所述第二云业务互动数据中的所述目标业务互动操作行为进行决策树分类、以及对象内容和意图内容检测,得到所述目标业务互动操作行为的第二检测对象内容和第二检测意图内容。
如此设计,通过执行上述步骤S31和步骤S32,能够选取业务互动特征标签值最大的对象内容和意图内容分别作为参考对象内容和参考意图内容,确保参考对象内容和参考意图内容具有较高的特征识别度,从而便于后续的模型训练。
步骤S4:通过所述参考对象内容、所述参考意图内容、所述第二检测对象内容以及所述第二检测意图内容对所述优化后的行为检测模型进行训练,得到训练后的行为检测模型,以通过所述训练后的行为检测模型对云业务互动数据中目标业务互动操作行为的对象内容和意图内容进行行为检测。
在本实施例中,通过所述参考对象内容、所述参考意图内容、所述第二检测对象内容以及所述第二检测意图内容对所述优化后的行为检测模型进行训练,能够强化行为检测模型针对不同云业务互动数据的学习能力,从而提高行为检测模型针对业务互动操作行为的检测敏感性,提高行为检测模型的行为检测效率和可信度,并确保行为检测模型在不同云业务场景下的适配能力。基于此,上述步骤S4所描述的“通过所述参考对象内容、所述参考意图内容、所述第二检测对象内容以及所述第二检测意图内容对所述优化后的行为检测模型进行训练,得到训练后的行为检测模型,以通过所述训练后的行为检测模型对云业务互动数据中目标业务互动操作行为的对象内容和意图内容进行行为检测”,可以包括以下步骤S40所描述的内容。
步骤S40:将所述第二检测对象内容与所述参考对象内容进行比较,以及将所述第二检测意图内容与所述参考意图内容进行比较,以对所述优化后的行为检测模型进行训练,得到训练后的行为检测模型,以通过所述训练后的行为检测模型对云业务互动数据中目标业务互动操作行为的对象内容和意图内容进行行为检测。
在一些可能的实施例中,上述步骤S40所描述的“将所述第二检测对象内容与所述参考对象内容进行比较,以及将所述第二检测意图内容与所述参考意图内容进行比较,以对所述优化后的行为检测模型进行训练,得到训练后的行为检测模型”,可以包括以下步骤S41-步骤S43。
步骤S41:通过第一模型性能指标对所述第二检测对象内容与所述参考对象内容进行比较,得到第一模型性能数据。
步骤S42:通过第二模型性能指标对所述第二检测意图内容与所述参考意图内容进行比较,得到第二模型性能数据。
步骤S43:基于所述第一模型性能数据和所述第二模型性能数据构建目标全局模型性能指标,通过所述目标全局模型性能指标优化所述优化后的行为检测模型的模型参数,并将优化模型参数后的优化后的行为检测模型作为预先调用的行为检测模型,返回执行通过预先调用的行为检测模型对所述第一云业务互动数据中的所述目标业务互动操作行为进行对象内容和意图内容检测,得到第一检测对象内容和第一检测意图内容的操作,直至所述目标全局模型性能指标的模型性能数据对应的性能偏差值最小,得到训练后的行为检测模型。
在一些实施例中,第一模型性能指标和第二模型性能指标可以是不同的损失函数,相应地,第一模型性能数据和第二模型性能数据可以是不同的损失函数值。基于此,可以通过所述第一模型性能数据和所述第二模型性能数据准确构建目标全局模型性能指标,然后基于目标全局模型性能指标继续对所述优化后的行为检测模型的模型参数进行优化调整。之后反馈执行在先的步骤,不断实现对模型的迭代训练。
相应的,目标全局模型性能指标的模型性能数据对应的性能偏差值可以是反映模型整体性能的全局损失值。如此一来,能够强化行为检测模型针对不同云业务互动数据的学习能力,从而提高行为检测模型针对业务互动操作行为的检测敏感性,提高行为检测模型的行为检测效率和可信度,并确保行为检测模型在不同云业务场景下的适配能力。
在上述内容的基础上,该方法还可以包括以下步骤S51-步骤S53所描述的内容。
步骤S51:获取包含所述目标业务互动操作行为的待检测的云业务互动数据。
步骤S52:通过所述训练后的行为检测模型对所述待检测的云业务互动数据进行业务互动特征提取,得到目标业务互动特征信息。
步骤S53:通过所述训练后的行为检测模型基于所述目标业务互动特征信息识别所述待检测的云业务互动数据中的所述目标业务互动操作行为的对象内容和意图内容。
可以理解,通过实施上述步骤S51-步骤S53,能够确保识别得到的所述待检测的云业务互动数据中的所述目标业务互动操作行为的对象内容和意图内容的准确性和可信度。从而便于后续的操作行为分析和业务服务调整。
在一些选择性的实施例中,在通过所述训练后的行为检测模型基于所述目标业务互动特征信息识别所述待检测的云业务互动数据中的所述目标业务互动操作行为的对象内容和意图内容之后,该方法还可以包括以下内容:通过所述待检测的云业务互动数据中的所述目标业务互动操作行为的对象内容和意图内容进行异常操作行为分析,根据异常操作行为分析结果生成数据信息安防策略。如此,可以通过异常操作行为分析定制对应的数据信息安防策略,以实现对大数据服务器中的相关数据信息的防护,避免异常操作行为对这些数据信息的非法使用。
在一些选择性的实施例中,数据信息安防策略可以侧重于数据匿名化处理,为此,上述内容所描述的“根据异常操作行为分析结果生成数据信息安防策略”,进一步可以包括以下步骤S61-步骤S6:5所描述的内容。
步骤S61:响应于数据匿名处理指示,根据所述异常操作行为分析结果获取与目标已存储用户数据相匹配的无属性的数据状态参考内容。
在本实施例中,数据匿名处理指示可以由其他业务终端向大数据服务器发送,目标已存储用户数据存在大数据服务器中,无属性可以理解为没有属性标签,数据状态参考内容可以理解用于表征用户数据的数据状态。
步骤S62:确定与所述目标已存储用户数据相匹配的无属性的数据状态参考内容所分别对应的不同数据需求特征。
在本实施例中,数据需求特征用于表征数据状态参考内容的业务需求情况。
步骤S63:基于所述不同数据需求特征,确定与所述不同数据需求特征相匹配的存在更新的数据片段;基于所述存在更新的数据片段,对所述目标已存储用户数据相匹配的无属性的数据状态参考内容进行动态筛选处理,以形成与对应的数据需求特征相匹配的无属性参考内容集合。
在本实施例中,数据片段可以通过对目标已存储用户数据进行数据拆分得到。无属性参考内容集合可以理解为没有标签的数据状态参考内容对应的集合。
步骤S64:调用通过多维特征训练样本动态配置的数据状态转换线程,并通过所述数据状态转换线程对所述无属性参考内容集合进行匿名处理处理,得到所述目标已存储用户数据的数据匿名处理结果。
在本实施例中,所述数据状态转换线程包括内容提取子线程、样本分类子线程以及特征分类子线程。数据状态转换线程可以理解为具有相关功能的神经网络模型。
步骤S65:应用所述目标已存储用户数据的数据匿名处理结果。
在本实施例中,匿名化处理可以是K匿名化处理,这样能够确保目标已存储用户数据的数据安全性。
可以理解,通过实施上述步骤S61-步骤S65,能够基于数据状态转换线程对无属性参考内容集合进行匿名处理处理,从而得到所述目标已存储用户数据的数据匿名处理结果,这样可以对大数据服务器中的相关数据信息的防护,避免异常操作行为对这些数据信息的非法使用。
在上述步骤S61-步骤S65的基础上,该方法还可以包括以下步骤S661-步骤S664。
步骤S661:获取目标已存储用户数据集合的内容和数据特征的历史匿名化处理记录。
步骤S662:根据所述目标已存储用户数据集合的内容和数据特征的历史匿名化处理记录,得到与所述数据状态转换线程相匹配的参考内容集合,其中所述参考内容集合中包括不同多维特征的参考内容。
步骤S663:确定不同的时间步长,并根据相应的时间步长对所述参考内容集合进行处理,确定与所述数据状态转换线程相匹配的不同多维特征的训练样本集合,其中,所述训练样本集合包括至少一组训练样本。
步骤S664:根据与所述数据状态转换线程相匹配的不同多维特征的训练样本集合对所述数据状态转换线程进行训练,确定与所述数据状态转换线程相适配的线程配置数据,以实现通过所述数据状态转换线程对所述数据特征对应的目标已存储用户数据的进行匿名处理。
可以理解,通过实施上述步骤S661-步骤S664,能够基于不同的时间步长对所述参考内容集合进行处理,确定与所述数据状态转换线程相匹配的不同多维特征的训练样本集合,从而根据与所述数据状态转换线程相匹配的不同多维特征的训练样本集合对所述数据状态转换线程进行训练,确定与所述数据状态转换线程相适配的线程配置数据,这样可以基于尽可能合适的线程配置数据对数据状态转换线程进行调整,从而确保数据状态转换线程对所述数据特征对应的目标已存储用户数据的进行匿名处理的抗攻击性,避免异常操作行为对匿名处理数据的破解。
在实施上述步骤S1-步骤S4所描述的内容时,能够基于行为检测模型的行为检测结果对行为检测模型的模型参数进行优化并实现对行为检测模型的训练,如此,可以强化行为检测模型针对不同云业务互动数据的学习能力,从而提高行为检测模型针对云业务互动数据中的业务互动操作行为的检测敏感性,同时,基于不同的模型参数优化,还能够提高行为检测模型的行为检测准确率,进而提高行为检测模型的行为检测效率和可信度。此外,还可以基于对不同云业务互动数据的深度学习确保行为检测模型在不同云业务场景下的适配能力。这样一来,通过对预先调用的行为检测模型进行优化和训练以得到的训练后的行为检测模型能够对云业务互动数据进行有效的行为检测和分析。
其次,针对上述应用于大数据业务的数据资源共享方法,本发明实施例还提出了一种示例性的应用于大数据业务的数据资源共享装置,如图2所示,应用于大数据业务的数据资源共享装置200可以包括以下的功能模块。
内容分布提取模块210,用于结合历史业务数据资源,通过待更新的数据资源共享线程进行资源内容提取得到所述历史业务数据资源的目标资源内容分布。
共享状态确定模块220,用于结合所述目标资源内容分布,通过所述待更新的数据资源共享线程确定所述历史业务数据资源对应的动态共享状态信息。
共享线程更新模块230,用于结合所述历史业务数据资源的有效共享状态信息和所述动态共享状态信息,更新所述数据资源共享线程的线程参数,得到更新完成的数据资源共享线程。
然后,基于上述的方法实施例和装置实施例,本发明实施例还提出了一种系统实施例,也即应用于大数据业务的数据资源共享系统,请结合参阅图3,应用于大数据业务的数据资源共享系统30可以包括大数据服务器10和业务终端20。其中,大数据服务器10和业务终端20通信用以实施上述方法,进一步地,应用于大数据业务的数据资源共享系统30的功能性描述如下。大数据服务器10结合历史业务数据资源,通过待更新的数据资源共享线程进行资源内容提取得到所述历史业务数据资源的目标资源内容分布;结合所述目标资源内容分布,通过所述待更新的数据资源共享线程确定所述历史业务数据资源对应的动态共享状态信息;结合所述历史业务数据资源的有效共享状态信息和所述动态共享状态信息,更新所述数据资源共享线程的线程参数,得到更新完成的数据资源共享线程。
进一步地,请结合参阅图4,大数据服务器10可以包括处理引擎110、网络模块120和存储器130,处理引擎110和存储器130通过网络模块120通信。
处理引擎110可以处理相关的信息和/或数据以执行本申请中描述的一个或多个功能。例如,在一些实施例中,处理引擎110可以包括至少一个处理引擎(例如,单核处理引擎或多核处理器)。仅作为示例,处理引擎110可以包括中央处理单元(Central ProcessingUnit,CPU)、专用集成电路(Application-Specific Integrated Circuit,ASIC)、专用指令集处理器(Application-Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、精简指令集计算机(Reduced Instruction-Set Computer,RISC)、微处理器等或其任意组合。
网络模块120可以促进信息和/或数据的交换。在一些实施例中,网络模块120可以是任何类型的有线或无线网络或其组合。仅作为示例,网络模块120可以包括缆线网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网络(Wireless Local Area Network,WLAN)、城域网(Metropolitan Area Network,MAN)、公用电话交换网(Public Telephone SwitchedNetwork,PSTN)、蓝牙网络、无线个域网络、近场通讯(Near Field Communication,NFC)网络等或上述举例的任意组合。在一些实施例中,网络模块120可以包括至少一个网络接入点。例如,网络模块120可以包括有线或无线网路接入点,如基站和/或网路接入点。
存储器130可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器130用于存储程序,所述处理引擎110在接收到执行指令后,执行所述程序。
可以理解,图4所示的结构仅为示意,大数据服务器10还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
需要理解的是,针对上述内容,本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定相关技术术语所指代的含义,例如针对一些值、系数、权重、指数、因子等术语,本领域技术人员可以根据前后的逻辑关系进行推导和确定,这些数值的取值范围可以根据实际情况进行选取,例如0~1,又例如1~10,再例如50~100,在此均不作限定。
本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及目标的技术特征/技术术语进行确定,例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语,本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导,从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀,例如“第一”、“第二”、“上一个”、“下一个”、“前一个”、“后一个”、“当前”、“历史”、“最新”、“最佳”、“目标”、“指定”和“实时”等,可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀,例如“列表”、“特征”、“序列”、“集合”、“矩阵”、“单元”、“元素”、“轨迹”和“清单”等,也可以根据前后文进行毫无疑义地推导和确定。
本发明实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解,本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的,因此上述内容并不是对整体方案的创造性的评判。
应当理解,上述所示的系统及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有适应性的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外,对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是,如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方,以本申请的描述、定义和/或术语的使用为准。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。