一种直播场景中线上数据的准确性监测装置及方法
技术领域
本申请涉及计算机
技术领域
,特别涉及一种直播场景中线上数据的准确性监测装置、方法、设备及可读存储介质。背景技术
大数据场景下,直播过程中需要处理计算大量的业务数据,最后将处理后的数据展示在页面上给业务人员查看和使用,但由于数据不稳定、数据链路长、环境不稳定导致页面上展示的数据经常会有偏差、延误、错误,进而影响到业务人员的运营决策。
如何克服直播环境中线上数据不准确的缺陷,是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种直播场景中线上数据的准确性监测装置、方法、设备及可读存储介质,用以解决直播环境中线上数据不准确的问题。其具体方案如下:
第一方面,本申请提供了一种直播场景中线上数据的准确性监测装置,包括:
真实数据获取模块,用于从直播页面获取目标指标的真实数据;
原始数据获取模块,用于从业务库获取业务数据,按照所述目标指标的计算方式对所述业务数据进行计算,得到所述目标指标的原始数据;
偏差率计算模块,用于计算所述真实数据和所述原始数据的偏差率;
准确性判断模块,用于判断所述偏差率是否超过阈值;若超过,则生成数据偏差的提示信息。
可选的,所述目标指标包括以下任意一项或多项指标:成交金额、成交订单量、成交商品量、成交商品种类数。
可选的,在所述目标指标包括多项指标时,所述准确性判断模块用于:
分别判断每项指标的偏差率是否超过该指标的阈值,若任意一项指标的偏差率超过该指标的阈值,则生成数据偏差的提示信息。
可选的,在所述目标指标包括成交金额时,所述准确性判断模块用于:
在所述成交金额小于等于第一金额时,判断所述偏差率是否超过第一阈值;若超过,则生成数据偏差的提示信息;
在所述成交金额大于第一金额且小于等于所述第二金额时,判断所述偏差率是否超过第二阈值;若超过,则生成数据偏差的提示信息;
在所述成交金额大于所述第二金额时,判断所述偏差率是否超过第三阈值;若超过,则生成数据偏差的提示信息;
其中,所述第一阈值大于所述第二阈值,所述第二阈值大于所述第三阈值。
可选的,还包括:
主播信息读取模块,用于确定正在直播的主播列表;遍历所述主播列表,读取每个主播的直播信息,所述直播信息包括以下任意一项或多项:主播ID、主播名称和上播时间;
相应的,所述真实数据获取模块用于:遍历所述主播列表,从每个主播的直播页面获取目标指标的真实数据。
可选的,所述原始数据获取模块还用于:
通过第三方的工具包连接业务库。
可选的,所述准确性判断模块用于:
在当前时间属于消费高峰时段时,判断所述偏差率是否超过第四阈值;若超过,则生成数据偏差的提示信息;
在当前时间属于消费平峰时段时,判断所述偏差率是否超过第五阈值;若超过,则生成数据偏差的提示信息;
在当前时间属于消费高峰时段时,判断所述偏差率是否超过第六阈值;若超过,则生成数据偏差的提示信息;
其中,所述第四阈值大于所述第五阈值,所述第五阈值大于所述第六阈值。
第二方面,本申请提供了一种直播场景中线上数据的准确性监测方法,包括:
从直播页面获取目标指标的真实数据;
从业务库获取业务数据,按照所述目标指标的计算方式对所述业务数据进行计算,得到所述目标指标的原始数据;
计算所述真实数据和所述原始数据的偏差率;
判断所述偏差率是否超过阈值;若超过,则生成数据偏差的提示信息。
第三方面,本申请提供了一种直播场景中线上数据的准确性监测设备,包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序,以实现如上文所述的直播场景中线上数据的准确性监测方法。
第四方面,本申请提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时用于实现如上文所述的直播场景中线上数据的准确性监测方法。
本申请所提供的一种直播场景中线上数据的准确性监测装置,包括:真实数据获取模块,原始数据获取模块,偏差率计算模块,准确性判断模块,各个模块相互配合用于实现以下过程:从直播页面获取目标指标的真实数据;从业务库获取业务数据,按照目标指标的计算方式对业务数据进行计算,得到目标指标的原始数据;计算真实数据和原始数据的偏差率;判断所述偏差率是否超过阈值;若超过,则生成数据偏差的提示信息。
可见,该装置能够在直播过程中,实时获取直播页面上指标的真实数据,从业务库获取业务数据并进行计算得到指标的原始数据,根据真实数据和原始数据的偏差率,判断指标数据是否准确,在不准确时生成数据偏差的提示信息。实现了自动监测直播数据准确性的目的,避免错误的数据影响业务人员的运营决策,提升直播效果。
此外,本申请还提供了一种直播场景中线上数据的准确性监测方法、设备和可读存储介质,其技术效果与上述装置的技术效果相对应,这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请所提供的直播场景中线上数据的准确性监测装置实施例的功能框图;
图2为本申请所提供的直播场景中线上数据的准确性监测方法实施例的流程图;
图3为本申请所提供的直播场景中线上数据的准确性监测设备实施例的结构示意图。
具体实施方式
本申请的核心是提供一种直播场景中线上数据的准确性监测装置、方法、设备和可读存储介质,实现了在直播过程中自动监测线上数据准确性的目的,避免错误的数据影响业务人员的运营决策,提升直播效果。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面对本申请提供的直播场景中线上数据的准确性监测装置实施例进行介绍,参见图1,实施例一包括:
真实数据获取模块11,用于从直播页面获取目标指标的真实数据;
原始数据获取模块12,用于从业务库获取业务数据,按照目标指标的计算方式对业务数据进行计算,得到目标指标的原始数据;
偏差率计算模块13,用于计算真实数据和原始数据的偏差率;
准确性判断模块14,用于判断偏差率是否超过阈值;若超过,则认定数据不准确,生成数据偏差的提示信息;若未超过,则认定数据较为准确,不做处理。
本实施例中,目标指标的真实数据是指在直播页面上展示的数据,目标指标的原始数据是指在业务库中存储的数据。理论上来说,这两个数据应该是相等的,但是在大数据场景中,难免存在数据不稳定、数据链路长、环境不稳定而导致的数据偏差、延误甚至错误,所以本实施例通过对比同一指标的真实数据和原始数据,实现了线上数据的准确性监测。
具体的,先确定待进行准确性检测的主播,获取主播的相关信息。所以,本实施例还可以进一步设置主播信息读取模块,该模块用于:确定正在直播的主播列表;遍历主播列表,读取每个主播的直播信息,其中直播信息包括以下任意一项或多项:主播ID、主播名称和上播时间。相应的,真实数据获取模块用于:遍历主播列表,从每个主播的直播页面获取目标指标的真实数据。
作为一种具体的实施方式,本实施例的目标指标包括以下任意一项或多项指标:成交金额、成交订单量、成交商品量、成交商品种类数。
在实际应用中,若目标指标包括多项指标,则可以分别为每项指标设置对应的阈值。相应的,在判断数据准确性时,准确性判断模块用于:分别判断每项指标的偏差率是否超过该指标的阈值,若任意一项指标的偏差率超过该指标的阈值,则生成数据偏差的提示信息。
此外,以成交金额为例,实际应用中用户对大额成交金额较为敏感,而对小额成交金额并不敏感,所以,为了节省计算资源,本实施例针对不同的成交金额设置不同的阈值。具体的,将成交金额按照数值大小分为三个区间,当成交金额落入数值较小的区间,则为其匹配较大的阈值,即允许出现一定程度上的不准确;当成交金额落入数值较大的区间,为其匹配较小的阈值,即要求数据准确性较高。具体如下:
在目标指标包括成交金额时,准确性判断模块用于:在成交金额小于等于第一金额时,判断偏差率是否超过第一阈值,若超过,则生成数据偏差的提示信息;在成交金额大于第一金额且小于等于第二金额时,判断偏差率是否超过第二阈值,若超过,则生成数据偏差的提示信息;在成交金额大于第二金额时,判断偏差率是否超过第三阈值,若超过,则生成数据偏差的提示信息;其中,第一阈值大于第二阈值,第二阈值大于第三阈值。
除此之外,考虑到直播卖货过程存在消费高峰时段和消费低峰时段,而在消费高峰时段每单位时间内成交的订单数量无疑是比较大的,所以,本实施例适应性将阈值设置较高,相应的,在消费低峰时段本实施例适应性将阈值设置较低。具体如下:
本实施例中,准确性判断模块用于:在当前时间属于消费高峰时段时,判断偏差率是否超过第四阈值,若超过,则生成数据偏差的提示信息;在当前时间属于消费平峰时段时,判断偏差率是否超过第五阈值,若超过,则生成数据偏差的提示信息;在当前时间属于消费高峰时段时,判断偏差率是否超过第六阈值,若超过,则生成数据偏差的提示信息;其中,第四阈值大于第五阈值,第五阈值大于第六阈值。
具体的,本实施例基于计算机装置实现对直播场景中线上数据的准确性监测,实际应用中,计算机装置可以为软件项目。首先开发软件项目,然后利用测试脚本对其进行测试,在测试通过后,将软件项目部署到服务器上,具体可以部署到jenkins上定时运行。具体的,使用Jenkins集成git拉取最新的项目代码;设置定时规则,如在0点至2点和8点至12点的时间段内,一个小时运行一次,在12点至24点的时间段内,半个小时运行一次;将项目代码移动到指定执行目录下;通过命令定时执行项目代码。
本实施例所提供的直播场景中线上数据的准确性监测装置,包括:真实数据获取模块,原始数据获取模块,偏差率计算模块和准确性判断模块,各个模块相互配合用于实现以下过程:在直播过程中,实时获取直播页面上指标的真实数据,从业务库获取业务数据并进行计算得到指标的原始数据,根据真实数据和原始数据的偏差率,判断指标数据是否准确,在不准确时生成数据偏差的提示信息。实现了自动监测直播数据准确性的目的,避免错误的数据影响业务人员的运营决策,提升直播效果。
在实际应用场景中,本申请的直播场景中线上数据的准确性监测装置实施例,具体可以实现以下过程:
S11、通过python的requests包,查找正在直播的主播列表;遍历主播列表,获取每个主播的直播信息,例如主播ID、主播名称和上播时间等。
S12、获取主播在直播页面上展示的目标指标的真实数据,目标指标可以包括以下任意一项或多项指标:成交金额、成交订单量、成交商品量、成交商品种类数。
S13、通过psycopg2(第三方的工具包)连接业务库,获取该主播在业务库中的业务数据;关联订单表和订单商品表,根据业务数据计算得到主播在直播期间的目标指标的原始数据。这里只考虑订单状态为成功支付的订单,不考虑已退款、未付款和已失效的订单,而且为避免数据重复,需要进行去重处理。
S14、计算各项指标的偏差率,偏差率=1-真实数据/原始数据。例如,对于成交金额这一指标来说,偏差率=1-成交金额的真实数据/成交金额的原始数据。
S15、准确性校验,根据同一指标的真实数据和原始数据的偏差率,判断数据是否准确;若不准确,则生成数据偏差的提示信息。以成交金额这一指标为例,校验逻辑如下:
第一,成交金额为null或<0,则判定为错误数据;
第二,判断当前时间,若落入以下区间:0点到2点,或8点到12点,或14点到18点,则执行以下逻辑:
(1)成交金额<1万时,偏差率的阈值为3%,若实际偏差率大于3%,则判定为错误数据;
(2)1万<=成交金额<10万,偏差率的阈值为1%,若实际偏差率大于1%,则判定为错误数据;
(3)成交金额>=10万,偏差率的阈值为0.2%,若实际偏差率大于0.2%,则判定为错误数据。
第三,判断当前时间,若落入以下区间:12点到14点,或18点到20点,或23点到24点,则执行以下逻辑:
(1)成交金额<1万,偏差率的阈值为5%,若实际偏差率大于5%,则判定为错误数据;
(2)1万<=成交金额<10万,偏差率的阈值为2%,若实际偏差率大于2%,则判定为错误数据;
(3)成交金额>=10万,偏差率的阈值为0.5%,若实际偏差率大于0.5%,则判定为错误数据。
第四,判断当前时间,若落入以下区间:20点到23点,则执行以下逻辑:
(1)成交金额<1万,偏差率的阈值为8%,若实际偏差率大于8%,则判定为错误数据;
(2)1万<=成交金额<10万,偏差率的阈值为3%,若实际偏差率大于3%,则判定为错误数据;
(3)成交金额>=10万,偏差率的阈值为1%,若实际偏差率大于1%,则判定为错误数据。
本实施例所提供的直播场景中线上数据的准确性监测装置,能够先获取直播页面上目标指标的真实数据;再连接业务库,获取业务数据,通过指标的计算方法本地进行一系列的计算,得到目标指标的原始数据;最后对比两数据,获取到数据的偏差率,而且根据不同时间段、不同指标设置不同的偏差率阈值,偏差较大则推送给对应业务人员,实现了实时对比校验页面上展示的数据和业务库中的数据的目的,实现线上数据准确性的自动化告警。
下面对本申请实施例提供的直播场景中线上数据的准确性监测方法进行介绍,下文描述的直播场景中线上数据的准确性监测方法与上文描述的直播场景中线上数据的准确性监测方法装置可相互对应参照。
如图2所示,本实施例的直播场景中线上数据的准确性监测方法,包括:
S21、从直播页面获取目标指标的真实数据;
S22、从业务库获取业务数据,按照所述目标指标的计算方式对所述业务数据进行计算,得到所述目标指标的原始数据;
S23、计算所述真实数据和所述原始数据的偏差率;
S24、判断所述偏差率是否超过阈值;若超过,则生成数据偏差的提示信息。
本实施例的直播场景中线上数据的准确性监测方法基于前述直播场景中线上数据的准确性监测装置实现,因此该方法的具体实施方式可见前文中的直播场景中线上数据的准确性监测装置的实施例部分,其作用与上述装置的作用相对应,在此不再展开介绍。
此外,本申请还提供了一种直播场景中线上数据的准确性监测设备,如图3所示,包括:
存储器100:用于存储计算机程序;
处理器200:用于执行所述计算机程序,以实现如上文所述的直播场景中线上数据的准确性监测方法。
最后,本申请提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时用于实现如上文所述的直播场景中线上数据的准确性监测方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:一种微服务监控方法及系统