一种异常特征信息提取方法、系统、电子设备及介质

文档序号:9094 发布日期:2021-09-17 浏览:38次 英文

一种异常特征信息提取方法、系统、电子设备及介质

技术领域

本申请涉及营销智能

技术领域

,尤其涉及一种异常特征信息提取方法、系统、电子设备及介质。

背景技术

广告是许多开发者的主要收入来源,进而使得开发者将服务免费提供给用户,成为移动应用生态环境中重要的一环。但是一些开发者通过非法广告谋取利益,对用户的信息安全造成了严重威胁。非法广告与合法广告的流量表现形式不同,通常可以通过检测异常流量来对非法广告进行检测。目前国内外对广告流量进行检测的主要方式为过滤列表,但是这种方式容易出现识别失败或错误识别的情况,且不具备自我更新能力,需要大量人力进行维护。

非法流量不仅直接损害广告主切身利益,还影响到了营销策略的制定,更制约了行业良性发展。通常,来自中国广告协会的定义和分类,异常广告流量被分为GIVT(GeneralInvalid Traffic)和SIVT(Sophisticated Invalid Traffic)。通常,设定无效流量过滤列表制定原则,主要数据内容包括:IP地址黑名单、IP地址灰名单、Device ID黑名单、DeviceID灰名单。目前,针对SIVT的判定相对复杂,对技术要求也较高,需要不断完善及优化,目前如何采用机器学习方法对SIVT类型的广告异常流量识别已经成为当前研究的热点内容。

发明内容

本申请实施例提供了一种异常特征信息提取方法、系统、电子设备及介质,以至少通过本发明解决了无法通过机器学习方法识别广告异常流量等问题。

本发明提供了异常特征信息提取方法,包括:

回传信息特征获取步骤:通过广告流量检测系统获取用户游览触点的回传信息后,对所述回传信息进行分析获取回传信息特征;

回传信息重要特征获取步骤:通过平均影响值法对所述回传信息特征进行筛选,获取回传信息重要特征;

学习模型构建步骤:构建映射关系学习模型后,在所述映射关系学习模型中训练所述回传信息重要特征,获取广告流量异常特征信息。

上述的异常特征信息提取方法中,所述回传信息特征获取步骤包括,通过所述广告流量检测系统获取所述用户游览触点的所述回传信息后,多维度分析所述回传信息获取所述回传信息特征,其中,所述回传信息包括正常广告流量与异常广告流量。

上述的异常特征信息提取方法中,所述回传信息重要特征获取步骤包括,通过所述平均影响值法分析所述回传信息特征的重要性,并根据所述重要性对所述回传信息特征进行排序,去除所述回传信息特征中的冗余特征后,获取回传信息重要特征。

上述的异常特征信息提取方法中,所述学习模型构建步骤包括:

回传信息重要特征训练步骤:构建映射关系学习模型后,编码器中训练所述回传信息重要特征,获取编码器训练后的回传信息重要特征;

广告流量异常特征获取步骤:解码器中训练编码器训练后的所述回传信息重要特征后,获取所述广告流量异常特征信息。

本发明还提供异常特征信息提取系统,其中,适用于上述所述的异常特征信息提取方法,所述异常特征信息提取系统包括:

回传信息特征获取单元:通过广告流量检测系统获取用户游览触点的回传信息后,对所述回传信息进行分析获取回传信息特征;

回传信息重要特征获取单元:通过平均影响值法对所述回传信息特征进行筛选,获取回传信息重要特征;

学习模型构建单元:构建映射关系学习模型后,在所述映射关系学习模型中训练所述回传信息重要特征,获取广告流量异常特征信息。

上述的异常特征信息提取系统中,通过所述广告流量检测系统获取所述用户游览触点的所述回传信息后,多维度分析所述回传信息通过所述回传信息特征获取单元获取所述回传信息特征,其中,所述回传信息包括正常广告流量与异常广告流量。

上述的异常特征信息提取系统中,通过所述平均影响值法分析所述回传信息特征的重要性,并根据所述重要性对所述回传信息特征进行排序,去除所述回传信息特征中的冗余特征后,通过所述回传信息重要特征获取单元获取回传信息重要特征。

上述的异常特征信息提取系统中,所述学习模型构建步骤单元:

回传信息重要特征训练模块:构建映射关系学习模型后,编码器中训练所述回传信息重要特征,获取编码器训练后的回传信息重要特征;

广告流量异常特征获取模块:解码器中训练编码器训练后的所述回传信息重要特征后,获取所述广告流量异常特征信息。

本发明还提供一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述任一项所述的异常特征信息提取方法。

本发明还提供一种电子设备可读存储介质,所述电子设备可读存储介质上存储有计算机程序指令,所述计算机程序指令被所述处理器执行时实现上述任一项所述的异常特征信息提取方法。

相比于相关技术,本发明提出的一种异常特征信息提取方法、系统、电子设备及介质,结合深度学习与统计学习方法提取用户历史游览行为特征,得到的特征可以反应多个广告回传特征时间序列共性特征的同时本发明提高了预测与优化能力。

本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是根据本申请实施例的异常特征信息提取方法流程图;

图2是根据本申请实施例的异常特征信息提取实施步骤框架图;

图3为本发明的异常特征信息提取系统的结构示意图;

图4是根据本申请实施例的电子设备的框架图。

其中,附图标记为:

回传信息特征获取单元:51;

回传信息重要特征获取单元:52;

学习模型构建单元:53;

回传信息重要特征训练模块:531;

广告流量异常特征获取模块:532;

总线:80;

处理器:81;

存储器:82;

通信接口:83。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。

除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。

本发明通过广告流量监测系统获取各用户游览触点的回传信息(ip地址、uuid、os、imei等字段信息)。基于广告回传特征的物理意义,从IP、uuid、os、imei等多个维度分析,分别获取回传信息特征并进行分析。为了避免将非关键输入引入映射关系,基于大量样本采用平均影响值方法对回传信息特征进行非线性自变量筛选。其次,设计基于注意力机制与长短时记忆网络的映射关系学习模型。模型由编码器和解码器组成,编码器和解码器中均利用长短时记忆网络学习广告参数时间序列特征之间的关联关系,利用注意力机制提高数据使用效率,降低训练难度。

下面结合具体实施例对本发明进行说明。

实施例一

本实施例提供了异常特征信息提取方法。请参照图1至图2,图1是根据本申请实施例的异常特征信息提取方法流程图;图2是根据本申请实施例的异常特征信息提取实施步骤框架图,如图1至图2所示,异常特征信息提取方法包括如下步骤:

回传信息特征获取步骤:通过广告流量检测系统获取用户游览触点的回传信息后,对所述回传信息进行分析获取回传信息特征;

回传信息重要特征获取步骤:通过平均影响值法对所述回传信息特征进行筛选,获取回传信息重要特征;

学习模型构建步骤:构建映射关系学习模型后,在所述映射关系学习模型中训练所述回传信息重要特征,获取广告流量异常特征信息。

在实施例中,所述回传信息特征获取步骤S1包括,通过所述广告流量检测系统获取所述用户游览触点的所述回传信息后,多维度分析所述回传信息获取所述回传信息特征,其中,所述回传信息包括正常广告流量与异常广告流量。

在具体实施例中,通过广告流量检测系统获取用户游览触点的回传信息,即每个用户游览触点媒体的信息(ip地址、uuid、os、imei等字段信息),其中包括了正常广告流量以及异常广告流量,一般异常表现为刷量工具、模拟器刷量等等。

在实施例中,所述回传信息重要特征获取步骤S2包括,通过所述平均影响值法分析所述回传信息特征的重要性,并根据所述重要性对所述回传信息特征进行排序,去除所述回传信息特征中的冗余特征后,获取回传信息重要特征。

在实施例中,所述学习模型构建步骤S3包括:

回传信息重要特征训练步骤S31:构建映射关系学习模型后,编码器中训练所述回传信息重要特征,获取编码器训练后的回传信息重要特征;

广告流量异常特征获取步骤S32:解码器中训练编码器训练后的所述回传信息重要特征后,获取所述广告流量异常特征信息。

在具体实施例中,设计基于注意力机制与长短时记忆网络的映射关系学习模型。所述模型由编码器和解码器组成,编码器和解码器中均利用长短时记忆网络学习回传信息特征之间的关联关系,利用注意力机制提高数据使用效率,降低训练难度。编码器输入为回传信息重要特征,通过编码器中注意力层、softmax层、内积层和长短时记忆网络层学习不同输入参数间存在的关联关系。解码器输入为编码器的输出,通过解码器中注意力层、softmax层、上下文向量层和长短时记忆网络层学习前述确定的各组回传信息重要特征不同时刻的关联关系。

实施例二

请参照图3,图3为本发明的异常特征信息提取系统的结构示意图。如图3所示,发明的工作总结生成,适用于上述的异常特征信息提取方法,异常特征信息提取系统,包括:

回传信息特征获取单元51:通过广告流量检测系统获取用户游览触点的回传信息后,对所述回传信息进行分析获取回传信息特征;

回传信息重要特征获取单元52:通过平均影响值法对所述回传信息特征进行筛选,获取回传信息重要特征;

学习模型构建单元53:构建映射关系学习模型后,在所述映射关系学习模型中训练所述回传信息重要特征,获取广告流量异常特征信息。

在实施例中,通过所述广告流量检测系统获取所述用户游览触点的所述回传信息后,多维度分析所述回传信息通过所述回传信息特征获取单元51获取所述回传信息特征,其中,所述回传信息包括正常广告流量与异常广告流量。

在实施例中,通过所述平均影响值法分析所述回传信息特征的重要性,并根据所述重要性对所述回传信息特征进行排序,去除所述回传信息特征中的冗余特征后,通过所述回传信息重要特征获取单元52获取回传信息重要特征。

在实施例中,所述学习模型构建步骤单元53:

回传信息重要特征训练模块531:构建映射关系学习模型后,编码器中训练所述回传信息重要特征,获取编码器训练后的回传信息重要特征;

广告流量异常特征获取模块532:解码器中训练编码器训练后的所述回传信息重要特征后,获取所述广告流量异常特征信息。

实施例三

结合图4所示,本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地,上述处理器81可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中,存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器82可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器82可在异常数据监测装置的内部或外部。在特定实施例中,存储器82是非易失性(Non-Volatile)存储器。在特定实施例中,存储器82包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为FPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory,简称为EFPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令,以实现上述实施例中的任意异常特征信息提取方法。

在其中一些实施例中,电子设备还可包括通信接口83和总线80。其中,如图4所示,处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如:外接设备、图像/异常数据监测设备、数据库、外部存储以及图像/异常数据监测工作站等之间进行数据通信。

总线80包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线80可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。

电子设备可连接异常数据监测系统,从而实现结合图1至图3描述的方法。

以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

综上所述,本发明结合注意力机制与长短时记忆网络对广告回传信息特征进行异常特征信息提取,并通过由编码器和解码器组成的基于注意力机制与长短时记忆网络的映射关系学习模型,编码器和解码器中均利用长短时记忆网络学习广告回传信息重要特征之间的关联关系,利用注意力机制提高了数据使用效率,降低了训练难度。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求的保护范围为准。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:一种指标关联性分析方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!