具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明使用的各种术语或短语具有本领域普通技术人员公知的一般含义，即便如此，本发明仍然希望在此对这些术语或短语作更详尽的说明和解释。如果本文涉及的术语和短语有与公知含义不一致的，则以本发明所表述的含义为准；并且如果在本申请中没有定义，则其具有本领域普通技术人员通常理解的含义。

为加强对网络直播的引导规范，强化导向和价值引领，防范遏制低俗庸俗媚俗等不良风气滋生蔓延，2020年11月国家广播电视总局官网发布了《关于加强网络秀场直播和电商直播管理的通知》，其中明确规定网络直播平台要对直播间节目内容和对应主播行为实行标签分类管理，按“音乐”、“舞蹈”、“唱歌”、“健身”、“游戏”和“美食”等进行分类标注，根据不同内容的直播节目特点，研究采取有针对性的扶优罚劣管理措施。

现有技术中，传统的人体行为识别方法主要针对的是只包含单个动作的裁剪视频，因此其识别方法相对简易。然而，网络直播视频中包含丰富且复杂的主播动作，传统的人体行为识别方法难以对网络直播视频中丰富且复杂的多个动作进行准确的识别与分类。

针对于此，第一方面，本发明的一实施例利用线性条件随机场在结构化推理方面的优势，提出一种网络直播主播的行为识别方法。

具体地，由于网络直播视频中主播的行为由若干动作元素组成，在一段主播行为过程中，主播动作片段与非动作片段存在着一定边界，通过时序动作检测来获得动作的时序位置与对应的动作类别有助于提高主播行为识别的准确率。同时为了实现主播的行为识别，需要建立主播动作序列到主播高级行为之间的映射，考虑到主播的动作序列具有明显的时序上下文关系，主播前后动作之间具有很强的相关性，前一个动作的类别可以对后一个动作的类别进行推理，因此可以对动作序列中的时序关系进行时序上下文建模，从而得到更加准确的动作序列。线性条件随机场是一种高效的判别式模型，由于其易于处理和精确推理的特点，受到很多研究者的青睐，线性条件随机场可以通过推理生成更为准确的主播动作序列，并进一步通过多分类实现主播行为的识别。

下面结合图1描述本发明的网络直播主播的行为识别方法。

图1为本发明一实施例提供的网络直播主播的行为识别方法的流程图。

在本实施例中，需要说明的是，该基于网络直播主播的行为识别方法可以包括以下步骤：

S1：获取网络直播视频数据；

S2：利用时序评估模块检测网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；

S3：利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及

S4：基于第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

此外，本发明一实施例提供的网络直播主播的行为识别方法也可以被描述为包括以下几个步骤：首先利用时序评估模块实现主播时序动作检测，用于生成主播动作序列；然后利用线性条件随机场实现主播动作序列推理，捕捉主播动作之间的逻辑关系；最后利用多分类支持向量机实现主播行为识别与概要描述，返回最终的识别结果。

本发明的时序评估模块分为三个部分，首先提取网络直播视频的全局时空特征，然后利用时序评估生成动作的开始与结束概率序列，最后计算候选动作提名，并经过动作分类后得到主播时序动作检测结果，确定最终的主播动作序列。

例如，步骤S2可以为利用时序评估模块实现主播时序动作检测。

具体地，为了确定网络直播视频中包含的主播动作序列，本发明首先利用双流卷积网络提取网络直播视频的全局时空特征；然后对全局时空特征做时序评估生成动作的开始与结束概率序列；最后根据概率序列计算得到候选动作提名，并利用softmax层实现动作的分类得到主播时序动作检测结果，确定最终的主播动作序列(可以被称为第一主播动作序列数据)。

更具体地，在本实施例中，需要说明的是，该网络直播主播的行为识别方法还可以包括：利用时序评估模块检测网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据S2，其可以进一步包括但不限于：提取网络直播视频中的深度特征；对深度特征进行时序评估，以生成与主播动作的开始时间与结束时间相对应的多个概率序列；以及基于多个概率序列，生成第一主播动作序列数据。

进一步地，在本实施例中，需要说明的是，该网络直播主播的行为识别方法还可以包括：提取网络直播视频中的深度特征包括：通过双流卷积网络提取网络直播视频中的空间特征与时间特征，并将空间特征与时间特征融合为全局时空特征。

具体地，网络直播视频是未裁剪的视频流，首先按照帧间隔δ对视频流进行切割，并从每个切割好视频片段提取一帧视频图像与由五帧光流图堆叠成的光流栈；然后将视频帧输入空间流卷积网络、堆叠光流栈输入时间流卷积网络，这两个网络均以ResNet作为基础架构，从两个网络的最后一层分别输出空间特征与时间特征；最后将这两个通道特征融合得到全局时空特征。本发明通过控制帧间隔δ的大小，来保证不同长度网络直播视频的深度特征维度相同，δ由数据集规模来确定。

进一步地，在本实施例中，需要说明的是，该网络直播主播的行为识别方法还可以包括：对深度特征进行时序评估，以生成与主播动作的开始时间与结束时间相对应的多个概率序列包括：通过时序卷积层对全局时空特征进行时序评估，并通过sigmoid激活函数分别生成主播动作的开始时间概率序列和结束时间概率序列。

具体地，由于时序卷积层可以捕获动作边界等局部语义信息，因此本发明采用时序卷积层评估全局时空特征序列中的主播动作开始时间与结束时间，时序卷积层表示为：

Conv(c_f，c_k，Act) (1)

其中，c_f、c_k、Act分别为卷积核数、卷积核尺寸与时序卷积层的激活函数。本发明的时序评估模块由Conv(256，3，ReLU)与Conv(2，1，Sigmod)两个时序卷积层构成，在最后一层使用两个sigmoid激活函数作为分类器，分别生成动作的开始与结束概率序列，Sigmoid函数公式如下：

通过sigmoid激活函数将特征映射到(0，1)范围内，得到概率曲线。经过上述过程，得到时序动作的开始概率序列P_s与结束概率序列P_E，反映了全局时空特征每个位置上动作开始和结束的概率。

进一步地，在本实施例中，需要说明的是，该网络直播主播的行为识别方法还可以包括：基于多个概率序列，生成第一主播动作序列数据包括：基于开始时间概率序列和结束时间概率序列，生成候选时序动作提名；利用softmax层实现动作的分类得到主播时序动作的检测结果；以及基于多个主播时序动作的检测结果，生成第一主播动作序列数据。

具体地，从时序评估模块生成开始概率序列P_S与结束概率序列P_E之后，本发明根据概率序列生成候选时序动作提名。首先选择每个概率序列中概率最大值的一半作为阈值；然后选取所有大于该阈值的概率点组成新的序列B_S与B_E，他们分别保存着满足筛选条件的点坐标t_s与t_e；接下来匹配B_S中的起始点位置t_s与B_E中的结束位置t_e作为时序动作提名区间，匹配时需满足起始点位置的时间早于结束位置的时间，得到的时序动作提名表示为：

其中，p_ts与p_te分别是开始点与结束点的概率值，p_cc与p_cr分别是从边界匹配置信度图上计算得到的分类置信度得分与回归置信度得分。筛选出的时序动作提名集合表示为Ψ。

在生成时序动作提名与对应置信度分数后，采用soft-NMS算法来降低冗余结果的置信度得分，即降低冗余结果在提名集中的排名，soft-NMS算法表示为：

其中，M为BoundingBox，b_i为生成的时序提名区间，s_i为对应的置信度得分，N为设置的阈值，通过上式抑制候选时序定位区间与BoundingBox重合小于阈值的提名的置信度分数。在得到去冗余的时序动作候选提名后，根据数据集情况选取置信度得分靠前的K个候选提名，并将其对应的特征序列区间送入softmax层进行分类，最终得到网络直播视频主播时序动作检测结果，进一步结合所有动作检测结果得到主播动作序列。

然而，由于时序动作检测过程中存在误检现象，因此动作序列中可能会有错误的动作类别，从而影响主播行为识别的有效性。基于此，本发明利用线性条件随机场实现主播动作序列的推理(即，步骤S3)。

在本实施例中，需要说明的是，该网络直播主播的行为识别方法还可以包括：利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据S3，其可以进一步包括但不限于：利用线性条件随机场对主播动作序列进行建模，根据第一主播动作序列数据中前后动作间的逻辑关系，推理出更为合理的第二主播动作序列数据动作序列。

具体地，首先利用线性条件随机场对主播动作序列中的动作类别进行建模，确定该模型的条件概率；然后为了生成准确的模型参数，在对主播动作序列数据进行训练时采用最大似然估计对线性条件随机场的各个参数进行推理；最后通过前向-后向算法计算该模型的期望，实现模型的推理，最终得到更为准确的主播动作序列(可以被称为第二主播动作序列数据)。

例如，针对线性条件随机场模型的构建：

在得到时序动作检测生成的主播动作序列后，利用线性条件随机场对其进行建模。给定主播动作序列X的情况下，线性条件随机场的条件概率等价于势函数的乘积归一化形式，其公式如下：

其中，Z(X)为规范化因子，用于在所有可能的输出主播动作序列上求和，如下式：

其中，t_k(Y_i-1，Y_i，X，i)是动作序列的标记位置i-1和i之间的转移特征函数；s_l(Y_i，X，i)是动作序列上位置i的状态特征函数；λ_k和μ_l分别是转移特征函数与状态特征函数对应的权重，通过训练集学习得到。

将权重、转移特征函数与状态特征函数用统一的符号表示，当有K₁个转移特征和K₂个状态特征时，用一个特征函数f_k(Y_i-1，Y_i,X,i)表示如下：

通过对特征函数在各个位置i求和，并利用ω_k表示特征函数对应的权重，可将线性条件随机场的参数化形式简化为：

例如，针对线性条件随机场模型的训练：

为了捕捉前后动作之间的逻辑关系，推导出精准的模型参数，在对主播动作序列数据进行训练时采用最大似然估计对模型中的各个参数进行推理。最大似然估计把最大可能性的λ作为真实的λ解，即假设λ是P(Y|X,λ)的对数值为极大值时λ的值即为模型参数的解，其详细公式如下：

例如，针对线性条件随机场模型的推理：

由于L(λ)为凸函数，因此在导数为0的点该函数取得极大值，对λ求导其偏导公式如下：

其中，O_k为在训练样本中样本出现频率，E_k是特征k在线性条件随机场模型的期望，使用前向-后向算法来计算该期望，实现该模型的推理。条件概率P(Y_i|X)、P(Y_i-1,Y_i|X)以及对应的数学期望公式如下：

其中，α_i与β_i为前向向量和后向向量，M_i函数是在位置i上的状态转移矩阵，Y_i表示主播动作序列i位置当前的动作类别，Y_i-1表示前一时刻的动作类别。通过上式实现线性条件随机场的推理，构建动作序列推理模型，将测试集中的动作序列输入该条件随机场模型中，将根据特征函数权重推理出符合网络直播视频主播行为逻辑的主播动作序列。

在得到推理的主播动作序列之后，需要根据主播动作序列实现主播的行为识别并确定该网络直播视频中主播的行为语义。

在本实施例中，需要说明的是，该网络直播主播的行为识别方法还可以包括：基于第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述S4，其可以进一步包括但不限于：收集网络直播视频的主播行为数据以构建数据集；选择网络直播视频中多种主播行为作为识别目标；利用多分类支持向量机实现主播动作序列的建模，经过主播动作序列到主播行为语义之间的映射，获得主播行为识别结果；以及抽取第二主播动作序列数据中的关键动作进行主播行为概要描述。

具体地，收集网络直播视频主播行为数据构建数据集，并选择网络直播视频中五种代表性的主播行为作为识别目标；然后采用多分类支持向量机实现主播动作序列的高效建模，经过主播动作序列到主播行为语义之间的映射，获得主播行为识别结果；最后通过抽取主播动作序列中的关键动作实现主播的行为概要描述。

例如，针对多分类支持向量机：

在得到推理后的主播动作序列后，本发明首先收集了网络直播视频主播行为数据构建数据集，并选择网络直播视频中五种代表性的主播行为，分别是：才艺直播，美食直播，美妆直播，健身直播与敏感内容直播。

本发明采用一种决策树型的多分类支持向量机方法，其思想为将每个根节点划分为两个子类，再对每个子类继续二分类直到遍历每一个类别，此时形成了一个倒立二叉树结构，二叉树的每个决策节点都训练一个支持向量机分类器，从而实现主播行为的多分类。在二叉树中的各个决策节点都训练一个二分类的支持向量机，在给定动作序列训练样本集A＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}，y_i∈{-1,1}，并且假设样本空间线性可分时，分类超平面可以通过如下线性方程表达：

ω^Tx+b＝0 (13)

其中，ω为分类超平面的法向量，b为偏移量，用于使分类超平面更加灵活。假设超平面(ω,b)将所有训练行为样本正确分类，则对于训练行为样本(x_i,y_i)∈A来说：

为提升对未知样本点的鲁棒性，支持向量机通过找到不同行为间的最大间隔的分类超平面，其计算公式如下：

其中，当1/||ω||最大时生成最终的支持向量机模型，基于该模型进行主播行为识别，得到主播动作序列的行为类别。

例如，针对生成主播行为概要描述：

本发明提出的主播行为概要描述是在获得主播行为识别结果后，挑选主播行为中的关键动作类别，生成对主播行为的高层概要描述，便于对网络直播视频内容的快速理解，有助于对其进行进一步的管理。具体来说，在构建主播行为数据集时，针对每种主播行为类别建立了一个主播动作子集，每个子集中包含与该主播行为具有强关联关系的所有动作。在得到网络直播视频的主播行为类别与其对应的主播动作序列后，从主播动作序列中筛选出存在于该行为类别子集中的动作，最后结合行为类别与提取的关键动作生成主播行为概要描述。

举例来说，通过线性条件随机场模型得到推理后的主播动作序列{烹饪，跑步，烹饪，烹饪，吃食物，吃食物}后，首先利用多分类支持向量机进行主播的行为识别，如行为类别为美食直播，接下来在动作序列中提取美食直播子集中包含的动作类别，如提取到烹饪和吃食物两种关键动作类别后，生成主播行为概要描述：“这是一场美食直播，主播进行了烹饪与吃食物”。经过上述行为概要描述方法，即可完成对网络直播视频中主播行为的高度概括性描述，可以为后续网络直播内容监管提供参考依据。

综上，本发明的一实施例提出的一种线性条件随机场的网络直播视频主播行为识别方法，首先生成视频中包含的主播动作序列，再根据动作序列推理出主播的复杂行为实现行为识别，相比于一般方法本发明提出的方法可以识别长时直播视频的主播动作，同时忽略视频中与主播动作无关的无用信息提高行为识别的准确率。其次，本发明提出采用线性条件随机场实现主播动作序列的推理，通过梳理动作序列中前后主播动作之间的逻辑关系来校正动作序列中的错误检测动作，该方法通过重新推理时序检测生成的动作序列有效提高了行为识别的准确率。最后，本发明提出利用多分类支持向量机实现主播动作到主播行为的映射，并提出了一种新颖的主播行为概要描述方法，可以快速且有效的识别出网络直播视频中的主播行为。

基于同样的发明构思，另一方面，本发明的一实施例提出一种网络直播主播的行为识别系统。

下面结合图2对本发明提供的网络直播主播的行为识别系统进行描述，下文描述网络直播主播的行为识别系统与上文描述的网络直播主播的行为识别方法可相互对应参照。

图2为本发明一实施例提供的网络直播主播的行为识别系统的结构示意图。

在本实施例中，需要说明的是，该网络直播主播的行为识别系统1包括：获取模块10，用于获取网络直播视频数据；时序评估模块20，用于检测网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；主播动作序列推理模块30，用于利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及行为识别与概要描述模块40，用于基于第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

由于本发明实施例提供的网络直播主播的行为识别系统可以用于执行上述实施例所述的网络直播主播的行为识别方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。

在本实施例中，需要说明的是，本发明实施例的装置中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

图3为本发明一实施例提供的电子设备的示意图。

在本实施例中，需要说明的是，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行网络直播主播的行为识别方法，该方法包括：获取网络直播视频数据；利用时序评估模块检测网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及基于第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行网络直播主播的行为识别方法，该方法包括：获取网络直播视频数据；利用时序评估模块检测网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及基于第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，在本发明中，参考术语“实施例”、“本实施例”、“又一实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。