发明内容

本发明的目的就是针对现有技术的不足，提供基于双尺度时空分块互注意力的课堂动作识别方法，对多组时空块用时空注意力建模，以捕获线下与线上课堂学生视频的多尺度时空信息，并利用尺度互注意力刻画不同尺度学生画面信息，以提高课堂动作的识别率。

本发明方法首先获取高清课堂学生视频数据，然后依次进行如下操作：

步骤(1)对高清课堂学生视频数据进行预处理，得到学生动作视频帧序列；

步骤(2)构建双尺度特征嵌入模块，输入为学生动作视频帧序列，输出为双尺度时空特征表示；

步骤(3)构建时空分块互注意力编码器，输入为双尺度时空特征表示，输出为双尺度分类向量；

步骤(4)构建课堂动作分类模块，输入为双尺度分类向量，输出为动作类别概率向量；

步骤(5)对由双尺度特征嵌入模块、时空分块互注意力编码器、课堂动作分类模块组成的动作识别模型进行迭代训练，直至模型收敛；

步骤(6)对新的课堂学生视频进行预处理，先将首帧图像输入预训练的目标检测模型，得到学生边界框并据此获得相应视频帧序列，然后将其输入已训练好的动作识别模型，最终输出学生动作的类别。

进一步，步骤(1)具体是：

(1-1)对每个高清课堂学生视频，以每秒k帧的采样率处理为相应的视频帧序列，以60k帧为时间间隔，将高清课堂学生视频帧中的学生位置边界框进行标注，获得高清课堂学生图像数据集，k＝15～30；

(1-2)对每个学生位置边界框，使用OpenCV的矩阵索引方法截取边界框区域内的60k帧图像，并将高和宽缩放至相同分辨率，得到学生动作视频帧序列 为实数域，动作的类别序号为b，b＝1,…B，B为动作类别总数，f_i表示帧序列中第i幅高为H、宽为W的RGB三通道图像，T为总帧数，即T＝60k。

再进一步，步骤(2)具体是：

(2-1)双尺度特征嵌入模块由三维卷积层、三维平均池化层、特征分块操作以及线性嵌入层构成；

(2-2)将学生动作视频帧序列V输入至三维卷积层得到时空特征，然后将时空特征放入至三维平均池化层，得到池化时空特征其中h、w、c、t分别为池化时空特征的高度维度、宽度维度、通道维度、时序维度；

(2-3)对池化时空特征的高度维度和宽度维度分别以L×L和S×S尺度进行特征分块操作，并将各个块的特征通过线性嵌入层映射，得到第t时刻第p块的大尺度块特征向量和小尺度块特征向量D表示特征向量的维度，L和S为分块尺度大小，L＝γS，γ＞0为尺度倍数；

将两种块特征向量分别进行拼接，得到大尺度时空特征矩阵和小尺度时空特征矩阵[·,…,·]表示拼接操作；其中，大尺度空间特征分块总数小尺度空间特征分块总数输出双尺度时空特征表示{X^l，X^s}。

更进一步，步骤(3)具体是：

(3-1)时空分块互注意力编码器由R个时空分块互注意力模块串连组成，每个时空分块互注意力模块均由时空块生成子模块、时空注意力子模块和尺度互注意力子模块构成；输入为双尺度时空特征表示{X^l，X^s}；

(3-2)第r个时空分块互注意力模块输入的双尺度时空特征张量其中，输入的大尺度时空特征矩阵输入的小尺度时空特征矩阵 和为大尺度分类向量和小尺度分类向量；

第r个时空分块互注意力模块输出的双尺度互注意力特征张量其中，输出的大尺度互注意力特征矩阵输出的小尺度互注意力特征矩阵 和为输出的大尺度分类向量和小尺度分类向量，和为输出的大尺度时空特征矩阵和小尺度时空特征矩阵；

当r＝1时，输入的大尺度时空特征矩阵输入的小尺度时空特征矩阵大尺度分类向量和小尺度分类向量由随机初始化获得；

当R≥r＞1时，输入的双尺度时空特征张量为上一个时空分块互注意力模块输出的双尺度互注意力特征张量即

时空分块互注意力编码器的输出为第R个时空分块互注意力模块的输出中的双尺度分类向量与

(3-3)第r个双尺度时空分块互注意力模块的时空块生成子模块将输入的中的Z^r,l和Z^r,s分别重组至统一尺寸的大尺度特征映射和小尺度特征映射其中，高度维度宽度维度

按照高度维度h^r、宽度维度w^r、时间维度t^r将进行时空分块，得到第r组大尺度时空块特征张量其中j为大尺度时空块的索引下标，Q^r为第r组大尺度时空块的总数，满足条件：且第r组时空块的尺度大小均为第r-1组时空块的λ倍，λ＞0，即r≥2：

然后将进行维度变换，得到大尺度时空块的时空特征矩阵其中大尺度时空块的空间特征分块总数n^l＝h^rw^r；

将与拼接，得到更新后的第r组第j块大尺度时空块特征张量元素

相同操作，得到更新后的小尺度时空块特征张量元素其中小尺度时空块的空间特征分块总数n^s＝h^rw^rγ²；

获得第r组双尺度时空块特征张量与

(3-4)第r个双尺度时空分块互注意力模块的时空注意力子模块的输入为时空块生成子模块的输出的和将第r组第j个大尺度时空块特征张量元素进行线性映射得到其在每个注意力头的查询矩阵键矩阵和值矩阵其中，注意力头序号a＝1,…,A，A为注意力头总数，映射矩阵内每个向量的维度计算其对应的多头时空自注意力权重特征 其中Softmax(·)为归一化指数函数；

使用可学习参数和残差结构计算得到该大尺度时空块时空注意力特征矩阵

将分解获得更新后的大尺度时空块分类向量和大尺度时空块时空特征矩阵MLP(·)表示多层感知机，LN(·)表示层归一化；

相同操作，得到小尺度时空块时空注意力特征矩阵

由此获得第r组双尺度时空块时空注意力特征张量和

(3-5)第r个双尺度时空分块互注意力模块的尺度互注意力子模块的输入为时空注意力子模块的输出和其中，第r组第j个双尺度时空块分类向量为和双尺度时空块时空特征矩阵为与

将大尺度时空块分类向量进行线性映射，得到其查询向量将大尺度时空块分类向量与小尺度时空块时空特征矩阵进行线性映射得到其键矩阵和值矩阵计算多头时空自注意力权重特征

使用可学习参数和残差结构计算得到更新后的大尺度时空块分类向量

由此获得第r组所有大尺度时空块分类向量将其进行线性映射得到更新后的大尺度分类向量

将第r组所有大尺度时空块时空特征矩阵拼接，得到大尺度时空特征矩阵将其与大尺度分类向量拼接，得到大尺度互注意力特征矩阵

相同操作，得到小尺度分类向量和小尺度互注意力特征矩阵

第r个时空分块互注意力模块输出为双尺度互注意力特征张量

又进一步，步骤(4)具体是：

(4-1)课堂动作分类模块的输入为双尺度时空分块互注意力编码器输出的双尺度分类向量和利用多层感知机分别计算学生动作所属动作类别的大尺度得分向量和小尺度得分向量

(4-2)输出动作类别概率向量

还进一步，步骤(5)具体是：

(5-1)由上述步骤(2)的双尺度特征嵌入模块、步骤(3)的双尺度时空分块互注意力编码器与步骤(4)的动作分类模块构成动作识别模型

(5-2)动作识别模型的输入为学生动作视频帧序列V，由双尺度特征嵌入模块计算输出双尺度时空特征矩阵X^l和X^s，将双尺度时空特征矩阵输入至双尺度时空分块互注意力编码器，输出双尺度分类向量和将双尺度分类向量输入至动作分类模块，输出学生动作所属动作类别的概率向量；

(5-3)迭代训练动作识别模型直至模型收敛：设定动作识别模型的损失函数为交叉熵损失利用随机梯度下降算法优化动作识别模型，通过反向梯度传播更新模型参数直至损失收敛；其中y_b为学生动作属于动作类别b的概率，为真实标记，若课堂学生视频的动作类别属于b，否则

再进一步，步骤(6)具体是：

(6-1)将标有学生位置边界框的高清课堂学生图像数据集输入在COCO2017数据集上预训练的目标检测模型YOLOv5，迭代训练该模型直至模型收敛，获得目标检测模型

(6-2)对于新的课堂学生视频，利用(1-1)获得其视频帧序列，将首帧图像输入目标检测模型得到每位学生的位置边界框，利用(1-2)获得每位学生的动作视频帧序列 其中，φ为学生序号，χ为学生总数，表示第φ个学生帧序列中第i幅高为H宽为W的RGB三通道图像；

(6-3)将每个学生的动作视频帧序列输入至步骤(5)中训练得到的动作识别模型中，得到第φ个学生的动作类别概率向量并将最大概率值对应的动作类别b′作为学生动作所属的类别，b′＝argmax(y^φ)，其中argmax(·)为向量中最大元素的索引。

本发明方法利用双尺度时空分块互注意力编码器对学生视频中的学生动作进行识别，该方法具有以下几个特点：1)不同于已有方法只针对线下或线上课堂进行设计，本发明方法先利用目标检测模型获得学生动作帧序列，再进一步识别每个学生的动作类别，能够通用于线下课堂与线上课堂应用场景；2)不同于现有方法在每步特征提取时计算所有视频帧分块的时空注意力，本发明方法使用时空块生成子模块与时空注意力子模块提取多组时空块内的时空特征，以实现局部时空特征信息交换并大幅降低了计算开销；3)本发明方法使用两种不同大小尺度对视频帧进行分块，并结合尺度互注意力子模块，能够更好地提取视频中不同尺度个体学生画面的动作信息。

本发明方法适用于在多个学生参与且个体学生画面尺度不同的课堂复杂场景下的动作识别，有益效果包括：1)统一了线下课堂与线上课堂的动作识别方法，降低了将动作识别方法部署应用于两种课堂的技术成本；2)通过时空块生成子模块与时空注意力子模块对多个不同时空区域提取特征，充分考虑了时空特征的局部特性，以获得更准确的识别类别并提高计算效率；3)通过尺度互注意力子模块对不同尺度个体学生画面进行学习，充分融合两种尺度分块下的时空特征，获得更优的识别性能。本发明所具有的局部时空特征学习能力与捕获不同尺度个体学生画面空间特征能力，可提高课堂授课监督、自修课管理、无人监考等实际应用场景中的学生动作识别率。