具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的基于Transformer的非接触式心率测量方法，如图1所示，该方法包括以下步骤：

步骤S10，获取设定时间段内包含人脸信息的待测视频帧序列；

步骤S20，基于所述待测视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；

步骤S30，对所述人脸感兴趣区域图像序列进行预处理，并基于预处理后的所述人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取设定时间段内的心率序列；

其中，所述端到端Transformer模型基于顺次连接的线性层、空间Transformer模块、时间Transformer模块和全连接层构建；

所述空间Transformer模块包括N个第一处理模块；所述第一处理模块基于多头注意力子模块、多层感知机子模块构建；

所述多头注意力子模块基于顺次连接的归一化层、多头注意力层构建；

所述多层感知机子模块基于顺次连接的归一化层、多层感知机结构构建；所述多层感知机结构基于顺次连接的全连接层、激活函数层、Dropout层、全连接层和Dropout层构建；

所述多头注意力子模块的输入和所述多头注意力子模块内多头注意力层的输出相加构成所述多头注意力子模块的输出；所述多头注意力子模块的输出和所述多层感知机子模块内多层感知机结构的输出相加构成所述多层感知机子模块的输出；

所述时间Transformer模块包括M个第二处理模块，所述第二处理模块与第一处理模块结构相同。

为了更清晰地对本发明基于Transformer的非接触式心率测量方法进行说明，下面结合图对本发明实施例中各步骤展开详述。

在下述实施例中，先对端到端Transformer模型的构建及训练过程进行详述，再对基于Transformer的非接触式心率测量方法获取待测视频帧序列的设定时间段内的心率序列的过程进行详述。

1、端到端Transformer模型的构建及训练，如图5所示

步骤A10，获取训练视频帧序列，基于训练视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；将训练视频帧序列所对应的人脸感兴趣区域图像序列及其标准心率序列作为训练样本，构建训练样本集；其中，心率序列中的数值表示不同时间点所对应的心率值。且需要说明的是，对人脸感兴趣区域图像序列的获取也可以基于人脸检测模型和人脸关键点模型来进行。

在本实施例中，所构建的训练样本集包括训练视频帧序列所对应的人脸感兴趣区域图像序列及对该人脸感兴趣区域图像序列进行样本扩增后所获得的扩增人脸感兴趣区域图像序列，其中，样本扩增方法为，

基于所述人脸感兴趣区域图像序列，通过裁剪和仿射变换的方法获取不同尺度的人脸图片集；

基于所述不同尺度的人脸图片集，通过部分区域擦除和左右翻转的方法进行样本扩增获得扩增人脸图片集，并将扩增人脸图片集按时间排序生成扩增的人脸感兴趣区域图像序列。

步骤A20，对所述训练样本集中的人脸感兴趣区域图像序列进行预处理，预处理后输入至端到端Transformer模型中，得到预测的设定时间段内的心率序列；

在本实施例中，预处理为，基于所述人脸感兴趣区域图像序列，按时间顺序均匀采集F张图像作为待处理采样帧，每张图像与其相邻图像之间的时间间隔相同，如：对于30s的视频所对应的人脸感兴趣区域图像序列，按时间顺序均匀采集16张、32张或者更多的图像作为待处理采样帧；将预处理后得到的人脸感兴趣区域图像序列输入至端到端Transformer模型中，以得到预测的设定时间段内的心率序列。

其中，关于端到端Transformer模型的结构及工作过程，详述如下：

（1）、关于端到端Transformer模型的结构，如图2所示

所述端到端Transformer模型基于顺次连接的线性层、空间Transformer模块、时间Transformer模块和全连接层构建；

所述空间Transformer模块包括顺次连接的N个第一处理模块，在本实施例中，N优选为12；所述空间Transformer模块中第1个第一处理模块的输入为经过处理后的端到端Transformer模型中线性层的输出，所述空间Transformer模块中第2个至第12个第一处理模块的输入为其前一个第一处理模块的输出；

所述时间Transformer模块包括顺次连接的M个第二处理模块，在本实施例中，M优选为6；所述时间Transformer模块中第1个第二处理模块的输入为经过处理后的所述空间Transformer模块的输出，所述时间Transformer模块中第2个至第6个第二处理模块的输入为其前一个第二处理模块的输出。且需要强调的是，所述第二处理模块与第一处理模块结构相同。

（2）、关于端到端Transformer模型的工作过程

所述端到端Transformer模型获取基于人脸感兴趣区域图像序列所采集到的F张待处理采样帧，并对F张所述待处理采样帧进行预处理，以获得F个嵌入式向量；具体地，该预处理的过程如下：

将F张待处理采样帧分为F×N个大小为P×P的采样块，其中，每张待处理采样帧的 大小为H×W，且每张待处理采样帧对应N个采样块，；

将每个采样块拉成一个向量获得待处理向量，基于待处理向量，通过端到端Transformer模型中的线性层进行线性映射以获得F×N个待处理嵌入式向量；需要说明的是，端到端Transformer模型中的线性层数量与待处理嵌入式向量的数量相对应设置，即不同的待处理嵌入式向量分别输入至不同的线性层中进行线性映射，在本实施例中，端到端Transformer模型中的线性层数量为F×N个。

将F×N个待处理嵌入式向量中对应于同一张待处理采样帧的待处理嵌入式向量进行堆叠，以获得F个嵌入式向量，由此实现将F张所述待处理采样帧转换为F个嵌入式向量。

之后，将获得的F个嵌入式向量分别输入至不同的空间Transformer模块内的第一个第一处理模块中，通过空间Transformer模块对每一张待处理采样帧所对应的不同采样块之间计算空间注意力，以更好的抓取图像的空间位置信息，并输出F个第一待处理输出向量；需要说明的是，所述空间Transformer模块数量与嵌入式向量（也即待处理采样帧）的数量相对应设置，在本实施例中，空间Transformer模块的数量为F个。同时需要补充的是，对应于同一张待处理采样帧的线性层连接至相同的空间Transformer模块，对应于不同待处理采样帧的线性层连接至不同的空间Transformer模块。对空间Transformer模块所输出的第一待处理输出向量进行位置编码，并将位置编码后的第一待处理输出向量进行堆叠，以获得第一输出向量；所述第一输出向量为F×D的矩阵，其中D为空间Transformer模块输出的维度；

之后，将获得的第一输出向量输入至时间Transformer模块内的第一个第二处理模块中，通过时间Transformer模块对每一张待处理采样帧之间计算时间注意力，以更好的抓取微表情之间的位移信息等，并输出第二输出向量；

最后，将所述Transformer模块输出的第二输出向量输入至全连接层内，通过全连接层，获得设定时间段内的预测心率序列。

更进一步地，所述第一处理模块和第二处理模块均基于顺次连接的多头注意力子模块、多层感知机子模块构建。下面以第一处理模块为例，对第一处理模块和第二处理模块的结构进行详述，如图3所示。

具体地，所述多头注意力子模块基于顺次连接的归一化层、多头注意力层构建；所述第一处理模块的输入即为所述多头注意力子模块的输入，所述多头注意力子模块的输入和所述多头注意力子模块内多头注意力层的输出相加构成所述多头注意力子模块的输出。此外，需要说明的是，图3中的输入所指为第一处理模块的输入。

所述多头注意力层内设置有若干头，其中，如图4所示，每个头所采用的注意力机制为，

将多头注意力子模块内的归一化层的输出与权重矩阵相乘得到q、k、v；

（1）

（2）

（3）

其中，表示第个多头注意力子模块的输入，表示多头注意力子模块内的 归一化层所作的层归一化操作，表示第个多头注意力子模块的第个头，表示权重 矩阵；对于所述空间Transformer模块，的取值范围为1-12，对于所述时间Transformer模 块，的取值范围为1-8。在本实施例中，若所述多头注意力子模块的输入的维度为768，且多 头注意力子模块内设置有12头，则设定，以使得多头注意力子 模块中每个头均获得维度为64的q、k、v；

将q与k点积计算，对点积计算所得的结果依次经过激活函数层和Dropout层后作为系数与v相乘；

对相乘所得的结果经过线性层和归一化层后进行输出，即为多头注意力层中的单个头的输出。此外，需要说明的是，图4中的输入所指为多头注意力子模块的输入，输出所指为多头注意力层中的单个头的输出。

将多头注意力层中的每个头的输出进行集成，以构成多头注意力层的输出，其中，所述多头注意力层的输出与多头注意力子模块的输入的维度保持一致。

所述多层感知机子模块基于顺次连接的归一化层、多层感知机结构构建；所述多头注意力子模块的输出即为所述多层感知机子模块的输入，且所述多头注意力子模块的输出和所述多层感知机子模块内多层感知机结构的输出相加构成所述多层感知机子模块的输出。

所述多层感知机结构基于顺次连接的全连接层、激活函数层、Dropout层、全连接层和Dropout层构建，所述多头注意力子模块的输出经过归一化层进行层归一化操作后，输入至多层感知机结构内，由于多层感知机结构内的全连接层参数量比较大，容易过拟合，所以在全连接层后面连接Dropout层以减少过拟合，增大泛化能力。

步骤A30，基于端到端Transformer模型输出的设定时间段内的心率序列、标准心率序列，计算损失值，并调整所述端到端Transformer模型参数；

在本实施例中，对端到端Transformer模型训练时，根据端到端Transformer模型 输出的设定时间段内的心率序列与设定时间段内的标准心率序列计算损失值，并依据损失 值更新端到端Transformer模型，以获得最优端到端Transformer模型。具体地，端到端 Transformer模型在训练过程中，所采用的损失函数为，其中，

（4）

（5）

（6）

其中，γ为权重系数，为总损失值，为时域损失，为频域损失，X为端到 端Transformer模型输出的设定时间段内的心率序列，Y为设定时间段内的标准心率序列，T 为待测视频帧序列所对应的视频信号的长度；为基于端到端Transformer模型输出 的设定时间段内的心率序列所计算得到的功率谱密度，为基于设定时间段内的 标准心率序列所计算得到的功率谱密度，CE为交叉熵损失。

在现有技术中，通常是将训练视频帧序列所对应的人脸感兴趣区域图像序列及其标准平均心率值作为训练样本，并通过交叉熵损失函数来计算损失，而对于有些训练来说，比如是用于测量健身后的心率，平均心率值并不能很好的度量这个人在设定时间内的心率结果，因此，基于皮尔逊相关损失，采用标准心率序列替换标准平均心率值作为训练样本，与端到端Transformer模型输出的心率序列进行计算，可以比较好的度量向量之间的相关性，这样能更好的反传。同时，基于交叉熵损失函数，采用功率谱密度来计算频域损失，可以更好的度量心率情况，从而实现对计算精度的提升。

步骤A40，循环执行步骤A20-A30，直至得到训练好的端到端Transformer模型。

在本实施例中，通过反传梯度方法调整端到端Transformer模型参数直至时域损失和频域损失之和小于预设的第一阈值或迭代至预设的次数，以获得训练好的端到端Transformer模型。

2、基于Transformer的非接触式心率测量方法，如图1所示

步骤S10，获取设定时间段内包含人脸信息的待测视频帧序列；

步骤S20，基于所述待测视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；

在本实施例中，参考步骤A10中的所采用的人脸关键点模型对所述待测视频帧序列进行处理，以获取人脸感兴趣区域图像序列；

步骤S30，对所述人脸感兴趣区域图像序列进行预处理，并基于预处理后的所述人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取所述设定时间段内的心率序列；

在本实施例中，参考步骤A20中的预处理方法对步骤S20中的人脸感兴趣区域图像序列进行预处理，以输入至步骤A40中所保存的训练好的端到端Transformer模型中，从而得到对应的设定时间段内的心率序列。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例的基于Transformer的非接触式心率测量系统，如2所示，该系统包括：图像获取单元、人脸提取单元和心率提取单元；

所述图像获取单元，配置为获取设定时间段内包含人脸信息的待测视频帧序列；

所述人脸提取单元，配置为基于所述待测视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；

所述心率提取单元，配置为对所述人脸感兴趣区域图像序列进行预处理，并基于预处理后的所述人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取所述设定时间段内的心率序列；

其中，所述端到端Transformer模型基于顺次连接的线性层、空间Transformer模块、时间Transformer模块和全连接层构建；

所述空间Transformer模块包括N个第一处理模块；所述第一处理模块基于多头注意力子模块、多层感知机子模块构建；

所述多头注意力子模块基于顺次连接的归一化层、多头注意力层构建；

所述多层感知机子模块基于顺次连接的归一化层、多层感知机结构构建；所述多层感知机结构基于顺次连接的全连接层、激活函数层、Dropout层、全连接层和Dropout层构建；

所述多头注意力子模块的输入和所述多头注意力子模块内多头注意力层的输出相加构成所述多头注意力子模块的输出；所述多头注意力子模块的输出和所述多层感知机子模块内多层感知机结构的输出相加构成所述多层感知机子模块的输出；

所述时间Transformer模块包括M个第二处理模块，所述第二处理模块与第一处理模块结构相同。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于端到端Transformer模型的非接触式心率测量系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于Transformer的非接触式心率测量方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于Transformer的非接触式心率测量方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。