一种基于三支决策和光流过滤机制的微表情压缩方法
技术领域
本发明属于计算机视觉领域，具体是一种基于三支决策和光流过滤机制的微表情压缩方法。
背景技术
微表情是一种微妙的、无意识的面部表情，通常受到一些复杂的环境、人为等因素的影响，并在无意识的情况下产生。微表情相对于宏表情具有隐秘性，一般难以觉察，实际上由于人类的身体特性，这种无意识的面部表情会通过一种极其快速且微妙的脸部动作表现出来。微表情泄露性的表达了人们压抑、试图隐藏的真实情绪，目前的微表情主要由几个基本的情绪构成，包括开心、愤怒、厌恶、恐惧、惊讶和其他。微表情是一种归属于生理性的反应行为，因此其表露出的是不可控的真实的心理状态。
通过微表情相关数据分析可以发现，视频中包含大量图像具有较低的语义信息，这些图像没有表达且形态语义变化很小。根据微表情视频数据分析可知，微表情发生的区域主要集中在开始帧到偏移帧，在顶点帧中达到语义的高峰。因此，未做处理的数据中包含大量的低质量和不平衡数据。
发明内容
本发明提供一种基于三支决策和光流过滤机制的微表情压缩方法，利用光流属性进行加权函数的定义，再基于粗糙集概率决策方法提出了一种具有去冗余、压缩视频功能的微表情研究方法。
本发明是通过以下技术方案实现的：
一种基于三支决策和光流过滤机制的微表情压缩方法，包括如下步骤：
S1:选取微表情数据集A＝{V1,V2,V3,…Vt}进行图像的补齐、统一大小、图像灰值化等预处理；
S2:采用MTCNN多任务级联神经网络对V1,V2,V3,…Vt视频片段图片进行脸部区域的定位裁剪,并统一图片大小；
S3:对每一段视频Vi＝{v1,v2,…,vt}对于每俩个连续的视频片段vi和vi+1都有oi生成,视频Vi转变为光流集合Oi＝{o1,o2,…,ot-1}；
S4:对于Oi＝{o1,o2,…,ot-1}获取每一张光流的横向位移和纵向位移通过如下表达式计算每一张光流的强度,其中W代表横向像素，H代表纵向像素大小；
S5:对当前光流oi获取当前光流下的平均像素强度其表达式如下所示：
S6:采用作用加权函数对每张光流oi进行加权赋值，其赋值表达是如下所示：
S7:重复S3-S6对每一个视频片段集进行光流处理加权，可以获取每一个视频集合Vi所对应的光流加权集合ωi；
S8:定义三支阈值(α,β)通过对ωi集合进行分支筛选，其规则定义为：
当时，光流oi划分为NEG(α,β)(O)域集；
当时，光流oi划分为BND(α,β)(O)域集；
当时，光流oi划分为POS(α,β)(O)域集；
S9:根据光流分支规则获取视频片段集,其规则定义为:
当oi∈POS(α,β)(O)时,视频片段vi+1被定义为vi+1∈POS(α,β)(V)；
当oi∈BND(α,β)(O)时,视频片段vi+1被定义为vi+1∈BND(α,β)(V)；
当oi∈NEGα(O)时,视频片段vi+1被定义为vi+1∈NEG(α,β)(V)；
S10:根据光流集BND(α,β)(V)∪POS(α,β)(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V；
S11：定义收敛系数η，重复S3-S10步骤次数达到收敛系数或者NEG(α,β)(O)域集数据在自增长阈值状态下保持为0，停止迭代；
S12：获得高质量语义视频片段集,获取高质量视频片段集合V；
S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT，YT的三个平面上的视频特征值,其表达式所下所示:
S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。
本发明相对于现有技术具有以下优点：
1.本发明将粗糙集概率决策引入微表情领域，通过粗糙集进行信息决策，拓展了微表情研究新方向。
2.本发明依据光流变化权重对图片信息进行去冗余，有效压缩视频片段信息，提升信息间的语义表达。
附图说明
图1是本发明的基本流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。
如图1所示的基于三支决策和光流过滤机制的微表情压缩方法基本流程图，本发明将通过以下实施例作进一步说明。
1.以微表情CASMEII数据集作为实验数据，其中包括26个参与者，256个微表情视频文件V＝{V1,V2,V3,…V256}，微表情标签中包含开心、厌恶、恐惧、悲伤和其他5大类表情标签。并定义初始化迭代阈值η＝5，统计次数S＝0，阈值(α,β)＝(0.35,0.6)。
2.针对于视频文件V1＝{v1,v2,…,v290}，其由290张视频帧图片构成，依据光流提取规则可获取光流集合O＝{o1,o2,…,o289}，共289张光流来表示图片间的语义变化关系。
3.利用S4-S6所定义的光流加权函数对O＝{o1,o2,…,o289}进行权重计算获得光流权重集合
4.对于依据阈值(α,β)＝(0.35,0.6)进行光流过滤。
5.对ω(O)进行遍历，根据步骤S8，当时，光流oi划分为NEG(α,β)(O)域集，时划分为光流oi划分为BND(α,β)(O)域集，反之光流oi划分为POS(α,β)(O)。
6.根据步骤S9，将视频帧依据光流分类进行类别划分为POS(α,β)(V)，BND(α,β)(V)和NEG(α,β)(V)。
7.重复步骤2-6,每完成一次迭代阈值α增长0.02且S+1,直到统计次数迭代次数S≥η停止。
8.合并POS(α,β)(V)和BND(α,β)(V)并重新进行排序完成视频V1压缩为V1′＝{v1′,v2′,…,v′207}，其中v1′,v′2,…,v′207为重新排序的图片编号。
9.同理对视频V的其他视频依据步骤2-8进行过滤操作，得到新的压缩视频文件V′＝{V1′,V2′,V3′,…V′256}。
10.提取V′特征Hα,β用于分类识别，获取识别率效果在51％左右。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。
