基于域选择迁移回归的跨数据库微表情识别方法及装置

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111259759A(43)申请公布日2020.06.09(21)申请号202010030236.5G06F16/783(2019.01)(22)申请日2020.01.13(71)申请人东南大学地址211102江苏省南京市江宁区东南大学路2号(72)发明人宗源　江星洵　郑文明　李阳　路成　唐传高　李溯南　(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204代理人冯艳芬(51)Int.Cl.G06K9/00(2006.01)G06F17/18(2006.01)G06F16/75(2019.01)G06F16/78(2019.01)权利书4页说明书9页附图1页(54)发明名称基于域选择迁移回归的跨数据库微表情识别方法及装置(57)摘要本发明公开了一种基于域选择迁移回归的跨数据库微表情识别方法及装置，包括：(1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签；(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征；(3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵；(4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。本发明准确率更高。CN111259759ACN111259759A权　利　要　求　书1/4页1.一种基于域选择迁移回归的跨数据库微表情识别方法，其特征在于该方法包括：(1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签；(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征；(3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵；其中，所述域选择迁移回归模型具体为：式中，为训练数据库的微表情类别标签，c为微表情类别数目，Ns、Nt分贝是训练数据库Xs、测试数据库Xt的微表情视频数目；分别为训练数据库、测试数据库分块操作后第i分块的人脸局部区域特征，K是分块的块数，d是各分块的特征维数；wi是第i分块的选择权重，w＝[wi|i＝1,...,K]是权重向量；||·||1是向量的1-范s数；为第i分块人脸局部区域特征与微表情类别标签L之间的关系矩阵；为Ci的转置；λ、μ和γ分别是对应约束项系数；和为元素为1的矩阵，形如表示*行·列的实数矩阵；ψ(·)表示核映射操作；(4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。2.根据权利要求1所述的基于域选择迁移回归的跨数据库微表情识别方法，其特征在于：步骤(2)具体包括：(2-1)将训练数据库和测试数据库中的每个微表情视频转换为微表情图像序列；(2-2)将所述微表情图像序列进行灰度化处理；(2-3)从灰度化处理的微表情图像序列中裁剪出矩形人脸图像并进行缩放；(2-4)利用插值和关键帧挑选算法对将所有缩放的人脸图像进行处理，得到每个微表情视频对应的相同帧数人脸图像；(2-5)将步骤(2-4)处理后的人脸图像进行分块，并提取各分块中的特征，作为人脸局部区域特征。3.根据权利要求1所述的基于域选择迁移回归的跨数据库微表情识别方法，其特征在于：步骤(2-5)中对人脸图像进行分块时，将每个人脸图像进行多次分块，每次分块时得到的分块大小不同。4.根据权利要求1所述的基于域选择迁移回归的跨数据库微表情识别方法，其特征在于：对所述域选择迁移回归模型进行学习的方法包括：(3-1)将所述域选择迁移回归模型转换为：2CN111259759A权　利　要　求　书2/4页式中,为连接人脸局部区域特征与微表情类别标签Ls之间的稀疏投影矩阵，C＝[Ci|i＝1,...,K]，P满足式(3)：ψ(C)＝[ψ(Xs),ψ(Xt)]P            式(3)与||P||1如式(4)(5)(6)(7)，其中Pi是P的第i列P＝[P1 ... Pc]                 式(7)(3-2)对转换后的域选择迁移回归模型进行求解，得到投影矩阵估计值和权重估计值5.根据权利要求4所述的基于域选择迁移回归的跨数据库微表情识别方法，其特征在于：步骤(3-2)具体包括：(3-2-1)保持w不变，更新P：A、将式(2)转换为式(8)其拉格朗日函数如式(9)：其中，表示朗格朗日乘子矩阵，κ表示稀疏约束项系数，tr[·]表示矩阵·的迹，B、对式(9)拉格朗日函数进行求解，具体包括以下步骤：I、保持P、T、κ不变，更新Q：将式(8)转化为下式(10)3CN111259759A权　利　要　求　书3/4页式(9)有闭式解如式(11)其中,I是单位矩阵；II、保持Q、T、κ不变，更新P：式(8)转化为式(12)式(12)的最优解如式(13)III、更新T和κ：按式(14)(15)更新T和κT＝T+κ(P-Q)                  式(14)κ＝min(ρκ,κmax)                式(15)其中，κmax是预设的κ的最大值，ρ是缩放系数，ρ>1；IV、检查是否收敛：检查式(16)是否收敛，若不满足，则返回执行步骤I，若满足或迭代次数大于设置值，则输出此时的矩阵P、Q、T和κ，||P-Q||∞<ε             式(16)其中，||·||∞是求数据中的最大元素，ε表示收敛阈值；(3-2-2)保持P不变，更新w：A、将式(9)转化为式(17)其中，分别是和各4CN111259759A权　利　要　求　书4/4页列顺序堆积的形成的向量，表示Ls的第i列，B、采用SLEP算法计算求解式(17)，输出w；(3-2-3)检查收敛当到达预设的最大迭代步骤，或目标函数(18)的值小于预设值时，将此时的矩阵P和w的值作为投影矩阵估计值和权重估计值输出；否则返回执行步骤(3-2-1)，6.根据权利要求1所述的基于域选择迁移回归的跨数据库微表情识别方法，其特征在于：步骤(4)具体包括：根据学习到的稀疏投影矩阵和权重由式(19)预测得到待识别微表情的情感类别：其中，由式(20)确定，xte是待识别微表情的人脸局部区域特征，lte是对待识别微表情预测的情感分类结果，wi是w的第i个元素；7.一种基于域选择迁移回归的跨数据库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6中任意一项所述的方法。5CN111259759A说　明　书1/9页基于域选择迁移回归的跨数据库微表情识别方法及装置技术领域[0001]本发明涉及图像处理，尤其涉及一种基于域选择迁移回归的跨数据库微表情识别方法及装置。背景技术[0002]微表情是人类试图隐藏或抑制内心真实情绪时，不经意间露出的面部表情，不受人主观意识的控制。微表情是检测人类隐藏情绪时重要的非语言信号，通常能够有效揭示一个人的真实心理状态，被认为是识别谎言的关键线索，对更好地理解人类情感，有着重要作用。因此，微表情的有效运用，对社会生产生活有着重要作用。在刑侦方面，经过一定微表情识别能力训练的审讯员，可以更好地识别犯罪嫌疑人的谎言；在社会治安方面，通过观察微表情可以判断潜伏在日常生活中的危险分子，防恐防暴；在临床医疗方面，通过微表情，医生更好地了解患者的真实想法，例如隐藏病情等等，从而更加有效地与患者交流，更加准确地病情，改进治疗。但是，人工识别微表情培训成本较高，难以大规模推广。因此近年来，利用计算机视觉技术和人工智能方法，进行微表情识别地需求日益增加。[0003]传统的微表情识别往往在单个微表情数据库上进行训练与测试，而在实际生活中，训练数据库与测试数据库，往往具有较大差异，例如微表情样本在类别上不平衡、样本来自不同人种等等，因而识别结果不精确。发明[0004]发明目的：本发明针对现有技术存在的问题，提供一种基于域选择迁移回归的跨数据库微表情识别方法及装置，识别准确率更高。[0005]技术方案：本发明所述的基于域选择迁移回归的跨数据库微表情识别方法包括：[0006](1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签；[0007](2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征；[0008](3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵；其中，所述域选择迁移回归模型具体为：[0009][0010]式中，为训练数据库的微表情类别标签，c为微表情类别数目，Ns、Nt分贝是训练数据库Xs、测试数据库Xt的微表情视频数目；分别为训练数据库、测试数据库分块操作后第i分块的人脸局部区域特征，K是分块的块数，d是各分块6CN111259759A说　明　书2/9页的特征维数；wi是第i分块的选择权重，w＝[wi|i＝1,...,K]是权重向量；||·||1是向量的1-范数；为第i分块人脸局部区域特征与微表情类别标签Ls之间的关系矩阵；为Ci的转置；λ、μ和γ分别是对应约束项系数；和为元素为1的矩阵，形如表示*行·列的实数矩阵；ψ(·)表示核映射操作；[0011](4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。[0012]进一步的，步骤(2)具体包括：[0013](2-1)将训练数据库和测试数据库中的每个微表情视频转换为微表情图像序列；[0014](2-2)将所述微表情图像序列进行灰度化处理；[0015](2-3)从灰度化处理的微表情图像序列中裁剪出矩形人脸图像并进行缩放；[0016](2-4)利用插值和关键帧挑选算法对将所有缩放的人脸图像进行处理，得到每个微表情视频对应的相同帧数人脸图像；[0017](2-5)将步骤(2-4)处理后的人脸图像进行分块，并提取各分块中的特征，作为人脸局部区域特征。[0018]进一步的，步骤(2-5)中对人脸图像进行分块时，将每个人脸图像进行多次分块，每次分块时得到的分块大小不同。[0019]进一步的，对所述域选择迁移回归模型进行学习的方法包括：[0020](3-1)将所述域选择迁移回归模型转换为：[0021][0022]式中,为连接人脸局部区域特征与微表情类别标签Ls之间的稀疏投影矩阵，C＝[Ci|i＝1,...,K]，P满足式(3)：[0023]ψ(C)＝[ψ(Xs),ψ(Xt)]P   式(3)[0024]与||P||1如式(4)(5)(6)(7)，其中Pi是P的第i列[0025][0026][0027][0028]P＝[P1 … Pc]   式(7)[0029](3-2)对转换后的域选择迁移回归模型进行求解，得到投影矩阵估计值和权重估计值7CN111259759A说　明　书3/9页[0030]进一步的，步骤(3-2)具体包括：[0031](3-2-1)保持w不变，更新P：[0032]A、将式(2)转换为式(8)[0033][0034]其拉格朗日函数如式(9)：[0035][0036]其中，表示朗格朗日乘子矩阵，κ表示稀疏约束项系数，tr[·]表示矩阵·的迹，[0037]B、对式(9)拉格朗日函数进行求解，具体包括以下步骤：[0038]I、保持P、T、κ不变，更新Q：[0039]将式(8)转化为下式(10)[0040][0041]式(9)有闭式解如式(11)[0042][0043]其中,I是单位矩阵；[0044]II、保持Q、T、κ不变，更新P：[0045]式(8)转化为式(12)[0046][0047]式(12)的最优解如式(13)[0048][0049]III、更新T和κ：[0050]按式(14)(15)更新T和κ[0051]T＝T+κ(P-Q)   式(14)8CN111259759A说　明　书4/9页[0052]κ＝min(ρκ,κmax)   式(15)[0053]其中，κmax是预设的κ的最大值，ρ是缩放系数，ρ>1；[0054]IV、检查是否收敛：[0055]检查式(16)是否收敛，若不满足，则返回执行步骤I，若满足或迭代次数大于设置值，则输出此时的矩阵P、Q、T和κ，[0056]||P-Q||∞<ε   式(16)[0057]其中，||·||∞是求数据中的最大元素，ε表示收敛阈值；[0058](3-2-2)保持P不变，更新w：[0059]A、将式(9)转化为式(17)[0060][0061]其中，分别是和各列顺序堆积的形成的向量，表示Ls的第i列，[0062]B、采用SLEP算法计算求解式(17)，输出w；[0063](3-2-3)检查收敛[0064]当到达预设的最大迭代步骤，或目标函数(18)的值小于预设值时，将此时的矩阵P和w的值作为投影矩阵估计值和权重估计值输出；否则返回执行步骤(3-2-1)，[0065][0066]进一步的，步骤(4)具体包括：[0067]根据学习到的稀疏投影矩阵和权重由式(19)预测得到待识别微表情的情感类别：[0068][0069]其中，由式(20)确定，xte是待识别微表情的人脸局部区域特征，lte是对待识别微表情预测的情感分类结果，wi是w的第i个元素；9CN111259759A说　明　书5/9页[0070][0071]本发明所述的基于域选择迁移回归的跨数据库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。[0072]有益效果：本发明识别准确率更高。附图说明[0073]图1是本发明提供的基于域选择迁移回归的跨数据库微表情识别方法的一个实施例的流程示意图；[0074]图2是序列图像分块的示意图。具体实施方式[0075]本实施例提供了一种基于域选择迁移回归的跨数据库微表情识别方法，如图1所示，包括以下步骤：[0076](1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签。[0077](2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征。[0078]该步骤具体包括：[0079](2-1)将训练数据库和测试数据库中的每个微表情视频转换为微表情图像序列；[0080](2-2)将所述微表情图像序列进行灰度化处理；灰度化处理采用openCV的COLOR_BGR2GRAY函数实现；[0081](2-3)从灰度化处理的微表情图像序列中裁剪出矩形人脸图像并进行缩放；其中，裁剪前先进行人脸检测，采用face_recognition的face_landmarks函数实现，对视频进行人脸图像裁剪时，所有帧按照视频第一帧检测出的人脸位置进行定位，横纵轴最小最大值分别为xmin＝x左脸颊-10，xmax＝x右脸颊+10，ymin＝x眉毛最高点-30，ymax＝y下巴,人脸图像缩放为112x112像素；[0082](2-4)利用插值和关键帧挑选算法对将所有缩放的人脸图像进行处理，得到每个微表情视频对应的相同帧数人脸图像；其中，插值利用洪晓鹏在2014在TPAMI《A Compact Representation of Visual Speech Data Using Latent Variables.》上提出的TIM时间插值方法，对每个视频选出16张人脸图像；[0083](2-5)将步骤(2-4)处理后的人脸图像进行分块，并提取各分块中的特征，作为人脸局部区域特征。分块时，将每个人脸图像进行多次分块，每次分块时得到的分块大小不同，具体如图2所示，可以分别划分为1x1块、2x2块、4x4块、8x8块，共85块。对每个块，即人脸的各个局部区域，提取特征，特征类型不作限定，可以是任意特征，例如LBP-TOP、LPQ-TOP、LBP-SIP等。[0084](3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个10CN111259759A说　明　书6/9页连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵。[0085]其中，所述域选择迁移回归模型具体为：[0086][0087]式中，为训练数据库的微表情类别标签，c为微表情类别数目，Ns、Nt分贝是训练数据库Xs、测试数据库Xt的微表情视频数目；分别为训练数据库、测试数据库分块操作后第i分块的人脸局部区域特征，K是分块的块数，d是各分块的特征维数；wi是第i分块的选择权重，w＝[wi|i＝1,...,K]是权重向量；||·||1是向量的1-范数；为第i分块人脸局部区域特征与微表情类别标签Ls之间的关系矩阵；为Ci的转置；λ、μ和γ分别是对应约束项系数；和为元素为1的矩阵，形如表示*行·列的实数矩阵；ψ(·)表示核映射操作。[0088]对所述域选择迁移回归模型进行学习的方法具体包括：[0089](3-1)将所述域选择迁移回归模型转换为：[0090][0091]式中,为连接人脸局部区域特征与微表情类别标签Ls之间的稀疏投影矩阵，C＝[Ci|i＝1,...,K]，P满足式(3)：[0092]ψ(C)＝[ψ(Xs),ψ(Xt)]P   式(3)[0093]与||P||1如式(4)(5)(6)(7)，其中Pi是P的第i列[0094][0095][0096][0097]P＝[P1 … Pc]   式(7)[0098](3-2)对转换后的域选择迁移回归模型进行求解，得到投影矩阵估计值和权重估计值求解方法为ADM(选择方向法)，具体包括：[0099](3-2-1)保持w不变，更新P：[0100]A、将式(2)可以重写为：11CN111259759A说　明　书7/9页[0101]上式可以进一步写成式(8)[0102][0103]其拉格朗日函数如式(9)：[0104][0105]其中，表示朗格朗日乘子矩阵，κ表示稀疏约束项系数，tr[·]表示矩阵·的迹，[0106]B、对式(9)拉格朗日函数进行求解，具体包括以下步骤：[0107]I、保持P、T、κ不变，更新Q：[0108]将式(8)转化为下式(10)[0109][0110]式(9)有闭式解如式(11)[0111][0112]其中,I是单位矩阵；[0113]II、保持Q、T、κ不变，更新P：[0114]式(8)转化为式(12)[0115][0116]式(12)的最优解如式(13)[0117][0118]III、更新T和κ：[0119]按式(14)(15)更新T和κ[0120]T＝T+κ(P-Q)   式(14)[0121]κ＝min(ρκ,κmax)   式(15)-8[0122]其中，κmax是预设的κ的最大值，ρ是缩放系数，ρ>1；这里，κmax设为10，ρ设为1.1。[0123]IV、检查是否收敛：12CN111259759A说　明　书8/9页[0124]检查式(16)是否收敛，若不满足，则返回执行步骤I，若满足或迭代次数大于设置值，则输出此时的矩阵P、Q、T和κ，此处最大迭代次数设为106，[0125]||P-Q||∞<ε   式(16)[0126]其中，||·||∞是求数据中的最大元素，ε表示收敛阈值；[0127](3-2-2)保持P不变，更新w：[0128]A、将式(9)转化为式(17)[0129][0130]其中，分别是和各列顺序堆积的形成的向量，表示Ls的第i列，[0131]B、采用SLEP算法计算求解式(17)，输出w；[0132](3-2-3)检查收敛[0133]当到达预设的最大迭代步骤，或目标函数(18)的值小于预设值时，将此时的矩阵P和w的值作为投影矩阵估计值和权重估计值输出；否则返回执行步骤(3-2-1)，[0134][0135]这里，最大迭代次数设为10，目标函数值设为10-7。[0136](4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。具体为：[0137]根据学习到的稀疏投影矩阵和权重由式(19)预测得到待识别微表情的情感类别：[0138][0139]其中，由式(20)确定，xte是待识别微表情的人脸局部区域特征，lte是对待识别微表情预测的情感分类结果，wi是w的第i个元素；[0140]13CN111259759A说　明　书9/9页[0141]本实施例还提供了一种基于域选择迁移回归的跨数据库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。[0142]为验证本发明的有效性，在CAME2微表情数据库和SMIC数据库的HS子数据库、VIS子数据库、NIR子数据库之间做了跨数据微表情识别，验证结果如表1所示：[0143]表1[0144]训练数据库测试数据库评价指标(meanF1/Acc)SMIC_HSSMIC_VIS0.8721/87.32SMIC_VISSMIC_HS0.6401/64.02SMIC_HSSMIC_NIR0.7466/74.65SMIC_NIRSMIC_HS0.5765/57.32SMIC_VISSMIC_NIR0.7506/76.06SMIC_NIRSMIC_VIS0.8428/84.51CASME IISMIC_HS0.5297/54.27SMIC_HSCASME II0.5622/60.77CASME IISMIC_VIS0.5882/59.15SMIC_VISCASME II0.7021/70.77CASME IISMIC_NIR0.5009/50.70SMIC_NIRCASME II0.4693/50.77[0145]其中，对CASME2数据库的表情做如下处理：将happy类别的表情归为positive，将sadness、disgust、fear类别的表情归为negative，将surprise类别的标签归为surprise。SMIC数据库本身类别为positive、negative、surprise。[0146]实验结果表明，基于本发明提出的微表情识别方法，取得了较高的跨数据库微表情识别率。14CN111259759A说　明　书　附　图1/1页图1图215