基于机构学和肌肉模型的单视频驱动人脸情感表达仿真

基于机构学和肌肉模型的单视频驱动人脸情感表达仿真 Vo .l 16 , No. 3 第 16卷 第 3期中国图象图形学报 2011年 3月M a r. , 2011 Jou rna l of Im age and Grap h ic s ( ) 文章编号 : 1006 28961 2011 03 20449 205 中图法分类号 : TP391. 9文献标志码 : A 索引信息 :张抗 , 樊养余 , 吕国云 , 马元媛 , 王毅. 基于机构学和肌肉模型的单视频驱动人脸情感表达仿真中国图象[ J ]. ( ) 图形学报 , 2011 , 16 3 : 449 2453 基于机构学和肌肉模型的单视频驱动人脸 情感表达仿真 张抗 , 樊养余 , 吕国云 , 马元媛 , 王毅 ()西北工业大学电子信息学院 ,西安 710072 摘 要 : 描述一种 3 维人脸模型的单视频驱动方法 。该方法在传统肌肉模型的基础上 ,根据嘴部运动特性采用机构学原理建立嘴部运动控制模型 ,通过视频图像序列跟踪得到特征点的运动规律曲线 ,进而驱动眼部 、嘴部及面部 其他部分的网格点运动 ,产生具有真实感的面部表情动作。仿真结果表明 ,采用此方法可以得到逼真的人脸表情 模拟动画 。 关键词 : 机构学 ; 肌肉模型 ; 情感表达 ; 人脸仿真 D r ive fa c ia l an im a t ion by u s in g s in g le v ideo ba sed on the m echan ism theory an d m u sc le m ode l Zhang Kang, Fan Yangyu, L üGuoyun, M a Yuanyuan, W ang Yi( )Institu te of E lectron ic Inform a tion Eng ineering, N orthw estern Poly techn ica l U n iversity, X i’an 710072 Ch ina A b stra c t: A m e thod to d rive 3D fac ia l mode l u sing single video wa s p re sen ted. B a sed on the movem en t cha rac te ristic s, the mou th wa s con tro lled by u sing a m echan ism mode l. The mo tion trace of the fea tu re po in ts wa s acqu ired by track ing video im age sequence. Then we d rive the grid node s on the fac ia l mode l to ob ta in a rea listic fac ia l an im a tion. The re su lts show tha t th is m e thod cou ld sim u la te the fac ia l movem en ts and exp re ssion s ve ry we ll. Keyword s: theo ry of m echan ism; m u sc le mode l; exp re ssing fee lings; face em u la tion [ 1 ] 自从 1974年 Pa rke首次采用多边形网格模型 建立虚拟人脸 ,实现了一种基于参数的人脸模型以 言0 引来 , 研究人员在该领域进行了大量的研究工作 : [ 2 ]W a te rs提出了一种物理肌肉模型 , 采用多边形网 人脸表情是人类情感传递的一个重要途径 ,是格进行近似抽象的肌肉控制 ,通过计算某一点的角 人类进行相互交流的基础。3 维人脸建模和表情仿 位移和径向位移控制网格点伸缩 ,取得了良好的效 [ 3 ] 真一直是计算机图形学领域研究的热点和难点问 果 ; L ee等人 提出了基于解剖学的多层人脸物理 (模型 ,将人脸模型分为皮肤层 包括表皮 、真皮、皮 题 ,具有真实感的 3维人脸动画在人机交互、影视广 ) 下组织和筋膜 、肌肉层和骨骼层 ,通过计算影响人 告、游戏制作、视频会议等方面都有广泛的应用 。因 脸运动中的多种力 ,驱动模型运动 ,该模型的运动真 此 ,对于人脸表情的研究具有重要的理论意义和实 际应用价值 。 收稿日期 : 2009 206 208;修回日期 : 2009 208 230 ( )( ) 基金项目 :国家高技术研究发展 863 项目 2007AA01 Z324 。 ( ) 第一作者简介 :张抗 1984 — ,男。西北工业大学信号与信息处理专业硕士研究生 , 主要研究方向为虚拟现实、图像处 理、模式识别。E2m a il: m4 2szk@ 163. com。 实感较好 , 但计算量较大 , 难以满足实时性要求 ;,可以将肌肉与肌肉被拉伸或压缩方向之间的关系 [ 4 25 ] P igh in等人 提出了一个基于图像的真实感人脸 (分为窄线性肌 提上唇肌 ,颧大肌 ,笑肌 ,降口角肌 ,建模和动画系统 ,该系统通过不同角度的人脸图像 ) () () 咬肌 、括约肌 口轮匝肌 、宽线性肌 降下唇肌 , 和一个一般人脸模型交互地建立特定的人脸几何模 其中加入一个虚拟肌肉 ———上唇方肌 ,它和提上唇 型 ,然后再通过各个角度的图像合成该几何模型的 肌共同作用于上提嘴唇的动作。 纹理 ,人脸动画通过关键帧技术实现人脸模型在 3 [ 6 ] 1. 1. 1 窄线性肌模拟维空间上的变形 ; 姜大龙等人 通过改进 M PEG24 窄线性肌又称为向量肌 ,即此种肌肉可用一个 中已知 FA P值和 FaceD efTab le s,计算 FA P控制区内 点的坐标的算法 ,实现了一种以 FA P作为驱动参数 向量表示。根据解剖学原理 ,线性肌的起点固定 ,附 [ 7 ] 的 3 维人脸动画 ;张青山等人 通过将人脸模型划 着在骨头上 ,止点嵌入皮肤下层 ,随着肌肉收缩向起分为若干个运动相对独立的功能区 ,利用基于加权 点方向运动 。图 1 表示了 2维空间中的线性肌矢量 ( 狄 里 克 利 自 由 变 形 D FFD D irich le t free2fo rm 模型。 )defo rm a tion和刚体运动模拟的混合技术模拟功能 区的运动 ,同时 ,通过交叉的运动控制点模拟功能区 之间运动的相互影响 ,实现了一种具有高度真实感 和良好计算性能的人脸动画仿真算法 ; 孔德慧等 [ 8 ]人 通过采用参数模型和肌肉模型相结合的方法 控制模型网格点的变化 ,生成人脸动画 ,同时引入人 脸功能区的划分并定义了人脸动画表 ,可以在 FA P 流的驱动下生成理想的 3维人脸动画。 以往的方法主要通过几何模型或肌肉模型来驱 图 1 线性肌示意图动人面部运动 ,只考虑了模型网格点的运动量或肌 F ig. 1 Schem a tic d iagram of the linea r m u sc le 肉的收缩量 ,对网格点的运动速度没有过多考虑 ,本 [ 9 ] 其中 v, v分别代表肌肉的起点与止点 , R和 R代 o m sf文在传统肌肉模型的基础上 ,结合机构学原理 提 表了起点和止点的衰减半径 , 扇形区域 vPP是肌 o s r出了一种新的面部动画仿真算法 ,该方法同时考虑 肉的影响区域 , 在影响区域内的任意一点 p 沿向量 了面部运动时肌肉的收缩量和各点运动速度与运动 pv朝向 v运动到 p′点 , 则oo方式。文中所述的方法已在计算机上进行了模拟 , p v o实验证明该方法建模简单 , 物理概念清楚 , 易于驱 ( )α Δ p′= p + k ××r × ×l1 g dpv 0动 ,能够模拟真实的人眼 、嘴部运动 ,具有较好的仿 d式中 , k 是肌肉弹性系数 ,= ‖pv‖ , 代表 p pvo o 真效果。 α点到起点 v的距离 , 是角度因子 , r是径向位移 og Δα衰减因子 , l 是肌肉的收缩量 , 和 r 分别定义 g 如下 α π( )α2 = co s ×g θ 2 1 3 维人脸动画模型θ α此处 是矢量 pv 与 v v 间的夹角 , 是影响区域o o m 的边界矢量与 vv之间的夹角 。pv越靠近扇形区 o m o 1. 1 肌肉模型( ) α v P , v P , 值越小 , pv 越靠近肌肉矢域边界 o r o s g o 肌 肉 模 型 根 据 人 体 解 剖 学 原 理 , 最 初 由 α vv, 值越大。量o m g[ 1 ]W a te rs提出 ,采用多边形网格进行近似抽象的肌 dπpv o co s ×d? R 肉控制 ,通过计算某一点的角位移和径向位移控制 pvs1 - o 2 R s网格点伸缩 ,取得了良好的效果 。人面部肌肉主要 ( )r = 3 - Rd spv πo 包括提上唇肌、颧大肌 、笑肌、颈阔肌 、降口角肌、颏 co s R < d ? Rs pvf ×o R- R2 f s肌、降下唇肌、咬肌、口轮匝肌和颊肌 ,其中 7种对面 在扇形控制区域 vPP内 , 当 p ?vPP时 , 径 o s ro m n部表情影响较大 ,分别为提上唇肌、颧大肌、笑肌、降 向位移因子 r随 d 的增大由 0开始逐渐增大 , 当 pp v口角肌、降下唇肌 、咬肌和口轮匝肌 。根据肌肉神经 o 451 第 3期张抗等 :基于机构学和肌肉模型的单视频驱动人脸情感表达仿真 () 点位于弧线 PP附近 d= R时 , r达到最大 , m np vs o 当 p?PPPP时 , r随 m s r n d的增大逐渐减小 , 在弧 2 单视频驱动人脸的情感表达p v o 线 PP附近减小到 0。 s r 根据解剖学及大量视频序列的 , 面部肌肉 1. 1. 2 宽线性肌及括约肌的模拟 宽线性肌 , 括约肌的模拟与窄线性肌模拟类似 , 运动和眼部肌肉运动是两个相对独立的运动 , 故分 见参考文献 [ 10 ]。 别驱动面部肌肉和眼部肌肉的运动 , 可以获得逼真 1. 2 机构模型的人脸情感表达。 由于真实人嘴部张合运动并不是简单的匀速圆 2. 1 坐标系及特征点选取与跟踪周运动而是一个变角速度的转动 , 故当虚拟人嘴部 在视频截取的人面部头像中 , 以人物的鼻尖为 张合的时候 , 可以用空间杆机构模拟。 基准 , 建立局部坐标系 X ′Y ′Z ′, 水平方向为 X 轴 , 垂 图 2 所示的摆杆机构运动简图 , 其中 OA 模拟 直方向为 Y轴 , Z 轴垂直于 XO Y平面向外 , 3个轴方 α虚拟人的上颚 , OB 为下颚 , 为虚拟人嘴部张开最 向符合右手法则。 β大的角度 , 为当前嘴部张开角度 , B C 为空间假想 结合 M PEG24 中 84 个 FD P 特征点 , 经过考虑 杆且围绕 C 点旋转 , 易知当 B C 旋转到与 PC 重合 选取其中各个感情表达影响较大的 14 个特征点 Pi αβ 时 , 虚拟人嘴部为闭合状态 , 当 = 2为嘴部所能 ( ) 1 ?i?10 , 分别为上嘴唇点 P, 下嘴唇点 P, 左 1 2 π张开的最大角度。由于转动杆 B C 以周期为 2做 () () ()右 嘴角点PP, 左 右 上眼皮点 PP, 左 右 3 4 5 6 θω圆周运动 , 故考虑一个周期 。在 t时刻 , =t , 由 ()() 2 下眼皮点P P , 左 右 眼角的点 PP , 左 右 眉7 8 9 10 毛的中点 余旋定理 () P P , 左 右 眉毛的外角点P , 如P 11 12 13 14 图 3。 2 2 π OB ′= OC+ B C- 2 ×OC ×B C ×co s α θ - +2 2 ( )4 2 2 2 OB ′+ O C- B C ( )θ= a rcco s 则5 1 2 ×OB ′×O C β α θ( )= - 6 1 对于人嘴部非连续的张合运动 , 可根据FD P特 征点取上下嘴皮中央的点 , 对这两点进行跟踪 , 以它 们的距离为纵坐标 , 时间为横坐标 , 进行曲线拟合 , 然后归一化 。对曲线求导 , 当导数符号改变的时候 ωω ω假想杆的角速度 取 - , 嘴部张合的速度由 大 小控制。 图 3 人脸取点示意图 F ig. 3 Face take po in t d iagram 接下来对一段人脸视频逐帧截取图像 , 跟踪每 ( )一帧图像中的特征点 P1 ?i?14 在坐标系 X ′Y ′Z ′ i 中的 平 面 X ′O ′Y ′中 的 坐 标 值 , 第 j 帧 特 征 点 图 2 空间杆机构模型( )( ) P1 ?i?14 的坐标值为 p1 ?i?14, 1 ?j?n , i ij F ig. 2 Sp ace2ba r linkage mode l 其中 n 为图像总帧数 。以视频段中的第 1 帧的无表 情标准视频为基准 , 其余帧相对第一帧特征点的位 对于人嘴部连续的张合运动 , 模型更加简单 , 只移为 d= p- p。特别的 , 对于 PP, PP, PP这 ij ij i0 1 2 5 7 6 8 ω ω 需给定一个假想转动杆的角速度 , 本实验取 = 3对特征点 , 取 A= | p- p| , A= | p- p| , A=1 j 1 j 2 j 2 j 5 j 7 j 3 j 2 ( ) | p- p| , 令 B= | A- A| 1 ?m ?3 最后分别 6 j 8 j m j m j m 1 π 可以较逼真地模拟虚拟人嘴部连续的张合 3 对 d和 B归一化 , 得到 d′, B′。 ijm jij mj 运动。 2. 2 生成感情表达曲线 ( ) 在得 到 了 d ′1 ? i ? 14, 1 ? j ? n , 及 ij ( )B′1 ?m ?3, 1 ?j?n 后 , 以帧数 j为横坐标 , B ′为 mj mj 纵坐标 , 描绘出这些离散点集的分布图 , 进而使 用最 小 二 乘 法 进 行 曲 线 拟 合 , 得 到 3 条 曲 线 ( ) l1 ?m ?3 , 这 3 条曲线分别驱动嘴部张合运动 m 和左右眼部的张闭运动 。 第 j 帧 嘴 角 和 眼 角 特 征 点 的 归 一 化 位 移 ( ) 为 d′i = 3, 4, 9, 10, 1 ?j?n , ij α βγ d′+×d′+×d′+×d′ 3j 4j 9j 10 jβα 令 F= , 其中 ,,j 4 γ为加权系数。 类似的 , 以帧数 j为横坐标 , F为纵坐标 , 得到 j 曲线 l用以驱动人脸面部肌肉运动。 4 同理 , 第 j帧左右眉毛中间特征点的归一化位 ( ) 移分别为 d′, d′, d′, d′其中 1 ?j?n , 对 d′, 11 j 12 j 13 j 14 j11 j d′, d′, d′进行加权处理然后曲线拟合得到曲线 l12 j 13 j 14 j5 以驱动人眼部周围肌肉运动。 最终 , 用上述 5 条曲线驱动真实感人脸的情感 表达 , 得到与视频序列基本一致的图像序列。 3 仿真结果 为了验证上述方法的有效性 , 在 PC 机上进行 了模拟 , 操作系统为 W indow sXP, 所用编程软件为 V S2005 ,驱动视频为一段 6. 24 s的大笑视频 , 系统 4 结论模型采用了机构模型和 W a te rs肌肉模型相结合的 方式进行模拟。表 1为每隔 5帧采样嘴唇中间距离 描述了一种基于机构学和肌肉模型的单视频驱跟踪后处理结果。 动人脸情感表达的方法 , 该方法基于传统的肌肉模 型并结合机构学原理进行人面部运动的模拟 , 面部 肌肉分别由提上唇肌、颧大肌 、笑肌 、降口角肌、降下 表 1 部分采样数据示例表唇肌等 7条肌肉控制 , 嘴部张合运动由机构模型进 Ta b. 1 Exam p le s of som e of the sam p l in g da ta ta b le Δ行模拟 , 通过控制肌肉的收缩量 l, 和摆杆机构转 i 1 6 11 16 21 帧号ω 动杆运动角速度 , 控制面部各点的位移量与嘴部 的张合运动 , 实现人面部运动的模拟。通过对视频 B 0 1 69 93 96 m j 中人头像上特征点 P的跟踪 , 可以生成 4 条曲线 , B ′i mj0 0. 010 3 0. 711 3 0. 958 8 0. 989 7 从而实现单视频驱动人面部情感的表达。 该方法已经在计算机上进行模拟 , 从实验结果 图 4 为一副面部情感表达曲线图 , 图 5 为嘴部可以看到 , 通过传递 16 ×5 个多项式系数就可以比 张合曲线 , 所用的拟合函数为 15阶多项式进行曲线 较完美的对真实视频进行模拟。特别地 , 对嘴部张 拟合 , 出现函数小于 0 或大于 1 的情况令函数值为 合进行模拟时 , 由于使用机构模型 , 使得表情更加逼 β γα 0 和 1。面部感情表达曲线加权系数 = 1, = 。 真 , 无呆滞感。 图 6 为对驱动视频前 30 帧共 6 幅图像视频仿真结 果 , 真实视频和仿真结果上下对应。 453 第 3期张抗等 :基于机构学和肌肉模型的单视频驱动人脸情感表达仿真 图 6 仿真结果 F ig. 6 Sim u la tion re su lts [ 6 ] L i Zh iguo, J iang D a long, Gao W en, et a l. A n au tom atic 更细腻的情感表达 , 如跟踪更多的特征点 , 对情 M PEG24 ba sed arb itra ry topo logy 3D fac ial an im a tion system [ J ]. 感表达曲线进行更好的综合 , 将是下一步研究的重 Jou rna l of Comp u te r2A ided D e sign & Comp u te r Grap h ic s, 2003 , 点。随着计算机技术的发展和虚拟人脸技术研究的 ( ) 15 07 : 863 2869. [李治国 ,姜大龙 ,高文 ,等. 全自动的基于 深入 , 真实感人脸运动及情感表达必将有着更加广 M PEG24 的任意拓扑结构人脸动画 [ J ]. 计算机辅助设计与 阔的发展前景。 ( ) 图形学学报 , 2003 , 15 07 : 863 2869. ] Zhang Q ingshan, Chen Guo liang. R ea listic th ree2d im en sion [ 7 ] ( ) fac ia l an im a tion [ J ]. Jou rna l of Software, 2003 , 14 03 : 643 2 参考文献 ( Referen ce s)650. [张青山 ,陈国良. 具有真实感的三维人脸动画 [ J ]. 软 ( ) 件学报 , 2003 , 14 03 : 643 2650. ] J iang X iufeng, Pu X iao rong, Zhang Yi. R ea liza tion of 3 2D facia l [ 1 ] Pa rke F . I Comp u te r Gene rated A n im a tion of Faces [ D ]. Sa lt [ 8 ] an im a tion ba sed on M PEG24 [ J ]. Jou rna l of U n iversity of L ake C ity: U n ive rsity of U tah, 1972. ( ) E lectron ic Sc ience and Techno logy of Ch ina, 2007 , 36 3 : 569 2 W ate rs K. A m u scle mode l fo r an im a tion th ree2d im en sional fac ia l [ 2 ] 572. [蒋秀凤 ,蒲晓蓉 ,章毅. 基于 M PEG24 的三维人脸动画 ( ) exp ression s[ J ]. Comp u te r Grap h ic s, 1987 , 21 4 : 17 224. ( ) [ J ]. 电子科技大学学报 , 2007 , 36 3 : 569 2572. ] L ee Y C, Te rzopou lo s D , W a ters K. R ea listic modeling fo r fac ia l [ 3 ] Sun H uan, Chen Zuomo, Ge W en jie. Theo ry of M echan ism s an im a tion [ C ] / / P roceed ings of the S IGGRA PH ’95. Lo s [ 9 ] [M ]. 5 th ed. B e ijing: H ighe r Educa tion P re ss, 1996: 137 2 A nge le s, U SA: ACM P re ss, 1995: 55 262. 186. [ 孙桓 ,陈作模 ,葛文杰. 机械原理 [M ]. 第五版. 北京 : P igh in F, H ecke r J , L isch in sk i D , e t a l. Syn the sizing realistic [ 4 ] 高等教育出版社 , 1996: 137 2186. ] fac ia l exp re ssion s from p ho tograp h s [ C ] / / P roceed ings of the Zeng D an, Cheng Yim in, Ge Sh im ing, et a l. 3D m u sc le2 S IGGRA PH ’98. Lo s A nge le s, U SA: ACM P re ss, 1998: 75 284. [ 10 ] con tro lled eye model [ J ]. Jou rna l of Comp u ter2A ided D e sign & Jo sh i P, Tien W C, D e sb run M , et al. L ea rn ing con tro ls fo r [ 5 ] ( ) Comp u ter Grap h ics, 2006 , 18 11 : 1710 21716. [ 曾丹 , 程义 b lend shap e ba sed rea listic fac ial an im a tion [ C ] / / P roceed ings of 民 , 葛仕明 , 等. 人眼 3D 肌肉模型控制 [ J ]. 计算机辅助设 the ACM S IGGRA PH Sympo sium on Comp u te r A n im a tion. Lo s ( ) 计与图形学学报 , 2006 , 18 11 : 1710 21716. ] A nge le s, U SA: Eu rograp h ic s A ssoc, 2003: 35 242.