人脸肌肉模型的单视频驱动

系 统 仿 真 学 报 Vol. 15 No. 9 JOURNAL OF SYSTEM SIMULATION Sept. 2003 • 1268 • 人脸肌肉模型的单视频驱动 段 鸿, 王以孝, 程义民, 蔡尚书 （中国科学技术大学电子科学与技术系，合肥 230026） 摘 要 : 描述了一种肌肉人脸模型单视频驱动的方法。与传统的通过多视频来驱动人脸模型的方法 不同，该方法通过跟踪特定的人脸控制点的位移，来求取人脸肌肉的运动参数，进而求得肌肉模型 中所有节点的位移，从而实现以单视频驱动基于肌肉原理的人脸模型。采用此方法我们得到了逼真 的情和口型模拟动画。 关键词: 肌肉模型；人脸表情；MPEG4；单视频 文章编号：1004-731X (2003) 09-1268-04 中图分类号：TP391.9 文献标识码：A Drive Muscle Face Model Using Single Video DUAN Hong, WANG Yi-xiao, CHENG Yi-min, CAI Shang-shu (Department of Electronic Science &Technology, University of Science &Technology of China, Hefei 230026, China) Abstract: The paper presents a method to drive muscle-based facial model using single video. Compared with other conventional methods which drive facial model by using multi-view video sequences, this method first gets moving parameters of facial muscle by tracking specific control nodes on human face, then displacements of all nodes are gotten on facial model. In this way we can drive muscle-based facial model only using single video. We have gotten realistic human expressions and mouth shape by this method. Keywords: muscle model; face expressions; mpeg4; single video 引 言1 提取真实人脸的运动特征，建立具有表情形象的三维人 脸动画，一直是计算机图形学领域一个具有挑战性的课题， 相关技术可以用在虚拟人物，电影/动画制作，远程教 学等诸多方面。 从 1974年Parke完成了第一个参数化的人脸模型[2]之后, 这方面的研究取得了很大的进步，如 Taro Goto等人采用的 语音和图象结合的方法[3]，Kouadio 等人采用的使用表情库 匹配的方法[4]，Gregor A.Kalberer[5] 等人使用语音驱动的方 法，Chen Lin等人采用多视频跟踪的方法[6]等等。但是这些 技术常需要配备相当精密的相关设备或者经过相当复杂的 运算，如 Taro Goto的方法需要配置两台保持完全同步的摄 像机及语音设备，Gregor A.Kalberer的方法需要经过非常复 杂的运算。这些给方法的应用带来了一定的困难。 1987年，Keith Waters就提出了一种肌肉人脸模型，使 获取逼真的模拟人脸成为可能。 MPEG4是基于对象的多媒体压缩,它对人脸对象也 定义了相应的控制标准 [7-8]，即通过 FDP（Face Define Parameters），FAP（Face Animation Parameters）两个参数对 人脸视频图象进行控制。我们研究了MPEG4中定义的人脸 收稿日期: 2002-08-04 修回日期：2003-02-28 作者简介：段 鸿(1976-), 男, 云南腾冲人, 博士生, 研究方向为计算机 视觉, 图像处理, 多媒体技术; 程义民 (1945-), 男, 教授, 博导, 研究方 向为计算机视觉, 图像处理, 深度图像; 王以孝(1946-), 男, 副教授, 研究方向为计算机视觉, 图像处理, 视频多媒体技术; 蔡尚书 (1980-), 男, 硕士生, 研究方向为计算机视觉, 图像处理, 三维物体建模。 特征点，给出较少的与人脸肌肉运动相关的特征点作为控制 点。跟踪这些控制点可实现单视频驱动人脸肌肉模型。 该方法已在一台 PIII800 PC机上进行了模拟，获得较逼 真的具有表情的人脸序列图象。 1 肌肉模型和 MPEG4 参数 1.1 waters肌肉模型 人脸的运动，从解剖学角度来看，是由面部各部分肌肉 协同变形的结果。如果根据肌肉的物理特性，对面部的各个 区域进行收缩/扩张控制,就能以较少的控制参数得到较好的 面部运动和逼真的表情。Keith Waters给出的人脸肌肉模型 使得上述目标成为可能。 在Waters模型[1]中，选取了 18个向量作为面部肌肉（主 面颊肌，内外额肌等）的模拟。通过肌肉的收缩/扩张变形 使得附着在肌肉上面的面部各点也产生位移。对于第i根肌 肉影响区域内的面部点 jP ，其变形时的位移 jiPD 常可表示为 [详见式（3）（4）]： ),,,,,( iijiji lHPADKfP D=D , ( mNiNj ££££ 1;1 ) (1) 其中, N 为面部点的总数； mN 为面部肌肉的总数； if 是 以 ilD 为变量的一次线性函数；K为与肌肉相关的弹性系数； D , A分别为与 jP 点坐标相关的距离和角度因子； jP 为 jP 点 在未变形状态下的矢量表示； iH 为第 i根肌肉附着在头骨 上点的矢量表示； ilD 为第 i根肌肉运动参数.模型通过这些 点 jP 的运动产生面部各器官的运动及各种表情。 Vol. 15 No. 9 Sept. 2003 段 鸿, 等：人脸肌肉模型的单视频驱动 • 1269 • 由式（1）知，为了求得面部点 jP 的位移矢量，需要知 道相应的肌肉运动参数 ilD 。如何从视频序列中求取这些参 数就成为视频驱动人脸运动及表情必须解决的问题。 1.2 MPEG4参数 MPEG4中定义了面向人脸对象子协议[7-8]。其中定义的 FDP（人脸定义参数），提供了人脸特征点、网格、纹理、 人脸动画定义表等数据，借助于这些数据可以把一个一般人 脸模型转化为特定人脸模型。FDP中包含人脸面部 84个特 征点的位置信息。 FDP 参数在 MPEG-4 视频流中通常只需要在序列开头 传送一次。视频的后续帧则是根据面部运动参数 FAP（人脸 动画参数）序列产生的。FAP 包含 FDP 中大部分特征点的 位移量，由于某些特征点位移之间具有相关性，所以在 MPEG4中只定义了 64个 FAP参数。 如果能够从视频序列中有效的获取特征点的位移量，就 可以得到 FAP参数序列，继而对模型进行驱动。 1.3 控制点的选取及肌肉运动参数的确定 对于未变形状态下的固定人脸模型，其面部任意点 jP 的坐标 jP 是固定值。在式（1）中，与 jP 相关的 D,A 也都 是固定值，所以对于第 i 根肌肉，可以由式（1）得到其肌 肉运动参数 ilÄ 可表示为[详见式（13）（14）]： ilÄ = ),,,,,( jiiji PHPADKg D (2) 这样，我们就可以通过一个特征点的位移获得第 i 根 肌肉的运动参数。通常，对于同一线性肌肉，运动参数 ilD 就 确定了其影响区域内所有点的位移。 为了减少计算损耗，同时保证较好的效果，可以从 MPEG4所定义的 84个特征点中，选出一定量与肌肉模型紧 密结合的特征点，称为控制点，采取标注的方法来跟踪正面 视频中所选的控制点的位移，进而求得相应肌肉运动参数。 经过实验，我们选用最多 32个特征点作为控制点（可 根据跟踪需要取舍），就可获得比较好的效果。 2 肌肉运动的基本原理 人脸部的肌肉主要分为两类[9]：一类对面部区域的影响 是线性的，如主颊肌，嘴角压肌等，称为线性肌。另一类对 面部区域的影响则是发散性的，如眼眶轮廓肌,称为括约肌。 2.1 线性肌 线性肌肉一端附着在骨头上，另一端嵌入皮下，通过向 附着在骨头一端的收缩/扩 张来控制一个锥形体内所 有点的运动。图 1给出其二 维截面示意图。 T为肌肉皮下嵌入点， H 为肌肉的头骨附着点。 fR 表示最大距离影响半 径， sR表示最小距离影响半径，b表示角度影响范围，超出 2 b范围的点可以认为不受肌肉的影响，α表示直线 jHP与中 心线HT的夹角.线性肌 i控制区域（ 21PHP ）内的任意点 jP 受到线性肌 i 收缩的影响，产生 jiPÄ 的位移而移动到点 'jP 。 点 jP 的位移大小，与两个因素有关，一个是与 H 点， 即肌肉在骨上附着点的距离，另外一个是与中轴HT的夹角 α大小。线性肌两头细，中间粗，考虑距离因素的影响，其 作用效果是：在截面的扇形区域 21PHP 内，弧 21PP 附近和点H 附近位移为零，在区域中某一位置达到峰值。位移的大小随 点的位置从弧线 21PP 开始逐渐增大，增至峰值，然后逐渐减 小，到点H附近减为零。 受角度因素的影响，位移的大小随点位置变化，从靠 近直线 1HP（α= b）到直线 HT （α= 0），位移从零到最 大。从直线HT （α= 0）到直线 2HP（α= - b），位移从最 大变为零。 我们以人脸模型的鼻尖作为坐标原点，水平方向作为 X 轴，垂直方向作为 Y轴，Z轴通过原点且与 XOY平面垂直， 以从人脸指向外作为 Z轴正方建立坐标系。 位于第 i 根线性肌锥形控制区域 21PHP 的任意面部点 jP ，在肌肉收缩量影响下 x ，y方向的位移常可表示如下[1]： jixÄ = )Ä,,,,,( lxxADKf iHji = blxADKa iHiPj +´´´´´ Ä (3) jiyÄ = )Ä,,,,,( lyyADKf iHji = blyADKa iHiPj +´´´´´ Ä (4) 其中 K 为肌肉弹性系数，为常数，D 为距离因子，A 为角度因子, ilÄ 为肌肉收缩量， HiPjx ， HiPjy 是向量 jiPH 的 x , y分量， jx ， jy 为 jP 的 x , y 分量。a , b为与肌肉 相关的常量，常可由实验确定。 对于一个固定点 jP ，D， A都是固定值， if 常为 ilÄ 的 一次线性函数。 考虑到距离对位移的影响，可定义D为： ÷ ø ö ç è æ × - -= 2 cos p sf sHP RR RDD (5) 其中 HPD 是 H点到 jP 点的距离。在 4321 PPPP 的扇形子区 域内，当 fHP RD = 时， 0=D ， sHP RD = 时， 1=D 为最大值。在 扇形区域 43PHP 内的点，由于 sHP RD < ，则越接近 H点，D 越小。当 sR 较小时， 0»- sHP RD ，这时，可取 »D 1. 角度因子 A可以表示为： ÷ ø ö ç è æ ×= 2 cos pb aA (6) 当α= 0时，A = 1为最大值，α b±= 时，A = 0为最小 值。 以上只给出 x，y方向的位移关系式，z方向位移关系与 之类似，这里不再列出。 当脸部区域点，其位移受到不止一根肌肉的影响时，总 位移可为各肌肉影响的线性代数和： Vol. 15 No. 9 系 统 仿 真 学 报 Sept. 2003 • 1270 • ),,(Ä zyxPj = å i jiPÄ ,（ i = 0,…, pN ） (7) pN 为 jP 点周围可以对之施加影响的肌肉总数。 2.2 括约肌 括约肌对面部的影响范围是以控制点为中心的一个圆 形或者椭圆形区域。这种影响可以认为是随着半径的增加而 成线性衰减的，此时，由于角度因素的影响较小，常可以不 予考虑。其影响区域内任一点 jP , x , y方向位移可表示为: )Ä,,,,(Ä lxxDKfx Hjiji = = blxDKa iHP +´´´´ Ä (8) )Ä,,,,(Ä lyyDKfy Hjiji = = blyDKa iHP +´´´´ Ä (9) 式中参数与式（4）（5）相同，类似于线性肌，括约肌 控制区域为一椭球，其截面为一椭圆或者类圆。考虑类圆的 情况，相对于图 1，H在 类圆中心， 21PP 扩展为一 类圆封闭曲线， 43PP 也扩 展为一类圆曲线，图 2是 括约肌在二维平面上以 (0,0)为控制点，对周围区 域影响的模拟结果。 3 从控制点位移计算肌肉运动参数 3.1 坐标系及控制点位移计算 在人脸正面像中，以被摄取者的 鼻尖作为坐标原点，水平方向作为 X 轴，垂直方向作为 Y轴，Z轴通过原 点且与 XOY平面垂直，以从人脸指 向外作为 Z轴正方向。坐标系可随着 人脸一起运动。 由于人脸上的特征点运动的相 关性，我们从 MPEG4相应的 84个 特征点中，选出 32个点作为控制点（如图 3所示）。通过对 控制点的跟踪，可求得面部 22根主要肌肉的运动参数。 可先拍摄一幅被摄取者的平静无表情的人脸照片作为 基准人脸求得每一控制点的坐标 jP （ cNj££1 ）。这样，从视 频序列的任一帧均可求得相应控制点的坐标 'jP 。当摄像机 距离相对较远时，就可以得到相应的位移在图象平面的正则 投影： jiPÄ = jP － 'jP = }{ 'Ä,'Ä jiji yx ，即相应控制点在 x,y方 向位移量的正则投影。 在控制点中，有三个相对位置不变的点（鼻尖，及两个 内眼角点），组成一等腰三角形。可由当前帧内该三角形相 对于基准人脸中该三角形的形变，将 }{ 'Ä,'Ä jiji yx 修正为控 制点位移 }{ jiji yx Ä,Ä 。当人脸左右旋转或者俯仰角度较小 时，可取 }{ jiji yx Ä,Ä ≈ }{ 'Ä,'Ä jiji yx 。 3.2 数据的比例变换 由于视频图象中人脸与模型中人脸大小不同，从视频图 象中获取的位移量不能直接用于肌肉模型计算，需要一定的 比例转换。 对于每一个模型，MPEG4都定义了 6个 FAPU[7]（Face Animation Parameter Units）参数：IRISD，ES，ENS，MNS， MW，AU。它们与模型有关，如 MNS 和MW 的定义如下： 1024/0MNSMNS = 1024/0MWMW = 其中 MNS0 为嘴唇中点到人中的距离，MW0为模型中嘴唇 的宽度。 由基准人脸照片可以求得一个 FAPU集合OFAPU，对于 每一个控制点都有相应的 mOFAPU （ 61 ££m ）与之对应。从 视频获得的任一控制点位移 }{ jiji yx Ä,Ä ，可通过下式计算： jiuD ＝ kji OFAPUx /D (10) jivD ＝ kji OFAPUy /D (11) 变为与人脸模型大小无关的参数 jiuD ， jivD 。 从人脸肌肉模型一端也可以得到一个 FAPU 集合 MFAPU ，通过如下计算: kjiji MFAPUux ´D=D ~ kjiji MFAPUvy ´=DD ~ (12) 就可以得到适用于人脸肌肉模型计算的位移量。 3.3 计算肌肉收缩量 在得到了适用于人脸肌肉模型计算的位移量 jix~Ä jiy~Ä 之后，可根据控制点类型，计算 ilD ，如属线性肌控制，可 由式（3）或者式（4）的变换式求得肌肉收缩量。对于只受 到单根肌肉影响的区域，可以只用一个点跟踪这根肌肉的运 动，如鼻梁两边的肌肉，得到： )~Ä,,,,,(Ä jiijii xHPADKgl = = HP ji xDKa bx ´´´ -~Ä (13) 或者 )~Ä,,,,,(Ä jiijii yHPADKgl = = HP ji yDKa by ´´´ -~Ä (14) 其中各参数含义与式（3），（4）相同。 每一根肌肉对控制点的每一维位移量影响常常是不一 样的。需应该根据肌肉的实际影响情况，在（13）（14）中 选择位移量最大者来求出肌肉收缩量 ilÄ 。比如用来跟踪主 额肌的眉心控制点，y方向的位移受到主额肌的影响最大。 应选其 y方向位移量来计算其肌肉收缩量。 对于受到m根肌肉影响的区域，应求其影响的代数和。 如下式所示： ï ï ï î ï ï ï í ì = = å å = = )Ä,,,,,(Ä .... )Ä,,,,,(Ä 1 1 1 1 iimii m i m iiii m i lHPADKfx lHPADKfx (15) 图 2 扩约肌二维区域影响模拟结果 图 3 选取的面部控制点 Vol. 15 No. 9 Sept. 2003 段 鸿, 等：人脸肌肉模型的单视频驱动 • 1271 • 此处的 jxÄ 表示 m 根肌肉对第 j 控制点共同作用使之 产生的某一维的位移总和。通过解上面的一次线性方程组， 即可得到 ilÄ （ mi££1 ）。 属于括约肌的控制点，其肌肉参数的计算与线性肌类 似，这里不再给出。 3.4 面部任意点位移的计算 获取了面部所有肌肉的运动参数以后，对于人脸上任一 点运动，可根据人脸肌肉模型， 通过（1）和（8）等公式求取肌肉控制的所有面部点的运 动，从而可合成能反映人脸肌肉运动的整个面部的一帧图象。 如要获得一个人脸运动序列图象，则需求得人脸每根肌 肉收缩量的序列值 { }itlÄ mi ......1= , 21~ttt= 。 表 1,2 分别给出了微笑和悲伤动作中右嘴角点位移的 跟踪结果和得出的肌肉收缩量。 表 1 一个微笑动作中右嘴角点位移的跟踪结果和计算出的肌肉收缩量 表 帧序号 0 （无表情 状态） 1 2 3 4 uÄ 0 0 12 18 18 vÄ 0 79 131 223 263 右主面 颊肌收 缩量 ilD 0 0.267 0.512 0.859 0.994 表 2 一个悲伤动作中右嘴角点位移的跟踪结果和计算出的肌肉收缩量 帧序号 0 （无表情 状态） 1 2 3 4 uÄ 0 48 66 78 108 vÄ 0 -102 -102 -132 -102 右嘴角压肌 收缩量 ilD 0 0.354 0.439 0.533 0.638 4 实验及结果 为了验证上述方法的有效性，我们在 PIII800 PC机上进 行了模拟。操作系统为 Windows2000，所用编程软件为 VC6.0。实验所用驱动视频为 AVI彩色视频图象序列。被驱 动模型采用了 Keith Waters的肌肉人脸模型。 图 4给出表情驱动模拟结果。驱动视频为 320´240AVI 彩色视频序列。所用参数为 0,1,1 === baK 。图中第一行为驱 动视频序列图象，中间行为控制点跟踪结果，第三行是驱动 人脸肌肉模型所得结果。图中前 4帧和后 5帧分别为“高兴” 和“难过”表情的模拟结果。 图 5给出模拟讲话时口型的运动参数驱动结果。图中给 出了讲“How are you”时的模拟结果。所用参数与上述实验 相同。（图 4，图 5原视频序列为彩色图象，为了印刷方便， 这里给出的是相应的灰度图象）。 5 结论 本文描述了一种肌肉人脸模型单视频驱动的方法。该方 法跟踪人脸控制点的位移，求取人脸肌肉运动参数，进而 图 4 高兴和悲伤表情序列实验结果 图 5 型运动序列实验结果 求得模型所有面部点的位移，从而实现肌肉人脸模型的单视 频驱动。 该方法只用一个正面视频，就可实现对人脸模型的驱 动。与传统的双视频或多视频驱动相比，方法简单，所需设 备较少，便于推广使用。在驱动过程中，只需传输运动参数 序列，所需数据量较小，便于网上传输。同时也便于驱动数 据的存储和进一步处理。 从实验可见，用此方法可以模拟得到较为逼真的表情 和口型，便于语音的同步。 该方法若用于视频中人脸转动或俯仰角度不大时，处 理速度更快，可以得到更好的效果。比较适宜用于虚拟主持 人及远程教学中的虚拟教师。 参考文献: [1] Waters K. A muscle model for animation three-dimensional facial expression [J]. Computer Graphics, 1987, 21(4): 17-24. [2] Parke F I. Computer Generated Animation of Faces [D]. Master's thesis, University of Utah, Salt Lake City, UT, December 1974, UTEC-CSc-72-120. [3] Taro Goto, Sumedha Kshirsagar, Nadia Magnenat Thalmann . Automatic Face Cloning and Animation Using Real-Time Facial Feature Tracking and Speech Acquisition [C]. IEEE SIGNAL PROCESSING MAGZINE, May 2001. [4] Kouadio C, Poulin P, Lachapelle P. Real-Time Facial Animation based upon a Bank of 3D Facial Expressions [C]. Computer Animation 98 Proceedings , 1998 : 128-136. [5] Kalberer G A, Van Gool. Face Animation Based on Observed 3D Speech Dynamics [C]. Computer Animation , 2001, The Fourteenth Conference on Computer Animation Proceedings Page(s): 20-251. [6] Chen Lin. Realistic 3D facial animation parameters from mirror-reflected multi-view video [C] .Computer Animation, 2001, The Fourteenth Conference on Computer Animation, Proceedings, 2001: 2-250. [7] Moving picture experts group homepage [EB/OL]. http:// www.cselt.it/mpeg [8] ISO/IEC 14496-2/1999, Coding of Audio-Visual Objects: Visual, Amendment 1[S]. [9] Badler N I. Animating Facial Expression [J]. Proceedings Computer Graphic, 1981, 15(3): 245-252.