基于二维半雕刻系统的三维人脸重建

相 机 (Canon Powershot A30)同13,1-~t'~摄某人的正、侧面照片 1．2 人脸模型库 现在有很多人脸数据库，按照用途划分有用作人脸识别 、 姿念估计 、表情捕捉等，其 l}1用作人脸识别的数据库有：FERET 数据库 ，XM2VTS数据库 ” ，AR Face Dalabase ，MIT Face Database ，ORL Database ，Yale DB ” 。 这些数据库都存 在 一个问题 ，就是很少包含亚洲人脸，或者只是包含有限数蕈 的亚洲人脸。由于区域的差异，使亚洲人的脸部轮廓和欧美仃 很大的不同，相对而言，亚洲人的脸部轮廓要平缓一些。这样 如果使用现有的欧美人脸数据库分析得到的特征点模板来 配岖洲人脸就会产生很大的误差(图 1(a))，为了得到一个更 准确的特征点模板，我们需要建立 自己的亚洲人脸数据库 ，建 立了自己的人脸数据库，它包括 47个人的脸部正、侧面图像， 其中27个男生，20个女生，年龄在 20岁 ～30岁之间，全部为 中同人 ： 对模型库中的人脸数据信息进行处理得到一个针对特定 年龄特定区域(20岁 ～30岁，中国人)的人脸特征点模板。对 数据库图片分析的过程采用线性迭代模板优化分析法，初始的 模板数据采用现有的欧洲人脸的数据，每分析完一组图片后便 将该数据与前面的数据做条件相加作为新的模板数据。具体 的提取特征点信息的过程和接下来介绍的对特定人脸提取特 维普资讯 http://www.cqvip.com · 166· 计算机应用研究 2005年 征点的过程是 一样的，将在 卜文中详细介绍。实验表明，女l】图 l所示，与使用欧洲人脸模型相比，使用此模型库分析得到的 特征点模板，正面特征点 自动提取的准确率有了大幅度 的提 高： 2 人脸特征点的 自动提取 很多研究者致力于正曲特征点的提取 作，也有少蕈的研 究如何从侧面图像提取出持征点，很少有可以高效地将止、侧 面提取持征点相结合的自动的方法 本文研究的重点之一就 足如何利用模板匹配和正、侧向图像之问的内部约束关系米 自 动提取特征点 2．1特征点定义 我们一共定义 r 58个特tLE点 ，这些点是准确表述人脸特 征的龟要参考：图2展爪了定义的 35个特征点 另 23个可 以由点 l3～35，根据人H令的对称性得到： _I (a)使刚欧洲人 (b)使用本 文 睑特征点模板 特征点模板 图 l 2 2 图像的初始化 坐标轴设定如图3所示 ，两眼rf1点坐标为坐标原点 O( ， )。本文采用人眼自动定位方法 求得原点坐标。具体算 法是：首先基于人脸几何特征先验知识，建立人跟位置的判定 准则，对分割阈值范围进行粗估计，然后采用分割阈值递增法， 并结合人眼位置判定准则，判定正面分割图像巾双眼黑块是双 眼黑块的真实性。设定 轴长( 而图像两耳之间的距离)、l， 轴长(正面图像上头盖骨到下 巴的距离)、z轴长(侧而图像上 鼻尖到外耳轮廓的距离)。初始化坐标轴如图3所示。 2．3 头发抽取 对人脸的重建工作分为头发重建和脸部重建。提取头发 区域从分析灰度直方图人手，首先利用自适应分割技术得到最 佳分割阈值，将图像二值化，搜索出头发 域，然后利用滤波器 去除其中的噪声点，最后将头发区域的边界数据存为链表。 为了去除阀值分割以后的头发区域存在的噪声点，我们设 计了一个 3×3的去噪滤波器 ，采用两次滤波来去除头发区域 存在的噪声点，接下来使用区域生长种子填充算法将头发区域 填上特定值，最后用边界跟踪算法对边界进行跟踪 ，依次以链 表的方式记下头发区域的边界点(图4) 图 3 初始化坐标轴 2．4 特征点的自动提取 (a)闽ff(分剖 (I )两次上 (r)边 界跟踪 后的}刳像 噪滤波后 头发 域 冈 4 头发抽取过程 我们借助于模板匹配与图像分析相结合的方法，通过多次 图像处理可以近似准确地得到特征点的信息 ，而利用模板可以 充分利用持征点之『白J的相互制约关系，大大减少工作量： 侧面特征点包括侧面轮廓线的局部极值点和侧面脸部特 征点，理论上侧面轮廓特征点 可以用曲线拟合和差分的方法得 到，而脸部的特征点可以由特征点模板和边缘曲线约束共同求 得。我们首先对侧面图像进行边缘提取，搜索侧面轮廓 ，然后 以特征点模板为参考约束去除噪声点，找到侧面特征点。 本文采崩的是以各种微分算子为基础，结合用模板及门 限、平滑等手段来提取边缘 ，试验中我们分别采用了 Robert算 子、Sobel算子 、Prewitt算子、Laplacian算子、Canny算子等综合 比较 针对我们的实验而言，Sobel边缘算子具有 比较好的适 应性 ，在大多数情况下都能产生比较理想的效果 我们最终采 用 Sobel算子提取边缘。 图5以提取侧面轮廓上持征点为例来说明自动提取过程： 提取出整幅图像的边缘轮廓后(图5(a))，开始逐行搜索得到 边界点(图5(b))，蓝色为找到的边界点，红色为通过差分算 法得到的特征点。可以看到轮廓线上有部分噪声点，我们使用 特征点模板为约束参考去除轮廓线 I 的噪声点 ，对去噪后的离 散轮廓点进行差分得到轮廓上的特征点(图 5(C))，可以发现 有几个特征点没有找到 ，并且还存在一些噪声干扰点，接下米 再次利用特征点模板为约束来找到侧面轮廓上的另外几个特 征点，并且将不满足模板的噪声点去除(图 5(d)) 最后以已 提取出的轮廓特征点 、特征点模板 、图像边缘共同为参考来求 得侧面脸部的其他特征点。 — — I { 矗 s 一 一 ／ (a) (I，) (t·) (d) 图5 侧面轮廓特征点自动提取 有侧面特征点作参考，正面特征点提取要相对简单一些 ， 对于每一个持征点 ，由于在正侧面图像上具有相同的，值，那 么满足纵坐标在Y值附近、与其他点的坐标能与特征点模板匹 配、同时又存在于轮廓线上的这样的点即为匹配的正面特征 点 3 通用模型的修正 3．1 关于通用模型 现在有很多的通用模型可供使用，通常根据具体应用的 同来选择不同的模型，图6是比较常用的三种模型。 图6(a)所示为 Candide Face Mode 包括 113个结点， 168个面优点是模型简单，计算速度快，缺点是包含的人脸信 息不够精细 ，需要继续通过别的算法来进一步重建细节和对人 脸表面光顺。图6(b)所示为Waters Face Model 19包括 256个 结点 ，441个而。模型相对简单结构合理，多用于做肌肉驱动 动画的模型，图 6(c·)本文所用模型由 Poser软件导出：包括 2 310个结点，13 500条边，4 500个面 。结构比较复杂，人脸的 每个细节都有描述，更侧重于人脸的细节刻画。模型分块如图 7所示 ． 维普资讯 http://www.cqvip.com 第 12期 王 敏等：基于二维半雕刻系统的三维人脸重建 ·167· (a) (b) (c‘) 图6 通用模型 图7 模型分块 3．2 分块存储 大多数的研究者都是将人脸看作一个整体来进行重建工 作 ，如果要修改脸部的某个局部，往往比较困难，同时如果移动 一 个点，需要计算整个模型中点的移动，实际计算中玎销较大， 考虑到某些局部点的移动并不会对全部人脸网格点产生影响， 为了后面更精确地进行局部细节重建，我们_r一种分块存 储结构‘ ，将人脸按照其特征区域分为额头 、鬓角、眼睛、眉 毛、脸颊、嘴唇、鼻子、耳朵、下巴等，分块 域既 可以合在一起 作为一个整体的人脸来进行全局变换，也可以针对每块分别进 行 涮整： 3。3 三维模型修正 三维模型的修上E分为整体变换和局部变换：整体变换 的过程就是粗调节通用模型的过程，也是将通用模型网格点尽 可能地接近计算得到的 58个特征点 ，式(1)、式 (2)给出 r整 体变换计算表达式 MinE(S，R．7')：∑(p，一Pw) (1) Pw：[ Ⅳ，Y ，2lf] ：S‘R·[ ，m，，，，o ：w0 +T (2) 式中P ，P，，P 分别代表修改后模型点、由图片分析计算得到 的特征点和初始通用模型点。我们用线性迭代最小二乘法 来求解得到 S，R，T，然后将通用模 上所有点进行整体变换 变换后的结果如图 8(b)所示。 整体变换后通用模型在大体轮廓上接近特定人脸。接下来 的局部变换是将通用模型按照其特征区域分块来进行捌整 ，以 使修正后的模型无论在大轮廓还是细节都更像特定人脸：假 设结点在通用模型中的位置为 P ( ，，，，Z)，在实拍图像中的位 置为JD，( ，Y， )。局部变换的作用就是在将 P 移动刮 P，的 同时，对结点所影响到的周围网格点的坐标作出适 当的变换， 使得整体调整后的局部区域不会显得过于尖锐，同时增加该 域细节处的精致，使其与特定人脸更加接近。 局部变换的方法很多，如表面插值方法 ，它根据特征点 修改前后的位置，通过插值的方法计算出特征点周围的顶点的 位移。这种方法的局限性在于单个特征点的移动将导致整个 模型的变形，因而无法将变形局限在一个合适的范同内。而精 确的肌肉模型 ’可以用来确定局部变换涉及的点，同时计算 出它们的位移，但冈为肌肉模型本身的复杂性 ，将带来算法复 杂度增加和实时性的降低。本文采用 一种将两者结合的简化 算法。采用径向基函数 表面插值方法，建立一个简化的肌 肉模型，同时以人脸分块来限定特征点的影响区域。具体如 下：埘每个的非特征点 P的修正可以由它所在区域的 修正的 点P‘(包括特征点和非特征点)的偏移 来计算得到计算公 式如_F： “(，J)：∑ (1l P—P J J)up (3) ， (ff P～P ff)：1／1+e 一 其中，? r =。 (4) 【∑c ．p ：0 我们参考人脸肌肉模型 根据点的属性和位置米确定系 数 c 将三维模型局部变换后的效果如图8(c)所示。 9 ■ (a)通，H模型 (f1)整体变换后 (c)t4郫变换后 图 8 通用模型修 4 总结与分析 本文是在人脸重建方面进行了实验性的分析，在简单的实 验条件下，由已知的两幅正交图像重建出特定人脸 ，并尝试性 地建立了一个小型亚洲人脸数据库。实验证明应用此人脸数 据库生成的特征点模板更接近于待重建三维人脸，特征点自动 提取精度更高。三维修正阶段采用了分层次、分细节的凋整算 法 ，一方面将模型分块，另一方面将整体变换和局部变换相结 合。接下来的工作首先是模型库的扩充，预想建立一个包含不 同年龄段 、不同地区的亚洲人脸数据库。同时利用这些数据， 来生成一个针对亚洲人脸的通用模型。这样 ，修改三维模型阶 段可以提高精确度。同时考虑改进脸部分块的局部调整算法 ， 由于人脸部每块都有其独特的特征 ，比如眼部细节较多、网格 面相对复杂，而额头网格面相对比较平缓 ，所 以考虑对每个人 脸分块采用不同的插值方法，以得到更加满意的重建效果。 参考文献： [1] V Blanz，T Vetter。A Morphable Model for the Synthesis of 3 D Faces [C]。Los Angeles，USA：SIGGRAPH’99 Conf．Proc．，1999． [2] M Reinders，P Beck，B Sankur，et a1．Facial Feature Localization and Adaption of a Generic Face Model for Model—based Coding[J]．SP： Image Communication，1995，7：57—74． [3] Guenter，C Grimm，DWolf，et a1．Making Faces[C]．SIGGRAPH’98 Proceedings，1998．55—66． [4] Lengagne R，Fua P，Monga O．3D Face Modeling from Stereo and Dif- ferential Constraints[C]．Proc．ICAFGR，1998 148—153． [5] V Blanz，T Vetter．A Morphable Model for the Synthesis of 3D Faces [C]．Los Angeles，USA：SIGGRAPH’99 Conf．Proc．，1999． [6] FaceGen Modeller 2．0 from Singular Inversion Inc．[EB／OL]．ht— tp：／／www．FaceGen．com． [7] R L Hsu，A K Jain．Face Modeling for Recognition[C]．Pro,：．ICIP， Greece，2001． [8] Y Lee，D Terzopuolos，K Waters．Realistic Modeling for Facial Anima— tion[C]．Proc．SIGGRAPH，1995．55-61． [9] B Guenter，C Grimm，H Malvar，et a1．Making Faces[C]．Proc SIG— GRAPH，1998． [1O]Tanbul Turkey．3D Reconstruction of Anatomical Surfaces from Unor- ganized Range Data[C]．Proceedings of the 23rd Annual EMBS Inter— national Conference，25 28． (下转 第 193页) ◇ ～ 碧 国 维普资讯 http://www.cqvip.com 第 l2期 陈亚睿等：基于XML的通用 目录服务检索引擎设计与实现 ·l93· 5 返回结果 g一 ．ca g-d ：蓬 薯 = 上 点I Tm l q ■_ ∞曲 v I 一 № I 。 J 帕 一 一 一 ～ t鹱霎孽= ． ’ P·_一．． ·由' C0n|．C'hon 趋 ≈帅 _啉 ， 二 一 +，翳 翳 55皇 0 Ⅵ m F~G'10 ∞㈣ ’L|tN- }c ‘0∞_嘶h_-瞬 }c-憎 c}郫 Lb- D }cc}郫 }●_ l Id～ cm H} _。●∞嘲岫 枷 ) H·呲 }· 5 s搴s s5* F“ }m0w∞00∞ ’● ● 一 一 l l — l 一 图6 更改属性值 5 结束语 本文设计并实现 lr一个通用目录检索引擎，通过它不同客 户端可以透明访问目录服务，而不需要进行特定的转换，充分 提高 r目录的透明性和口f达范嗣。对于 XML Web Service应 用请求的支持，适应了新一代分布式技术发展的需要。 在下一一步工作中，将对这个系统在安全性方面逐步加以完 善。如在 DSML上进行签名等加密和认证技术，并进行基于角 色的访问控制 (RBAC) 参考文献： [1 J Steven Fitzgerald，Ian Foster，el a1．A Directo~Service for Contigu— ring High—performance Distributed Computations[J J．The 6th IEEE International Symposium on，1997，(8)：365—375． [2 J DirectoD'Services Markup Language v2．0[EB／OI _．http：／／www． oasis—open．org／specs／index．php#dsmlv2，2002 [3] Elliotte Rusty Harold．Java语言与XML处理教程[M]．刘文红， 赵伟明，等．北京：电子工业出版社．2002． [4] Roger Jennings．用DSMI 穿越防火墙访问目录[EB／OL]．http：／／ www．ftponline．com／china／XmlFile．aspx? ID：1 14，2002． [5] Novell Developer Kit DSMLV2／SOAP[EB／OI ]．http：／／developer． novel1．com／dsml，2004． [6] Rosanna Lee．The JNDI Tutorial—building Directory—enabled Java Ap— plications[EB／OL]．http：／／java．sun．com／products／jndi／tutorial。 2(x】2． [7] Dongwan Shin，Gall—Joon Ahn，Joon S Park．An Application of Di— rectory Service Markup Language (DSML)for Role—based Access Control(RBAC)[J]Computer Software and Applications Co,ffere— nee，2002，(8)：934—939． 作者简介： 陈亚睿，女，硕士研究生，主要研究方向为计算机软件工程、目录服务、 Web Service；赵曦滨，男，博士研究生，主要研究方向为计算机系统安 全、软件工程；顾明，女，副教授，主要研究方向为操作系统、中间件技 术、分布式应用系统支撑平台、电子商务等： (上接第167页) [1 1]V Blanz，T A Vetter．Morphable Model for the Synthesis ot 3D Faces [C]．SIGGRAPH’99 Proceedings，1999． [12]P J Phillips，H Moon，P J Rauss，el a1．The FERET Evaluation Me— thodology for Face Recognition Algorithms[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(10)． [1 3]J Matas，M Hamouz，K Jonsson，el a1．Comparison of Face Verifica— tion Results on the XM2V rS Database[C J．Proceedings of the 15th International Conference on Pattern Recognition，Barcelona(Spain)， 2000．858．863． [14]A M Martinez，A C Kak．PCA Versus LDA[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(2)． [1 5]M Turk，A Pentland．Eigenfaees for Recognition[J]．Cognitive Neuro— science，1991，3(1)． 『16]F Samaria，A Hatter．Parameterisation of a Stochastic Model for Hu— man Face Identification[C] Proceedings of the 2nd IEEE Workshop on Applications of Computer Vision，Sarasota FL，1994． [17]P Belhumeur，J Hespanha，D Kriegnmn．Eigmffaces vs．Fisherfaces： Class Specific Linear Projection[J]．IEEE Transactions on PAMI， 1997，19(7)，711—720． [18]J Ahlberg．CANDIDE一3一An Updated Parameterized Face[R]．Report No．LiTH—ISY—R一2326，hnage Coding Group，Dept．of EE，Linkping U— niversity，Sweden，2001． [19]F I Parke，K Waters．Computer Facial Animation[M]．A K Peters。 Wellesley，Massachusetts，1996． [2O]邹北骥．人脸造型与面部表情动画技术研究[D J．长沙：湖南大 学博士学位论文，26—31． [21]邹北骥，彭永进，伍立华，等．基 于面分块的人脸造型技术研究 【J]．电子学报 ，2001，29(33)． [22]A—Nasser Ansari，Mohamed AbdeI—Mottaleb．3 D Face Modeling Using Two Views and a Generic Face Model with Application to 3D Face Recognition[c]．Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance(AVSS’03)． [23]B C Yin，W Gao．Radial Basis Function Interpolation on Space Mesh 『C]．Virtual Proceedings of ACM SIGGRAPH97．150． [24]Yuencheng Lee，Demetri Terzopoulos，Keith Waters．Constructing Physics．based Facial Models of Individuals『C] Toronto．Canada： Proceeding of Graphics Interface’93．1993．1—8． [25]M J D Powel1．Radial Basis Functions for Multivariate Interpolation [A]．A Review．In J C Mason，M G Cox．Algorithms for Approxi— mationf C]．Clarendon Press，Oxford，1987． [26]陶亮，庄镇泉．复杂背景TAA$自动定位[J]．计算机辅助设计与 图形学学报，2003，15(1)． 维普资讯 http://www.cqvip.com