人体的肤色特征

!"""#$%&’(&""!(!&)"*+!",&#!" -.&""!/012345067068942: 软 件 学 报 ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;; <05=!&>?0=* 人体的肤色特征@ 陶霖密> 彭振云> 徐光礻右 )清华大学 计算机科学与技术系>北京 !"""%A+ B#C4D5E840F5D3CDGH4I00=.0C I88JE((999=.K=8KD3LI14=:M1=.3 摘要E肤色特征在 NOBPAQ基于内容的图像检索Q虚拟现实等领域有着广泛的应用=目前肤色聚类的方法有很 多>结果各异>但都没有涉及颜色现象的本质=探讨了人体肤色的基本问题E影响肤色聚类的颜色空间Q光源颜色 对聚类的影响以及颜色恒常性=提出了用于肤色聚类的新的颜色空间>给出了光源变化和图像数据之间的关系> 证明了图像中高光和阴影只影响肤色的饱和度=在此基础上>还给出了人体肤色的聚类结果以及肤色特征在复杂 环境中的人脸检测和手势识别中的应用= 关键词E肤色R颜色空间R颜色恒常性R人脸检测R手势识别 中图法分类号ESO,$! 文献标识码ET 颜色是人脸表面最为显著的特征之一>利用颜色检测人脸是一个自然的想法=但是>人脸表面 的颜色受人类个体差异Q光源的颜色以及光照的角度不同所造成的高光和阴影等诸多因素的影响> 因此>利用颜色分割人脸的任务成为非常困难的问题=U=VI:554JJ4的综述文章W!X被 /=BK.IW&X推荐 为关于人类和机器人脸认知的Y关键的综述).2D8D.45K12Z:H+[>Y总结了 ,"年来生物物理学和神经 科学关于人类人脸认知的研究成果[=然而>这篇文章中却没有提到颜色在人脸认知和机器人脸识 别中的应用= 直到最近几年>颜色在机器人脸认知中的应用才逐渐多起来=V=\=]::W,X报道了基于运动和颜 色的复杂环境下的人脸定位工作=他们先利用速度场的阈值化来分割运动的人脸>然后基于人脸中 各部位的色调不同来分割眼Q眉毛Q嘴等区域=N=^ 4J6:2WAX利用颜色Q运动和形状模型检测序列图 像中的人脸>用于极低比特率的可视电话编码=他们首先将图像分割成不同的色块>再用几何模型 从中找出类似于人脸形状的色块>最后根据候选色块的不同运动特性选出人脸=_=‘4DW’X根据空间 灰度相关矩阵的特征参数建立了人脸质地模型>并将该模型结合 _ab颜色空间中的 c组份>用于 检测彩色图像中近似于橘黄色部分的人脸=N=\=_43L和 =^7.I9:2M8等人分别根据 ]d<颜色 模型WeX和 UPf颜色模型W*X来检测彩色图像中的人脸=P42.D4W%X则采用向量量化的方法>先将颜色量 化>再检测图像中的肤色区域=这种方法的肤色聚类效果较好>而分割效果并不好>因为颜色量化就 是一个颜色分割过程>已经将相似的颜色进行了归类= 所有的这些算法都取得了某种程度的成功>却也有共同的缺点>就是没有考虑到环境光照对人 脸识别的影响=因此>这些系统的应用范围都有较大的限制=在最近的文献中>‘=/4.0gKW$X和 T=P:02LID4M:KW!"X考虑了光照方向对人脸认知的影响>并在相应的实验中取得了较好的结果= @ 收稿日期E!$$$#"$#&"R修改日期E&"""#"*#,! 基金项目E国家 %e,高科技发展资助项目)%e,#,"e#",#"!#!+ 作者简介E陶霖密)!$e&F+>男>浙江黄岩人>博士>主要研究领域为计算机视觉>人类视觉认知R彭振云)!$e&F+>男>湖北 仙桃人>博士>高级工程师>主要研究领域为计算机视觉>模式识别>计算机图形处理R徐光礻右)!$A"F+>男>浙江绍兴人>教授>博士 生导师>主要研究领域为计算机视觉>多媒体= 万方数据 事实上!光照对人脸识别系统的影响远不止点光源的光照方向这一个因素"人脸跟踪和识别系 统在不同环境下的应用!影响其识别率的主要因素是光照的变化"因此!在实际应用中!关于人体的 肤色特征的一些基本问题依然有待解决#人体的肤色在颜色空间中能否良好聚类$聚类的条件%散 布的情况以及光源颜色%高光和阴影对聚类结果的影响如何等等"基于这些考虑!本文介绍了一个 新的系统!用于复杂环境下的人脸检测" & 聚类的颜色空间 在应用肤色特征分割图像之前!首先要回答这样的问题#人类的肤色能不能在颜色空间中聚成 单独一类$在什么样的颜色空间中具有更好的聚类结果$是一个自由度的还是两个自由度的聚类$ 为了实际应用!我们希望在某一颜色空间中!人类的肤色能够聚成密集分布的一类"为了提高基于 颜色分割的分辨率!我们希望肤色能够用颜色的两个自由度来聚类" 现有的颜色空间有很多!如 ’()*++,的 -./!-01!234!计算机图像处理中常用的 356!678 9/0:.;!<.;!=0>.?0>@ABC*+D,!(789@B>;B=@>E!<.;=0>.?0>@ABC*+F,以及 G-789H;B;?0:@I;J-78C*+K,等" 在这些颜色空间中!356!3(L!234颜色空间与 MGN颜色空间之间是线性关系!而 678!(78! G-78颜色空间与 MGN颜色空间之间是非线性关系!为了使肤色的聚类结果和直接聚类 MGN空 间的结果有明显的改善!我们选择了与 MGN颜色空间之间有非线性关系的 G-78颜色空间!并与 肤色聚类实验相结合!提出了新的亮度O饱和度O色调算法" 由于摄像机得到的 MGN值不能直观地反映人类观察颜色的结果!即亮度%色调%饱和度等颜 色属性"-789:@H<>B;==!<.;!=0>.?0>@ABC颜色空间建立了 MGN图像数据和颜色属性之间的映射! 又称为认知颜色空间"这一类颜色空间还包括 (78!678等"-;/PAQ@>I将其统一表达为 G-78颜 色空间!其基础是以下关于亮度的定义# R9SCTUV@BWV@B9SCXUV@JWV@J9SCXUV0YWV0Y9SC" 9+C 其中#UV@B!UV@J!UV0Y均为正数ZV@B9SC!V@J9SC!V0Y9SC定义为 V@B9SCTV@B9[!\!]C! V@J9SCTV@J9[!\!]C! V0Y9SCTV0Y9[!\!]C" 色调是指颜色刺激的主波长!用角度表示"一般定义纯红色9MGN#D^ !^_!_C的色调角为 _度! 白色%黑色以及灰色系列的色调角未定义"最原始的色调计算公式由‘;B;B10.V和G0?/;E等人于 +abK年在一份技术中给出9‘;ceb!f(’;B>;?!8>0BgA?JM;=;0?c<(B=>@>.>;! +abKC"具体将 MGN直角坐标系转换为极坐标系的推导见文献*+F!+^,"许多人提出了简化算法! 如 N0hAB提出的 MGN到 (78映射中关于色调的算法*+i," 色 调的定义域是#jk*_!Fi_,"按照 V0Y9SC的不同!可以将其分为 F个区域#红色区 9V0Y9SCT[!jk*F__!i_CC%绿色区9V0Y9SCT\!jk*i_!+e_CC及蓝色区9V0Y9SCT]!jk *+e_!F__CC"每一个区域都可以进一步细分为两个小区"这种分区的思想对于颜色聚类很重要!因 为肤色的特征色调在红色区内"这一特征表现在图像中!就是肤色的 MGN值符合下式# [l\l]" 9DC 肤色的这一特征相当稳定!无论是人种的变化还是环境光照的变化!都不足以造成式9DC变成 \l [或 ]l\"因此!肤色色调的聚类结果简单而稳定"同时!这一特征也表明!只要能够实现上述映 射的色调算法!对肤色的聚类结果影响就不大"G7-8模型定义的色调就是在颜色分区的基础上进 FF_+陶霖密 等#人体的肤色特征 万方数据 一步定义了颜色小区内的角度!具体的公式为 "#$%&#’#$%()#$%%*+,! #-% 其中 ’#$%是颜色小区的序号.)#$%用于在颜色小区内计算角度!不管这些公式是否符合将 /01的 直角坐标系转换为极坐标系的要求.我们的实验则表明.’#$%的颜色分区对于肤色聚类是一个有效 的算法! )#$%& 234#$%5236#$% 278#$%5236#$% 39’#$%3:;<;6 278#$%5234#$% 278#$%5236#$% = > ? 39’#$%3:@44 . ’#$%& , 39ABCDE F 39CDABE G 39CBEDA - 39EDCBA H 39EBADC = > ?I 39ADEBC ! 饱和度相当于颜色刺激的纯度!灰色的饱和度定义为 ,.因此.饱和度是一个与亮度正交的量! 将所有 /01向量在亮度正交方向的投影归一化.就得到 /01向量的饱和度!亮度J色调J饱和度 三者之间的关系如图 F所示!目前比较通用的饱和度算法是 K@L;M和 <76N72在 OPQ和 ORP颜 色模型中提出的算法SFGT! 0ROP模型中定义的饱和度算法为 U& V#$%5236#$% V#$% 39V#$%WV#X% 278#$%5V#$% Y5V#$% = > ? 39V#$%BV#X% ! #H% 其中.V#$%是式#F%所定义的亮度.X是 0ROP中定义的与 $色调相同而亮度不同的一个颜色!这个 饱和度算法有些复杂.而且肤色的聚类结果也不如上述色调算法那样简单而稳定!我们用 ZOP. ROP模型中的饱和度算法进行了类似的实验.结果也不好!但是.肤色的饱和度特征是很显著的. 亦即肤色的饱和度偏低!鉴于此.我们设计了一个模拟实验来检测饱和度算法的性能.并在此基础 上改进了现有的饱和度算法! H-,F [\]^_‘V\)U\)ab‘^c 软件学报 G,,F.FG#d% 万方数据 !" #$%&’()#*+&’( #$%&’(,#*+&’(- . /0 1231 *4#$%&’(,#*+&’("0 5 &6( 其中 #$%&’("#$% 78669 : 8669 ;< =8669 #*+&’("#*+ 78669 : 8669 ;< =8665 该饱和度算法中隐含的亮度定义是 >&’("#$%&’(,#*+&’(5 &?( 此亮度的物理意义如图 8所示5在 @AB立方体中9等亮度区由 ?个三角形组成9不是一个平面5而 在 @AB颜色模型中9等亮度平面和 @AB立方体的交平面是正三角形5 在 @AB颜色向量中9#$%&79:9;(9#*C&79:9;(和 #*+&79:9;(三者之间的关系在 ADEF 模型中被定义为该颜色向量的色调9而我们则进一步将 #$%&79:9;(和 #*+&79:9;(之间的关系 定义为该颜色向量的饱和度5因此9式&G(H式&6(H式&?(构成了一个完整的新的 DEF颜色模型或颜 色空间9我们称之为 IDEF&I3*+JKL$DEF(颜色模型5实验表明9基于 IDEF颜色模型的肤色聚类 更加稳定和高效5 M 肤色聚类 肤色聚类的任务是在选定的颜色空间内求出肤色的分布5这一工作由两部分组成N&O(比较肤 色在各颜色空间中的聚类结果9测试所选择的颜色空间是否合适P&8(如果颜色空间适合于肤色聚 类9则通过大量的实验求出肤色在该颜色空间中的分布5 测试颜色空间的工作9是先选择 O0幅典型的人脸图像9要求颜色接近9脸部没有高光和阴影区 域5再在脸部任取一些像素&60QR0个(9计算人脸中与该像素S颜色T相近的像素的数目5以 UVW XYZ颜色空间为例9为了对其中的 [维进行聚类9需要从脸部取出 60QR0个能代表肤色的像素 &高光和阴影区除外(9统计脸部与该像素S颜色T相近的像素的数目5同时9改变符合条件的像素的 颜色9以确认这些像素是否位于脸部5具体方法如下5 设 \&]9^(为图像 \中的像素9&]9^(表示该像素在图像中的位置9[&]9^(表示该像素在 UVW XYZ颜色空间中 [维的值5\_&]9^(和 [_&]9^(分别是任一选中的代表肤色的像素及该像素在 UVWXYZ颜色空间中 [维的值9则有 ‘ *4 aK1+ \&]9^(b\9 [&]9^(bc[_&]9^(d&O)e(9[_&]9^(d&O,e(f9g h iUjL+a1k,"O5 &l( 6G0O陶霖密 等N人体的肤色特征 万方数据 其中 !为计算的宽容度"!#$%"&’()*+,-./是计数器"计算符合条件的点数(重复上述计算"可以 得到人脸表面颜色分布的直方图(对所有 &%个图像的结果进行统计"可以得到肤色在该颜色空间 中的分布"比较这些结果"可以从中选择出一个较好的颜色空间( 我们采用上述 0123颜色空间"对人脸数据库中的图像进行了聚类(实验表明"肤色在 4维 5如图 6所示"图 6578中横坐标表示所选择的 99个点的色调52+.值8"纵坐标表示人脸中颜色相 近的点的数目5:;<=>?@A&9%88和 B 维5如图 C所示8都得到了较好的结果(其中 4维的聚类结果 为正态分布5如图 65D8所示8"而 B 维的典型聚类结果如图 C所示5其中横坐标表示所选择点的颜 色52+.值8"纵坐标表示人脸中颜色相近的点的数目5:;<=>?@A&9%88(图中 B 维的分布曲线的左 半部5红端8近似于正态分布"而右半部5绿端8则没有分布(这个曲线与文献报道的各维均为正态分 布的结果$9"&E’有所不同"但却符合我们日常的观察结果"即正常人脸的肤色都带有不同程度的红 色"却不能发青F发绿(G脸都绿了H表示人脸的一种不正常的状态( 5I80J.KI7.LMIN.+O.P L,-J.7QIOOLKL7I-L*, 5I8用于聚类的人脸图像 5D80J.OI-+/I-L*,7QIOOLKL7I-L*, /.O+Q-*KR%KI7.LMIN.O 5D8R%幅人脸图像中肤色饱和度的聚类结果 5780J.J+.7QIOOLKL7I-L*, /.O+Q-*KSLN(65I8 578图 65I8的色调聚类结果 T像素U&%%%%%"V饱和度"W计数器"X色调( SLN(6 SI7.LMIN.I,POYL,7*Q*/7QIOOLKL7I-L*, 图 6 人脸图像及肤色聚类 5I82LNJ7*Q*/-.MZ./I-+/.LQQ+ML,I-L*, 5I8高色温光源 5D81*[7*Q*/-.MZ./I-+/.LQQ+ML,I-L*, 5D8低色温光源 T计数器"V色调( SLN(C \-]ZL7IQ/.O+Q-*K-J.OYL,7*Q*/7QIOOLKL7I-L*, 图 C 典型的肤色聚类结果 ^ 颜色恒常性问题 在实际应用上述颜色聚类的结果之前"我们还必须考虑颜色恒常性问题(事实上"目前一般的 工作都没有考虑颜色恒常性问题"文献$_"9"&E’所讨论的颜色空间都是 ‘ab颜色空间5cde和 cfg颜色空间与 ‘ab颜色空间成线性关系8(在该空间内"肤色值和光源的光谱成分密切相关( 96%& h;<@=ij;k4;k>li@? 软件学报 m%%&"&m5E8 万方数据 因此!肤色聚类结果只能应用于特定的光照条件下!并且不能有高光和阴影的干扰" 颜色恒常性问题包括两个子问题#$%&人脸表面的高光和阴影部分!其颜色的不同与正常光照 下的颜色需要另作处理’$(&上述实验基于人脸在阳光和日光灯下的图像!光源的色温比较高 $))**+,)**度&!不能直接用于低色温的光源$低于 ))**+-)**度&下的图像" ."/ 高光和阴影的消除 对于上述的第 %种情况!我们发展了二步法颜色恒常性算法0%-1!用于处理人脸中高光和阴影 部分"我们假设# $%&人脸图像中的高光和阴影部分与其余部分的肤色是相同的!即肤色恒常性" $(&入射于人脸表面各部分的光照的光谱成分是相同的!即入射光的颜色是相同的" 非导电物体产生高光的原因是物体表面存在着镜面反射或界面反射!而产生阴影的原因是入 射光中的一部分被遮挡!入射于物体表面的光强低于正常光强"在这些情况下!物体表面的反射率 可以表示为物体的本体反射 23$4&和反射因子 25$4&两部分"其中 25$4&67! $-& 7是常数!表示该反射因子与光的波长无关"如果物体表面存在界面反射!入射光中的一部分被镜 面反射!反射光可以表示为 8$4&2$4&9:8$4&23$4&;$%<:&8$4&25$4&!:=0*!%1!79%" $,& 其中 2$4&是物体的等效反射率!8$4&是入射光!:的大小表示镜面反射的强度"此时!:9%表示没 有镜面反射!:9*表示只有镜面反射"物体表面的阴影也可以用式$%*&来表示!:的大小表示阴影 遮挡的强度"此时!:9%表示没有阴影遮挡!:9*表示只有阴影遮挡"其中 79*" $%*& 上述两种情况以及正常的反射!都可以以等效反射率表示为 2$4&9:23$4&;$%<:&25$4&" $%%& 因此!各种情况下的物体表面的反射率函数!都可以统一地用式$%%&来描述"镜面反射和阴影 都没有改变反射光的主波长!即物体表面颜色的色调"有镜面反射的颜色和另外一种饱和度更低> 亮度更高的颜色不可区分"阴影区的颜色和另外一种饱和度更低>亮度更暗的颜色不可区分"换言 之!高光和阴影都改变了颜色的饱和度"上述 ?种情况可以看做是 ?种不同饱和度>不同亮度>相同 色调的颜色在相同光照下的结果"但是!在 @AB颜色空间内!包括 CDE和 CFG都表现为$2!H! I&值的剧烈变化!从而导致聚类的失败" 基于上述分析!我们将原 @AB空间中的亮度归一化!改善高光和阴影所造成的饱和度的变 化!以消除亮度对聚类的影响"目前!亮度的定义有许多种!除了上文提到的 AJKL亮度算法以外! 比较常见的还有 CFG模型中的亮度 M# M9*"(,,2;*")-NH;*"%%OI" $%(& 直接应用这些定义是有困难的"因为亮度归一化将影响下一步的饱和度与色调的计算!从而影响整 个聚类结果"新的亮度算法既要不影响饱和度与色调的计算!又要最大限度地消除亮度的影响"基 于这些考虑!我们将亮度定义为$2!H!I&向量的模长!即 P9$2(;H(;I(&%Q(" $%?& 根据这个定义!亮度归一化就是求$2!H!I&向量和$2!H!I&空间中的单位圆的交点!其结果是将 $2!H!I&向量归一化到该空间中的单位球面上"这样做的好处是相对于式$R&定义的亮度而言!图 N?*%陶霖密 等#人体的肤色特征 万方数据 像的亮度依然是不等的!但其动态范围降低了" #"$ 光源色温的处理 光源色温的降低!就是光辐射中高频成分的相对减少以及低频成分的相对增加"这一变化经物 体表面的反射!反映在摄像机的采集结果中!就是物体表面的颜色变红"因此!光源色温的降低!经 同一物体表面%人脸&反射后!反映在图像数据中就是物体表面的颜色发生红移%脸发红&" 这一结论也可以由颜色恒常性的理论计算而得到’()*"图像数据之间的颜色恒常性映射关系为 线性关系+ ,- .- / 0 1 2 3- 45-56( 0 1 2 3 , . / " %()& 其中 54 7 8 94( :9;<9( 7 8 94( :9;<9= 7 8 94( :9;<98 7 8 94( :9;>9( 7 8 94( :9;>9= 7 8 94( :9;>98 7 8 94( :9;?9( 7 8 94( :9;?9= 7 8 94( :9; 0 1 2 3?98 ! 5-4 7 8 94( ;<9( 7 8 94( ;<9= 7 8 94( ;<98 7 8 94( ;>9( 7 8 94( ;>9= 7 8 94( ;>98 7 8 94( ;?9( 7 8 94( ;?9= 7 8 94( ; 0 1 2 3?98 ! 其中 ;@9A为常数!:9为与光照有关的参数"这是未知环境光照下的图像数据和

标准

excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载

环境光照条件下 的图像数据之间的映射关系"高B低色温图像数据之间的关系也可以用上式来表示"换言之!光源色 温的变化对图像数据的影响!就是变化前后坐标系的移 动"因此!环境光照对聚类结果的影响!既可以通过颜色 恒常性算法计算!也可以由实验B学习算法得到" 色温的高低在图像数据中是不可知的"而且!脸发 红的原因也不一定是色温降低!也可能是人脸的个体差 异B喝酒等等"但是!有一点是可以肯定的!就是C红移D" C红移D幅度的大小和色温改变的多少有关"实验表明! 在从蜡烛光下采集到的图像中!其聚类范围和正常光照 下的聚类结果的重叠部分较小!影响实际使用"而在普 通的白炽灯下采集到的图像与灯的功率有关!其聚类范 围和现有的结果有较大的重叠范围!并不影响使用%如 图 E所示&" F8G( HIJ记录

混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载