步态识别综述

·计算机及通信研究 · 步 态 识 别 综 述 任继钢 (攀枝花市中心医院 , 四川攀枝花 　617000) 摘　要 　步态识别作为一种新的生物特征识别技术 ,通过人走路的姿势实现对个人身份的识别和认证。对步 态识别所涉及到的运动分割、特征提取、模式识别算法进行了综述 ,并对步态识别中存在的问题及未来的研究 方向进行了讨论。 关键词 　步态识别 ;特征提取 ;运动分割 ;动态时间规整 作者简介 　任继钢 (1973———) ,男 ,四川邻水人 ,助理工程师。主要研究方向 :模式识别、机器学习 1　引言 步态识别 [ 1 ]来计算机视觉和生物特征识别领域的一个备受关注的研究方向 ,它旨在根据人们走路的 姿势进行身份识别。步态是指人们行走的姿势 ,是一种远距离情况下唯一可感知的生物行为特征。它通 过人步行的方式 ,达到识别人身份的目的。步态识别可以克服生物特征的缺陷在远距离非接触的状态下 进行 ,所以近年来步态识别引起了各国学术科研机构的重视。例如 ,美国 DARPA2000年重大项目 H ID (Human Identification at a D istance)开展的多模态视觉监控技术以实现远距离情况下人的检测、分类 和识别。该项目研究重点在于通过远距离的步态识别和动态人脸识别以及不同的因素对远距离身份识 别的影响。 步态识别主要是针对含有人的运动图像序列进行分析处理。通常包括运动目标分割、特征提取、特 征处理和识别分类四个阶段。它在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景 和经济价值。下面针对步态识别过程中的各种方法和算法进行分类概述 ,有助于我们对步态识别这一个 新的研究领域有一个总体的认识和了解。 2　运动目标分割 运动分割的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目 标分类、特征提取、特征达与最后的识别等后处理都是非常重要的 ,因为以后的处理过程仅仅考虑图像 中对应于运动区域的像素。然而 ,由于背景图像的动态变化 ,如天气、光照、影子及混乱干扰等的影响 ,使 得运动分割成为一项相当困难的工作。运动分割可以分为在静止和运动背景下运动目标的检测和提取。 现有的运动分割算法大体可分为四类 ,下面分别介绍。 2. 1　基于特征的方法 基于特征的方法包含两个主要的步骤 ,一是从视频图像序列中提取特征并建立它们之间的对应关 系 ;二是依据特征的对应关系计算物体的结构和运动参数。根据采用特征的不同 ,基于特征的方法又可 分为基于大尺度特征和基于小尺度特征的方法。 基于大尺度特征的方法通常采用物体的边界轮廓作为特征 , Yuna与 Siwei等 [ 2 ]使用主动轮廓模型 ( active contour model)对运动目标进行检测和跟踪 ;基于小尺度特征的方法通常采用物体的边缘、拐角等 作为特征 ,对非刚体目标的运动检测与跟踪常用 Hausdorff[ 3 ]方法。基于特征的方法能够很好地刻画目标 的运动 ,但是特征点的寻找和匹配比较困难 ,同时由于缺乏快速算法 ,也限制了其在实时智能监控系统中 的应用。 2. 2　背景剪除法 12 第 25卷第 6期 　　　　　　　　　　 　　　　　　攀枝花学院学报 　　 　　　　　　　　　　　　　　2008年 12月 Vol. 25. No. 6　　　　　　　　　　　　　　　Journal of Panzhihua University　　　　　　　　　 　　　　　Dec. 2008 背景剪除法是利用当前帧图像与背景图像的差分运算进行运动检测的一种方法 ,是目前运动分割中 最常用的一种方法 ,一般能够提供最安全的特征数据 ,其关键是背景模型的构造 ,其中自适应背景建模是 其研究的重点。大部分的研究人员目前都致力于开发不同的背景模型 ,以期减少动态场景变化对于运动 分割的影响。如 Haritaolua[ 4 ]等利用最小、最大强度值和最大时域差分值为场景中每个像素进行统计建 模。这类方法主要应用于静止背景的情况 ,是解决静止或缓变背景下运动目标检测和分割的另一条思 路 ,其优点在于对复杂背景情况效果较好 ,它一般能够提供最完全的特征数据 ,但对于动态场景的变化 , 如光照和外来无关事件的干扰等特别敏感。 2. 3　时域差分 (帧间差分 )法 在连续的图像序列中两个或三个相邻帧图像亮度变化来提取运动目标。其优点是鲁棒性较好 ,能够 适应各种动态环境。其缺点是只能提取出边界点 ,而不能提取出对象的完整区域 ;另外 ,当运动对象速度 缓慢时 ,则可能检测不到 ,而运动对象速度过快时 ,将把部分背景也检测为运动。Chang[ 5 ]等人改进了传 统的帧间差分方法 ,结合连通分量标记、形态学闭运算和人体结构分析来滤除噪声和阴影的影响提取运 动目标。此方法的特点是速度快 ,适用于实时性要求较高的应用环境 ;不足在于算法对环境噪声较为敏 感 ,并且基于差分法的运动目标分割精度没有保证。 2. 4　光流法 光流法的运动检测采用了运动目标随时间变化的光流特性 ,是一种以灰度梯度基本不变或亮度恒定 的约束假设为基础的运动目标探测的有效方法。如 Ishiyama[ 6 ]等人使用线形光流算法实现了高速、高精 度的光流检测 ,随后最小生成树被用来进行运动分割。光流反映了序列图像中的速度场 ,光流法善于在 运动场景中捕捉运动对象的运动特性 ,但是大多数光流法的计算比较复杂并且抗噪性比较差 ,这就阻止 了它在实时智能监控系统中的应用。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运 动目标 ,即不需要图像间的特征对应。然而 ,大多数的光流计算方法相当复杂 ,且抗噪性能差 ,如果没有 特别的硬件装置则不能被应用于全帧视频流的实时处理。 当然 ,在运动变化检测中还有一些其它的方法 ,如 Friedman[ 7 ]利用扩展的 EM ( Expectation Maxim iza2 tion)算法。它为每个像索建立了混合高斯分类模型。该模型可以自动更新 ,并能自适应地将每个像素分 类为背景、影子或者运动前景。在目标运动检测缓慢的情况下亦能较好的完成运动区域的分割 ,并可以 有效的消除影子的影响。 3　特征提取 步态特征提取与表达是步态识别的关键 ,可以分为基于模型的方法和基于特征的方法。基于模型的 方法是将人用合适的模型表达 ,跟踪分析模型的参数 ,进行步态的识别。基于特征的方法是直接从人体 图像当中提取出步态的特征数据用于步态的识别。特征提取直接影响最终的识别性能。 3. 1　基于特征的特征提取 该方法不需要构建模型 ,而是先对待研究的对象提出假设 ,然后用图像序列中目标移动所产生的时 空模式的各类统计值 ,从步态中提取特征参数。其中 ,最常用的就是步态轮廓特征。这类算法和身体的 结构、步行的动态特性没有直接关系。如 Kale[ 8 ]从每一个对象的图像序列中选择、建立一组样本 ,使用这 些样本生成一个维数较低的样本距离框架矢量 ,然后对连续隐马尔可夫模型进行训练。对各模型输入待 测样本 ,根据输出结果即可达到识别目的。 上述方法其特点是计算量较小 ,有助于在实用环节中达到实时运算的目的 ,但对背景和光照信号的 变化敏感 ,一旦场景中出现遮挡现象识别能力将受到较大影响。 3. 2　基于模型的特征提取 基于模型的方法对人体结构或人体运动建模后 ,将二维图像序列数据与模型数据进行相关匹配来获 取特征或模型相关参数。遮挡现象在实际应用中随时都可能出现 ,人的步行存在着携带诸如提包、雨伞、 背包等足以改变外形、掩盖部分人体的现象 ,在很多运动场合 ,还存在着人的身体自我遮挡的现象。对步 态识别而言 ,解决遮挡问题是至关重要的。而基于模型的步态分析有这方面的优势 ,原因在于模型是依 22 第 25卷 　　　　　　　　　　　　　　　　　　　攀枝花学院学报 　　　　　　　　　　　　　　　　　　　第 6期 赖于序列图像中人的移动模式而建立 ,能够反映当前的变化 ,还能对过去和将来的变化进行估算。基于 模型的步态识别方法预先建立模型 ,通过模型和二维图像序列的匹配获得模型参数。 目前所使用的主要模型有 : Lee[ 9 ]等建的椭圆模型 :首先对人体侧面投影所构成轮廓图像进行二值化 处理。依据质心比例关系将人体分成 7个部分 ,用椭圆对每一部分建模 ,以椭圆的质心、离心率等参数作 为反映人体步态的特征参数。Cunado[ 10 ]等人建立的钟摆模型 :将大腿建模为链接的钟摆 ,并从其倾斜角 度信号的频率分量中获取步态特征。三维模型 :为克服二维模型中遮挡、运动方向变化带来的问题 , U rta2 sun [ 11 ]等人将 Cunado等人的方法扩展到三维空间 ,提出了基于主元分析 ( PCA)的三维人体运动模型。 4　识别方法 在提取了步态特征之后 ,就要将待测序列的特征与样本特征进行比对完成最终的识别任务。当前步 态识别研究中采用的两个主要方法是模板匹配和统计方法。 4. 1　模板匹配法 模板匹配方法广泛应用于模式识别领域 ,是一种基本的特征匹配方法。它将图像序列转换为一组静 态形状模式 ,然后在识别过程中和预先存储的行为标本相比较。把相似度作为分类的标准 ,常采用最近 邻算法进行识别。模板匹配技术的优点是计算复杂度低、实现简单 ,然而它对于噪声和运动时间间隔的 变化是敏感的。如文献 [ 12 ]中归一化欧氏距离度量体现的正是模板匹配的思想。模板匹配中另一类有效 的方法是动态时间规整 (DTW )。动态时间规整具有概念简单、算法鲁棒的优点 ,早期被广泛的应用于语 音识别领域。利用 DTW可以在测试序列与参考序列的时间尺度不一致的情况下较好地完成测试序列与 参考序列之间的模式匹配。在步态识别中 ,测试序列与样本序列的时间尺度一般不同 ,而动态时间规整 可较好地完成这种情况下的匹配 ,且具有简单易懂、算法鲁棒的优点。Kale[ 13 ]等人以人体轮廓的宽度向 量作为特征 ,采用 DTW匹配待测序列与样本序列。 4. 2　统计方法 模板匹配实际是一种基于距离度量的方法 ,在步态识别中使用这种方法就忽略了隐含在步态序列中 的姿态之间的联接关系 ,而隐马尔可夫模型 (HMM )可以很好地融合这些信息。HMM的使用涉及到训练 和分类两个阶段 ,训练阶段包括指定一个隐马尔可夫模型的隐藏状态数 ,并且优化相应的状态转换和输 出概率 ;分类阶段涉及到一个特定的 HMM可能产生相应于所观察图像特征的测试符号序列的概率的计 算。步态周期可以看作一个双重随机过程 ,其中隐过程用姿态之间的转移来描述 ,而显过程则用特定姿 态下的图像特征刻画。在基于隐马尔可夫模型的步态识别中 ,步态序列被看作是人体行走姿态在给定约 束下的一种遍历关系。通过对样本库中每个目标调整模型参数 ,λ= (π, A , B )使得同一目标的测试序列 的 P (O \λ)达到最大。文献 [ 14 ]中使用半个步态周期的 5个关键姿态的宽度向量作为特征 ,通过计算给定 图像与样本姿态的距离产生低维观测向量 ,并以此训练 HMM 的参数进行步态识别。 此外 ,还有神经网络法、支持向量机 ( SVM )方法。其中 , SVM是近年来在模式识别与机器学习领域 中出现的新工具 ,它以统计学习理论为基础 ,有效地避免经典学习方法中过学习、维数灾难、局部极小等 传统分类存在的问题。在小样本条件下仍然具有良好的范化能力 ,因此受到了广泛的关注 ,而且成功应 用到了人脸识别、文本分类、基因分析、手写体识别、语音识别等多种领域。在步态识别中也成功运用了 SVM方法。 5　结语 从以上的分析可以看出 ,步态识别问题无论在应用领域 ,还是在计算机视觉领域都是很值得研究的 问题。目前有关步态识别的研究尚处于理论探索阶段 ,远远没有达到实用阶段。识别算法还只是基于受 限的实验条件或一些简单的假设条件 ,还没有达到实用阶段。未来的工作着重于寻求更为可靠的步态特 征和更为精确的步态识别算法 ,并将前端视频采集与后台处理有效结合起来 ,以实时的身份识别作为追 求目标。另外 ,还要建立更大规模的、更为标准的数据库 ,以验证算法的有效性。 对步态识别的发展趋势可概括为 : 三维建模与多摄像机的使用通过对人体结构或人体运动进行三维建模 ,可以更加准确地刻画待识目 32 第 25卷 　　　　　　　　　　　　　　　　　　任继钢 :步态识别综述 　　　　　　　　　　　　　　　　　第 6期 标的静态和动态特征 ,从而有助于更加复杂的特征匹配、运动估计算法的实现。 进行数据融合 ,其核心思想是对同一事物的不同信息进行比较分析 ,根据多数原则进行信息的筛选 , 最终得出对事物有用的信息成分。数据融合在其他生物特征识别领域已经取得了很好的效果。 复杂背景下大规模步态数据库的建立。数据库的规模局限使得当前的研究成果不具有绝对说服力 , 因此必须在更大规模、更加复杂背景环境下进一步检验步态的识别性能。 参考文献 [ 1 ] N ixon M. S. , Carter J. N. , Nash J. M. , et al. Automatic Gait Recognition [A ]. In: Proceedings of the IEEE Collo2 quium on Motion Analysis and Tracking[ C ] , London, England, 1999, 1 - 6. [ 2 ] Yuan D. , Lu Siwei. Motion detection and tracking system based on frame analysis and simulated static electric field ( SSEF) snake[A ]. In: Proceedings of 8 th International Conference on Control, Automation, Robotics and V ision[ C ] , Kunm ing, China, 2004, 2308 - 2313 [ 3 ] 史立 ,张兆扬. 使用修改的豪氏道夫距离自动提取运动对象 [ J ]. 中国图象图形学报 , 2001, 6 (7) : 689 - 692. [ 4 ] Haritaoglu I. , Harwood D. , Davis L. S. . W 4: real - time surveillance of peop le and their activities[ J ]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2000, 22 (8) : 809 - 830. [ 5 ] Chang C. C. , Chia T. L. , Yang C. K. . Modified temporal difference method for change detection [ J ]. Op tical Engi2 neering, 2005, 44 (2) : 1 - 10. [ 6 ] Ishiyama H. , Okatani T. , Dequehi K. . H igh - speed and high - p recision op tical flow detection for real - time motion segmentation[A ]. In: Proceedings of the SICE Annum Conference[ C ] , Sapporo, Japan, 2004, 751 - 754. [ 7 ] Friedman N. . The Bayesian structural EM algorithm [A ]. In: Proceedings of the Fourteenth Conference on Uncertainty in A rtificial Intelligence [ C ] , W isconsin, USA, 1998, 129 - 138. [ 8 ] Kale A. , Rajagopalan A. N. . Identification of Humans U sing Gait [ J ]. IEEE Trans. On Image Processing, 2004, 13 (9) : 1163 - 1173 [ 9 ] Lee L. , Grim son W. E. L. . Gait analysis for recognition and classification [A ]. In: Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture Recognition [ C ] ,W ashington DC, USA, 2002, 155 - 162. [ 10 ] Cunado D. , N ixon M. S. , Carter J. . U sing gait as a biometric, via phase - weighted magnitude spectra [A ]. In: Pro2 ceedings of International Conference on Audio and V ideo - based B iometric Person Authentication[ C ] , Crans - Montana, Switzer2 land, 1997, 95 - 100 [ 11 ] U rtasun R. , Fua P. . 3 D Tracking for gait characterization and recognition [A ]. In: Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition[ C ] , Seoul, Korea, 2004, 17 - 22. [ 12 ] W ang L iang, Tan Tieniu, N ing Huazhong, et al. Silhouette analysis based gait recognition for human identification [ J ]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25 (12) : 1505 - 1518. [ 13 ] Kale A. , Cuntoor N. , Yegnanarayana B. , et al. Gait analysis for human identification[A ]. In: Proceedings of the 3 rd International Conference on Audio and V ideo - Based B iometric Person Authentication[ C ] , Guildford, UK, 2003, 706 - 714. [ 14 ] Kale A. , Rajagopalan A. , Cuntoor N. , et a1. Gait based recognition of humans using continuous hmm s[A ]. In: Pro2 ceedings of IEEE International Conference on Automatic Face and Gesture Recognition[ C ] , W ashington, DC, USA, 2002, 336 - 341. A Survey of Ga it Recogn ition Ren J i - gang ( Central Hosp ital of Panzhihua, Panzhihua 617000, Sichuan) 　　Abstract: A s a newly emerged biometric identification technology, gait recognition refers to automatic identification of an indi2 vidual based on his or her style of walking, it’s a new biometrics recognition technology. This paper attemp ts to review the important research issues in gait recognition such as motion segment, feature extraction and recognition methods. Moreover, some research p roblem s and future directions in gait recognition are discussed. Key words: gait recognition; feature extraction; motion segment; dynam ic time warp ing 42 第 25卷 　　　　　　　　　　　　　　　　　　　攀枝花学院学报 　　　　　　　　　　　　　　　　　　　第 6期