基于背景像素值频次最高假设的背景重构算法

基于背景像素值频次最高假设的背景重构算法 第 13卷 第 4期 中国图象图形学报 Vo .l 13 , No. 4 Ap r. , 2008 2008年 4月Jou rna l of Im age and Grap h ic s 基于背景像素值频次最高假设的背景重构算法 齐美彬 王 倩 蒋建国 安宝磊 ()合肥工业大学计算机与信息学院 , 合肥 230009 摘 要 背景重构是背景差分法运动的关键问 ,为了快速地重构背景 ,提出了一种新的基于“背景点像素值 出现频次最高 ”假设的背景重构算法 ,即先在观察时间内抽样若干帧作为训练图像序列 ,并用帧差法对图像进行处 理得到大致运动区域 ,再利用区域生长法得到较完整的运动区域 ; 然后将各抽样帧内运动区域内的点都标记为前 景点 ,而将其余点标记为背景点 ;最后 ,统计每个背景点的不同像素值出现的频次 ,并选出频次最大的灰度值作为 该像素点的背景灰度值 。实验明 ,该算法能快速有效地重构背景 。 关键词 背景差法 背景重构 区域生长 运动检测 ( ) 中图法分类号 : TP391 文献标识码 : A 文章编号 : 100628961 200804 20723206 A Ba ckgroun d Recon struc t ion A lgor ithm Ba sed on the Hypo the s is of Ba ckgroun d P ixe l w ith M a x im um Proba b il ity Q IM e i2b in, WAN G Q ian, JAN G J ian2guo, AN B ao2le i ( )S chool of C om pu ter and Inform a tion, H efei U n iversity of Technology, Hefei 230009 A b stra c t B ackground recon struc tion is the key to moving de tec tion. So a background reconstruction algo rithm based on the hypo the sis of background p ixe l w ith m axim um p robab ility is p re sented in this pap er. First, we ca lcu la ted the diffe rence between sequential fram e s which a re samp led from a sec tion of video sequences, and get the fu ll moving a rea by a rea grow ing, then labe l the p ixe ls in moving area a s moving po ints and o the rs a s background po int. W e ca lculate the m ean of the inten sity value of the background po in t in these fram es and con side r the m ean of the in ten sity va lue a s the background p ixe l in ten sity. The re su lts of exp e rim en ts show tha t th is new a lgo rithm can recon struc t the background qu ick ly and succe ssfu lly. Keyword s background sub trac tion, background recon struc tion, a rea grow ing, mo tion de tec tion 保持目标的完整性 ,且运算量较小 ,因此得到广泛应 用 。本文研究背景差分法中的关键问题 :背景重构 。 1 引言 在利用背景差分法进行运动检测时 ,必须先进 视频序列中运动目标的检测有很多 ,由于 行背景重构 ,前人已做了大量工作 ,其中获得背景最 摄像机静止时 ,图像中背景区域固定不动 ,因此可用 直接的方法是采集不含运动目标的图像作为背景 , [ 1 , 2 ] [ 3 ] [ 4 ] 光流法 、帧差法 和背景差分法 进行运动目 或者将一段图像序列的像素平均灰度作为近似的背 景 ,但易将前景目标混入背景中 。 标的检测 。其中光流法不需要背景的任何先验知识 在静止场景中 就能实现运动目标的检测和跟踪 ,但计算量大 ;帧差 ,一个像素点在一段时间内的亮 法虽能适应环境变化 ,但分割出的目标不完整 ,而且 度变化服从高斯分布 ,如果场景变化缓慢 ,那么只要 当目标运动较快时 ,容易产生目标重叠 ,而背景差分 用基本的高斯模型就可以适应这种变化 ,但由于背 法则能很好解决此问题 ; 背景差分法是通过对输入 景往往较复杂 ,对背景像素仅用一个高斯分布表示 是不够的 ,因此目前大多使用混合高斯分布 。文献 图像与背景进行差分来检测出运动目标 ,由于其能 ( )基金项目 :科技部中小企业创新基金项目 04 c26213401216 收稿日期 : 2006 208 231; 改回日期 : 2006 211 224 ( ) 第一作者简介 :齐美彬 1969 , ,男 。副教授 ,现为合肥工业大学计算机与信息学院博士研究生 。主要研究方向为数字图像处理与 D SP 应用 。 E2m a il: q im e ib in@ 163. com ( )( ) [ 5 ]采用 K个高斯分布 K值取 3 ,5 的混合模型来 ; 3 判断每一帧的每一像素 找到完整的运动区域 表示背景像素的分布规律 , K 值越大 , 系统越能表征 是背景点还是前 景 点 , 并划 分背 景 点的 状态 区 间 ; ( )4 将平均灰度值相近的归为一类 , 并累计区间的 复杂的场景 , 但计算量也将随之增加 。文献 [ 6 ]提 长度 , 将与最长的区间对应的灰度均值作为该像素 出了一种无参数的核密度估计算法 , 用来实现背景点的背景像素值 。 的建模 , 即先保留图像中每个像素亮度值的样本 , 然 211 三帧帧差法后用这个样本来估计像素亮度分布的密度函数 , 但 已知图像序列 { I, I,, I, } , 帧差 法就 是 其存储量和运算量都非常大 。 1 2 N 文献 [ 7 ]是 利 用 分 级 分 块 背 景 估 计 法 建 立 背 先从该图像序列中等间隔抽取 N + 1 帧图像 , 记为 景 , 即利用子块能量和高阶矩判断每一子块是背景 ( ) } 。m x, y 表示在这 N + 1 帧图像, m{ m , m , N i 0 1 子块还是运动子块 , 但分块的大小会影响重构背景 ( ) ) ( N 像素点 x, y 的灰度 , 中的第 i帧 i = 0, 1, 2, 的质量 , 分块过小不能反映高斯分布的特性 ; 分块过 值 ; 然后通过求 3帧的帧差得到差分图像 D 和 D , 1 2 大又会将子块中的小目标恢复到背景中 。 其中 D , D 分别为第 1 帧和第 2帧图像及第 2帧和 1 2 另外 ,也可以从一组观测图像中 ,按照一定的假设 第 3 帧图像的差分图像 , 接着对差分图像进行二值 选择合适的像素灰度值构成当前背景 。文献 [ 8 ]认为 化处理 , 得到二值化图像 G和 G, 再通过 G和 G1 2 1 2 在图像序列中 , 稳定状态最长的灰度值是背景像素灰 的相与来得到大致的变化区域 M :i ( ( ( ) )) 1, 如果 Gx, y ?Gx, y ?0度值 ,但如果前景目标运动较慢, 稳定状态最长的灰度 1 2 ( ) M x, y = i 值往往是前景目标 ,此时就会产生错误结果。 文献 [ 9 ] 其他 0, 利用光流场法去掉了由运动目标产生的稳定状态最长 212 区域生长法 的灰度值 ,从而得到了正确结果, 但光流场算法复杂 、 该方法就是先用区域生长法检测出完整的运动 运算量大 ;文献 [ 10 ]认为 ,背景在图像序列中总是最经 区域作为前景 ; 然后只对背景区域的像素进行灰度 常被观测到的 , 文献 [ 11 ]利用此假设提出了基于像素 平稳区间划分 , 并进行灰度级归类 , 这就避免了对前 灰度归类的背景重构算法 ,当假设成立时 ,其虽能很好 景像素灰度平稳区间的划分 。为了减小运算量并避 地重构背景 , 但是当运动物体出现的概率大于背景出 免阴影等噪声点的影响 , 可先对 M 进行分割 , 然后 i 现的概率时 ,即假设不满足时 ,就不能正确重构背景 。 仅在包含目标的区域内做区域生长 。文献 [ 9 ]对抽样的相邻两帧做帧差之后是直接 划分区域生长时 , 先从 M 中找到运 动 区域 的边 缘 i 每个像素的灰度平稳区间 , 但当运动目标运动 缓慢点 , 然后将每一个边缘点作为种子点 , 映射到当前帧 或抖动时 , 由于帧差只能检测出运动目标的边 的原始图像中 , 其生长准则是当种子点与所考虑的 像素点灰度 值差 的 绝对 值小 于 或 等 于 某 个 阈 值 T 缘 , 所以连续几帧二值化图像中运动物体的内部会 时 , 就将该像素包括到该种子点所在的区域 , 算法的 出现空洞或边缘不完整 , 这时会把前景物体的像素 邻域系统为八邻域 。将区域生长法得到的包含完整 灰度也划分成一个灰度平稳区间 , 也就是当前景像 运动区域的二值化图像记为 W 。素灰度出现的概率大于背景像 素灰 度出 现 的概 率 i 213 划分背景点的状态平稳区间时 , 则前景像素会被当作背景 。 ( ) 当 W x, y = 1 时 , 则 该 像 素 点 为 前 景 点 ; 当 一般情况下 , 背景像素灰度值出现的概率最大 ,i ( ) W x, y = 0时 , 则该像素点为背景点 。然后再统计 i 由于文献 [ 10 ]的假设较文献 [ 8 ]的假设更为合理 , 背景点的各灰度值持续出现的帧数 , 即可得到各灰 因此本文基于文献 [ 10 ]的假设进行背景重构 , 但是 度值的状态平稳区间 。 要先去掉运动前景的灰度值 , 再选择频次最高的背 在运动物体的静止期间 , 帧差法将该物体所在 景灰度值作为该点的背景像素值 , 本文在此基础上 区域像素点判为背景点 , 而当物体离开原来位置后 , 提出了一种新的背景重构算法 。 帧差法也将该区域像素点判为背景点 , 因此要区分 这两种情况 , 否则物体就混入了背景 。考虑到背景 2 本文背景重构算法描述 点与前景点的灰度值一般有较大差异 , 因此可以将 相邻的两帧原始图像的背景点灰度做比较 , 当灰度 ( ) 3 帧帧差 本文算法包括以下 4 个步骤 : 1 用 ) ( 值差异小于 T T 可以为运动检测的阈值 时 , 则可( ) 法得到当前帧的大致运动区域 ; 2 用区域生长法 :基于背景像素值频次最高假设的背景重构算法 齐美彬等 第 4期 725 ()认为此背景点的当前帧与上一帧的状态是连续的 ; ha ll_mon ito r QC IF 测试序列对本文算法进行了 准 当灰度值差异大于 T 时 , 则可认为此背景点的当前 实验 ,即从 300 帧中抽样 10 帧进行处理 ,以获得背 帧与上一帧的状态不是连续的 , 此时可将当前帧作 景图像 ,处理 10帧图像耗时约 25m s,即每帧耗时约 215m s,可见满足 实 时性 要求 。同时 将 本文 重构 背为一个新的背景点状态的开始 。 ( )最终利用 W x, y 和相邻两帧的灰度差两个因 景算法与时间平均法及像素灰度归类法的实验结果 i 素来判断当前帧的当前像素点是否属于某个背景点 进行了比较 。如图 1 所示 ,左边的人顺着摄像机方 状态的平稳区间 。 向渐渐离开摄像机 ,使得人体内部部分像素点的灰 度值出现的概率大于背景灰度值出现的概率 。重构 214 背景点状态区间归类及背景灰度值确定 (该步骤是先对每一个像素比较各段背景点状态 结果表 明 , 用 本 文 算 法 能 较 好 地 重 构 出 背 景 见 ( )) ( )平稳区间的平均灰度值 , 灰度均值相近的归为一类 ; 图 1 b。图 1 c是像素灰度归类法重构的背景 , ( )图中显示背景中混入了人 ;图 1 d为时间平均法重 然后对属于同一类的背景点状 态平 稳区 间 再求 均 ( )值 ; 最后累计每一类背景点状态平稳区间的总长度 , 构的背景 ,由图 1 a可见 ,由于左右两个人都混入 ( )并将与最长的背景点状态平稳区间对应的平均灰度 了背景 ,致使背景有明显阴影 。图 1 e为第 258帧原 ( )( )值作为点 x, y 的背景像素值 , 算法结束 。 图 ;图 1 f为用本算法对重构背景做运动检测的结果 ; ( )图 1 g为用像素灰度归类法对重构背景做运动检测的 ( )结果 ,该图左边出现了虚假目标 ,图 1 h为用时间平均 3 实验结果 法对重构背景做运动检测的结果 ,该图左边也出现了 为验证本文算法效果 , 在 P4219 G PC 上 , 用 标 假目标 。 图 1 H a ll_mon ito r. yuv序列实验结果 1 F ig. 1 R e su lt 1 of ha ll_mon ito r. yuv ( ) 图 2 是室内自拍序列的实验结果 。图 2 a 为 右侧出现了误检运动点 。 3为从交通视频序列抽样 25 帧重构的背景 , 图 自拍序列中的一帧 ,图像上运动目标较大 ,且运动缓 ( )( ) 慢 ,一共抽样 18 帧用来重构背景 。图 2 b 为用本 该序列左下角不断有车辆出现 。图 3 b 为本文算 ( )( ) 文算法重构出的背景 ,图 2 c为用像素灰度归类法 法重构出的背景 ; 图 3 c 为灰 度归 类 法重 构的 背 ( )重构的背景 ,该图右侧有少量斑点 。图 2 d为室内 景 ,因为相似灰度的车辆不断出现 ,从而导致该图左 ( )( )自拍序列第 252 帧原图 ,图 2 e为用本文算法重构 下角有长条状的斑点块 ;图 3 d为时间平均法重构 ( )( )的背景 ,该图左下角有明显阴影 。图 3 e 为交通监 的背景进行运动目标检测的结果 ;图 2 f为用像素 控序列第 176帧 ,用 3种方法进行了运动目标检测 。 灰度归类法重构的背景的运动目标检测结果 ,该图 ( )图 3 f为用本文算法重构的背景做背景差分的结 ,仍能重构背 当背景像素值出现的频次不是最高时 ( )果 ,图 3 g为用灰度归类法重构背景做背景差分的 景 。该算法先利用抽样的相邻三帧帧差法和区域生 结果 ,由该图可见 ,由于背景上的阴影导致检测出的 长法检测出运动物体的完整区域 ,并判断每一帧的 ( ) 车体拖尾 ;图 3 h为用时间平均法重构的背景做背每个像素点是背景点还是前景点 ; 然后只对被判断 () 景差分的结果 ,由该图可见 ,背景上的阴影导致左下 为背景点的像素进行统计 即不统计前景点 ; 最后 角车体不完整 。 选出每一像素点出现频次最大的灰度值作为该点的 背景灰度值 ,这就避免了前景点的灰度值混入背景的 问题 ,实验表明 ,大多数时候本算法能正确重构背景 。4 本文算法适应性讨论 411 背景更新策略 ( 本文算法是针对文献 [ 11 ]的问题提出的 ,希望 本文算法是从过去的观测图像来重构背景 参 :基于背景像素值频次最高假设的背景重构算法 齐美彬等 第 4期 727 ) ( )考文献 [ 11 ] ,有以下 3种更新策略 :第 1种是定时背 序列的前 100 帧重构出的背景如图 4 b 所 mon ito r 景更新 , 适用于背景缓慢变化的情况 ,即在规定时间 示 ,由于在前 100 帧中 ,左边的人没有将箱子放下 ,()段 如 5m in的最后 10 s内抽样若干帧图像用来重构 所以背景中没有箱子 ,从第 133帧开始 ,人把箱子放 ( ) 下 ,此时若以图 4 b 所示背景做运动目标检测 ,则 背景 ,并作为下一个时间段的背景 ;第 2 种是在背景 (( ) ) 静止的箱子就会被误检为运动目标 见图 4 d 。 突变时进行更新 ,即若连续若干帧背景差分图像中 , (其变化的像素数超过某一个阈值时 如全部像素数的后续的运动目标检测显示 :由于连续 16 帧内箱子所 ) ( ) 80% ,则表明背景发生了突变 ,需要重构背景 ; 第 3在区域均为变化区域 ,且质心坐标始终为 58 , 81 ,种情况是 ,若连续若干帧的背景差分图像中某区域为 因此判断此箱子为虚假目标 ,此时就要重构新的背 变化区域 ,且目标质心变化很小 ,则可将之判为虚假 景 。在第 3种情况下 ,由于目标运动缓慢或者受噪 目标 ,此时就要重构新的背景 。为了减小运算量 ,可 声的影响 ,因此目标质心可能有一定变化 ,此时可据 以仅对虚假目标所在的区域进行背景更新 。这种背 实际情况设定阈值 ,若目标质心变化小于此阈值 ,则 景更新情况可用图 4 所示的实验来说明 。从 ha ll_ 仍然认为该区域是虚假目标 ,要进行背景更新 。 图 4 H a ll_mon ito r. yuv序列实验结果 2 F ig14 R e su lt 2 of ha ll_mon ito r. yuv , 即可直接从含有运动前景的场景图像中重构背景 412 算法适用条件和范围 若场景中存在一些微小的变动区域 ,如树叶的 这不仅有效地避免了混合现象 ,并且当前景运动目 轻摆或水面的微波 ,则重构出的背景不能反映这种 标长时间在某一区域运动或目标在某一区域频繁出 变化 ,但由这种情况导致的运动目标检测出现的错 现 ,导致该区域的某些像素点前景点灰度值出现的 误结果可用数学形态学方法去除 。若场景中存在摆 概率大于背景点灰度值出现的概率时 ,仍能正确重 动性质的物体只要去掉运动点后 ,背景点出现的频 构背景 。 次最高 ,则采用本文方法就可以重构出不含这些运参考文献 ( Referen ce s) 动部分的背景 。若运动目标检测后 ,有人们不感兴 1 Sm ith S M , B rady J M. A SSET22: R ea l2Tim e mo tion segm en ta tion ()趣的目标 如摇摆的树枝 出现 ,则需要在算法的高 and shap e track ing [ J ]. IEEE Tran sac tion s on Pa ttern A na lysis and 层进行处理 ,比如 ,若这些目标的质心轨迹具有摆动 ( ) M ach ine In te lligen t, 1995 , 17 8 : 814 ,820. 或摇动的规律 ,则视之为虚假目标 。当场景中存在 2 W e i Zh i2q iang, J i X iao2p eng, Feng Ye2wei. A moving ob ject de tec2 波动剧烈的水面或开启的电脑屏幕时 ,由于帧差法 tion m e thod ba sed on se lf2adap tive up da ting of background [ J ]. A c ta ( ) E lec tron ica Sin ica, 2005 , 33 12 : 2261 ,2264. [魏志强 ,纪筱鹏 , 会显示每一帧中该区域都是变化的 ,因此无法重构 冯业伟. 基于自适应背景图像更新的运动目标检测方法 [ J ]. 电 出理想的背景 ,如何更好地解决这些问题 ,需要进一 ( ) 子学报 , 2005 , 33 12 : 2261 ,2264. ] 步的研究 。Jo lly M P D , L ak shm anan S, Jain A K. V eh icle segm en ta tion and 3 c la ssifica tion u sing defo rm ab le temp la te s [ J ]. IEEE Tran sac tion s on 5 结论( ) Patte rn A nalysis and M ach ine In te lligen t, 1996 , 18 3 : 293 ,308. Ja in R. D iffe rence and accum u la tive d iffe rence p ictu re s in dynam ic 4 ( ) scene ana lysis[ J ]. Im age and V ision Comp u ting, 1984 , 2 2 : 99 , 本文提出一种简单有效的背景重构算法 ,其可 108. 利用较少的抽样帧数有效地重构背景 。 该算法无Stauffer C, Grim son W E L. A dap tive background m ixtu re mode ls fo r 5 须对场景中的背景和目标建立模型 , ( ) rea l2tim e track ing[ A ]. In: P roceed ings of the IEEE Comp u te r Socie2 ,1359. 12 : 1351 ty Confe rence on Comp u te r V ision and Patte rn R ecogn ition [ C ] , Fo rt 9 Gu tche ss D , Tra jkon ic M , Cohen2So la l E, et a l. A background mod2 Co llin s, CO , U SA , 1999 , 2: 246 ,252. e l in itializa tion a lgo rithm fo r video su rve illance [ A ]. In: P roceed ings th of the 8 IEEE In te rna tiona l Confe rence on Comp u te r V ision [ C ] , et a l. B ackground and 6 E lgamm a l A , D u ra iswam i R , H arwood D , V ancouve r, Canada, 2001: 733 ,740. fo reground mode ling u sing nonp a ram e tric ke rne l den sity e stim a tion fo r ( ) 10 Ko rnp rob st P, D eriche R , A ube rt G. Im age sequence ana lysis via visua l su rveillance [ J ]. 2002 , 90 7 : P roceed ings of the IEEE, 1151 ,1163. p a rtial d iffe rence equation s[ J ]. Jou rna l of M a them a tica l Im aging and ( ) 7 Cu i Yu2wei. R e sea rch of Som e P rob lem s A bou t Mo tion D etec tion and V ision, 1999 , 11 1 : 5 ,26. Track [ D ]. X i’an No rthwe st U n ive rsity, 2005 , 15 ,29. [崔孙巍. 11 Hou Zh i2q iang. A background recon struction a lgo rithm based on p ixe l 运动目标检测与跟踪中有关问题的研究 [ D ]. 西安 : 西北大学 , ( ) in ten sity c la ssification [ J ]. Jou rna l of Softwa re, 2005 , 16 9 : 1568 2005 , 15 ,29. ] ,1576. [候志强. 基于像素灰度归类的背景重构算法 [ J ]. 软件8 Long W , Yang Y. Stationa ry background gene ra tion: A n a lte rna tive ( ) 学报 , 2005 , 16 9 : 1568 ,1576. ] to the d iffe rence of two im age s [ J ]. Pa ttern R ecogn ition, 1990 , 23