闪光视觉诱发电位在脑机接口中的应用研究

第 26卷第 11期 � � � 计算机应用与软件 Vo l�26 No. 11 2009年 11月 � � Computer Applications and Softw are Nov. 2009 闪光视觉诱发电位在脑机接口中的应用研究 黄漫玲 1, 2 � 吴平东 1 � 毕路拯 1 � 刘 � 莹 1 1 (北京理工大学机械与车辆工程学院 � 北京 100081) 2 (北京政法职业学院 � 北京 100024) 收稿日期: 2008- 06- 24。国家自然科学基金项目 ( 60274035 ); 高 等学校博士学科点专项科研基金 ( 20070007043 )。黄漫玲,讲师,主研领 域:脑电信息处理及应用。 摘 � 要 � � 运用叠加平均与快速傅立叶变化相结合的,提取大脑皮层的稳态视觉诱发电位 SSVEP ( steady sta te v isua l evoked po� tentia l)信号 ,并作为输入信号应用于脑控机器人系统。通过实验确定了测试电极、视觉刺激颜色与背景亮度等模式参数, 并且研究 了不同使用者在不同视觉刺激频率下的 SSVEP幅值变化趋势。研究结果表明, 该方法能更好地提高信噪比, 提取出的稳态视觉诱 发电位信号能够准确反映使用者的控制意图,应用于脑控机器人系统, 取得了很好的效果。 关键词 � � 稳态视觉诱发电位 � 脑机接口 � 脑电 ON APPLYING FLASH V ISUAL EVOKED POTENTIAL IN BRA IN�COMPUTER INTERFACE HuangM anling 1, 2 � Wu P ingdong1 � B iLuzheng1 � L iu Y ing1 1 (S chool of M echanical and Veh icu lar Eng ineering, B eijng Institute of Technology, B eijing 100081, Ch ina ) 2 (B eijing Colleg e of Poli tics and Law, B eijing 100024, C hina ) Abstrac t� � A m ethod comb in ing superposed average and FFT ( fast Fourier transform ) is proposed to acqu ire SSVEP signal from pa llium, and tha t signal is app lied to bra in�robot system as input s igna .l M ode param eters, such as testing e lectrodes and lum inance o f background and co lour of v isual stimu lation, are con firm ed by exper im ents. The vary ing trend of SSVEP amp litudes of d ifferent users w ith d ifferent s imu lative frequencies has been studied. The study results show that th is m ethod can ra ise signa l no ise rate better, and the SSVEP extracted can reflec t accura tely the con tro l purposes of the users. The applica tion o f th is in bra in�robo t system achieved qu ite good ou tcom e. K eywords� � Steady state v isua l evoked po tential ( SSVEP) � B ra in�com puter inte rface ( BC I) � E lectroencepha log ram ( EEG ) 0� 引 � 言 脑机接口 BC I( bra in�com puter interface)是在人脑和计算机 或其它电子设备之间建立一种直接的信息交流和控制通道 [ 1], 是一种不依赖于常规大脑输出通路 (外周神经和肌肉组织 )的 全新的信息交流系统 [ 2]。研究和发展 BC I技术最主要的目的 在于设计出基于脑电 EEG( e lec troencepha log ram )的控制装置以 帮助严重的残疾患者 (例如肌萎缩性脊髓侧索硬化症、脑瘫、脑 干中风或脊髓损伤等 )以及严重的交流障碍患者实现与外部环 境进行交流和控制 [ 3]。脑机接口还能应用到军事、航空和娱乐 等领域。对脑机接口的研究已成为国内外康复医学工程和生物 医学工程研究的热点。 脑机接口系统一般由脑信息采集系统、特征提取、模式识 别、控制装置系统和信息反馈组成。反映大脑活动的电生理信 号由电极从头皮或者大脑内部获取并传送到放大器, 信号经过 放大、滤波、模数 ( A /D )转换等前置处理后传送到计算机, 计算 机对信号进行预处理, 去掉噪声信号,通过特征提取算法将信号 特征提取出来, 然后通过模式识别将这些特征分类, 最后, 信号 特征量按照一定的转换将分类后的特征量转换为外部装置 的控制命令, 从而实现利用脑电信号来控制外部设备, 如操纵轮 椅、家用电器及上网等等。为了优化系统的性能, 有些 BCI系统 还设置了反馈环节, 不仅能为使用者操作 BCI系统提供指示, 还 能帮助使用者根据反馈信息来训练脑电信号 [ 4]。 应用于脑机接口的脑电信号主要有自发脑电和诱发脑电两 类。其中慢波皮层电位、�节律、�节律或 节律等属于自发脑 电。P300、视觉诱发电位等属于诱发脑电,由外界刺激人的感官 (视觉、听觉、体感等 )产生。根据刺激信号频率的不同, 视觉诱 发电位又可以分为瞬态诱发电位和稳态诱发电位。稳态视觉诱 发电位 SSVEP是稳态诱发电位的一种。高信息传输率、短训练 时间及无损伤性等优点使得 SSVEP成为一种有应用价值的 BCI 输入信号。本研究采用闪光稳态视觉诱发电位作为脑机接口的 输入信号, 构建基于闪光 SSVEP的脑控机器人系统。 1� 脑电数据采集 10名受试者 ( 5男 5女 )均为在校研究生, 年龄 26岁 - 35 岁。所有受试者都自愿参与此实验,他 (她 )们校正后的视力均 达到或高于 1. 0,且无既往神经、精神系统病史。实验均在专用 的脑信息检测实验室中进行。 � 14��� � � � 计算机应用与软件 2009年 1. 1� 实验方法 实验采用日本光电 EEG1100数字化脑电图仪上的闪光视 觉诱发氙灯作为诱发 SSVEP的视觉刺激器, 其输出脉冲频率可 调 ( 0. 5- 60H z)。实验时,受试者坐于视觉刺激器前, 双眼距离 刺激灯 70cm左右, 戴好电极帽, 并在测试电极位置注入导电 膏。要求受试者一直注意刺激灯中央, 身体各部分不能有大的 移动, 身心放松,像平时一样眨眼, 并不受闪光节律的牵制。用 不同刺激频率、不同颜色的灯光对受试者进行视觉刺激。为避 免视觉疲劳, 在每组实验后有 5分钟的休息时间。 1. 2� 数据记录 采用日本光电公司生产的 128通道的数字化脑电图仪 EEG1100记录实验数据。电极为 A g /A g c l表皮电极, 所使用电 极的阻抗均未超过 5K! , 每隔 20分钟对电极的阻抗进行一次 测量。如图 1所示, 按 10- 20国际脑电记录系统的电极安放标 准 [ 5] ,同时设置了两套导联系统: 对于单极导联系统, 测试电极 置于 FP 1 、FP 2 、F 3 、F 4 、C 3 、C 4 、P 3 、P 4 、O 1 、O 2 、O Z 、P 7 、P 8 、CP 3 、CP 4 、 FZ、CZ、FCZ、T7、T8、TP7、TP8, 参考电极分别置于左、右耳垂; 对于 双极导联系统, 测试电极置于枕极 O Z处, 参考电极置于 CZ处; DRL电极置于前额。采样频率 1000H z,滤波范围设置为 0. 53- 70H z,每组记录时程为 12s, 截取采样序列 10000个数据点。编 写相关的数据读取与分析程序,对实验数据进行分析处理。 图 1� 电极安放位置图 2� 特征提取与模式识别 在头皮表面检测到的视觉诱发电位属于微弱信号, 始终淹 没于背景噪声之中, 背景噪声主要是自发脑电、肌电及 50H z工 频电磁波在人体上的感应电势。由于诱发电位一般只有 0. 3- 20 v,而自发脑电的幅度却高达 30- 100 v,因此, 如何从脑电 信号中有效地提取出淹没在自发脑电中的诱发电位, 并对它们 进行准确分类便成为脑机接口技术的关键。 本系统采用叠加平均与快速傅立叶变换 FFT ( Fast Four ier T ransfo rm )相结合的方法, 通过提高信噪比, 从而在强噪声背景 中提取出微弱的视觉诱发电位信号。 算法思想如下 [ 6] : 设待提取的脑电信号满足两个条件: 一 是每次刺激所获得的诱发电位波形基本不变; 二是诱发电位和 噪声是相互独立的, 且噪声的均值为零。 定义视觉诱发电位信号的模型为: X i ( t) = S ( t) + n i ( t) � i = 1, 2, �, M ( 1) 式中: X i ( t)为第 i次刺激后观察到的信号, S ( t)为待提取的视 觉诱发电位信号, n i ( t) 为第 i次记录到的噪声, i为记录序号。 M 次叠加平均后的信号为: 1 M Mi= 1X i ( t) = 1M Mi= 1 S ( t) + M i= 1 n i ( t) ( 2) 设噪声的方差为 ∀ 2n,M次叠加平均后,其均值和方差分别为: E 1 M M l= 1 n i ( t) = 0 ( 3) D 1 M Ml= 1 n i ( t) = ∀ 2 n M ( 4) M次叠加平均后 ,信噪比为: SNRavg = M [ S ( t) 2 ] ∀ 2n = M! SNR ( 5) 由式 ( 5)可见, 经过 M 次叠加平均后, 诱发电位与 M 成正 比增加,而噪声叠加后则由于各次记录有正有负而部分抵消, 功 率信噪比提高了 M 倍,幅度信噪比改善了 M 倍。 经过叠加平均后的脑电信号只能从其时域图上观测到时间 与幅值的变化情况,要想准确判断诱发 SSVEP的刺激频率还需 要对叠加平均后的信号进行快速傅立叶变换 FFT。 X (k ) = N - 1 n= 0 x (n )W nk N � k = 0, 1, �, N - 1 ( 6) 式中: x (n )为一个长度为 L的有限长序列, W N = e- j2#/N 为旋转 因子或蝶形因子。通过式 ( 6)将脑电信号中 SSVEP的时间与幅 值关系转换成频率与幅值的关系, 在其频谱图中可看到与视觉 刺激频率相对应的稳态视觉诱发电位。 本研究对采集的每组脑电数据进行处理, 截取的 10s数据 中每 1000个数据点进行叠加平均, 经过 10次叠加平均后,诱发 电位明显增加, 功率信噪比提高了 10倍,幅度信噪比提高了 3. 16倍。对叠加平均后的数据进行 FFT变换, 在其频谱图上能准 确识别出与刺激频率一致的 SSVEP信号。 3� 实验结果与分析 对采集到的脑电信号进行分析, 10名受试者在注视某个频 率的刺激灯时, 脑电中均诱发出了与刺激频率相应的稳态视觉 诱发电位信号, 但 22个测试电极所测得的 SSVEP信号幅值不 同。对于单极导联系统, 枕叶部位的 SSVEP幅值明显高于其他 部位。其中枕极 OZ处幅值最高, O1、O2次之, 顶叶 CZ处幅值也 较高, 但出现极性倒转现象。从枕叶过渡到顶叶, PZ、CPZ、P3、 P4、P7、P8、CP3、CP4 处幅值均降低。颞叶处的 T7、T8、TP7、TP8 幅值最低。额叶部位的 FP 1 、FP 2 、F 3 、F 4 虽然幅值也较高, 但由 于接近眼部,容易受到眼电干扰,不适合作为脑机接口的输入信 号。 10名受试者的双极导联 ( O Z�CZ )幅值均高于单极导联 ( OZ� 左右耳平均电极 ) ,如图 2所示,受试者 ZHQ在进行 8H z视觉刺 激时, O Z电极处双极导联与单极导联的 SSVEP频谱图中,在基 频 ( 8H z)与倍频 ( 16H z、24H z)处能看到节律同化现象, 而且双 极导联幅值明显高于单极导联。经过大量实验证明, 在脑控机 器人系统中采用测试电极为 OZ,参考电极为 CZ 的双极导联形 式,可以用最少的测试电极获得准确的脑电输入信号。 图 2� 双极导联与单极导联的 SSVEP频谱图 � 第 11期 � � � 黄漫玲等:闪光视觉诱发电位在脑机接口中的应用研究 15��� 实验环境的背景亮度对诱发的 SSVEP信号幅值影响很大。 当背景亮度很低时, 受试者的注意力更集中, 此时诱发的 SSVEP 幅值更高。如图 3所示, 对受试者 HML进行 10H z的闪光视觉 刺激 (晚上 ), 当实验室的照明灯都关闭时,其诱发的 SSVEP幅 值为 5181 v;当照明灯都打开时, 其 SSVEP幅值为 3433 v。在 正常照明环境下对受试者进行实验时发现, 当代表不同控制指 令的灯同时闪烁, 刺激受试者的双眼时, 并不会对受试者的控制 意图作出错误的判断, 但是与单一频率闪光诱发的 SSVEP相 比, 混合闪光诱发的 SSVEP幅值均有所减小。因为混合闪光刺 激相对单一频率闪光而言, 虽然其亮度不变, 但其背景亮度增 加, 这使得受试者的注意相对分散,并且使闪光刺激的调制深度 改变, 由于 SSVEP受闪光刺激的调制深度影响很大 [ 7, 8], 从而使 其诱发出的 SSVEP幅值降低。 图 3� 不同背景亮度下的 SSVEP频谱图 在同一视觉刺激频率下,用不同颜色的灯光诱发 SSVEP, 对 受试者 YG和 HML的实验数据进行分析, 如表 1所示, 表中幅 值单位均为 v。白光刺激诱发的 SSVEP幅值最高, 紫光与黄光 刺激诱发的 SSVEP幅值次之, 红光、绿光与蓝光诱发的 SSVEP 幅值最低。这是因为人眼对颜色的感光过程是由视锥细胞的感 光色素完成, 有三种视锥细胞分别含有三种不同的感光色素, 这 三种视锥色素分别对蓝色、绿色和红色最敏感。白光是红、绿、 蓝色的复合色, 它能同时兴奋三种视锥细胞, 所以白光引起的视 觉诱发电位最强。黄色是红、绿两色的复合色, 紫光是红、蓝两 色的复合色, 它们能同时兴奋两种视锥细胞, 因此黄光和紫光引 起的视觉诱发电位相对于单一色也较强。 表 1� 各种颜色的光诱发的 SSVEP幅值比较 幅值 / v 受试者 白光 紫光 黄光 红光 绿光 蓝光 YG 2067 1868 1914 1626 1674 1586 HML 2336 1955 1946 1727 1686 1428 � � 实验中采用的视觉刺激频率为 5 - 25H z,经过大量实验研 究, 发现不同的人在同一视觉刺激频率下诱发出的 SSVEP幅值 不同, 而且每个人的敏感视觉刺激频率 (能诱发出高幅值 SS� VEP的视觉刺激频率 )差别较大。如图 4所示, 10个受试者在 5 - 25H z不同的视觉刺激频率下诱发出的 SSVEP幅值差别很 大, 而且,每个受试者各自对应的敏感刺激频率并不一致。因 此, 在脑机接口系统的实际使用中,需根据使用者的具体情况选 择合适的刺激频率来达到最佳的控制效果。 图 4� 10名受试者在不同刺激频率下的 SSVEP趋势图 4� 脑控机器人系统 本研究用稳态视觉诱发电位作为脑机接口的输入信号, 构 建脑控机器人系统。系统工作原理如图 5所示: 使用者注视一 个视觉刺激装置, 在视觉刺激装置上有不同频率的灯同时闪烁, 不同的闪烁频率代表对轮式跳跃机器人不同的控制指令 (如前 进、后退、停止、转弯、跳跃等 )。脑电信号由电极帽上的电极从 头皮获取并传送到放大器, 信号经过放大、滤波、A /D转换等前 置处理后传送到计算机, 计算机对信号进行预处理,去掉噪声信 号,通过特征提取算法和模式识别对脑电信号进行提取与分类, 最后,信号特征量按照一定的转换协议将分类后的特征量转换 为对机器人的控制命令。使用者想执行某种指令就注视代表这 种控制指令的灯, 不用使用者动手或说话,只要检测使用者的脑 电信号, 由其诱发出的 SSVEP就能判断使用者的控制意图, 从 而实现利用脑电信号来控制轮式跳跃机器人的各种运动。 图 5� 脑控机器人系统结构示意图 � 16��� � � � 计算机应用与软件 2009年 5� 结 � 论 用叠加平均与 FFT相结合的方法能快速准确地提取出稳 态视觉诱发电位信号, 并且用白色光进行闪光视觉刺激能显著 提高 SSVEP幅值。脑机接口系统中, 当代表不同控制指令的灯 同时闪烁时, 提取受试者脑电中诱发的 SSVEP信号, 可准确判 断出受试者的控制意图, 从而实现轮式跳跃机器人的前进、后退 等运动。实验证明, 用 SSVEP信号作为脑控机器人的输入信号 准确、可靠,不需要受试者进行训练,具有较高的信息传输率。 参 � 考 � 文 � 献 [ 1 ] Wolpaw J R, B irhaum erN, H eetderksW J, et a.l B rain�com puter inter� face technology: A review of the first in ternat ional m eeting [ J ]. IEEE Tran saction on Rehab il itation Eng ineering, 2000, 8( 2 ) : 164- 173. [ 2 ] 程明,高上凯,张琳.基于脑电信号的脑 ∀ 计算机接口 [ J]. 北京生 物医学工程, 2000, 19 ( 2) : 113- 118. [ 3 ] K arm ali F, Po lak M, Kostov A. E nvironm ental con trol by a bra in�com� pu ter interface [ C ] / /Proc. of th e 22nd Annu al EMBS In ternat ional Con ference. Ch icago EMBS. 2000, 4: 2990- 2992. [ 4 ] 华小梅,林家瑞,官金安. #脑 ∀ 机接口 ∃的研究进展 [ J ]. 国外医学 生物医学工程分册, 2004, 27( 2) : 94- 97. [ 5 ] Tucker D M, L iott iM, Potts G F, et a.l S pat iotem poral analys is of brain electrical fields. Hum an BrainM app ing, 1994, 1: 134- 152. [ 6 ] 何庆华.基于视觉诱发电位的脑机接口实验研究 [ D ] .重庆: 重庆 大学生物医学工程学院, 2003. [ 7 ] 吴正华,尧德中.稳态视觉诱发电位神经网络间的相互作用 [ J] . 生物物理学报, 2007, 23 ( 2) : 123- 128. [ 8 ] H errm ann C S. H um an EEG responses to 1~ 100H z f lick er: reson ance phen om ena in visual cortex and their potent ial correlat ion to cogn it ive phen om e. E xp B rain Res, 2001, 137: 346- 353. (上接第 9页 ) � � contract = n ew G etC on tractIn fo( ) ; � � contractsum = � � contract. G etC on tractsum ( m easuredate) ; � � return contractsum; � } �� } / /指标实测值类 Pub lic classKp iV alue { private string kp iid; / /指标号 private DateT im e m easuredate; / /测量日期 private string kp ivalue; / /指标实测值 private string comm ent; / /评论 ��� publ ic void In sert( s tring kp iid, DateT im e m easuredate, string kp ivalue, s tring comm en t) � � { � � � �� / /添加数据库 � � } � �� � } / /承接数明细表类 Pub lic class GetCon tract In fo { private DateT im e; / /测量日期 private string contractnum; / /合同号 private string contractsum; / /合同金额 �� pub lic vo id In sert( DateT im em easu redate, string con tractnum, string con� tractsum ) � � { � � � ��添加数据库 � � } Pub lic doub le GetCon tractsum (DateT im e m easu redate) � � { � � � ��返回 m on th月份的合同金额 � � } � �� } 图 6是系统指标测量模块的运行界面, 指标测量模块分为 输入和修改两个模块。如图点击某项指标的链接进入该指 标的测量界面, 指标测量完毕后点击提交按钮就会计算出指标 的实测值。 图 6� 系统运行界面 4� 结束语 通过对企业绩效考核过程的分析, 设计了卓越绩效信息系 统,实现了企业绩效考核的信息化实现。该系统完全采用 了面向对象的分析和设计方法。由于使用了 UML对系统进行 建模, 加快了软件开发的过程, 提高了代码的质量和软件复用, 降低了开发的复杂性, 取得了较好的效果;同时也保证了整个系 统框架设计中的正确性,减少了软件开发的风险。目前该系统 已经开发完成并在某机械设备有限公司投入使用 ,运行情况良 好,具有很好的实用性。随着企业信息化程度的不断发展,绩效 考核系统具有广阔的应用前景。 参 考 文 献 [ 1 ] BOGGSW, BOGGS M. UML与 Rational Rose 2002从入门到精通 [M ] .邱仲潘,译.北京:电子工业出版社, 2002. [ 2 ] 傅纯一. UML用例建模指南 [ EB /OL] . UML软件工程组织, h t� tp: / /www. um .l org. cn /SofWt areProcess /200501281. h tm. [ 3 ] 张旭堂,金雨,侯鑫,等.基于 UML的工装设计任务管理系统建模 与开发 [ J].计算机工程与设计, 2007( 12) . [ 4 ] 最优化 ASP. NET∀ 面向对象开发实践 [M ] . 刘俊民, 陈远,周勇, 译.北京:电子工业出版社, 2006.