基于EOG的眼动信息提取与分类研究

锱惠艇—嗽熙姆锋建辍一ELECTRONIC电M子EAs墨毒EN技T寡EcHN。L。GY气誓鑫萼二期 基于EOG的眼动信息提取与分类研究* 王 君 吴小培 吕 钊 (安徽大学计算智能与信号处理教育部重点实验室 合肥230039) 摘要：基于眼电(Electro-oculogram，EOG)的人机交互系统(HCI)是生物电信号处理领域的研究热点之一。在研究 眼动信息的基础上，提出了一种EOG扫视信号特征提取与分类算法，该算法提取扫视信号的线性预测(Linear PredictiveCoding，LPC)系数，对其作差分运算获取一阶差分线性预测系数，与归一化极值作为组合特征参数，通过神 经网络对样本信号分类。实验室环境下，采用所提该法对来自6名眼部功能均正常的受试者扫视样本分类，平均分类 正确率超过92％。实验明，该法能准确地描述EOG扫视信号，具有较高实用价值。 关键词：人机交互系统；线性预测系数；归一化极值；神经网络 中图分类号：TN911．7文献标识码：A Researchoninformationextractionandrecognition oftheeyemovementsbasedonEOG WangJunWuXiaopeiLvZhao (TheKeyLaboratoryofIntelligentComputing＆SignalProcessingof。AnhuiUniversity。Hefei230039) Abstract：Theresearchonhuman-computerinterface(HCI)basedonEoGisahotspotinthefieldofbio-signal processing．Researchonthebasisofeyemovementsinformation，thispaperpresentsafeatureextractionand classificationalgorithmbasedonEOGsaccadicsignals，whichextractsthesaccadicsignals’linearpredictivecoding (LPC)coefficientsandthenextractsfirst-orderdifferentiallinearpredictivecodingcoefficientsandnormalized extremumasthecharacteristicparameters．Thesamplesignalsareclassifiedbyanartificialneuralnetwork(ANN)． Underthelaboratoryenvironment，thesamples。gotfromsixdifferentsubjectswithnormaleyefunction，areclassified usingtheproposedalgorithm，theaverageelassifieationaccuracyratereachesmorethan92％．Theresultsshowthat theproposedalgorithmcandepicttheEoGsaeeadiesignals’featuresaccuratelyandhavepracticaluse． Keywords：human-computerintedace(HCI)；linearpredictivecoding(LPC)coefficientsnormalizedextremum artificialneuralnetwork(ANN) O 引 言 调查显示，大部分患有严重运动障碍的残疾人仍可自 由控制眼球运动，若将这些眼动信息有效地提取出来转化 成控制命令操纵计算机或者其他辅助设备则能更好地为残 疾人服务n1]。 本文立足于为基于EOG的人机交互系统服务，主要研 究扫视信号特征提取与分类算法，提出以线性预测系数作 为EoG信号的特征参数，继而提出LPC系数与归一化极 值(对EOG信号进行幅度归一化后求取极大值与极小值， 本文均称之为归一化极值)组合特征以及一阶差分线性预 测(△LPC)系数与归一化极值组合特征下的EOG信号分 类算法。本研究基于实验室条件，对6名不同受试者(简称 受试，下同)分别采集EOG数据，采用所提方法提取样本特 征，并对该法的分类性能作出评估，验证了所提算法的有 效性。 1方 法 1．1实验范例与数据采集 6名健康的眼部功能正常的志愿者，4男2女，年龄介 于22周岁与28周岁之间。他们均参与过EOG信号采集 实验，对实验环境比较熟悉，记为S1～S6。图1表示采集 扫视信号实验范例。 *基金项目：国家自然科学基金资助项目(60771033)；博士点基金(200803570002) · 62· 万方数据 王君等：基于EOG的眼动信息提取与分类研究 第5期 03 一 鲁 o， 一 日 o． (a)水平扫视范例 co)垂直扫视范例 图1扫视运动实验范例 在目标墙面上标记一条水平直线，使之与受试两眼球 中心连线大致处于距离地面相同高度，在其上确定出水平 扫视视觉中心点，相应于图1(a)中。工，在墙面上相应位置 标记受试扫视目标点，即相应图1(a)中0。，0：点，两点各 距离视觉中心点0。约1m。同样方法，在墙面上描记一条 垂直直线，确定其相应视觉中心点0，，绘出受试垂直扫视 目标点0。，q。实验期问，受试面向目标墙面约2m处正 对坐下，分别独立进行水平扫视、垂直扫视信号的采集。进 行水平方向扫视过程中，受试以视觉中心点q作为基准位 置，每次扫视眼球迅速从基准位置定位到目标点02(Q)，然后 迅速还原至基准位置处，记为一次完整的右(左)扫视过程， 每次动作完成后，问隔约3s后重复上述扫视动作，相同类 型扫视持续采集约1．5～2min或保存大约20组动作为 止。在水平扫视样本采集过程中，受试应注意保持头部相 对固定，并减少非自觉性眨眼，扫视过程应尽量沿所绘水平 直线进行。进行垂直方向扫视过程中，受试以视觉中心点 0，作为基准位置，每次扫视眼球迅速从基准位置定位到目 标点O。(04)，然后迅速还原至基准位置处，记为一次完整 的上(下)扫视过程，每次动作完成后，间隔3s后重复上述 扫视动作，相同类型扫视持续采集约1．5～2min或保存大 约20组动作为止。在垂直扫视样本采集过程中，受试应注 意保持头部相对固定，并减少伴随于单次上(下)扫视过程 中的眨眼，扫视过程应尽量沿所绘垂直直线进行。受试 SI～S6按照预先设定的次序依次独立完成上述实验，从6 名受试所采信号中选取左、右、上、下扫视信号各12个，共 计288个样本信号。 1．2算法描述 基于EOG的眼动信息提取与分类算法主要由3部分 组成：EOG信号预处理单元、EOG信号特征提取单元、 EOG信号分类单元。算法描述如图2所示。 图2算法处理描述 1．3预处理和特征提取 EOG信号频率集中在0．1,-．-38Hz，主要成分在10Hz 以下。选用一个截止频率为10Hz的4阶Butterworth低 通滤波器和一个截止频率为1Hz的4阶Butterworth高通 滤波器组成一个带通滤波器对EOG信号滤波。经过带通 滤波后的EOG信号，波形相对平滑，大部分噪声已被 滤除口15]。 本文提出LPC系数加归一化极值和ALPC系数加归 一化极值的特征提取算法。 LPC的基本思想是用过去P个样点值预测现在或未 来样点值。设{z。)为一实数据序列(亦可视为一随机序 列)。z。的p阶线性预测定义为H。73 Z_。∑口声，； (1) 式中：m(i一1，2’．．·，户)称为线性预测系数。 为了进一步提取出EoG信号的包络信息，算法将 LPC系数作一阶差分。假设当前所获得的LPC系数是p 阶，那么一阶差分特征的计算如式(2)所示 X 如(∽=口×∑k×啄(i，t--k)一C枷(i，t+k)l(2) ^一I 式中：以，表示动态特征，C枷表示LPC系数，K是求差分 的帧的范围，口为因子，用于换算这些特征呻]。 1．4样本分类器 分类器采用三层BP网络，隐层节点数根据输入层特 征维度不同作相应调整，输出层节点数置为4个，对应于4 维的分类输出抽删；最大训练次数置为3000次，训练精度 置为0．5×10-‘，训练中若收敛曲线达到给定精度或达到 最大训练次数则停止训练，误差梯度置为10-16，表征误差 包络的斜率，可反映学习速率；训练函数置为“trainlm”，层 间传递函数均置为双极性Sigmoid函数“tansig”。 2实验与讨论 2．1结果 总计288个扫视样本按训练样本与测试样本比例1；1 实验。为评价不同参数的分类性能，分类正确率由6X6倍 交叉验证确定。具体地说，从6名受试S1～S6所采每类扫 视样本中各随机选取6个，组成4类扫视样本各36个，共计 144个训练样本，其余144个样本用于测试训练结果，此样本 选取过程重复6次，统计分类正确率。实验结果见表1。 表I中，“左”、“右”、“上”、“下”行分别表示各受试样本 对左、右、上、下扫视的分类正确率；“平均”行表示每名受试 对4类样本的平均分类正确率；“平均”列表示“平均”行中 数据对6名受试取平均值，粗体字示。 2．2讨论 归一化极值方法因其特征明显、对样本信号幅度敏感， 故易于实现简单样本分类，如对同一电极采集的E()G扫视 信号(左、右扫视或上、下扫视)具有很高的分类正确率。但 · 63· 万方数据 第33卷 电 子测 量技术 是由于归一化极值方法仅对样本提取二维特征，表征的只 是样本相位信息，因此，当不同信号的相位信息相差较小 时，其分类正确率必然会急剧下降。左扫视样本与下扫视 样本相位较为相似，归一化极值特征相差不大；同理右扫视 样本与上扫视样本也因相位相似而导致极值信息相似，因 此若仅采用归一化极值方法同时对4类扫视样本分类，势 必引起混淆，造成分类性能大幅度下降n1‘”]。 相对归一化极值方法，LPC系数方法的平均分类正确 率提高了19．22％，这是因为LPC系数方法采用多项式趋 近样本曲线的方式来获取样本特征，受个体生理差异影响 小，因此可以较好地表征眼动信息；但由于E()G信号相关 性较强，造成各类样本所提LPC系数差异不明显，产生一 定比例的分类错误。ALPC系数方法由于保留了EoG信 号的动态特性，能提取出反映信号主要信息的包络特征，因 此相比LPC系数方法其平均分类正确率略微提高1．73％； 然而ALPC系数取自LPC系数，各类样本间LPC系数差 别不明显直接决定了其相应的ALPC系数差别也较小，因 而产生一定比例误判。 LPC系数加归一化极值方法有效地综合了LPC系数 方法对EoG信号能进行较好估计和归一化极值方法能有 效地提取EOG信号相位特征的优点，因此该方法能有效地 降低归一化极值方法和LPC系数方法造成的不同程度的 分类错误，降低因受试个体生理差异对分类效果产生的影 响。从表1可以看出，该方法相比归一化极值方法、LPC系 数方法其平均分类正确率分别提高了26．16％和6．94％。 ALPC系数加归一化极值方法在继承LPC系数加归一化 极值方法优势的基础上，能更好地突出样本信号高频成分 并有效地描绘样本信号的动态特性，对大部分受试(除S1) 的平均分类正确率都超过90％，较LPC系数加归一化极值 方法而言其平均分类正确率进一步提高了5．56％，误判得 到最大程度抑制。 3结 论 本研究是基于多名受试的可重复实验，它从实验室环 境下实测数据出发，采用所提特征描述EOG扫视信号，通 过神经网络进行训练并分类，统计各受试的平均分类正确 率，得出了较为理想的结果。实验结果表明，所提ALPC系 数加归一化极值组合特征能有效地描述EOG信号分类特 征，具有分类正确率高、稳定性好的特点，较好地解决了因 测试者生理特性不同或测试环境不同造成的检测门限难以 通用而导致的分类正确率下降等问，为EOG眼动信息提 取与分类算法研究提供了一种新思路。 另外，LPC系数方法通过获取一组唯一确定的多项式 系数作为特征估计样本，因此对预处理中的端点检测算法 敏感性较高，若没有比较稳健的端点检测算法，可能导致同 类样本波形差别较大，造成同类样本信号间的LPC系数差 异较大，从而引起分类正确率下降；此外，LPC系数方法中 的特征维度选取尚无明确，如何获取更好的分类性能 与LPC阶数的比例关系还有待进一步研究，以便在不显著 增加运算量的基础上获取更高分类精度。 表1 6名受试4类扫视样本下6X6倍交叉验证的分类正确率及其平均值(％，四舍五入) 特征参数 S1 S2 S3 s4 S5 S6 平均 左 亨 归一化极值上 。。⋯。一 47．22 61．1l 55．56 55．56 58．53 50．OO 44．44 77．78 47．22 下 52．78 63．89 83．33 平均 54．17 56．95 63．19 左 享 LPc系数 上 72．22 86．11 86．11 下 75．OO 66．67 80．56 72．22 72．22 83．33 平均 77．08 75．70 80．56 81．95 79．86 81．9479．S2 左 亨 △LPc系数 上 一 ⋯一 66．67 88．89 77．78 下 83．33 平均 79．17 75．OO 83．33 83．33 86．11 80．56 83．33 83．33 80．56 88．89 69．44 86．11 83．33 77．78 86．11 77．78 80．56 79．86 84．03 82．64 79．86 · 64· ～蛐一O～6 7 9 1 6一l 6 8 1 5～8眠眠弧眠～¨ 2 3 3 8～2 2 3 3 7—4 7 3 8 2一O 4 8 5 5—6n蹭的毖～镐 6 8 8 7～5 8 3 8 4～6 鸺％曲丌∞罟8n明弱％鹋舳站驰鸺踮∞"弘n“∞％的鸺匏∞”记韶 ～药一l～8船n∞站一舛 3 6 5 3～1 8 8 7 8—8 万方数据 王 君等：基于EOG的眼动信息提取与分类研究 第5期 续衰1 特征参数 S1 S2 S3 S4 S5 S6 平均 左 80．56 75．OO 83．33 88．89 86．11 83．33 主 LPC系数+归一化极值 下 平均 84．03 83．33 89．58 87．50 86．81 87．5086．46 左 88．89 91．67 94．44 97．22 86．11 94．44 至 △LPC系数+归一化极值 下 86．11 88．89 91．67 88．89 94．44 86．11 91．67 97．22 94．44 94．44 88．89 88．89 94．44 97．22 88．89 94．44 91．67 94．44 平均 88．89 90．28 95．14 92．36 91．67 93．7592．02 1-13 E2] [3] [43 [5] [63 参考文献 BAREAR，BOQUETEL，MAZOM，eta1．System forassistedmobilityusingeyemovementsbasedon electrooculography[J]．IEEETransactionsonNeural SystemsandRehabilitationEngineering，2002，10 (4)：209-218． CHENYL．Applicationoftiltsensorsinhuman- computermouseinterfaceforpeoplewithdisabilities I-J3．NeuralSystemsandRehabilitationEngineering， IEEETransactionson，2001。9：289—294． KUMARD，ERICP．ClassificationofEOG／or HumanComputerInterface[C]．Proceedingsofthe secondJointEMBS／BMESConference，2002．64-67． HoRIJ，SAKANOK，SAlToHY．Developmentof CommunicationSupportingDeviceControlledbyEye MovementsandVoluntaryEyeBlink[C]．Proceedingsof the26thAnnualInternationalConferenceoftheIEEE E晒，SanFrancisco，CA，USA，2004．4302—4305． oSTERA，LICHT盯EINERP。DELBRUCk，eta1． ASpike-BasedSaccadicRecognitionSystem[J]．IEEE Syrup．onCircuitaandSystems2007．3083—3086． CHENYL，KU0TS，CHANGWH。eta1．Anovel positionsensors—controlledcomputermouseforthe disabled[c]．EngineeringinMedicineandBiology Society，2000．Proceedingsofthe22ndAnnual InternationaIConferenceoftheIEEE。2000，3：2263一 [7] [83 [9] [10] [11] D2] 2266． 魏庆国，高小榕，王毅军，等。基于多通道线性描述符 的脑一机接口分类算法的研究[J]．中国生物学 报，2007，26(6)：810-817． 赵力．语音信号处理[M]．北京，机械工业出版社， 2005．32—35。56—62． 赵莉，王行愚，王蓓．基于粗糙集理论和支持向量机的 眼动位置信息提取[C]．第十七届中国过程控制会议 论文集，2006：86-90． ZHA0L，WUXP，LIM，eta1．Implementationof theEOG-BasedHumanComputerInterfaceSystem [C]．Bioin／ormaticsandBiomedicalEngineering，The 2ndInternationalConference。2008．2188—2191． 傅振华，刘飞，陈伟元，等．基于差值信号的故障特征 提取及应用[J]．国外电子测量技术，2010，29(1)： 66-68． 彭先洪，姚云茂，何共建，等．数字滤波技术在精密测 量仪表中的应用研究[J]．电子测量技术，2009，28 (11)：60—62． 作者简介 王君．男，工学硕士，主要研究方向为生物电信号处 理，主要从事眼电(EOG)信号处理。重点研究EOG信号 的特征提取与分类识别算法，为基于EOG信号的人机交 互系统实现实时控制外部设备服务。 E—mail：mogu2612@126．com · 65· 4 9 3 4 8 3 4 8 3 9 8 8 9 1 1 8 1 1 8 6 6 8 8 8 7 1 3 6 1 3 ● ● ● 1 6 3 9 8 8 7 4 9 6 4 8 1 4 8 9 9 8 3 1 9 3 1 8 3 6 8 8 8 8 8 9 9 7 8 8 ● ● ● 7 8 8 7 8 8 万方数据 基于EOG的眼动信息提取与分类研究 作者： 王君， 吴小培， 吕钊， Wang Jun， Wu Xiaopei， Lv Zhao 作者单位： 安徽大学计算智能与信号处理教育部重点实验室,合肥,230039 刊名： 电子测量技术 英文刊名： ELECTRONIC MEASUREMENT TECHNOLOGY 年，卷(期)： 2010,33(5) 参考文献(12条) 1.赵莉;王行愚;王蓓 基于粗糙集理论和支持向量机的眼动位置信息提取 2006 2.赵力 语音信号处理 2005 3.魏庆国;高小榕;王毅军 基于多通道线性描述符的脑机接口分类算法的研究[期刊论文]-中国生物工程学报 2007(06) 4.CHEN YL;KUO TS;CHANG WH A novel position sensors-controlled computer mouse for the disabled 2000 5.OSTER A;LICHTSTEINER P;DELBR Ck A Spike-Based Saccadic Recognition System 2007 6.HORI J;SAKANO K;SAITOH Y Development of Communication Supporting Device Controlled by Eye Movements and Voluntary Eye Blink 2004 7.彭先洪;姚云茂;何共建 数字滤波技术在精密测量仪表中的应用研究[期刊论文]-电子测量技术 2009(11) 8.傅振华;刘飞;陈伟元 基于差值信号的故障特征提取及应用[期刊论文]-国外电子测量技术 2010(01) 9.ZHAO L;WU X P;LI M Implementation of the EOG-Based Human Computer Interface System 2008 10.KUMAR D;ERIC P Classification of EOG for Human Computer Interface 2002 11.CHEN Y L Application of tilt sensors in human-computer mouse interface for people with disabilities.Neural Systems and Rehabilitation Engineering 2001 12.BAREA R;BOQUETE L;MAZO M System for assisted mobility using eye movements based on electrooculography 2002(04) 本文链接：http://d.g.wanfangdata.com.cn/Periodical_dzcljs201005018.aspx