细胞注射显微系统的空间精确定位方法

细胞注射显微系统的空间精确定位方法 细胞注射显微系统的空间精确定位方法 第41卷第7期 2007年7月 西安交通大学 JOURNALOFXIANJIAOTONGUNIVERSITY Vo1.41NQ7 Ju1.2007 细胞注射显微系统的空间精确定位方法 席文明,钟辉,郭阿全,孙道恒 (1.厦门大学机电工程系,361005,厦门;2.厦门大学萨本栋微机电中心,361005,厦门) 摘要:利用改进的激光三角测量法获得图像采集时丢失的高度信息,其相对误差小于0.4,将该 信息集成到伺服控制方程中就可以利用视觉信息来控制机械手在空间做三维运动.在图像空间控 制机械手运动时,利用光学流方法获得每个采样周期后注射针在图像空间的位置,就可以消除系统 存在的误差,使注射针沿预定的轨迹运动,完成细胞的注射.实验结果表明,利用该方法可以将轨迹 误差从(11,10)像素,减小为(0,2)像素,从而方便地控制机械手在三维空间做精确定位和运动. 关键词:细胞注射;光学流;激光三角测量;伺服控制 中图分类号:TP24文献标识码:A文章编号:0253—987X(2O07)07—0829—04 SpacePrecisionOrientationMethodforCellMicro-InjectionSystem XiWenming,ZhongHui,GuoAquan,SunDaoheng' (1.DepartmentofMechanicalEngineering,XiamenUniversity,Xiamen361005,China; 2.Pen-TungSahMEMSResearchCenter,XiamenUniversity,Xiamen361005,China) Abstract:Thelasertrigonometrymeasurementmethodisimprovedtoobtainthedataofheigh tof probewitharelativeerrorlessthan0.4,whichareintegratedintheservoingequationtocon— trolmicro-manipulatormovementinthreedimensiona1space.Whenmicro— manipulatormovesin imagespace,themodifiedsumofsquareddifferencemethodisemployedtotrackprobe,thust he errorofmicro— manipulatormovementiseliminatedandprobemovesalongtheexpectedtrackto realizethecel1micro-inj'ection.Theexperimenta1resultsshowthatthismethodenablestom inish errorfrom(11,10)pixelsto(0,2)pixelstoaccuratelycontro1themicro-manipulatormoveme nt inthreedimensiona1space. Keywords:cellmicro-injection;sumofsquareddifference,lasertrigonometrymeasure;visi on servoingcontro1 将微量生物物质注射到细胞中的方法广泛应用 于生物学和遗传学中l_1],特别是在体外遗传注射和 DNA克隆技术中_2].在刚刚兴起的细胞生物力学研 究中_3],需要将注射针或玻璃毛细管进行空间精确 定位,利用CCD将图像提取到计算机中进行处理, 但物体沿显微镜光轴方向的高度丢失,会直接影响 细胞注射的成功与否.对于该问题,文献[4]采用显 微镜聚焦和失焦方法来确定物体高度方向的信息, 认为当物体聚焦时它的图像是清晰的,具有大部分 的高频信息,这时对图像进行微分可以得到较大的 数值,而当物体失焦时,物体图像是模糊的,只存在 低频率信息,这时对图像进行微分只能得到较小的 数值.根据物体的景深可以得到物体的高度,但要不 断移动显微镜物镜.文献[5]利用双目视觉系统提取 物体的高度,然后利用立体眼镜在计算机屏幕上观 察物体图像的三维信息,但存在的缺点是系统复杂, 利用显微镜构成多个视觉系统会产生复杂的光路, 而且提取的物体高度只能用于观察,不能将物理高 度集成到细胞注射的伺服控制方程中去. 本文采用激光测量的方法来获得物体的高 度_6],让一点激光源通过一个柱面镜,将点激光变为 线激光,然后让线激光通过一光栅形成很细的激光 收稿El期:2006—11—21.作者简介:席文明(1965~),男,副教授.基金项目:国家自然 科学基金资助项目(50675184). 西安交通大学第41卷 条纹,该条纹倾斜照射在物体上,当物体高度发生变 化时,倾斜的条纹会发生偏移,根据激光的倾斜角度 以及条纹的偏移量来获得物体的高度.将物体的高 度集成到伺服控制方程中l_7J,并通过图像来控制机 械手在三维空间运动,利用图像信息控制机械手运 动,采用光学流的方法l_8],不断搜索注射针的位置, 从而消除系统误差,完成细胞注射. 利用此方法同样可以对水平面上的,Y方向 进行标定,由于在2个方向上CCD像素数目不同, 所以要分别进行标定.标定方法是在平台上分别画 一 水平线和垂直线,平台在2个方向分别移动z距 离,在图像空间计算水平线和垂直线的移动距离z, z和z之比即为水平方向和垂直方向的标定结果,并 分别用K和K表示. 1注射针高度的获取2机械手伺服控制方程的建立 1.1高度的测量原理 如图1所示,假设线性激光投影到平台的A 点,如果有一注射针与该线激光相交,则原来投影到 A点的光线就会投影到B点,即 h—stgO(1) 式(1)中的S可以由安装在显微镜上的CCD获得, 如果已知0,则h就可以通过式(1)得到. 机械 A:激光与平台交点;B:激光与注射针顶端交点激光 条纹偏移距离;^:注射针高度;口:激光器倾角 图1注射针高度的测量原理 1.2测量系统的标定 在测量过程中,0是固定的,设K-=tg0一常数, 则式(1)变为 h—sKl(2) 假设S在CCD中所成的像为S,由于CCD是 线性成像,所以S与S的比值也为常数,设该常数为 K2,则 S—s'K2(3) 由式(2)和式(3)得 K—h/s(4) 式中:K=KKz为常数.K的标定方法为将线激光 投影到三自由度平台上,记录对应激光线的初始位 置,然后将平台沿高度方向移动h距离,这时在图像 中初始激光线产生偏移,假设偏移距离为S,利用式 (4)即可以标定出K.下面,利用K值计算注射针的 高度,方法是检测出相应激光线的偏移距离,然后用 K乘偏移距离就可以得到注射针的高度. 图2为摄像机的成像模型,C为视觉空间坐标 系,T为任务坐标系.设P在C中的坐标为 CP(,,),在T中的坐标为Te(,YP, Zp),它在像平面上的坐标为p(x,Y).设显微镜的 放大倍数为rn,则 一 (m/d)(5) YP一(m/d)(】)(6) 式中:dx,d表示像平面在,Y方向的像素点. :0(D焦距;p(xp,j,P):P点在像平面上的坐标;C,3,):P 点的视觉空间坐标;Tp(xTe,YTP,ZTp):P点的任务空间坐标 图2摄像机成像模型 假设摄像机坐标经历了平移运动Vc一[主 乏]后得到 一一c1 :--y. c}(7) (】)===一ZCJ 将式(5),式(6)的导数代入式(7)得到 主P一一(m/d)xc] Y' P一一(m/d)iyc}(8) 一一 乏J 式(8)的矩阵形式为 X一V 文一[主乏];V一[主 = 一 m 一mid (9) Y' c之c]T l(10)I 一 1_J 第7期席文明,等:细胞注射显微系统的空间精确定位方法 式中:J,,为视觉雅可比矩阵. 通过式(10),可以写出点在像平面上的速度和 点在任务空间的速度映射关系 X—t,,,U(11) U一[主之] 式中:U是点在任务空间的速度.由式(11)可写出的 离散伺服控制方程为 X(k+1)一(尼)+tJ,,【,(尼)(12) 式中:t为视觉系统的采样时间;k为采样间隔. 为了优化式(12)中的参数,建立以下的能量函 数 E(k+1)一[X(尼+1)一(尼+1)]We? [X(尼+1)一(尼+1)]+U(尼)WmU(k) (13) 式中:(七+1)是点的像目标位置;We,Wi为系统 误差权重矩阵和控制输入的权重矩阵.求式(13)的 最小值可得到以下的方程 U(尼)一一(,1,wv+Wm)w? [x(尼)一(尼+1)3(14) 在像平面控制机械手空间运动时,图像空间并 没有高度方向的信息,因此需要用激光三角测量法 来获得注射针的高度,并代人式(14)的x(尼)中,然 后将注射针目标高度代人式(14)的(尼+1)中. 3特征点跟踪 在基于图像的视觉跟踪中,系统并不需要精确 标定,只需要在图像空间减小特征点位置与目标位 置之间的误差,当该误差为0时,完成视觉跟踪.由 于该方法在每个采样周期都需要确定特征点的运动 位置,因此需要通过调整特征点的运动方向,来消除 系统对特征点运动产生的误差.本文采用光学流的 方法,通过跟踪运动的特征点实时位置,完成控制视 觉的跟踪. 特征点在图像平面的运动轨迹称为光学流,光 学流能够给出被跟踪物体的空间排列和速度变化. SSD(SumofSquaredDifference)方法是一种改进 的光学流方法,该方法适合点的特征跟踪.一般来 说,图像序列的灰度可以用2个空间位置变量和一 个时间变量表示,即I(x,Y,).假设被跟踪的特征 形状是不变的,在图像A中,用PA(z,YA)表示,当 该点运动后,在图像B中,用Pe(zA+出,A+dy) 表示.假设在短的采样时间内如,足够小,图像 特征的灰度不变,则通过使SSD获得的灰度差 e(PA,PB)一?[(+m,YA+n)-- m,"?N (+m+出,YA+7"/+dy)](15) 最小化,就可以求得特征点在图像B中的位置.式 中:e(Pa,Pe)是SSD的估计量,当它达到最小值 时,特征点在图像B中的位置就被确定;m,7"/是A 和B图像中对应的像素点坐标;N是限制搜索区域 的变量;/Z和e是特征点在A和B图像中的灰度 函数. 4实验数据处理与分析 细胞注射实验系统如图3所示,由下列设备组 成:微生物操作机械手(MP一285,三自由度,美国 Sutter公司生产,精度为40nm);纳米运动平台(M- 112.IDG,三自由度,德国PI公司生产,精度为20 nm);显微镜(体视K一7ooZ,中国麦克奥迪公司生 产);CCD(UC一930CL,美国Uniq公司生产);图像 捕捉卡(METORII,加拿大Matrox公司生产);线 性激光系统(激光器,柱面镜和光栅).在图3所示的 系统上将完成注射针距平台高度的测量,测量前首 先对系统进行标定,得到K=0.822m/像素,K一 1.572m/像素,K一1.317m/像素. 表1是物体实际参数与线激光测量的数据比较 和误差分析,测量过程中出现的这些误差主要是由 程序对条纹边界的识别产生.由于边界灰度是渐变 而不是跃变的,因此确定边界的位置就会产生误差. 图3细胞注射系统 表12种参数的测量数据比较和误差分析 西安交通大学第41卷 图4是利用伺服控制方程式(14)以及SSD方 法,控制机械手在三维空间运动的折线轨迹,在用 SSD方法跟踪注射针前,首先对式(14)中的误差矩 F一0.0040790.0003950.000064] w一l一0.000204—0.0014150.001043l L00—1.102881J rK] t,,,一fKf==:l 一 1j 2 3" 一 ]图4中的实线是注射针顶端的理想轨迹,虚线 是注射针实际轨迹,点划线是标定误差矩阵后,利用 SSD方法产生的注射针顶端轨迹.从图中可以看 出,注射针顶端实际轨迹在方向的最大误差为11 像素,在Y方向的最大误差为10像素,而用SSD方 法跟踪的注射针顶端轨迹在方向的误差为0像 素,在Y方向的误差为2像素,SSD方法的轨迹几 乎和理想轨迹重合.根据分析,在方向轨迹产生的 2个像素误差,主要是由激光三角法测量方向高 度时所产生的误差造成的. 1 懈l 鹱 图4理想,实际与SSD方法轨迹的比较 5结论 在机械手细胞显微注射中,安装在显微镜上的 CCD在提取图像时因为丢失了高度信息,因此直接 影响到细胞注射能否成功,更严重的是会损坏设备. 本文采用一种简单的线激光三角测量法,不仅完成 了注射针顶端的高度测量,而且根据实际的细胞注 射系统,利用一种简单的标定方法避免了线激光倾 角的繁琐测量,因此提高了测量精度.文中将该高度 集成到伺服控制方程中,并用SSD方法在图像空间 控制机械手来完成空间运动.实验数据表明,采用本 文的测量方法和伺服控制方程,可以完成机械手的 细胞自动显微注射. 参考文献: [1]ZhangXiaojing,ZappS,QuateCF,eta1.Ultrasonic ml'crom'j'ectl'oncharacterizedbyintegratedmicro-optical forceencoder[ffASolid-StateSensor,Actuatorand MicrosystemsWorkshop.HiltonHeadIsland,USA: TheInstitutionofEngineeringandTechnology,2004: 6—1O. [2]SunYun,NelsonBJ.Microroboticcellinjection[C]? Proceedingsofthe2001IEEEInternationalConference onRobotics8LAutomation.Piscataway,USA:IEEE Press,2001:620—625. [33BaoG,SureshSCeUandmolecularmechaniCSofbio— logicalmaterials[J].Nature,2003,12(11):715—725. [4]StephenJR,VikrarnadityaB,NelsonBJ.Microposi— tioningofaweaklycalibratedmicroassemblysystem usingcoarse-to-finevisualservoingstrategies[J]. IEEETransactionsonElectronicsPackagingManufac— turing,2000,23(2):123—131. [53KimDH,KimK,KimKY,eta1.Dexterousteleop— erationformicropartshandlingbasedonhaptic/visual interface[C]ffInternationalSymposiumonMicrome— chatronicsandHumanScience.Piscataway,USA: IEEEPress,2001:211—217. [6]BuerkleA,FatikowSLasermeasuringsystemfora flexiblemicrorobot-basedmicromanipulationstation [C]?Proceedingsofthe2000IEEE/RsJInternational ConferenceonIntelligentRobotsandSystems.Piscat— away,USA:IEEEPress,2000:799-804. [7]席文明,姚斌,王磊.基于实体模型的虚拟微装配视觉 伺服研究[J].机械工程,2005,41(3):59—63. XiWenming,YaoBin,WangLei.Studyofvisualser— voingforvirtualmicroassemblybasedonsolidmodel [J].ChineseJournalofMechanicalEngineering,2005, 41(3):59—63. [83席文明,姚斌.微装配与微操作[M].北京:国防工业 出版社,2006:88—90. (编辑管咏梅)