一种基于图像导航的骨外科手术机器人系统

一种基于图像导航的骨外科手术机器人系统 孙立宁 , 张 　剑 , 杜志江 (哈尔滨工业大学 机器人研究所 ,黑龙江 哈尔滨 　150001) 摘 　要 :髓内钉远端孔锁定是目前长骨骨折内固定手术中的难题. 介绍了一种机器人外科手术系统及作为其核心技 术的图像导航方法. 首先对 X光图像进行畸变矫正和对比度增强 ,然后提出一种基于几何模型的对准方法 ,得到一 条能够穿过髓内钉远端孔的三维路径 ,从而引导串联机器人锁定髓内钉. 系统还包括虚拟手术仿真子系统和遥操作 子系统 ,可以模拟、监控手术过程 ,并可使医生远距离操作系统完成手术. 实验表明 ,该系统能成功实现用机器人锁 定髓内钉. 并且与传统手术方法相比 ,具有较高的定位精度和稳定性 ,可以大大减少手术所需时间 ,降低医生所受辐 射剂量. 关键词 :骨外科手术机器人 ;图像导航 ;遥操作 ;虚拟手术仿真 中图分类号 : TP391 　文献标识码 :A 　文章编号 :1006 - 7043 (2006) 02 - 0285 - 05 An image guided orthopedic surgery robot system SUN Li- ning , ZHAN G Jian , DU Zhi-jiang (Robotics Institute , Harbin Institute of Technology , Harbin 150001 , China) Abstract : In long bone fracture therapies performed by robotic surgical systems , the locking of intramedullary nails has presented a major challenge. To improve results , an orthopedic robot system and image navigation technology were studied. After correcting the distortion of X- ray images , the local contrast was enhanced , and a targeting method was proposed that is based on a geometric model to get a 3D path in order to guide the series robot to lock the intramedullary nail. Additionally , this system includes virtual surgery simulation software and a tele-operation subsystem , which can monitor the surgery process and allow surgeons to control robots remote2 ly. Experimental results indicate this system has sufficient positioning accuracy and stability , and can dramati2 cally decrease operating time and radiation doses. Keywords :orthopedic surgery robot ; image navigation ; tele-operation ; virtual surgery simulation 收稿日期 :2005 - 4 - 28 基金项目 :国家 863基金资助项目(2002AA420100 - 1 , 2004AA421030) . 作者简介 :孙立宁 (1964 - ) , 男 , 教授 , 博士生导师 ; 标志江 (1976 - ) , 男 , 博士研究生 , E- mail : duzj01 @hit . edu. cn. 　　闭合整复和髓内钉目前已经成为治疗股骨和胫 骨骨折的常规方法. 但是髓内钉的锁定对多数的外 科医生都是一个巨大的挑战[1 ] . 在传统的临床手术 当中 ,由于手术时间长、精度低、以及髓内钉在插入 时变形等问题 ,大大降低了锁钉的成功率. 机器人辅 助介入式外科手术近年来已进入实用. 它具有准确 度高、手术时间短、创伤小等特点[2 - 3 ] . 1995 年 ,英 国的 HULL 大学提出了一种帮助外科医生锁定髓 内钉的新方法. 该方法需要对 2 张带有畸变的 X 光 图像进行处理 ,并提取髓内钉边缘和钉孔的轮廓. 2002 年 ,以色列的希伯莱大学研制了一种机器人系 统用于锁定长骨髓内钉[4 ] . 系统使用了一个紧凑的 导向机构 ,用于在断骨上钻锁定螺钉的导向孔 ,但机 器人必须与髓内钉或断骨固定. 所以研制更可靠、更 灵活、更容易操作的机器人辅助外科手术系统具有 重要的理论意义和实际应用价值[5 ] . 文中提出了一 种新颖的基于 X光图像导航的骨外科手术系统 ,其 主要功能是辅助医生完成断骨的复位与髓内钉的锁 定 ,并可以通过网络实现遥操作. 1 　机器人系统设计 设计的目的主要是为了辅助外科医生完成长肢 骨闭合性骨折的复位和内固定. 主要功能是获得包 含骨折处方向与位置信息的图片 ,为医生提供骨折 第 27 卷第 2 期 　　 　　　　　　　　哈 　尔 　滨 　工 　程 　大 　学 　学 　报　　　　　　　　　　　Vol. 27 №. 2 2006 年 4 月 　　　 　　　　　　　　Journal of Harbin Engineering University 　　　　　　　　　　　　Apr. 2006 处的信息 ,引导医生完成髓内钉的锁定. 根据功能要 求 ,系统包括手术床、复位机器人、全自动 C 型臂、 导航机器人、辅助工具和遥操作系统 ,以及一些功能 单元 ,包括图像导航系统、虚拟手术仿真系统等. 系 统原理框图如图 1 所示. 图 1 　图像导航矫形外科系统原理图 Fig11 　The prototype of an image- guided orthopaedic system 111 　全自动 C 型臂 由于普通的床旁移动式 X 光机无法提供准确 的位置和姿态信息 ,无法满足机器人辅助正骨手术 中对目标位置精确性的要求 ,因此对之进行了改装 , 使之成为全自动、高精度的 C 型臂. 在设计时选用 了直线导轨、圆弧导轨、滚珠丝杠、RV 减速器、大惯 量交流伺服电机等精密部件. C 臂环架采用超硬铝 合金 ,用圆弧导轨保证形变在设计要求范围内. X 线 发射管球和接收装置用普通 C 型臂上的设备移植 , 并将原来设备上脚闸和手闸的控制功能转换到计算 机控制系统中 ,使医生在远离 X 线放射源的工作台 就能实现对 C 臂的控制. 112 　导航机器人 导航机器人需要有足够大的工作空间和较高的 定位精度 ,需要在床旁移动 ,以满足不同部位的手术 对工作空间的要求. 因此选择了日本 Motoman 公司 SV3X型串联机器人 ,并将其放置在一个能在 1 m 范围内移动的直线平台上 ,这样手术需要的工作空 间得到了保证. 机器人的重复定位精度为0113 mm. 并且在机器人末端安装了经过改造的电动医用骨 钻 ,由机器人直接完成钻孔. 113 　遥操作系统 经常使用 X 光机会对医务人员造成极大的伤 害. 该系统的特点之一就是采用了遥操作系统. 外科 医生可以在安全的地方遥操作机器人系统 ,不必再 担心 X光辐射的危险. 遥操作系统包括并联主手及 其控制柜以及软件系统 ,可以通过 RS232 或者网络 集成到机器人系统的计算机控制系统中. 其中 ,并联 主手是一个“缩 —放”式的并联机构 ,它由 3 个平面 四连杆机构和球形铰链连接 ,如图 2 所示. 图 2 　并联主手 Fig12 　The master parallel robot 在上述子系统构建的基础上 ,建立了外科手术 的机器人系统 ,如图 3 所示. 图 3 　整形外科机器人系统 Fig13 　The orthopaedic robot system 2 　图像导航原理 图像导航的原理如下 :手术前 ,获得患者病灶处 ·682· 哈 　尔 　滨 　工 　程 　大 　学 　学 　报 　　　　　　　　　　　　　　第 27 卷 的图像 ,然后结合医生的解剖学和病理学知识 ,进行 手术规划并得到手术. 该系统中 ,需要从二维的 图像中获得准确的三维信息 ,然而由于 C 型臂影像 增强器的固有属性 ,导致 X 光平片产生明显的畸 变 ,因此 ,必须对获得的 X光图像进行畸变校正. 211 　图像畸变校正 为了消除畸变 ,这里采用了“局部法”,即在对变 形图像和标准图像进行匹配时 ,先把图像分割成局 部区域 ,然后求出这些图像区域间的转换关系. 为此 设计了一个薄圆盘来代替标准图像. 圆盘的中央是 一个直径为 412 mm 的圆孔 ,其余的圆孔直径均为 311 mm ,所有圆孔的圆心都均匀分布在间距为 6 mm的网格上 ,并把该圆盘安装在增强器的表面 上. 实验中 ,先对圆盘投影所产生的畸变图像进行 增强和二值化 ,然后使用种子填充法计算出图像中 每个圆孔投影的形心. 利用这些大量的形心坐标以 及与之相对应的圆盘上的圆孔把两幅图像分割成许 多四边形区域. 假定畸变图像中每个四边形的顶点 坐标为 ( u , v ) ,与之对应的圆盘上圆孔中心的坐标 为 ( x , y) ,而这些点之间的几何对应关系可以由一 阶多项式来描述 ,如下 : x = p11 ×u ×v + p10 ×u + p01 ×v + p00 , y = q11 ×u ×v + q10 ×u + q01 ×v + q00 . (1) 　　每一对四边形区域都可列出 8 个方程 ,因此可 以求出相应的参数 pi , j和 qi , j ,其中 i , j = 0 ,1. 这些 系数可建立将四边形区域内的所有点进行空间映射 的公式. 然后把每个区域对应的 8 个系数存到一个 表格中 ,用于整幅图像的校正. 由于畸变图像的像素 在标准图像中没有对应的整数值 ,利用三次样条函 数来进行灰度插值. 212 　图像对比度增强 针对断骨图像细节较多 ,灰度变化较大的特点 , 采用在测量图像相似性的基础上定义局部对比度的 增强算法 ,从而避免了过增强和欠增强问题[6 ] . 假定一幅 M ×N 的图像中 ,位于点 ( i , j) 处的 像素 Pij的灰度为 gij ,ωij为中心在点 ( i , j) 处大小为 d ×d 的模板 ,则每点的相似性表达式定义为[ 7 ] HO ( gij ,ωij ) = (1 - E( gij ,ωij ) ) ×(1 - V ( gij ,ωij ) ) · (1 - H( gij ,ωij ) ) ×(1 - R3 ( gij ,ωij ) ) · (1 - R4 ( gij ,ωij ) ) . (2) 式中 :边缘值 E ( gij ,ωij )表示用 Sobel 算子得出的模 板ωij内像素 Pij处的梯度的模 ; V ( gij ,ωij )表示模板 ωij内的像素灰度的标准方差 ;熵值 H ( gij ,ωij ) 反映 模板 ωij 内的亮度变化 ;斜态 R3 ( gij ,ωij ) 和峰态 R4 ( gij ,ωij )分别测量模板内灰度分布的对称性和 峰值[7 - 8 ] . { E , V , H , R3 , R4 }是为了保证计算的一 致性 ,而将上述 5 个分量归一化后形成的一组值. 计算出图像中每个像素的相似性值后 ,也将其 归一化 ,并令其值为βij . 同样还需定义非相似性 : ψij = ψ( gij ,ωij ) = 1 - βij = 　　　 1 - HO ( gij ,ωij )Πmax ( HO ( gij ,ωij ) ) , (3) 则以点 ( i , j)为中心模板内的平均非相似性值δij : δij = ∑ i + d - 12 p = i - d - 12 ∑ j + d - 12 q = j - d - 12 ( gpq ×ψpq ) ∑ i + d - 12 p = i - d - 12 ∑ j + d - 12 q = j - d - 12 ψpq , (4) 则像素 ( i , j)的对比度为 Cij = | gij - δij | Π| gij + δij | . (5) 令 g1 和 gk 为图像直方图中的最小和最大的灰度 峰值 ,则最小放大常数为 ξmin = ( gk - g1 )Π( gmax - g1 ) , 因此放大常数ξij可以由下式求得 : ξij = ξmin + ξmax - ξmin βmax - βmin ×(βij - βmin ) . (6) 式中 :βmax = max{βij } ,βmin = min{βij } ,最大放大常 数ξmax = 1. 相应的 ,当图像中 ( i , j) 处的对比度 Cij 变换为 Cij′,则像素 ( i , j)的灰度由 gij变为 g′ij = δij × (1 - C′ij ) 1 + C′ij 　gij ≤δij , δij × (1 + C′ij ) 1 - C′ij 　else. (7) 式中 : C′ij = Cξij′ij , 指数 ξ′ij = ξtij , 且常数 t 满足 0 ≤t ≤1. 213 　计算锁孔路径 总的来说 ,三维图像导航有 2 种方法. 一种是使 用 MRI 或者 CT 等设备直接进行三维图像导航 ;另 一种是用带有立体感的图像进行导航. 在该文所介 绍的系统中 ,使用几何方法计算出锁钉路径. 此方法 需要将一个标定盒安装在串联机器人的末端关节 上 ,在这个标定盒的上、下表面分别嵌有 3 个钢球. 锁定髓内钉远端孔需要找到经过髓内钉孔上、下 2 个圆的圆心的直线. 图 4 所示为系统数学模型的原 理图. 立方体的上下表面各有 3 点 ,分别为 ( A , B , C)和 ( D , E , F) ,而且这 2 组点各自形成一个等腰 直角三角形. 点 O 为 C 型臂的光源 ,平面为影像增 强器的投影平面. 如图 4 中所示 ,建立笛卡尔坐标系{ O1}. 给定 投影平面方程 : A ·x + B ·y + z + D = 0. (8) ·782·第 2 期 　　　　　　　　　　张立宁 ,等 :一种基于图像导航的骨外科手术机器人系统 　　如果给定点 A , B , C , D , E 和 F 的坐标 ,并 假定该立方体的高为 H ,就能得到点 A , B , C , D , E , F 在坐标系{ O1}下的坐标 ,分别为 A ( a , 0 , 0) , B (0 , 0 , 0) , C (0 , a , 0) , D ( r , s , H) , E ( s , s , H) 和 F ( s , r , H) . 然后假设光源 O 在坐 标系{ O1}下的坐标为 O ( x 0 , y0 , z 0 ) ,于是就能推 出直线 OA A′, OBB′, OCC′, ODD′, O EE′, O FF′的 方程 ,其中 A′, B′, C′, D′, E′, F′为这 6 条直线和 投影平面的交点. 于是 ,可以得到点 A′, B′, C′, D′, E′, F′的坐标. 图 4 　算法原理图 Fig14 　Principle diagram of the algorithm 利用图像处理的方法 ,可以在图像平面上找到 点 A′, B′, C′, D′, E′, F′对应的像素点的位置 ,就 能在图像平面上求出像素点 A′和B′, B′和 C′, B′和 D′, D′和 E′, E′和 F′间的距离. 并得到如下的方程 : ( A′x - B′x ) 2 + ( A′y - B′y) 2 + ( A′z - B′z ) 2 = k2 | A′B′| 2image , ( B′x - C′x )2 + ( B′y - C′y )2 + ( B′z - C′z )2 = k2 | B′C′| 2image , ( B′x - D′x )2 + ( B′y - D′y )2 + ( B′z - D′z )2 = k2 | B′D′| 2image , ( D′x - E′x )2 + ( D′y - E′y )2 + ( D′z - E′z )2 = k2 | D′E′| 2image , ( E′x - F′x )2 + ( E′y - F′y )2 + ( E′z - F′z )2 = k2 | E′F′| 2image , ( B′x - F′x )2 + ( B′y - F′y )2 + ( B′z - F′z )2 = k2 | B′F′| 2image . (9) 式中 :| A′B′| image 是点 A′和 B′在图像平面的距离 , 单位是像素 , | B′C′| image , | B′D′| image , | D′D E′| image , | E′F′| image ,| B′F′| image类同. 常数 k 可以事先测得 , 单位是 mmΠpixel. 测量方法如下 ,将一根 100 mm 长 的金属丝放在增强器表面 ,成像后 ,除以像的长度. 求解式 (9) ,能得到参数 A , B , D , x 0 , y0 和 z 0 的值. 如图 4 所示 ,经过髓内钉远端孔 (用圆柱体表 示)上下两个圆的圆心的直线交立方体上、下表面于 点 m 和 n ,这 2 点在图像平面上的投影为和. 同理 , 也可以计算出点 m′和 n′到点 A′, B′, C′, D′, E′, F′之间的距离 ,然后利用已经得到的参数 A , B , D , x 0 , y0 和 z 0 ,就可求出点 m 和 n 在坐标系{ O1}下 的坐标. 这样 ,就得到了经过髓内钉远端孔的直线方 程. 髓内钉孔由于受到 X 光的照射在影像增强器 上成像. 理论上 ,如果 X 光的照射方向合适 ,髓内钉 孔在影像增强器中央的投影正好是一个圆. 如照射 方向偏离理想位置 ,所成的像在外形上类似于椭圆. 旋转 C型臂使之绕髓内钉轴线旋转一个角度可以使 该投影变成一个圆 ,这时点 m′和 n′重合. 证 ,在 一定椭圆度内 ,可以近似认为点 m′和 n′重合. 3 　虚拟手术仿真系统 为了降低直接使用机器人进行手术的风险 ,还 建立了一套虚拟手术仿真系统 ,按照手术规划在计 算机上预演整个手术过程 ,直到仿真效果达到预期 目标时再进行真正的手术操作. 该模块主要是用虚 拟现实技术和增强现实技术来模拟、指导机器人医 疗手术中所涉及的各种过程. 如图 5 所示. 图 5 　机器人系统的虚拟环境 Fig15 　Virtual environments of the robot system 4 　实验结果及分析 为了验证理论的正确性 ,进行了多次试验 ,并对 实验数据进行了仔细分析. 实验中采集的数字图像 均为 768 ×576 像素的 8 位灰度图像. 411 　图像畸变校正实验 图 6 中 (a)和 (b)对比显示了用局部法校正标定 圆盘图像畸变的结果. 从中可以看出 ,枕形畸变和 S 形畸变已经取消 ,图像质量有很大改善 ,这样可以提 高锁钉路径的计算精度. 412 　图像对比度增强实验 如图 7 从 (b)中可以看出 ,直方图均衡化容易引 起过增强现象 ,而 (c) 图中的细节更加清晰 ,且对比 度更为合理. 413 　锁孔实验 实验中 ,将标定盒固定在导航机器人末端关节 上 ,这样 ,由前面所述方法计算出在标定盒坐标系下 ·882· 哈 　尔 　滨 　工 　程 　大 　学 　学 　报 　　　　　　　　　　　　　　第 27 卷 图 6 　畸变校正实验结果对比 Fig16 　The comparison of distortion correction experiment results 图 7 　实验结果对比 Fig17 　The comparison of experiment results 的锁孔路径后 ,通过矩阵转换将其转化到机器人工 具坐标系下 ,并且把电动骨钻直接安装在机器人末 端法兰盘上 ,如图 8 所示. 图 8 　标定设备 Fig18 　Calibration devices 为了验证该方法的正确性 ,将髓内钉插入猪腿 骨的髓腔中 ,带有标定盒的导航机器人被放置在断 骨旁 ,然后将 X 光机移动到适当的位置拍照. 在 X 光图片中 ,髓内钉孔应该在标定盒上的钢珠之间. 最 后 ,将计算出的参数发送到导航机器人. 导航机器人 将根据参数定位髓内钉远端孔并进行锁定. 通过大量的对比试验验证 ,该系统平均操作时 间为 418 min ,锁钉成功率达 9814 % ,X 射线的平均 照射时间为 0186 min. 而使用传统的穿钉方法 ,平均 操作时间为 1013 min ,锁钉成功率为 9713 % ,平均 照射时间为 5125 min. 图 9 为实验结果. 图 9 　实验结果 Fig19 　Results of experiment 5 　结束语 介绍了一种基于图像导航的整形外科机器人系 统的主要构成部分和功能单元 ,并详细论述了图像 导航的原理. 该系统成功地实现了用机器人锁定髓 内钉. 与传统手术方法相比 ,手术时间和受线时间大 大减少 ,锁钉成功率有一定提高 ,且医生可以通过并 联主手进行远程控制 ,从而减少 X 线对医生的照射 时间. 此外 ,虚拟手术仿真系统还可以实现手术的教 学与训练 ,减少对昂贵的实验材料的需求. 未来的工 作将主要包括进一步提高髓内钉锁定的成功率和临 床应用研究 ,并不断改善系统的软件和硬件 ,使其达 到临床应用水平. 参考文献 : [1 ] GU EZIEC A , WU K. Providing visual information to vali2 date 2-D to 3-D registration [J ] . Medical Image Analysis , 2000 , 4 (5) : 357 - 374. [2 ] KWOH Y S , HOU J , JONCKHEERE E A. A robot with improved absolute positioning accuracy for CT guided ster2 eotactic brain surgery[J ] . IEEE Transactions on Biomedical Engineering , 1988 , 35 (2) : 153 - 160. [3 ] MEL ZER A , SCHMIDT A , KIPFMULL ER K , et al. Technology and principles of tomographic image- guided in2 terventions and surgery[J ] . Surgical Endoscopy , 1997 , 11 (9) : 946 - 956. [4 ] SHOHAM M , BURMAN M , ZEHAV I E , et al. Bone- Mounted miniature robot for surgical procedures : Concept and clinical application[J ] . IEEE Transactions on Robotics and Automation , 2003 , 19 (5) : 893 - 901. [ 5 ]L IU W Y ,HU L ,WAN G. T M. A novel fluoroscopy-guid2 ed auto-frame navigation system for distal locking of intr2 amedullary nails[J ] . CAOS - International , 2004 , 11 (3) : 379 - 379. [6 ] DESH L CHA TTERJ I B N. Adaptive contrast enhance2 ment and De-enhancement [J ] . Pattern Recognition , 1991 , 24 (4) : 289 - 302. [7 ] CHEN G H D MEI X , SHI X J . Contrast enhancement based on a novel homogeneity measurement [ J ] . Pattern Recognition , 2003 , 36 (2) : 2687 - 2697. [责任编辑 :马兰兰 ] ·982·第 2 期 　　　　　　　　　　张立宁 ,等 :一种基于图像导航的骨外科手术机器人系统