基于网络影像的开颅手术仿真研究

基于网络影像的开颅手术仿真研究 论文作者签名:煎必 指导教师签名:趾 论文评阅人: 夏题仨 教握 逝江太堂 评阅人: 篚凌云 副熬援 杭州电王型撞太堂 评阅人: 邳宝 副数援 逝江太堂 答辩委员会主席: 委员: 委员: 委员:/ 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成 果,也不包含为获得逝姿盘鲎或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签字日期: 学位论文作者签名:蓖伙昂 矽,;年多月占日 学位论文版权使用授权书 本学位论文作者完全了解 有权保留并向国家有关部门或机构送交本 盘婆盘鲎 论文的复印件和磁盘,允许论文被查阅和借阅。本人授权逝’江盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播,可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密的学位论文在解密后适用本授权书 学位论文作者签名: 导师签名: 噶盘昂 签字日期: 签字日期: 年 月 日 如弓年 石月 莎日浙江大学硕士学位论文 致谢 致谢 两年多的求学时光匆匆过去。值此论文完成之际,衷心感谢我的导师吕旭东 教授。吕老师治学严谨而负责,百忙之中还不忘对我悉心指导。感谢段会龙教授, 段老师渊博的学识,一丝不苟的治学态度给我留下了深刻的印象,是我学习的榜 样。感谢刘济全老师,感谢他在平时学习和工作生活中给予我的悉心指导和帮助。 刘老师做事踏实严谨,为人宽容平和,在他的指导帮助下,我走入了医学图像研 究领域。感谢邓宁老师,李昊曼老师,赵晨晖老师,让我体会到了实验室大家庭 的温暖。感谢聂鸿超师兄、尹梓名师兄、郑玲师姐、孙德宇师兄等对我学习生活 的指导和帮助。 感谢王彬、殷琳、徐世才、俞伟飞、范武等同学,与你们一起学习、生活的 日子令我永远难忘。感谢陈双双、周琳琅、何平平等同学同事,与你们一起工作 让我学到了很多知识和技能。感谢孙德宇师兄,王彬,陈超洁对我论文提供的无 私的指导及帮助。 感谢家人对我精神上和生活上给予的无私帮助,我的每一点进步都离不开你 们的支持。 最后向所有未提及的关心、支持和帮助过我的老师、同学、同事、朋友表示 由衷的祝福。 范政昂 年月 于求是园摘要 浙江大学硕士学位论文 摘要 开颅手术的是一个不断优化的过程,现有的医学可视化工具既不能 便捷地仿真模拟外科手术过程中可能出现的实际问题,也不能获得颅脑开窗后的 仿真影像来评估手术方案对颅内组织的影响。目前手术方案的设计很大程度上还 是基于医生先前经验对影像判读及想象重构,缺乏系统的、全面的指导。与此同 时,大多数医学可视化工具操作复杂,处理步骤多,自动化程度低,必须由经过 训练的放射科医师完成,无法很好的与外科手术医生进行交互。 本论文研究的开颅手术仿真系统是对现有医学可视化工具的补充,它可以模 拟开颅手术的整个过程,并提供开窗区域剥除后的大脑皮层表面场景,以及诸如 开窗区域对颅内血管的影响等传统手段无法提供的信息。同时还允许外科医生反 复尝试不同的手术方案,仿真手术过程中具体的问题,评估不同方案的优劣,从 而帮助外科医生形成具体手术方案。 本论文研究的开颅手术仿真系统基于病人术前的影像数据,系统自动化 提取出头皮、大脑等关键组织区域,并建立多解剖结构混合绘制的手术模型。系 统以外科医生能理解的方式仿真手术过程,允许外科医生在头皮上任意规划开窗 区域,并生成沿头皮表面的手术刀轨迹。医生设置切割角度以及切割深度后,可 以仿真切割模拟头皮颅骨剥离的过程,显示手术评估所关心的颅内血管和大脑皮 层的影像。 本论文研究的开颅仿真系统原型与现有的虚拟手术规划系统相比,专门针对 开颅手术的特点和需求,充分利用了头皮表面的解剖结构特征,既简化了处理步 骤又近似模拟了开颅手术的过程,为制定最佳手术方案提供了依据,对于医生熟 练手术操作步骤、减少手术风险具有十分重要的意义。 关键字:医学可视化;手术仿真;虚拟切割 浙江大学硕士学位论文 .、析 . ,’ ,. , ,, . . ., , .,. ,., . 谢 ,. 浙江大学硕士学位论文认 . .: ; ; 浙江大学硕士学位论文 目录 目录 致谢? 摘要.??.. 目录. 绪论??. .引言?. .开颅手术仿真的发展现状?. ..原始图像数据的研究??.? ..医学影像工作站的工具套件??.? ..颅脑分析软件??.? ..神经外科手术规划导航软件??.. .开颅手术仿真的特点 ..针对性开颅手术过程 ..仿真临床关注的问题 ..面向外科手术医生? .开颅手术仿真系统结构手术仿真数据的在线获取与解析.. . 网络通讯?. .. 消息服务层.. .. 上层协议层.. .. 网络通讯实现??.. . 文件解析?. .. 文件结构?.. .. 数据编码?.. .. 文件解析流程??.. .小结? 手术仿真数据的自适应预处理?一 .数据预处理的目的? .数据预处理算法要求 .头皮边缘提取 ..经典边缘算法? ..自适应头皮边缘提取 .大脑区域提取 浙江大学硕士学位论文 目录 .. 算法..提取结果.小结? 手术模型的混合绘制及仿真??一 ..医学可视化概述?.. .. 算法??. ..光线投射算法 .手术模型的混合绘制 ..头皮边缘建模 ..大脑区域建模 ..头部区域建模 ..混合绘制.开颅手术仿真 .。开窗区域规划 ..虚拟切割.小结? 开颅手术仿真系统实践?.. .系统开发环境 .系统交互机制 .. .底层交互机制? ..交互机制设计 .手术仿真系统性能优化..可视化管线优化..可视化渲染优化.手术仿真界面 .小结? 总结与展望? .总结?. .展望?. 作者简介??.. 参考文献??.. 浙江大学硕士学位论文 手术仿真数据的在线获取与解析 绪论 .引言 开颅手术是绝大多数颅脑外科手术的基础,常见于颅内肿瘤、颅内血栓的治 疗。开颅手术需要在病人头部进行开窗,即剥除开窗区域的头皮、颅骨及颅骨内 硬膜等组织,从而到达病灶区域。手术过程中,整个开窗区域密集了大量的神经, 血管以及脑组织,手术风险极大,术后恢复时间长,且易伴有颅内感染、神经功 能丧失等并发症。 开颅手术对于手术的精确性和微创性提出了很高的要求。开颅手术的质量不 仅取决于病灶组织的切除程度,更取决于是否最大限度地避免正常血管,神经以 及脑组织的损伤。开颅手术的创口大小对于术后硬膜内血肿、术后神经功能的恢 复与重建等方面有着直接的影响【。因此,外科手术医生在开颅手术前,必须充 分考虑病灶与周围功能脑区的关系,了解浅表经脉的分布并评估脑经脉取舍,从 而形成完善的手术方案,确定手术开窗的位置、大小以及最佳手术路径,保证开 颅手术的精确性、微创性。 开颅手术仿真就是基于病人术前的、图像数据,运用三维可视化技 术建立病人头部的三维模型,从而直观地显示病灶区域及其与周围组织的关系, 并在此基础上,以医生能理解的方式,在计算机上模拟手术开窗的全过程,并提 供开窗区域剥除后的大脑皮层表面场景,允许医生反复尝试不同的手术方案,评 估不同方案对颅内血管、神经的影响,从而对开颅手术规划提供针对性的指导。 手术仿真对减少手术创伤,提供手术质量,降低手术风险,熟练手术步骤等方面 具有非常重要的实际意义。 .开颅手术仿真的发展现状 随着医学可视化技术的发展,临床上不断涌现出面向开颅手术的医学可视化 工具。这些工具的按照研究侧重点的不同,可以分为原始图像数据的研究、医学 影像工作站的工具套件、颅脑分析软件和神经外科手术规划导航软件四个方面。 ..原始图像数据的研究 临床的医学可视化的研究工作,最初主要集中在原始图像数据的可视化研究 上。年等提出使用 图像进行脑表面重建。年浙江大学硕士学位论文 手术仿真数据的在线获取与解析 技术,即延长和时间,增 等‘和年等‘相继提出 强脑脊液信号,同时抑制皮肤、皮下组织、颅骨及脑组织的信号,通过脑表面蛛 网膜下腔中的脑脊液勾勒出清晰的脑表面形态结构,继而反转图像获得脑表面解 图像重建脑表面三维结构,可以 剖结构图像。年等【使用 清楚显示中央沟、中央前回、中央后回等主要的脑表面。年等等利 用非强化的 .序列配合图像黑白反转和人工脑外信号剔除处理,实 现脑表面沟回和脑表面静脉的仿真显示。目前普遍使用的原始图像仍然是或序列图像, 它可以提供包括动静脉血管在内的丰富信息。对原始图像的各种研究,是对或 的有益补充。 ..医学影像工作站的工具套件 开颅手术仿真的研究也有很大部分集中在对现有的医学影像工作站的工具 套件的发展。随着医学影像设备商的资金投入,为临床提供了大量影像工作站和 成熟的商用软件如、、和技术等,部分研究者最大限度 地利用上述软件,设计出各种方法来实现“脑表面解剖结构可视化”和/或“仿 真开颅手术”。 厣 图. 技术与头皮定标和图像结合 如图所示,年等【将技术与头皮定标和图像进行 结合,不但指明了颅骨开窗位置,而且通过将脑血管图像重叠到脑表面解剖结构 图像上,实现了病灶与功能脑区和脑表面动静脉三者同时显示。等的研浙江大学硕士学位论文 手术仿冥数据的在线获取与解析 究可以被看作“仿真开颅手术”的雏形。然而,这种图像融合的方法存在 图像的分辨率不足、较大病灶无法清楚显示、融合图像存在错配可能等缺点。年等【】以 图像作为原始图像,通过工作站重建配 合头皮、皮下软组织和颅骨以下简称头皮信号剔除技术,实现脑表面结构、 静脉和肿瘤的仿真显示,应用于指导脑肿瘤手术。年等【】以 梯度回波序列图像为基础,设计脑表面曲面重建技术显示中央沟旁病变,提供病灶中央前回关系的信息。年等【】以 图像为基础,综合利用、等多种后处理手段得到包括头皮表面、头皮血 管、脑表面、脑血管和深部肿瘤的多个图层信息,然后进行图层叠加,逐层显示 开颅过程中所见影像。然而,的工作为神经外科提供了固化的影像, 无法进行“开颅手术”仿真模拟。 图. 等人的脑表面解剖结构可视化 图像重建基础上,利 如上图所示,年等【】在 用手工剥除头皮信号,实现“脑表面解剖结构可视化”。 上述各种方法存在共同的缺陷:人工处理的成分较重,操作者依赖性较大; 图像由放射科医师重建完成,神经外科医师被动接受固化的影像,难以在人机交 互中真正模拟手术的过程。 ..颅脑分析软件 国外许多的知名大学及科研团体也相继开发了各种各样的颅脑结构和功能手术仿真数据的在线获取与解析 塑江大学硕士学位论文 的分析软件,目前常用的脑三维重建及分析软件有、、、 、、 、 等等。有些研究者将上述软件中的“去头皮”、“脑表面可视化” 功能移植到临床中来。譬如,年掣】借助/软件将 和 法融合,得到脑表面结构和静脉同时显影的图像。 图. 软件的. 如图所示,年等【】设计一种称为.的技术,利用 软件自动剥除颅骨和头皮的对信号,然后与术中拍摄术区的数码影像相比对, 帮助确定直视下无法观察的皮层下肿瘤、以及与重要脑区的关系。 然而,各种软件均是为脑科学研究而设计,面向科研工作,在剥除头皮信号 时得到的是完全的脑表面图像,由于缺乏定位标记如体表标记、双耳等,不 能满足神经外科开颅手术定位和“预览”开窗后场景的要求。另外,由于上述软 件的着眼点在于群体结构的研究或者脑功能研究,不适用于病理状态下脑表面结 构的显示、脑表面结构和血管的同时显示等,因此难以作为有前途的发展方向。 ..神经外科手术规划导航软件 目前国内外研究者和研究机构关注“开颅手术仿真系统”专用软件研发的很 少,大量的研究集中在神经外科导航软件上。神经导航利用医学影像以及相应的 高精度光学跟踪定位装置和无线智能化手术器械,进行实时、精确的定位导航。 使医生在进行手术前制定最佳手术方案,以及在术中的实时图像引导定位。 帮助医生在视野更为清晰的状态下,更有条理的进行手术,手术达到微创、失血 少,使手术更安全更快捷、更彻底。导航技术的参考影像是三轴横断、矢状和 冠状扫描图像及容积重建后的图像,在此基础上采用正交切割,神经导航系统不能实现脑表面结构的显示,与“开颅手术仿真系统”是着眼点是不同的两种方 法。年等研发了.的装置进行微侵手术的仿真,该方 法只能以三轴形式显示图像,不能直接显示脑表面解剖结构。年新加 坡 公司开始研发工作站,将、、 和等多模态影像技术融合进三维立体的可视化系统,可以显示头皮、颅骨、 颅外、颅内和脑表面血管等详细结构,并模拟包括开颅手术在内的各种手术部位 的仿真显示,提供了高度的手术模拟效果,被广泛应用于颅脑微创 手术中【郴】,这项技术在世界范围内处于领先水平。该工作站包括了昂贵的软硬 件设备和多项专利,国内应用少,目前也没有同类设备替代。 .开颅手术仿真的特点 由前所述,随着医学影像学和医学可视化技术的发展,临床涌现出一批医学 可视化工具。这些工具基于病人术前的、图像数据,运用三维可视化技 术建立病人的三维模型,从而直观地显示病灶区域及其与周围组织的关系,帮助 医生形成手术方案。 开颅手术仿真的侧重点与上述工具不同。这些工具一部分是医学影像工作 站,主要针对于医学影像数据的处理,从而帮助医生更直观地理解医生数据;另 一部分则是术前规划软件或者术中导航软件,由于精度的问题,目前更多的研究 是集中于术前规划方面。这些工具都具有局限性,不能很好的解决临床中,尤其 是开颅手术中遇到的实际问题。开颅手术仿真就是在为了满足临床外科医生的需 要,基于病人术前医学影像形成三维模型,模拟开颅手术的过程,仿真实际手术 中遇到的问题,评估不同方案的影响。开颅手术仿真有如下特点: ..针对性开颅手术过程 开颅手术仿真就是针对开颅手术过程。目前临床大多数医学可视化工具都侧 重于病灶区域的空间位置建模上,可以直观的显示病灶区域及周围区域的空间位 置关系。但都只支持空间正交切割,或者任意面切割,不能模拟开颅手术在头皮 上选取区域以及切割的过程,也不能提供术后颅脑表面三维可视化的图像。医生 无法分析切割区域与周围组织的关系,尤其是与颅内血管及神经组织的关系。 开颅手术仿真支持对病人三维对象的任意切割,模拟开颅手术在头皮开窗的 全过程,并反映对手术具有重要影响的指标,如仿真开窗位置及大小、手术入路、浙江大学硕士学位论文 手术仿真数据的在线获取与解析 骨瓣去除的范围和精确位置、重要功能区回避、神经组织和颅内血管取舍等问题, 评估方案对颅内血管,神经的影响,从而对开颅手术规划提供针对性的指导。 ..仿真临床关注的问题 开颅手术对外科医生提出了很高的要求。医生在手术期间需要面对许多问 题,如选择合适头皮、颅骨和硬膜开窗位置和大小;设计最佳手术径路,尽可能 减少需要损伤的正常脑组织;表面血管尤其是浅表静脉的分布及其与病灶的 关系,评估术中的脑静脉取舍的可能性等等。这些问题对手术的质量有着直接的 影像,但是临床上大多数医学可视化工具不能与医生交互,也无法对这些问题进 行评估,这些问题的解决更多的是基于医生的临床经验以及对于二维影像的分析 后在脑海中的想象重构,无法有效降低手术的风险。 开颅手术仿真可以预览颅脑开窗后的场景,提供开窗区域剥除后的大脑皮层 表面场景,重点在于显示颅内血管及神经组织等关键部位的影像,评估手术路径 对颅内血管、神经及脑组织的影响;开颅手术仿真允许医生反复尝试不同的手术 方案,评估不同方案的优劣,从而形成最佳手术方案。 ..面向外科手术医生 目前临床大多数的医学可视化工具的使用对象都不是外科手术医生,如医学 影像工作站是面向放射科医师的,三维可视化建模过程中涉及大量的图形处理算 法,有的成像如增强连续扫描等图像需要在成像过程中调整设备参数,操作极 其复杂,处理步骤多,自动化程度低,使用都必须经过训练,临床外科医生自己 无法处理,导致外科医生对工具的接受程度较低。 开颅手术仿真就是面向外科手术医生,在不改变医生传统手术习惯的基础 上,以外科医生能理解的方式,仿真开颅手术过程。仿真的操作简单、直观,算 法的参数尽可能自适应计算,自动化程度高,方便外科手术医生把注意力放在手 术过程中需要关注的问题上。 .开颅手术仿真系统结构 本论文针对临床上对开颅手术仿真的需求,提出了一个开颅手术仿真系统的 设计方案。该系统面向外科手术医生,着眼于临床医疗环境,外科医生可以方便 的配置,从临床环境中获取需要的影像数据并自动化的预处理以建立手术模型。 手术仿真系统基于病人术前的头部图像,提取出临床外科手术医生重点关注手术仿真数据的在线获取与解析 兰鬯奎主鎏翌主筌堕鎏二.一 的组织区域并分别建模,并结合原始数据混合绘制为手术区域。手术仿真系统可 以允许外科手术医生根据病灶的位置及大小,在手术区域的头皮表面任意规划开 窗区域,生成手术路径并虚拟切割,剥离开窗区域的头皮,颅骨等组织,预览开 窗后的脑表面场景,尤其是大脑表面经脉的影像,以帮助医生评估手术方案。 图.开颅手术仿真系统结构 上图即为本文的开颅手术仿真系统结构示意图。为了方便外科手术医生获取 影像数据,系统提供了数据接口模块,可以方便的从临床环境中导入本地或者 上的影像数据。数据预处理模块可以自动化的从影像数据中提取出手术仿 真重点关注的组织区域,如头皮边缘,大脑区域等。数据建模及仿真模块是整个 系统的核心,模块对头皮边缘,大脑区域以及整个头部区域分别建立可视化模型 并混合绘制成手术模型,并允许医生仿真开窗区域,虚拟切割等手术操作,并提 供开窗口后脑表面场景的预览。本文的开颅手术仿真系统采用松耦合的模块设计 方式,各模块之间是独立的,均使用定义的接口与手术仿真界面交互,从而方便 整个系统后续功能的扩展,以及与临床医疗环境的集成。手术仿真数据的在线获取与解析 浙江大学硕士学位论文 手术仿真数据的在线获取与解析 开颅手术仿真需要基于病人术前的医学影像数据建立手术模型,手术仿 真的第一步就是获取医学影像数据。临床环境中的医学影像数据一般是 格式的文件序列。文件格式除了手术仿真所需要医学影像数据,还包含 诸如病人信息、检查信息等大量与手术仿真无关信息,读入的时候会造成内存浪 费。而且这种文件序列中每个文件只提供扫描的一层图像信息, 这种数据在后续建模的时候,尤其是体绘制涉及层与层之间的算法要多次重复读 取文件,使用起来效率很低。同时,某些文件的医学影像数据还是经过 压缩的,必须经过解码才能得到手术仿真所需要的数据。临床环境的格 式的医学影像数据必须经过处理才能使用。另外,在真实的临床环境中,医学影 像数据多是存储在各种服务器中,医生如果想要获取特定病人的影像数 据,必须通过特定的影像工作站从中获取,无法直接获取文件。 综上,本文的开颅手术仿真系统提供数据结构模块方便医生从获取特 定病人的医学影像数据,将压缩的格式解码,并解析为三维可视化常用 的数据文件格式,以便后续的模块使用。 医学影像设备 、,/。 数据接口模块 其他模块 二一二, ??、。。通讯二。。。解析 ,’.???。??????一??一 ????????,?一???? 陋 勰?? 』一 影像工作站 本地文件 图.开颅手术仿真的数据接口模块 . 网络通讯 目前,的厂商众多,数据格式及传输协议各异,但绝大多数的手术仿真数据的在线获取与解析 浙江大学硕士学位论文 均支持标准。本文的数据接口模块实现通讯,并支持若干 消息服务,以支持从查询特定病人的影像数据并传输到本地。 卅是世界上应用最 广泛的医学数字成像及通讯标准,是由美国放射联合会 ,和美国国家电子制造商协会 ,于年共同制定的。标准旨在解决复杂的医疗环 境下的不同设备间医学影像数据的存储和传输问题。标准规定了统一的 影像格式和影像传输协议,使得医学影像数据可以独立于特定厂商的设备。 .. 网络模型分析 网络通信主要解决在不同医学影像设备间的互联以及医学影像数据 的交换问题。标准参考了网络模型,定义了分层的网络模型,在 实现统一的数据通信标准的同时,还提供足够的灵活性以保证不同临床环境的实 施需要。 与参考模型相比,标准规定的网络通讯协议实际上是应用层的 通讯协议。网络模型基于/协议,并在此其基础上定义了 上层协议层,以及消息服务层。 / 应用程序 ..........,..,..、,,.,..,..,....,......。,..、,,.,....。..............,一 参考模型 网络模型 消息服务 应用层 表示层 上层协议 会话层 二二二二二二二二二 运输层 运输层\ 网络层 网络层 ? 数据链路层 物理层以太网 物理层 ??????一一?? 图. 网络模型与网络模型 上图是网络模型与七层网络参考模型的对比【。网络 传输是基于/客户端朋艮务端模型的,客户端提出功能请求,服务端接收并 处理请求。标准中,服务端定义为 ,客户端定手术仿真数据的在线获取与解析 兰鬯兰竺生竺型兰:兰一. 义为 。标准定义了消息服务层和上层协议层,底 层通信使用/协议交换数据。 .. 消息服务层 消息服务层定义了与之间的诸多服务,如图像数据传输, 病人信息查询等,标准中以 服务对象对表 征这些服务,通常由 ,消息服务元 素及其对应的组成。其中,表示各种服务的类型,为 特定类型服务所涉及的数据元素序列,标准中为每一个都赋予一个 独一无二的标示符。常见的服务如下表所示未全列出: 表.常见服务 说明 . 测试会话是否建立成功 . 询问上是否有符合条件的影像数据 . 请求传输特定的影像数据 . 请求存储特定的影像数据 . 请求传输某个影像数据给其他 .. 上层协议层 标准上层协议层 定义了网络传输过程中数据连接的建立以及在此基础上的数据传输校验细 节,为消息服层提供透明 的数据传输服务。 标准在上层协议层定义了 ,协议数据单元。 是上层协议层的数据传输格式,封装了传输细节。有如下类型: 表. 类型 说明 请求建立连接? .... 连接请求接受 .. 连接请求拒绝 .... 数据传输格式 请求释放连接? 浙江大学硕士学位论文 手术仿真数据的在线获取与解析 ..冲 连接释放接受 . 异常中断请求 在与建立连接并协商确定服务类型后,和组装成, 并利用服务传送数据。此时/连接上传输的数据都是封装好的。 在不同的传输时段有不同的格式,在进行数据传输时,同一个中所有 数据都有相同的表示上下文。消息服务和数据 都以流的形式存放在的数据域中。 消息服务 ?二;;之?;二二? ;: :数据长度 上下文: 上下文 上层协议气二二二二二二二二二二二 类型 预留 长度? 数据 “?,?,’。“自二’,一?’’’’”一??????’,,二一? : ???~?????一?一???~??一??一??一??~一一 ?~一? / 图. 结构 .. 网络通讯实现 ...网络传输模块结构 网络传输模块的主要功能是实现基于标准的通信,以方便同 建立数据连接,查询并获取特定病人的医学影像数据。网络模型是分层 的网络模型,上层协议层为消息服务层提供透明的数据传输服务,我们 为上层协议层、消息服务层以及应用实体提供独立的处理类。 图.网络传输模块结构示意图 浙江大学硕士学位论文 手术仿真数据的在线获取与解析 如图所示是网路传输模块的结构示意图,各模块功能如下: 网络传输模块的底层使用类库实现基于/的通信,为 连接类提供可靠的数据交付。 连接类负责根据上层数据连接及数据传输请求生成特定的类 型,或者根据底层收到的类型分别交付类数据连接,数据 传输,数据释放及异常中断请求。 服务类实现特定消息服务的数据流封装以及传输校验。 类负责处理各种服务的特定流程,类负责从收到的 数据元素序列中提取并生成相应的医学影像数据并生成目标格 式的文件。 类封装了底层的各种类,对外提供统一的接口,包括数据连接,释 放,查询及数据传输等。 ... 连接协商 数据传输首先要建立上层协议层的连接,这个连接是建立在 连接之上的与的连接。类似于/建立连接的三次握手, 上层协议连接需要基于的连接协商。连接协商目的在于确定数据传输的编 码方式、数据格式等传输细节。 是 繁谶戮黧裂盆雾嚣;?而轴撇确舢擞? 、 ,,/:。。\\、 封装为??类型发送 、/:.,曼竺.,:、、 ,\??~【。 ,?一 给 \???/ 是 图. 数据传输的连接协商浙江大学硕士学位论文 手术仿真数据的在线获取与解析? 字节 字节 字节 字节 字节 字节 字节 字节 字节 字节 ....... 字节 字节 字节 字节 字节 字节 字节 字节 字节 字节口 字节 节 字节字节 , , , \, 图.连接协商数据流 彳~产 字节 字节 字节 字节 字节 字节 字节 字节 字节 字节....... 字节 节 字节 字节 字节 字节 字节字节 字节 字节 加字节..., , , 连接类 图.连接协商数据流 连接协商是由发起的,网络传输模块通过连接类首先机 浙江大学硕士学位论文 手术仿真数据的在线获取与解析 , 建立基于的连接,然后根据默认设置,确定 应用程序的标识, 抽象句法以及本身支持的 传输句法列表,以及最大长度,扩展协商信息等可选信息。 其中, 规定了请求提供的服务类型,即 。 规定了传输过程中的编码方式,字节次序,图像压缩格 式等等。通信的收到的请求后,会判断是否有相应的权限, 请求的服务是否可以提供,并在传输句法列表中选择一种传输句法回复连 接类,连接类记录,选择的传输句法, 等参数, 从而完成连接协商,建立特定服务的数据连接,并把数据交付给 编解码类。 ...基本消息服务流程 定义了许多服务,根据开颅手术仿真的需求,本文所涉及 的模块的功能是从及其他医学影像工作站获取特定病人的医学影 像数据。因此,我们只需要实现服务的一个子集,主要包括., .,.,。。 叵叵国 匡 连接申请 \ , ??? \ , 立 连拦建 ? / 、 ?? 服务开始 ?? 服务成功 ?? ?? 、 释放申请 \ ? \ , 释放成功 ? / , 图. .服务通讯流程 图.是网络传输模块的.服务流程。.服务提供实现 最基本的数据连接校验,用来测试数据传输是否连通。回巨国 回 连嘏请 、 , 、 , 立 连扫建 ? , 、 服务开始 ? 设置查询级别及查询字符 、 ?? 服务成功 ?? ? 、 、 释蒯【啐请 \、 , 释蒯【成功 ? , 图. .服务通讯流程 图.是.服务流程。.服务提供基本查询功能,查询方首先要确 定查询级别以及查询字符串。查询级别指的是查询字符串针对的数据元素序列, 如只查询病人数据,只查询检查数据,或者病人及检查数据都查询。查询字符串 是基于 的查询,可以支持部分正则表达式。查询结果会返回一系 列 。 日 匡 囤 巨 连接申请 \ ,、 , 连扭建 ; ? , 、 服务开始 设置? 、 ?? ?? ? ? 服务成功 ?? ?? 、 、 释放牟语 、 、 , 释蒯【成功 ? , 图. .服务通讯流程 手术仿真数据的在线获取与解析 塑鋈奎兰堡主兰位论文 图.是的服务流程。.服务可以获取特定 的 医学影像数据。?服务中封装了一个.服务。首先基于特定 的 发起.服务请求,然后回复一个特定的. 服务请求,请求接收特定的数据文件,接收完成后回复. 服务完成,进而完成整个.服务流程。 . 文件解析 正如前面提到的,使用临床上的格式文件序列可视化建模有许多不 便,本文的数据接口模块支持对文件解码,并将文件序列转化 为三维可视化常用的数据文件格式,本文采用的是文件格式。 ?. . 画 罚 . 图. 文件解析示意图 开发的商业软件工具包,被广泛用于/,, 是 . 图像的三维图像显示、图像处理及测量。这个工具包定义了 文件格式【,并被三维重建领域的其他工具包广泛接受,成为一种事实上的标准。 文件格式非常适合存储体绘制的体素数据,文件一般由两 个文件组成,一个.后缀的文件记录了图像所有的属性数据,一个.后缀的 文件记录了图像的数据信息。 .. 文件结构 标准不仅规定了网络传输的协议,也规定了文件的统一格 【,主 式。文件从本质上说是一个关于信息体实例的数据集 要包括四个方面,即患者、检查、序列、图像 文件 字节 字节 字节 字节,文件元信息 ,。, .、 , 、, ?文件头 图. 文件结构手术仿真数据的在线获取与解析 塑兰奎兰堡主兰垡笙文 文件的结构如图所示,文件主要由文件头和 两大部分组成。文件头由三部分组成: 个字节的用户自定义字段,无实际意义,一般全置为。 个字节的标识段,内容为“”,是文件的唯一标识。 文件元信息段,实际上是数据字典的组,包含了解读 数据所需要的信息,主要包括 。,,, , 等。,信息对象定义是整个 文件中信息量最大的部分,囊括了所有信息实体病人、检查、图像等的信息。 ; 厂???厂????『??? ,,一、 堕;匣一。。堂 .??人???? 长度 图. 标准把现实中的对象基于实体一关系模型映射为。信息模型 通过数据字典把需要描述的实体每一个属性如姓名、性别等,都映射为 中的数据元素 ,这样实体就变为一组数据元素序列。数 据元素是 中的最小单位,每个数据元素都对应一个确定的和一 个。是数据元素的类型,表示信息格式是文字、图片、波形等。包括 数据元素的组序号和元素序号,在文件中唯一标识这个数据元素。数据元素在组 织的时候,概念上相近的数据元素组成一个数据组 ,同一组的元手术仿真数据的在线获取与解析 兰鬯主苎:坐竺笙苎 素按照元素序号升序顺次排列,数据组与数据组之间按照组序号升序排列, 的最后一个元素往往是,,其中包含图像的像素数据。 .. 数据编码 数据编码主要包括字节流层次的编码的以及数据元素层次的编码 口。在文件中,数据元素的编码方式是贯穿始终的,不同的编码方式不 能混合使用。在文件头的 中规定了 的编码 方式。 在字节流层次,文件有以下两种编码格式。 :当一个数值需要多字节表示的时候,低位字节在前高位字。这种编 节在后,如,在内存中表示为 码方式常见于系统。 :当一个数值需要多字节表示的时候,高位字节在前低位字 节在后,也就是我们自然语言的处理方式,常见于系统。 上述的两种编码格式只有在数值需要多字节表示的时候才有影响,字符串和 数据元素的结构仍是按照次序编码。 在数据元素层次,有和两种编码方式。 数据元素的勘必编码 长度 组序号 元素序号 字节 字节 字节 字节 /.是,,?,类型的数据元素的编码 矿足 长度 矿疋 经序号 元素序号 保鬣 享节 字节 字节 珏字节 字节 字节 是箕龟类型的数摄元素的编码 争欠 长度 经序号 元素序号 字节 享节 字节 字节 事节 图. 数据元素编码 是的默认的编码方式,在编码方式下,数据元素的 是隐式的,不需要标出。同时,编码方式更严谨,它需要在数据元素 手术仿真数据的在线获取与解析 主翌主釜鎏堂丝苎 一 中明确记录所属的类型,类型由两个大写字母标识。在编码方 式下,数据元素根据不同的类型需要不同处理。 .. 文件解析流程 本地文件。 在线数据 生成下一个文件名 结束 图像信息保存.文件?? 图. 文件解析流程 文件中,数据元素,包含了所需的医学图像数据,数据组 .包含了诸如图像行数,列数,灰度级,图像类型等所有图像信息。 .文件格式转换的过程,实际上就是 文件格式到 .文件格式文件的对应,以及数 文件的数据组,到 据 素,至 文件的对应。如图所示,本地文件和在线 数据都要经过文件解析流程。流程首先根据序列文件名规则读取序列的手术仿真数据的在线获取与解析 垡堕兰堡主兰竺笙文 第一个文件, 校验文件标识信息后主要关注数据素,,数据元素 ,以及数据组,。数据元素,包含了文件的 信息,指定了文件的字节流编码,数据元素编码以及是否压缩,本文目前 支持无压缩和压缩,可以使用库来解压缩。一旦得到像素信息和图像 信息后,就可以按照对应顺寻转存到文件以及文件中。 .小结 本章探讨了开颅手术仿真系统的数据接口模块。数据接口模块提供了 文件解析功能,以方便后续模块的建模仿真。另外,数据接口模块还实 现了基于标准的网络传输模块,针对的分层网络模型,分别实 现了不同网络层次处理类,并实现了消息服务的一个子集,以方便医生 从中获取指定病人的医学影像数据。浙江大学硕士学位论文 手术仿真数据的自适应预处理 手术仿真数据的自适应预处理 .数据预处理的目的 开颅手术仿真不仅需要利用科学可视化技术建立手术区域的三维可视化模 型,还需要在此基础上对这个模型进行特定区域的开窗,以及开窗后的脑表面成 像等等交互操作。目前临床上常见的方法是基于病人头部的影像序列构建整个三 维可视化模型,这个三维可视化模型可以反映手术区域的整体信息,但是三维模 型中头皮区域、颅骨区域、脑组织区域是一个整体而不可分割,常见的交互手段 只能是基于坐标的正交切割,无法模拟开颅手术的切割方式。 图.头部医学影像数据关键解剖结构 开颅手术仿真中,头皮区域是医生交互操作最集中的部位。开颅手术仿真中 开窗区域取点以及手术路径规划操作都是位于头皮的外表面,所以头皮与背景的 边缘是我们关心。另外开颅手术仿真中医生最关心的问题是开窗后颅骨剥离后颅 脑表面的影像,尤其是颅内血管及神经组织等关键部位的影像。 一自适应边缘检测?一 头皮边缘 \ \\? 一术前图像序歹 卜//: 彩/ ,“凸 味圣圣口陌描 ??????。,捌主夕、::竺峨 图.图像预处理流程 如图所示,本文专门针对开颅手术的特点及需求,在可视化建模之前,手术仿真数据的自适应预处理 塑大学硕士学位论文 先基于病人的术前医学影像进行预处理,分别使用自适应边缘检测提取出头皮边 缘,以及使用】提取脑组织区域,之后对多个解剖结构分别可视化建 模。 .数据预处理算法要求 开颅手术仿真对于图像预处理的算法要求很高,主要表现在算法的精度和算 法的稳定性两方面。 精确地建立手术区域的三维模型,是手术仿真的关键。而手术三维模型的精 度,直接取决于图像预处理的精度,尤其对于某些手术仿真有重要指导意义的组 织区域,精度尤其重要。如手术仿真需要在病人头皮上任意选取若干控制点,标 定出一个开窗区域。为了保证开窗区域的控制点与病人真实头皮上的切割点的对 应,头皮边缘的提取完整,并且尽可能的避免过分割的出现,因为如果头皮区域 在提取的时候产生了过分割,即部分头皮区域被当成背景区域分割掉,那么基于 这块区域的控制点必然不能准确的落在真实的头皮上,基于控制点的分割及控制 区域的测量结果也就不能保证。 算法的稳定性指的是算法应尽可能自动化或半自动化,并且算法对大多数图 像都得到很好的效果,不会出现算法对某些特征的图像效果非常好,对于某些特 征的图像效果达不到要求。目前图像处理的算法的自动化程度比较低,大多数算 法都只能适用于某一特征的图像,多数情况下,临床上医学影像的处理需要经过 训练的放射科医师手工操作算法及调整参数,图像自动化处理的结果往往只能作 为参考,且在权威性上始终无法替代手工分割。开颅手术仿真面向的是外科手术 医生,而不是放射科医师,因而对于仿真交互的图像处理部分的操作要简单,直 观,算法的参数尽可能自适应计算,以便于提高外科手术医生对于手术仿真的接 受程度,使其能把注意力集中在手术仿真上。 .头皮边缘提取 本文的开颅手术仿真所使用的医学影像数据是图像数据。成像是基 于外加磁场条件下各组织的氢原子核被脉冲激发后发射的射频信号。图像中 的对比度主要反映不同组织的水含量差异,含水多的区域信号强,灰度值高,反 之则信号弱,灰度值低。手术仿真数据的自适应预处理 .塑江大学硕士学位论文 图. 加权冠状扫描图像第层 如图所示为某一病人的加权冠状扫描图像第层。在图像中, 头皮层因为含水量较多,头皮区域呈明显的高亮区头皮区域是颅脑图像中 亮度最高的区域,而背景区域为无信号区,理论上为黑色区域,但不可避免的 分布一些噪声。从边界像素值的分布可见,虽然背景区域分布一定的噪声,但是 有明显清晰的边界,头皮区域灰度稳定且与背景及噪声灰度差异较大。 ..经典边缘检测算法 正如之前提到的,病人术前图像中,病人头皮与背景及噪声有着清晰的 边界,前景区域和背景区域灰度差异明显。我们首先尝试使用经典的边缘检测算 法实现头皮边缘提取。 ... .算法 .算法是和提出的边缘检测算法【,该算法需要 在图像边缘上手动指定起始点和目标点,并根据代价函数在全图上搜索穿过两点 之间的边缘。 .算法把图像转化为数据结构中的加权有向图,图像中的像素点为 有向图中的节点,边的权值使用代价函数来定义: ,缈创岛国乞口乞口,缈?, 其中,毛和乞表征了像素的一阶、二阶差分值,厶表征了像素的 欧氏距离。代价函数的权值表征了一个像素与其邻域之间存在边界的可能性, 权值小,则存在强边缘,反之则不存在边缘。 算法实际上是基于动态规划的图搜索算法,通过代价函数,算法把 求两点间边缘的问题转化为加权有向图中的最短路径搜索问题,求取它们之间的浙江大学硕 士学位论文 手术仿真数据的自适应预处理 边缘曲线的问题就转化为赋权图中求取最短路径的问题。 图.直接算法边缘检测结果 上图为直接使用算法分割图像的结果。图像为头部冠状扫描 图像第层,图中的头皮区域内部存在着一定的灰度差异,使用分割 的结果好坏直接取决于选取点的位置,头部边缘的确定至少需要四个选取点,且 选取点位置的微小差异会导致分割区域的极大差异,算法的稳定性无法保证,另 外,使用直接分割往往会导致过分割的出现,进而影响到后续手术区域 建模的精度。 ... 算法 算法是于年提出的边缘检测算法【,算法对噪声 不敏感,计算速度快,检测精度高,被广泛应用于边缘检测。 边缘检测 图跃用高雠平滑?计算辫篙幅值葛豁?辫一瓣:\边缘 图. 边缘检测算法 边缘检测算法首先使用高斯滤波平滑图像,避免噪声点在后面的 计算中产生干扰性的梯度极大值;浙江大学硕士学位论文 手术仿真数据的自适应预处理 然后进行梯度计算,计算每一像素点的梯度幅值及方向; 之后进行非极大值抑制,使用算子沿像素梯度方向计算插值,若 插值大于梯度方向上相邻的两个插值,则像素梯度为局部极大值,标记 为候选点; 最后使用双阈值确定边缘点并连接,基于确定的高阈值和低阈值两个参 数,对于每一个候选点,若梯度幅值大于高阈值,则为边缘点;若小于 低阈值,则一定不是边缘点,若在高低阈值之间,则需要判定是否与确 定的边缘点邻接,否则不是边缘点。 图.直接算法边缘检测结果 如图所示为直接使用边缘检测算法提取头皮边缘的结果。其中代 表算法中的低门限灰度,代表高门限灰度。算法的稳定性比较好, 高低阈值确定后可以得到确定的分割结果,但是高低阈值需要手动指定,如果根 据图像灰度自适应计算的阈值而得到的分割结果往往不能满足要求。 ..自适应头皮边缘提取 综上所述,算法的分割结果较好,但是算法的自动化程度不高, 稳定性也不好,算法需要指定至少四个种子点,种子点的偏差会导致结果的极大 偏差,对于某些头皮区域,可能会产生过分割现象。算法的稳定性比较好,浙江大学硕士学位论 文 手术仿真数据的自适应预处理 如果高低阈值根据灰度特征自适应计算,算法的自动化要求也能得到满足,但是 算法的分割结果往往会提取出伪边缘,不能满足开颅手术仿真的要求。 基于此,我们提出了一种自适应提取头皮边缘的方法,方法流程如下: 图.头皮边缘提取过程 为了保证算法自动化并且适用于大多数图像,我们使用算法自动分割 出背景区域,并且经过若干步闭操作去除背景中的明显噪点。然后我们基于区域 增长选取出整个背景区域,进而提取出与背景灰度差异明显的头皮边缘。 阈值分割【】也叫最大类间方差法。算法基于图像的灰度特征,选 取一个最佳阈值,从而分割出前景区域和背景区域。设为前景区域和背景区域 的分割阈值,是前景区域和背景区域的类间方差函数,则分割阈值为当 取最大值时的值。 彩。。一%一’ 其中,国,缈为前景区域及背景区域的灰度概率,?,“为前景区域及背 景区域的平均灰度,为整个图像的平均灰度。设图像有个灰度级,每个灰 度级的像素概率为,,则 一 ,缈。: ?。 缈。:? 。:壹印,/%:窆如,/叻 口。 实际上,算法保证前景区域和背景区域的类间方差为最大,从而保证 前景区域和背景区域的灰度差异最大,因为当部分前景错分为背景或部分背景错浙江大学硕 士学位论文 手术仿真数据的自适应预处理 分为前景都会导致两部分差别变小。因此,类间方差最大的分割意味着错分概率 最小。 源图像 、 阈值分割 、 自适应区域增长 、 , 头皮边界 图.直接算法边缘检测结果 扫面序列层与层之间的灰度特征差异较小,我们根据上一层的分 割阈值删及本层分割一自适应修后作为自适应区域增长种子点的筛 选条件。 ‖芒一一。』 其中‖为记忆系数,一般采用.的时候可以得到平滑的值。最后根据 原始图像灰度直方图分析区域增长的种子点,本文取灰度级在阈值的%; 的像素点进行增长。 图. 第八层自适应边缘提取结果 根据临床医生的指导,取眼球中线以上的图层进行。本文选取图像手术仿真数据的自适应预处理 塞童釜誓翟譬篁窖釜兰?一 序列的第八层,并采用 相似性系数,系数【评估算 法的准确性及过分割程度,和系数越接近,图像的准确性及过分割程度越 好。 肛矧钎 其中,表示手工分割结果,表示自动分割结果。数据如下: 表.自适应头皮边缘提取 数据 层 . . 层 . . . 层 . . . 层 如表.所示,本文自适应头皮边缘提取方法精度与手术分割差异在可以接 受的范围内,且自动化程度高,稳定性好,对于过分割有极大抑制。 .大脑区域提取 正如前面提到的,开颅手术仿真的重点在于提供颅骨开窗后的大脑表面场 景,提供脑表面血管尤其是浅表经脉的分布等在临床中及其重要的指导信息, 以便外科医生根据这些信息评估脑功能区回避,脑静脉取舍及保护,以及估计手 术效果等。 图. 加权冠状扫描图像第层 为了可视化上述颅脑表面,开颅手术仿真需要从原始医学影像序列中提取脑手术仿真数据的自适应预处理 兰:堂硕士学位论文 组织区域,以建立大脑的三维可视化模型,以生成术后颅脑表面的映像。对于开 颅手术仿真来说,颅骨内部,脑表面的血管信息具有十分重要的指导意义,所以 开颅手术仿真要求在颅骨完全分割的前提下,要尽可能保留大脑皮层区域的血管 区域。在/医学图像数据中,颅脑表面结构走行迂曲、解剖变异较大、组织 间信号密度差异小以及头皮和颅骨的遮盖等因素,大脑区域分割是一件比较 有挑战性的工作。 随着医学影像学和脑科学的研究的发展,目前已经有许多颅骨剥离或者大脑 边缘检测算法,如算法,算法等。我们尝试直接成熟的算法提取大脑 组织区域。 .. 算法是 .提出的脑部皮质表面识 别算法【。是一个自动化的算法,算法计算简单,运算速度快,没有不易 收敛的问题,非常适合开颅手术仿真。算法使用边缘检测的办法提取大脑皮 质边缘,并使用数学形态算子使得边缘平滑,并保证算法的收敛性,算法由包括 各向异性扩散滤波,边缘检测和数学形态学处理组成,算 法流程如下: 各向异性扩散滤波 、 蔓缘检测 、 数学形态学处理 图. 算法流程 算法首先使用操作,会对图像中梯度差异小的区域进行 平衡并保留梯度差异明显的区域,这样一来图像中对比不明显的区域会 被模糊而对比明显的边缘得到保留。 之后算法使用的算子进行图像边缘检测,即使用 一个××的高斯.拉普拉斯边缘检测算子与图像进行卷积,结果为浙江大学硕士学位论文 手 术仿真数据的目适应预处理 的点就为待查找的边缘集合。 最后,算法对待选边缘区域应用了一系列数学形态学处理,以保证 边缘的平滑。算法首先会使用的菱形结构元素对图像经行腐蚀操作, 以断掉小于两个