虚拟现实

nullnull第五章 虚拟现实基础null 目 录 5.2 虚拟现实的历史发展 5.1 虚拟现实的基本概念 5.3 虚拟现实的关键技术 5.4 虚拟现实的制作与应用 5.5 虚拟现实的主要设备与产品 5.6 虚拟现实的主要应用 null5.1 虚拟现实的基本概念5.1.1 虚拟现实的定义5.1.2 虚拟现实的特征5.1.3 虚拟现实的类型返回null5.1.1 虚拟现实的定义 Virtual Reality（VR） (J.Lanier,1989) 译为: 虚拟现实、灵境、幻真... 定义： 1 让使用者在人工合成的环境里获得“进入角色”的体验。 这涉及到三维立体显示跟踪头盔、立体声耳机、数据手套等 2 是计算机生成的一种模拟环境（如飞机驾驶舱、分子结 构世界等），通过多种传感设备使用户“投入”到该环境 中，实现用户与该环境直接进行自然交互的技术。 －“模拟环境”：计算机生成的有立体感的图形； －“传感设备”：穿戴在用户身上的装置，如立体头盔、数据手套； －“投入”：用户有身临其境的感觉； －“自然交互”：指日常使用的方式对环境内进行操作。 虚拟现实是一项综合技术涉及 计算机图形学、人机接口技术、图像处理与模式识别、多传感器技术、语音处理与音响技术、网络技术、并行处理技术、高性能计算机系统、人工智能技术…...需要 计算机专家、人类工程学(Ergonomics) 专家、 心理学专家等共同开发研究。虚拟现实是一项综合技术null5.1.2 虚拟现实的特征沉浸感（Immersion）: 能给人们以真实世界的感 觉，让人感觉全方位地沉浸在这个虚幻的世界中， 难以分辨真假。 交互性（Interaction）: 虚拟现实与通常CAD系统所产 生的模型是不一样的，它不是一个静态的世界，而 是可以对使用者的输入作出反应。虚拟现实环境可 以通过控制与监视装置影响或被使用者影响。 想象 （Imagination）: 它的应用能解决在工程、医 学、军事等方面的一些问,这些应用是ＶＲ与设 计者并行操作,为发挥它们的创造性而设计的,这极 大地依赖于人类的想象力。nullnull5.1.3 虚拟现实的类型(1)桌面级虚拟现实：成本低，应用面比较广，但缺乏完全投入 基于静态图像的虚拟现实技术：将连续拍摄的图像和视频在计算机中拼接以建立的实景化虚拟空间。 VRML（虚拟现实造型语言）：采用描述性的文本语言描述基本的三维物体的造型，通过一定的控制，将这些基本的三维造型组合成虚拟场景，当浏览器浏览这些文本描述信息时，在本地进行解释执行，生成虚拟的三维场景。 null（2）投入的虚拟现实：完全投入，利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身在虚拟环境中、并能全心投入和沉浸其中的感觉。 常用的有基于头盔式显示器的系统、投影式虚拟现实系统、远程存在系统。 （3）增强现实性的虚拟现实：模拟现实世界、仿真现实世界，增强参与者对真实环境的感受，例如,战机飞行员的平视显示器。 （4）分布式虚拟现实：多个用户同时参与一个虚拟空间。分布式虚拟现实利用计算机构造的一个真实世界的模拟，地理上分布的用户可以通过网络共享该环境，并与周围的环境以及在相互之间进行交互。共享虚拟环境涉及到虚拟现实、分布对象、网络、人机交互、智能代理等领域。（Distributed Virtual Environment)其他同义词包括: Networked VE (VR), Shared VE (VR), Multi-User VE, etc. 其实质是一种人机交互界面分布式虚拟现实分布式虚拟环境发展的原动力因特网技术的广泛使用: Internet已经成为娱乐、商业等的重要媒体 硬件基础：网络带宽的提高（宽带网的逐渐普及），个人计算机图形处理能力的增强 软件基础： 虚拟现实技术和网络技术的结合 日益复杂的数据使得原来的界面不能满足需要，人们希望更加直观的表达信息，使用更加自然的方式进行人机交互以及通过网络实现人与人之间实时、形象的交流分布式虚拟环境发展的原动力null各用户具有共享的虚拟工作空间； 伪实体的行为真实感； 支持实时交互，共享时钟； 多个用户可以各自不同的方式相互通信； 资源信息共享以及允许用户自然操纵虚拟世界中的对象。 分布式虚拟现实的特点分布式虚拟现实的应用军事训练 美国 SIMNET系统 网络会议与远程协作 Sony公司基于DIVE的一个系统 娱乐和虚拟社区 Cybertown (使用Blaxxun） 电子商务 VR commerce of IBM分布式虚拟现实的应用基于Web和VRML的分布式虚拟环境Blaxxun Interactive Inc http://www.blaxxun.com/ 1995年成立，总部在德国慕尼黑 Vnet http://ariadne.iz.net/~jeffs/vnet/ VRML+Java DeepMatrix http://deepmatrix.com VRML+Java基于Web和VRML的分布式虚拟环境美国 SIMNET军事训练系统 —— 减小军费开支军队被布置在与实际车辆和指挥中心相同的位置，他们可以看到一个有山、树、云彩、硝烟、道路、建筑以及由其他部队操纵的车辆的模拟现场。这些由实际人员操纵的车辆可以相互射击，系统利用无线电通讯和声音效果来加强真实感。系统的每个用户可以通过环境视点来观察别人的举动。炮火的显示极为逼真，用户可以看到被攻击部队被炸毁的情况。从直升机上看到的场景也非常逼真。SIMNET系统可将多大1000个部队用网络连接起来，因此可以训练作战部队的战斗以及试验新的战术思想。 SIMNET被称为第一个廉价而又实用的模拟网络系统。它可以用来训练坦克、直升机以及战斗演习，并训练部队之间的协同作战能力。美国 SIMNET军事训练系统 —— 减小军费开支null 虚拟现实和其他技术一样，也是在前人大量 工作的基础上发展起来的： (1).立体电影，立体声技术 (2).飞行模拟器，最早实际使用的仿真技术 (3).“星际旅行”,“宇宙飞船”的演示 (4).机械手、机器人 危险场合进行各类 “遥控操作” (5).游戏,驾驶汽车、潜艇航行5.2 虚拟现实的历史发展重 要 事 件1962年，美国电影摄影师Morton Heilig研制出一套称为Sensorama的立体电影系统。这套系统供一个人观看，具有多种感官刺激的立体显示设备。 1965年，计算机图形学的奠基人美国科学家Ivan Sutherland首次提出了一种全新的、富有挑战性的图形显示技术，即能不通过计算机屏幕这个窗口来观看虚拟世界，而是观察者可以直接沉浸在计算机生成的虚拟世界中。随着观察者随意地转动头部或身体，他所看到的场景就会随之发生变化。同时，观察者还可以用手、脚等部位以自然的方式与虚拟世界进行交互，虚拟世界会产生相应的反应，从而使观察者有一种身临其境的感觉。因此，也称Ivan Sutherland为“虚拟现实技术”之父。重 要 事 件null1968年，Ivan Sutherland在麻省理工学院研制出了第一个头盔式显示器，并发表了“A Head-Mounted 3D Display”的论文，对头盔式显示器装置的设计要求、构造原理进行了深入的分析，并描绘出这个装置的设计原型，成为三维立体显示技术的奠基性成果。 20世纪80年代初，美国的VPL公司的创始人Jaron Lanier正式提出了“Virtual Reality”一词。 1985年，Krueger正式发表无障碍的人工现实。 1984年，美国宇航局Ames研究中心虚拟行星探测实验室的M. McGreevy和J.Humphries组织开发了用于火星探测的虚拟世界视觉显示器，将火星探测器发回的数据输入计算机，为地面研究人员构造了火星表面的三维虚拟世界。在随后的虚拟交互世界工作站（VIEW）项目中，他们又开发了通用多传感器和遥控设备。null1993年11月，宇航员利用虚拟现实系统的训练成功地完成了从航天飞机的运输舱内取出新的望远镜面板的工作。 1996年10月31日，世界第一个虚拟现实技术博览会在伦敦开幕。 1996年12月，世界上第一个虚拟现实环球网在英国投入运行。 进入21世纪以来，虚拟现实技术的研究在中国开始迅速发展，在国家高科技“八六三”的支持下，有关虚拟现实技术的研究取得了巨大的成就，开始在不同领域得到了应用。null5.3 虚拟现实的关键技术5.3.1 视觉技术5.3.2 听觉技术5.3.3 触觉技术返回关 键 技 术大规模数据的场景建模技术； 动态实时的立体视觉、听觉等生成技术; 三维定位、方向跟踪、触觉反馈等传感技术和设备； 符合人类认知心理的三维自然交互技术; 三维交互软件及系统集成技术。关 键 技 术null5.3.1 视觉技术影响（沉浸感）立体 视觉因素 宽视野（１８０Ｘ１５０） 立体显示 彩色 高分辨率 头部跟踪视 觉 设 备红蓝滤色眼镜 液晶开关的体视眼镜 三维头盔显示器（HMD） 双筒全方位监视器（BOOM） 墙式显示屏自动声象虚拟环境（CAVE） 类型： 透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影视 觉 设 备null5.3.2 听觉技术听觉： 3D & Stereo 声源定位：强度（高频）和时差（低频） 问题：声音从头里发出，随强度差而偏左或偏右 原因：与耳朵形状有关 解决：Convolvotron($15,000) 耳内录音 + 计算null5.3.3 触觉技术触觉（Haptic) Haptic: 机械感受器（压力与纹理）与本体感受器 (proprioceptor)（重量、形状、大小） 机械臂，空气囊，记忆金属，小马达，小探针。 Sandpaper (Minsky,1990) 将小马达连到游戏杆；搅动三维操纵棍,力反馈原理图三维操纵棍,力反馈原理图null 适当的（简单的）触觉和/或听觉提示与反馈能极大地改善人机交互质量 两个基本的性能指标: 帧 频>16fps ， 响应时间 < 0.1snull5.4 虚拟现实的制作与应用5.4.1 虚拟现实的制作方法5.4.2 虚拟现实的制作工具返回null5.4.1虚拟现实的制作方法第一步是选择世界的外表、声音和感觉， 建立模型； 第二步是使用软件工具制作虚拟现实的表达； 第三步是将软件系统与硬件（虚拟现实的各种 装置）结合，实现最终的虚拟世界。null5.4.2虚拟现实的制作工具Virtual Reality Modeling Language (VRML) World Tool Kit (WTK) Java 3D nullVirtual Reality Modeling Language (VRML) 这是一种用于描述三维造型与交互环境的简单的文本语言,是在Internet上建立3D多媒体和共享虚拟世界的一个开放。 它的优点是： 与平台无关：无论你的平台是PC还是SGI，都可以浏览VRML世界 基于Web，能够建立三维可视化服务器 大量的可用资源：越来越多的Internet站点含有与VRML有关的内容 它的缺点是： 渲染速度较慢 没有底层控制 有限的界面nullWorld Tool Kit (WTK) WTK是在20世纪90年代初开发的，是用来创建虚拟世界的工具包。它是一个用于开发可实时交互的三维图形程序的，跨平台的开发环境，包括1000多个C语言函数的函数库，用函数库中的这些函数我们可以方便的创建虚拟世界。由于它支持大多数商业I/O商业（例如跟踪器、立体眼镜、传感手套等），具有多平台的可移植性（从运行Windows操作系统的PC机，到运行某种版本Unix的SGI，HP和Sun平台），包含丰富的代码实例，可以很方便地建立一个新仿真程序，因此在虚拟现实非常普及。尽管许多早期的工具包都已经消失了，但是WTK无论从功能还是大小都得到了很大发展。（从1994年的400个函数发展到最新版本的1000多个函数）。WTK函数使用面向对象的命名惯例，并且被组织成类。nullJava 3D Java是由Sun Microsystems公司在20世纪90年代中期开发的，目前已成为一种开发与平台无关的分布式应用程序的编程环境。Java 3D是Java API中的一种，用于开发面向对象的交互式三维图形应用程序。与WTK类似，Java 3D在实现中也使用了OpenGL和Direct3D底层图形库函数以及图形加速卡。但是，与WTK不同的是，Java 3D 1.3可以从网上免费下载。 null5.5.1 虚拟现实的主要设备5.5.2 主要的市场产品 返回5.5 虚拟现实的主要设备与产品 null5.5.1 虚拟现实的主要设备数据手套 VPL公司采用三维定位装置Polhemus的数据手套null最早数据手套由美国VPL公司开发，看来简单，但制作技术相当复杂。 手套由很轻的弹性材料构成，紧贴在手上。这个系统包括位置、方向传感器和沿着每个手指背部安装的一组有保护套的光导纤维，他们用于检测手指和手的运动。 作为传感器的光纤可测量每个手指的弯曲和伸展。每条光纤从控制器的线路板引出，经过一段由柔韧织物构成的管子，到达手套上的腕部固定器。光纤从这里延伸到手上，经过手指关节，然后回到腕部固定器和控制器。null在控制器内部，每根光纤的一端配备一只发光二极管，另一断连接一个光电传感器，将接受到的光信号转换成电信号。当你戴了手套，弯曲手指时，发光二极管发出的光经过光纤弯曲部分时，会发生光的弯曲损耗（泄漏），关节越是弯曲，光损耗越多，达到光电传感器的光越少。光的多少就反映了手指的弯曲程度。 计算机根据光电信号数据算出哪个手指和关节在弯曲以及它们弯曲的程度怎样。每个手指最少有两条光纤，一条检测指前部的关节，一条检测中间关节。为了增加准确性，也可在多加几条光纤。位置跟踪器位置跟踪器数据手套中的光纤传感器只能测量手指所做的活动。而绝对的位置（X、Y、Z坐标）和三个转角方向（转动、俯仰、摇摆）需要用另外的一种测量仪器来实现。——Polhemus磁跟踪器null位置和方向磁跟踪器工作原理： 交流电流通过线圈产生变化的磁场，如果把一个线圈放在这个磁场中，线圈会产生感生电流，感生电流的强弱将由这两个线圈的距离以及他们之间的角度来确定。在磁跟踪器中，三个互相垂直的线圈组成了发射器（蓝色）。另外三个相互垂直的线圈组成接收器（红色）。通过计算机比较接收器三个线圈中的电流，可以确定接收器与发射器之间的相对位置和方向。InterTrax三维跟踪器InterTrax三维跟踪器动力手套（PowerGlove）动力手套（PowerGlove）成本比数据收到低，最早用于游戏机系统作为控制器。依靠超声波测距原理来实现定位。手势传感装置手势传感装置这种传感器的精度很高，远比数据手套和动力手套高。采用机械联动装置测量手指关节的复杂运动。装在每个指关节处的装置为霍尔效应传感器。 这种传感器的高精度对于控制机器人的手指极为有用。对于需要准确控制的应用场合，比如训练机器人的手去拾取和安装某物，或准确地与虚拟物体相互作用。头盔式显示器头盔式显示器三维触觉系统三维触觉系统多伦多大学 设计的变形带多伦多大学 设计的变形带自由弯曲的带有弹性的带子 每隔6厘米 共分布了32个传感器 带子(实物)和自由曲线(虚拟对象)的连接 ,带子的形状直接映射为曲线的形状 日本ATR实验室：虚拟筷子日本ATR实验室：虚拟筷子数据手套跟踪手部运动 精确 操作 null市场上已有的产品：（硬件） 液晶开关的体视眼镜 SEGA LCD Glasses, StereoGraphics CrystalEyes, Toshiba 3D Scope LCD Glasses 三维头盔显示器（HMD） LEEP Systems Cyberface 2/3 Polhemus Laboratories Looking Glass RPI HMSI(Head - Mounted Sensory Interface) Virtual Reality Group HMD Virtual Research Flight Helmet5.5.2 主要的市场产品 null控制和接口设备: VPL Data Glove（数据手套） Mattel Power Glove （动力手套） Global 3D controller (三维定位器） Logitech 3D Mouse and Head Tracker（三维鼠标、头部跟踪器） ISCAN Head - Mounted Eye Imaging System （视线跟踪器） SENSible Technologies PHANToM（触觉反馈设备）nullSGI公司 虚拟现实中心 (Reality Center) CAVE 仿真工作室 (Reality Studio) Onyx2 (8 CPU) 仿真工作站 (Reality Station) Onyx2 桌上型 仿真工作站(Reality Desktop) Octane 320 NT 工作站 SGI IRIS Performer 仿真开发环境 SGI OpenGL Optimizer (Open Inventor) 仿真开发环境 (中、低档） SGI Fahrenheit (沸点）三维图形接口库( for Windows NT) MultiGen , Paradigm/ Vega 三维应用建模软件 nullAnote AB公司专利技术 瑞典Anote AB公司在９０年代末开发出了使用数码笔的电脑输入专利技术 「Anote 数码纸」和「Anote 数码笔」。nullAnote 数码纸　 (一般纸) 纸上印刷了Anote 专利的核心技术Anote 微细点状形坐标。 Anote 数码笔 (普通的圆珠笔) 微型摄相头：读入笔尖高速书写的笔迹和Anote 数码纸的微点坐标； 微处理器：分析处理后通过兰牙无线或USB等方法转送到电脑或携带手机之中。 Anote 技术必将带来新世纪的ＩＴ革命 人们只需用「Anote 数码笔」在「Anote 数码纸」上与平常一样书写与记录、就可以将信息简便的输入电脑。这将给办公室自动化及ＩＴ信息产业带来新一轮的革命。null军 事航空航天计算机辅助设计 返回科学研究和计算的可视化 远程控制 在医疗上的应用 教育、艺术以及娱乐 5.6 虚拟现实的主要应用null在军事上，由虚拟现实技术创建的军事仿真已经成为军事训练的主要手段，正如美国国防部和军方所认为的那样，虚拟现实技术将在武器系统性能、武器操纵训练及指挥大规模军事演习三方面发挥重大作用。为此，世界上许多国家制定有战争综合演示计划、防务仿真交互网络计划、综合战役桥计划、及虚拟座舱、卫星塑造者等应用环境，并在核武器试验及许多局部战争中进行了应用，不仅节省了大量的军事费用，更重要的是提高了现代化作战指挥方面能力。 如果更加具体的讲，虚拟现实技术可以用于单兵训练、指挥员的训练、舰船、飞机、坦克等大型武器的操作训练等。 军 事null在航空航天方面，美国宇航局是研究虚拟现实最早的单位和应用者。宇宙飞船及各类航空器是需耗费巨资的现代化工具，而进入宇宙有大量未知、危险的因素，因而模拟各种航空器可能遇到的环境，不仅可节省大量费用，而且是十分必要的。虚拟风洞就是一例。另外，利用虚拟现实技术可以进行宇航员的各种训练，不仅可以提高训练水平，而且节省了大量经费。航空航天null虚拟现实技术是计算机辅助设计的重要手段之一。例如，利用虚拟现实技术可以设计出虚拟样机、虚拟建筑物等，更加直观有效地帮助修改和提供设计。 在工业产品的设计中，往往需要反复构思和设计，但用户如果仍不满意，可否在设计早期就给用户一个逼真的产品样机？ 例如，对于汽车设计者来说，装配质量是至关重要的。那么在实际装配之前，人们可以在虚拟汽车上先进行各种试验和训练，从而保证装配质量。 美国波音公司为了提高飞机的设计水平，曾由Butler设计了一个称为VS-X的虚拟飞机，它可使设计人员有身临其境观察飞机外形、内部结构及布局的效果。 另外，建筑设计师可在盖楼前通过虚拟建筑物，让用户自己来观察外形和内部房间部位，也便于设计师修改设计，从而代替以前单纯依靠图纸或花费大量资金进行实物仿真工作。 计算机辅助设计 null在医学上，外科医生的培训是一项投资大、时间长的工作，这是因为不能随便让实习医生在病人身上动手术。可是不亲自动手，又如何学会手术呢？虚拟手术台已能部分模仿外科医生的现场。同样，提供模拟的人体器官，可让学生逼真地观察器官内部的构造和病灶，具有极高的实验价值。 另外，运用虚拟现实技术，还可以帮助医生学习病人鉴别分类和诊断、应对紧急情况下的病人救治。虚拟现实技术还直接应用到一些疾病的治疗上，如前列腺触诊、内窥镜检查、静脉注射、开放性手术、微创外科以及一些康复性治疗。在医疗上的应用 null各种分子结构模型、大坝应力计算的结果、地震石油勘探数据处理等，均十分需要三维（甚至多维）图形可视化的显示和交互浏览，虚拟现实技术为科学研究探索微观形态等提供了形象直观的工具。用户控制输入设备，如跟踪器、传感手套等，指定要看的可视化数据和区域。这些输入被送去进行数据提取处理。数据提取处理把数据转化为三维图形，并发送到绘制硬件渲染着色，最后以可视的形式呈现给用户。总之，利用虚拟现实技术实现的可视化，为科学研究和计算提供了巨大的便利条件。 科学研究和计算的可视化 null虚拟现实可采用遥控手段，通过机械手、机器人对危险或有毒环境进行操作。当远程控制一个机器人时，操作员在主臂上下达各种指令（位置、速度和力量）。这些命令被传送到机器人，由机器人来完成操作并把信息反馈给操作员。如果这些指令可以实时传输，被机器人忠实地执行，而且把来自远程任务的反馈信息正确地传回给使用者，这个遥操作是透明的。一个具有丰富反馈信息（视频反馈、声音反馈和力反馈）的透明系统，可以让用户感觉似乎沉浸在远方的真实环境中，就像沉浸于虚拟环境中的感觉一样。这也就是远程控制的重要作用。远程控制 null这是向人们、尤其是青少年提供生动的课堂和娱乐手段的好方法。它具有三维声象效果、能进行交互操作的功能，因而已为商家们看好，纷纷开发低档虚拟现实产品。在教育上，人们设计出虚拟教室、虚拟校园等。在艺术上，人们建造出虚拟博物馆，使观众可以通过互联网在家中就可以参观博物馆。另外，为了保护古代文化遗产，人们创建了虚拟文化遗产，用于文物的保护和研究。在娱乐行业中，人们利用虚拟现实技术开发了大量的计算机游戏和主题公园，使娱乐方式更加逼真，更加吸引人。 教育、艺术以及娱乐 null 总 结 在虚拟现实的应用中，人们主要考虑虚拟现实如下的适用特点： 需要高成本制造的设备，如航天器，军用设备等。 对人有危险的环境，如核试验、飞行训练等。 受时间、空间的限制，人类直接操纵比较困难，如显微外科手术、远程教育等。 目前尚未出现的环境，如建筑物、天体物理等。 null 本 章 总 结 本章重点介绍了虚拟现实技术的基本概念、发展历史、关键技术、虚拟现实的制作方法、虚拟现实的主要设备和产品以及虚拟现实的主要应用等，从而对虚拟现实技术有一个全面的了解，为今后进一步的学习和研究打下基础。本章所概述的内容将在后续章节中将详细讲解有关内容。