单视角立体成像技术研究

单视角立体成像技术研究 航天返回与遥感第 32 卷第 5 期 2011 年 10 月SPACECRAFT RECOV&E RRYE MOTESE NSING 89 单视角立体成像技术研究 苏云 马永利 阮宁娟 (, 100076) 北京空间机电研究所北京 摘 要 立体成像是获取目标三维轮廓信息的有效方法。 目前,在航天航空领域立体成像方法主要包括,基于立体视觉原理的三线阵成像方法和主动式激光测距立体成像方法。 这两种成像方式由于对平台要 求较高或者无法得到目标的灰度图像而存在相应的缺陷。 文章研究了一种新的单视角立体成像技术,通过 对该技术的研究认为,单视角立体成像技术能够实现单台相机单次成像获取目标三维轮廓信息。 关键词 单视角 立体成像 光场渲染 高程分辨率 中图分类号,TP391.41 文献标识码,A 文章编号, 1009-8518(201105)-0089-07 The Researchof StereoscopicImaging Technique Basedon SingleView Su Yun Ma Yongli Ruan Ningjuan (Beijing Institute of Space Mechan& icsElectr icity, Bejiing 100076,China) Abstract Stereoscopic imagingis an effective method to obttainhe three-dimensionp rofile informationof the target. Currently, there are two stereoscopic imagingin me thethods field of aerospace:th ree-line array imag- ing basedon the principleof stereoscopic vision and active laser ranging imaging.of t heBo ttwoh methodshave defects, either higher platform condition requiorrement grayscale imagesnot be obtained.I n this paper, anew stereoscopic imaging technique has been proposed. Accotherding study to of this new technique, th ree -dimen- sional profile informatofion t he target canbe obtained throughthe single camera imaging onetime basedon the techniqueof single view stereoscopicimaging. Key words Singleview Stereoscopic imaging Light field rendering Superesoluiont -r 1 引言 单视角立体成像技术最早是由 Waters等人提出来 的,并由 Adelson在 1991年给出了该项技术详细的说 [1]明,随后由 Levoy定义了单视角立体成像技术的特 性。 在随后的 20 多年中,随着计算机技术的不断发展,单 视角立体成像技术得到了飞速的发展,逐渐成为最具应用前景的立体成像技术之一,也是人们研究最多的 热点之一。 本文详细论述了单视角立体成像这一不同于传统成像方式的新技术。 给出了其成像原理,并对其中涉 单视角立体相机是一种不同于传统成像方式的新型成像装置,其利用微透镜阵列测量离焦量,反演 物体深度信息。 并通过数字对焦方法完成视轴方向上所有平面的成像,从而实现单台相机、单次成 取目标景物的立体信息。 单视角立体成像系统主要包括立体信息获取硬件和数据处理软件两个部分, [2]信息获取装置包括相机镜头、微透镜阵列和感光元件,如图 1 所示。 图 1 单视角立体相机系统构成 ,1, 立体信息获取装置 立体信息获取装置如图 2 所示,与常规成像相机的区别在于相机焦面附近位置放置了一个微透镜 元件。 微透镜阵列与 CCD探测器配合使用可以实现对入射 到 CCD上的光线矢量的记 录,从而实现对像 光场分布的描述。微透镜阵列 物体 光学系统CCD探测 器 图 2 立体信息获取装置组成示意图 ,2, 光场渲染数据处理 光场渲染技术是一种基于图像渲染技术的新方法。 在不需要完整图像的深度信息或相关性的条 通过预先拍摄场景照片,建立该场景的光场数据库,经过对像方光线矢量的数学追迹,重构出像空间任 面上的光强分布,从而得到任意平面的图像信息。 即能够实现“先拍照、后对焦”,利用立体信息获取装 [3] 到的信息完成对物点深度信息的反演。 2.2 单视角立体相机的成像原理 根据几何光学原理,对于一个理想光学系统来说,成像符合“点对应点、线对应线、面对应面”的特点 个垂直于光轴的平面,经理想光学系统成像在其共轭面上。 但是在实际成像中,并不都是对垂直于光轴面目标成像,而是对具有不同三维外形的物体成像,即物体外形不同位置具有不同的成像深度,如图 3 图中 σ 为物平面,μ 为主平面子孔径,i 为像平面。 图 3 几何光学中的三维物体成像 苏云等,单视角立体成像技术研究91 第 5 期 由于物体上的点具有不同的成像物距,从而导致其在像面上成像时,也具有不同的像距。 传统相机由于采用了探测器接收不同点的能量,探测器像元具有一定的尺寸,相机具有一定的焦深,可以对微小的像距差 异忽略,因此可以使用平面探测器接收。 也正因为如此,使得相机无法获取像距差异,从而无法反演物体不 同位置的成像深度,即物体的三维外形。 单视角立体相机以传统相机成像方式为基础,通过特殊,能够精确地感知像距的微小差异,从而实 现对物体三维外形的测量。 单视角立体相机相对于普通成像相机的区别是,在焦面附近放置了一个微透镜 [4]阵列组,对相机镜头汇聚的像点进行再次成像,并用探测器接收,如图 所示,为主平面子孔径,为微透 4 μ s 镜阵列组,a 为焦点到微透镜阵列组的距离,b 为微透镜阵列组到探测器焦面的距离。 通过探测器与微透镜的 相对位置关系,可以确定照射到探测器像元的光线的方向,结合探测器接收到的能量,可以确定相机像方的 光线矢量分布,从而确定了相机像方光场结构,通过光场渲染技术可以完成对任意平面的成像分析。 图 4 单视角立体相机系统示意图 单视角立体相机适用于线阵、面阵成像模式,以下是其成像原理的详细介绍。 2.2.1主平面子孔径划分 根据惠更斯子波面原理,可以将波面上的任意一点看成是一个子波源,在光波传播路径上的某点的强度 可以看成是所有子波源发出的子波在此点的强度之和。 如图 5 所示,将相机主平面划分为多个子孔径,每个子孔径看成是一个子波源,从子孔径出射的所有光 [5]线会向后传播,照亮焦面处的微透镜阵列,经过微透镜后被探测器接收。 图 5 主平面子孔径划分 2.2.2光线矢量参数获取 图 6 单个像元对应的多组光线矢量 2 假设每个微透镜覆盖的像元为 m×m,则有单个微透镜可以确定 m组光线矢量。 在单视角立体相机 [6]时,一个微透镜覆盖了一组 m×m探测器像 元,为了避免单个微透镜接收的光线入射至其它的微透镜覆 像元,产生模糊效应,需要调整微透镜阵列与 CCD探测器之间的距 离,以匹配相机镜头 F 数。 通过微透镜阵列与探测器的匹配,可以避免微透镜之间的相互重叠。 另外,由于单位微透镜覆盖区 的探测器像元分别对应了不同方向入射的平行光束,因此,焦面上的所有探测器像元均唯一确定了一个 22矢量。 假设微透镜组的规模为 N×N,每个微透镜覆盖的像元为 m×m,则可以确定的光线矢量共有 N×m 22 通过 N×m组光线矢量,可以重构像方三维空间的光场分布,在此基础上,可以计算任意垂直于光 二维平面上的光强分布,即成像情况。 2.3 深度信息感知 图 7 描述的是单视角立体相机成像时,焦面光线传输的真实情况。 A,1 - A A,-2 B C,-1 B,1 - A,-3 A' C C,-2 C' 图 7 单视角立体相机成像光线传输情况 如图 7 所示,A、B、C 三点反映的是同一个像面上的相邻 3 个像点, 由于在垂直于光轴方向或轴向 置不同,而导致其在探测器上成像的像点位置不同,由此可以实现对像面上像点的位置感知。 A,-1 为物 经微透镜阵列的一个透镜所成的像,A,-2 为物点 A 经微透镜阵列的相邻下一个透镜所成的像, 同理,C B,、A,-1 和 C,-2 分别是对应物点经微透镜阵列所成的像。 苏云等,单视角立体成像技术研究93 第 5 期 2.3.1高程分辨率分析 a b R r f L L, 图 8 单视角立体相机高程精度分析 如图 8 所示,假设相机成像距离为 L,即物距为 L,像距为 L,,由光学原理可知,系统垂轴放大率 β 为: , L β, :1:L 因此,系统的轴向放大率 为: α 2 L,2 ( ) α,β , :2: L 轴向放大率描述的即为物体在像空间的深度信息与物空间的深度之比,设物体深度为 R,像方深度为 r, 则:2 r , L2 ,α,β, () R L:3: 由于像点经过了微透镜再次成像,因此对于像方深度 r 的测量,需要由后续微透镜光学系统决定,由景 深可知: ,1 1 Z 1 1 ::? , + 4( + ) ' ll D , 1 l f ' , 1 1 Z1 1 :5:( + ) ' l l D 2 l f, ' 其中,l与 l是微透镜可分辨的轴向两点的物距,l 为物点到子孔径的物距, Z,为探测器像元尺寸,f 为 1 2 ,微透镜的物方焦距,f 为微透镜的像方焦距,D 为微透镜口径。 因此可知微透镜能够分辨的像点深度: Df,l Df,lr=l-l= - 12:6: ,,, ,,, Df+(l+f)zDf-(l+f)z 因此,单视角立体相机能够测量的物体深度信息,即高程分辨率为: 12 2 1 L L ?R= :7:( ), ?( ) Df,l Df,l r L, L,- Df,+(l+f,)z, Df,-(l+f,)z, 2.3.2空间分辨率分析 设探测器尺寸为 p,则微透镜系统的空间分辨率 p 为:1 a 简单,且成像精度较传统成像方式有了极大的提高,这使得这一技术的应用前景更为广泛。 常见的应用 有,星载、平流层、无人机载、地面车载、手持等多种环境,并且该成像方式为被动式成像。 单视角立体成 术可广泛应用于各类领域,以轻小型、低成本的方式实现立体信息获取。 基于单视角立体成像技术的典 用实例主要有以下几个方面, 1) 应用 Plenoptic波前传感器进行光瞳平面的波前再 现。 Plenoptic波前传感器能够在像面光瞳处进 量,可以在同一时间从不同角度获得波前信息。 为了验证这一功能,西班牙的 Luis F. Rodírguez-Ramos [7-9] 进行了验证实验。具体实验装置及获得的结果如图 9、10 所示。 ff f 图 9 验证实验装置图 图 10 光瞳的空白图像 2) Plenoptic2.0 相机。 Plenoptic2.0 相机是一种应用单视角立体成像技术的数字再现相机。 是 Ad [10]在 1992年为了解决计算机视觉技术而引进的一项技 术。 最近,一种改进型的 Plenoptic2.0 问世,较第 Plenoptic相机具有更高的空间分辨 率。 Plenoptic相机图像如 图 11 所示。 ,a,Plenoptic 相机获得的原始图像 (b)放大的原始图像 图 11 Penoptc 相机图像 li 95 第 5 期 苏云等,单视角立体成像技术研究 3) 3DTV技 术。 除了高清照相机,另一个具有巨大市场潜在价值的应用即 3DTV 技术的蓬勃发展。 基于 单视角立体成像技术的立体电视,不仅能让观众看见二维的视频平面显示系统,更增加了目标的三维深度信 息,可以达到人的立体视觉与实际自然场景相一致的感觉。 西班牙的 F.Perez Nava教授 2008 年在 IEEE 上发 [11]表了一篇文章,对 3DTV 的模拟仿真技术进行了论证,并给出了光场渲染的结果。 在该实验中,F.Perez Nava教授使 用 CAFADIS相机进行了景物目 标图像的拍摄, 再通过计算机仿真技术,重构光场分布,重采样运算,完成了图像的处理过程,即用实验论证了单视角立体成像技术的先拍照,后 对焦的独特性能。 4 结束语 本文研究了一种新型的立体成像方法,可以解决传统立体成像技术对平台稳定性、控制精度要求高,或者无法直接获取目标灰度图的缺点。 该单视角立体成像技术随着相关基础技术的发展将能够进一步提高立 体成像测量精度,在立体成像技术领域发挥更为重要的作用。 参考文献 [1] Pérez NavaF, Lüke J P. Simultaneous Estimation of Supe r-resolved Depth andAl l-in-focus Images from a Plenoptic a meCra[J]. IEEE,2009,978(1):4244-4318. th Tom E, Bishop PF. Plenoptic Depth Estimation from Multiple Aliased Views IEEE [C].200912Inte rnational Conferenceon [2] Computer VistionWo rkshops,IEEE,2009,244-4441. YaronA, Mark S, Nadav H. Blur Spot Limitations in Distal Endoscope Sensors[IJE].,2006,605509. SP [3] Luis F, Rodríguez-Ramos, YolandaM. The Plenoptic Camera as a Wavefront for theSensor European Solar Telescope [(EST)J]. [4] SPIE , 2009,74390I-1. Todor Georgiev. New Results on the Plenoptic 2.0 Came ra[J]I.EEE ,2009,978():42441-5827. [5] JaeGuynL, HyunW. ByungKwanImp roving the Spatail Resolution Basedon 4D Light Field Data [J]I.EEE ,2009,978 (1):4244 -[6] 5654. Rodríguez-Ramos, MagdalenoM.2 DJ -FFTI mplementation on FPGAfor Wavefront Phase Recovery thefrom CA FADIS Camera [7] [J]. SPIE Astronomical telescopes and instrumentation, Mar2008,70seille, 15. Herriot G,Hickson P,Ellerbroek B.Focus Errors from Tracking Sodium Layer Altitude with LaserVariations Guide StarAda ptive [8] Opticsfor the Thirty Meter Telescope[J].In Advancesin Adaptive Optics? ,SPE,2006,6272-2006. I KasperM E,CHarton J,Delabre B.LGSImple mentation for NAOS[J].In Advancementsin Adaptive Optics,2004,5490: 1071-1078. [9] [10] ClareR M,LaneR G.Waev-front Sensing from Subdivision of the Focal Planewith a Lenslet Array[J].JOSA A,2005,22: 117-125. 作者简介 苏云,男,1982 年生,毕业于中国空间技术研究院光学工程专业,工程师,主要从事深空探测总体论证方面工作。