基于前向运动视频之铁路线路全景图拼接计算概述.doc

基于前向运动视频之铁路线路全景图拼接计算概述.doc 基于前向运动视频之铁路线路全景图拼接计算概述 1绪论 1.1课题的研究背景和意义 在摄影中，普通摄像机的视场范围多在30~45度之间，通过这样的摄像机获取的图像效果好，没有变形。而人眼视觉系统的有效视场很大，可达155-160度。人们希望能使摄像机拍摄图片的视场范围等于或大于人眼的视场范围，从而提出了全景图的概念。图像拼接具有很长的历史，在早期，人们通过把鸟敵图像的影印粘贴到一起，来生成地形拼图;后来，人们通过鱼眼透镜和曲面镜等光学系统来获得全景图像[2]，当人们开发出可以从一系列图像序列或视频图像中创建拼图的图像拼接技术时，该技术才变得实用。自二十世纪六十年代起，随着计算机技术和电子技术的不断发展和普及，数字图像处理技术进入了高速发展的黄金时期。图像拼接技术已经成为计算机视觉、计算机图形学和数字图像处理等领域的一个重要的研宄课题，它是将一系列相互间有重叠的图像序列进行匹配对准，拼接融合等操作后，形成的一幅包含各图像信息的，具有宽视角、大场景、高分辨率的新图像。图像拼接技术可以提高图像的分辨率，压缩图像冗余信息，从而可以更加有效地表示图像信息。现今，随着数码照相机，数码摄像机的普及，数字图像已经应用到我们生活的各个领域。在日常生活中，如果我们想要获取宽视角的场景图像，由于摄像器材的机械限制，必须通过调节相机焦距、缩放镜头才可以摄取完整的场景，但是通过这种方式拍摄的照片分辨率较低。上述问题虽然可以通过使用广角镜头和扫描式相机来解决，但这些设备价格昂贵，专业性强，不能为普通家庭所使用，并且使用广角镜头拍摄的照片边缘会产生扭曲和变形。为了拍摄较高分辨率的场景图像，我们不得不调节相机镜头来提高镜头的焦距，但这样只能得到场景的局部成像照片。为了解决这一问题，人们利用图像拼接技术，将多幅图像拼接成一幅具有超宽视角的、高分辨率的、完整的新图像。图像拼接技术可以在不降低图像分辨率的条件下，获取大视角的场景照片。图像拼接技术在虚拟现实、环境监测、军事作战、监控、视频数据压縮与传输、医学图像处理、基于内容的视频检索等领域有着广泛的应用。 1.2国内外研究现状 目前多釆用图像拼接技术合成全景图像，即将普通相机拍摄的若干幅来自同一场景的，相互有重叠区域的图像拼接合成为一幅具有超宽视角的高分辨图像。图像拼接技术是当前数字图像处理与计算机视觉的研究热点，具有很强的理论意义和实用价值。图像拼接技术有悠久的研究历史。在20世纪90年代Heung_Yeung Shum提出了同心圆拼图的概念，同心圆拼图又称柱面全景图[31]，是把一系列图像投影到柱形曲面上的一种全景图拼接方法，柱面全景图拼接过程中常用到模板匹配法[32]和特征点法[33]，用这种方法拼接效果比较好，技术相对比较成熟，因此得到了广泛的应用。近年来，手持相机在固定位置多角度拍摄图像的拼接成为了研宄的热点。根据摄像学原理，图像之间的变换关系可以由一个8参数投影变换矩阵[34]表示，将投影变换矩阵的参数由8个减为4个，图像配准过程釆用Levenberg-Marquard迭代法计算图像之间的变换关系，这种方法收敛速度比较快，效果比较好，可以处理常见的变换，如平移变换、旋转变换、仿射变换、投影变换等。由于在图像拼接的过程中常常会出现累计误差的现象，Tarris于1999年[36]提出了一种捆绑调整技术，从而解决了这一问题。M.Brown于2003年提出了一种全自动的图像拼接方法[37]，该方法是目前图像拼接领域比较经典的算法，已经被微软Digital Image软件所采用。图像拼接的商业化产品还有Ulead Coo1360[38]，Hugin[39]，PTgui，PanoramaFactory[4i] 等等，这些软件大部分是半自动的，需要用户输入排列好的图像顺序，或手动选取特征点进行匹配。 2全景图拼接旳相关技术介绍 2. 1成像的几何基础 图像就是空间物体在像相平面上的投影。图像上每一个点的灰度值由空间物体相应点的反射光强度所决定，空间物体表面上的点在图像中的位置与其空间位置有关。而这些位置的对应关系是由摄像机系统的成像模型[59]所决定的。在计算机视觉领域，通常将三维空间中的物体与其在像平面的投影之间的关系叫做成像模型。常用的成像投影方式有透视投影和平行投在一束平行光线照射下形成的投影，叫做平行投影。在平行投影中，物体距投影面的距离不会影响物体的投影大小，这与人类的视觉成像系统不符，不经常采用。而透视投影则釆用中心投影法，中心投影即为把光由一点向外散射 形成的投影，这与人观察景物的情况比较类似。投影中心又称为视点，相当于观察者的眼睛。投影平面位于视点与空间物体之间，将空间物体上的点与视点相连会得一条射线，这条射线与投影平面的交点就是空间物体上相应点的透视投影变换结果。一般情况下，成像的过程可以由小孔成像模型来表示。下面介绍一下齐次坐标的概念，常用的坐标系以及小孔成像模型。 2. 2摄像机运动与图像坐标变换 在摄像机釆集图像的过程中，需要将客观世界的三维场景投影到相机的二维平面上，摄像机的成像与摄像机的运动有关，摄像机的不同运动方式会使得场景在像平面上的投影产生不同的效果，本节介绍一下摄像机运动的基础知识。摄像机有多种运动方式，假设摄像机位于世界坐标系的原点，并且令世界坐标系与摄像机坐标系重合，镜头光轴沿Z轴方向，如图2-2所示。简单来说，摄像机的运动可以概括为平移运动、旋转运动绕光轴)、缩放运动、水平扫动和垂直扫动。而且在摄像机采集图像的过程中，摄像机的运动通常是这几种运动的组合，对同一场景，摄像机的不同运动方式会对成像效果产生不同的影响。具体来说，摄像机在平移运动和缩放运动情况下，因为场景平面与成像平面平行，拍摄的图像之间不会产生形变，但是在水平扫动和垂直扫动的情况下，三维空间中的物体在像平面上的投影可能会出现梯形失真和线性调频的问题。梯形失真是指摄像机所捕获的图片发生了梯形畸变，即原始场景中相互平行的直线在像平面上的投影可能会相交;线性调频是指当场景图像的空间位置发生变化时，其空间频率也会发生相应的变化。这种现象和人类的视觉系统类似，即人眼看来，离我们比较近的物体相对比较大，而离我们比较远的物体相对比较小，也就是说，这种方式对图像的内容进行了非线性的拉伸，而拉伸的比例不是固定的。 3针对低质前向运动视频的全景图快速拼接算法..........24 3.1全景图拼接方法.........24 3.2速度估计图.........25 3.3运用单应性变换消除视差.........27 3.4实验结果分析.........30 3.5小结.........32 4针对高清前向运动视频的全景图拼接算法.........33 4.1图像对齐.........33 4.2基于自适应流形的全景图拼接方法.........38 4.3实验结果分析.........40 4.4小结.........42 5基于全景图的列车运行环境的三维重建.........43 5.1 OpenGL 介绍.........43 5.2基于OpenGL实现对列车运行环境的三维重建.........44 5.2.1建立三维模型.........44 5.2.2投影变换.........46 5.2.3纹理映射.........48 5.3列车运行环境的三维重建实验结果.........50 5.4 小结.........55 5基于全景图的列车运行环境的三维重建 5.1 OpenGL 介绍 OpenGL在描述图元，几何变换，颜色模式，光照表现，纹理映射，位图显示和图像增强方面提供了许多方便高效的函数。在描述图元方面，OpenGL图形库提供了基本的点，线，多边形的绘制函数，除此之外OpenGL还提供了复杂的三维物体的绘制函数，如多面体、茶壶、球、锥等，和复杂曲线曲面的绘制函数。在几何变换方面，OpenGL图形库提供了基本变换和投影变换的函数。基本变换包括平移变换、旋转变换、縮放变换、镜像变换等，投影变换包括平行投影和透视投影两种变换。所提供的变换方法可以加快算法的计算速度，并且可以提升三维图形的显示速度。OpenGL提供的颜色模式有两种，即颜色索引Color Index)模式和RGB A模式。OpenGL提供的光照表现有环境光Ambient Light)、自发光Emitted Light)、高光Specular Light)和漫反射光Diffiise Light)。材质通过光的反射率来表示。材质红绿蓝分量的反射率与光的红绿蓝分量相乘后形成的颜色即为场景中物体的最终颜色。 结论 近年来高速铁路呈现高速发展趋势。随着列车运行速度的提升，一旦发生意.外情况，后果不堪设想。确保高速铁路的行车安全己经成为一个非常重要的问题。目前，通用的做法是釆用综合检测列车，综合检测列车头上装有摄像头，每天会在相应的线路上运行一次，摄像头随着列车运行记录下整条线路的信息。由于在日常巡航中，记录整条线路的视频会占用很大的存储空间，也不利于与用户进行交互。与视频相比，全景图具有占用存储空间小，便于快速浏览等许多优势，具有很大的发展空间。因此本文主要研究基于前向运动视频的列车运行环境全景图生成算法。本文首先了一个基于前向运动视频的高速铁路运行环境全景图成像框架。在此框架基础上，首先，针对低质前向运动视频提出了一种图快速拼接算法。然后，针对低速高清视频提出了一种基于自适应流形的全景图拼接算法。最后，对所生成的全景图进行三维重建，模拟列车真实运行环境。实验结果表明该方法在数据存储，数据的快速浏览等方面有着很大优势，并且可以用于铁路运行环境的自动检测，列车虚拟驾驶等许多方面。