工业摄影测量技术综述00

基于工业摄影与机器视觉的三维测量技术综述摄影测量(Photogrammetry)是一门通过分析记录在胶片或电子载体上的影像来定被测物体的位置、形状和大小的科学，属于测绘学的分支学科。它包括航空摄测量、航天摄影测量和近景摄影测量等。其中，近景摄影测量是指测量范围小于100米，相机布设在物体附近的摄影测量。摄影测量在工业测量和工程测量中的应用般称为近景摄影测量或非地形摄影测量。它经历了从模拟、解析到数字方法的变革硬件也从胶片像机发展到数字相机。近年来，随着微电子和半导体技术的飞速发展，尤其是固体阵相机和计算机硬件的发展，使得工业摄影测量已进入全数字近景摄影测量时代。同时，随着机器视觉理论的迅速发展，机器视觉也逐渐发展成一门由计算机技术、控制理论、人工智能和模式识别等众多领域交叉综合的新学科，它在一些科技领域中卓有成效的应用，引起了学术界和工业界的极大兴趣，其应用范围也日益扩大，涉及到机器人、工业、医学图像分析、交通管理和军事导航等诸多领域。1.三维形貌与变形测量技术简介光学三维形貌与变形测量技术经过近年来的快速发展，涌现出多种技术及方法。其中主要有：时间飞行法、全息干涉法、莫尔条纹法、结构光方法（点、线、面）、数字摄影测量法和数字图像相关法等，下面介绍几种常用的三维测量方法，并分析在这些方面的研究发展情况。1）时间飞行法时间飞行法(TimeofFlight)基于三维形貌对激光束产生的时间调制。原理如图1-3所示。激光脉冲信号从发射器发出，经待测物体表面反射后，沿近乎相同的路径反向传回接收器，检测激光脉冲从发出到接收时刻之间的时间差，就可以计算出距离。结合扫描装置使激光脉冲扫描整个物体就可以得到三维形貌数据。图1-3时间飞行法原理图时间飞行法的分辨率约为1mm。若采用亚皮秒激光脉冲和高分辨率的电子器件，深度分辨率可达亚毫米级。采用时间相干的单光子计数法，测量lm距离，深度分辨率可达30μm;另一种称之为飞行光全息技术的测量方法利用超短光脉冲结合数字重建，深度分辨率可达6.5μm，这种方法的优点是不存在阴影和遮挡问题。但是要得到较高的测量精度，对信号处理系统的时间分辨率有较高的要求。2）全息干涉法全息干涉法测量技术利用光的相干性原理，如图1-4所示，当两束相干性好的光束在被测物体表面相遇时，其光波发生干涉，形成的干涉条纹反映了物体的形貌信息。记录这些条纹，测量出相位差，再将相位信息转换为物体的表面形貌信息。全息干涉法在20世纪70年代得到快速发展，成为光学三维测量技术的一个重要分支。由于全息干涉法采用干板作为记录介质，干板曝光后需要化学处理，过程十分繁琐，因此限制了它的应用范围。图1-4全息干涉法原理图1967年，德国科学家Goodman提出了用数字方式记录和处理全息图像的数字全息概念，但限于当时数字图像记录设备和计算机性能的条件，难以很快实现。与此同时，英国科学家Butter和Leendertz，美国科学家Makovski研究成功用电视摄像机替代照相干板实现了一种类似全息干涉法测量位移场的装置。有赖于计算机、光电子技术的飞速发展，1994年德国人Schnars首先开始了数字全息方法的实验研究，此后该领域其他研究者陆续发表了一系列的研究成果，完成了全息数字化的起步阶段。从总体上看，数字全息与其它方法相比尚有很大的发展空间。数字全息技术是利用数字光学器件取代传统光学全息中的干板来记录全息图，重建过程全部在计算机中完成，因此数字全息不仅继承了传统光学全息的特点，而且还具有以下优点：无需干板化学处理，记录过程和处理过程大大简化，再现过程全部由计算机完成，可以实时地进行图像获取和处理，便于实现自动化测量；采用CCD记录一帧图像仅几十毫秒，比干板曝光时间低两个数量级，因而系统的抗震性要求大大降低；数值重建既能得到重建光波的强度分布，也能获取重建光波的相位信息，数字全息干涉测量技术可以精确测定亚条纹及其变形量，测量精度得到提高。由于相位的变化正比于光波的光程差，所以全息干涉法的测量分辨率可以达到光波的百分之一，但需要相干性较好的光源和精确的干涉光路。外差全息干涉法能得到较高的测量精度，但测量速度极慢，并且系统成本昂贵。准外差方法的测量精度比外差方法低一个数量级，但其光路比较简单，测量速度相对较快。全息干涉法主要应用于形貌分析、微小粒子检测、微小形变、微结构、微缺陷的检测，被测表面必须是平滑而缓变的。3）莫尔条纹法莫尔条纹法作为三维形貌测量的重要技术，起源于上世纪70年代。1970年英国的D.M.Meadows等人提出了应用一块光栅的照射型莫尔形貌法。之后，1977年M．Idesawa等人提出了激光扫描型莫尔形貌测量方法。自此，莫尔三维形貌测量成为了莫尔技术的重要研究领域。莫尔条纹法的原理是用一块基准光栅，来检测由被测表面调制的影栅，进而由莫尔条纹的分布情况推算被测物体的表面形貌。从基本原理出发，出现了两类不同布局的莫尔形貌装置，其中一类是将基准光栅照射到物体表面，在物体表面形成阴影光栅，然后透过整形光栅进行观察，这就是照射型莫尔法。照射型莫尔形貌可称为阴影莫尔形貌，莫尔条纹是由基准光栅和物体表面所调制的、带有物体相位信息的变形光栅叠加而成。照射型莫尔形貌的测量装置简单、廉价，被测物前必须放置一块基准光栅。被测物不大时是可行的，但物体较大时就需要更大的光栅，大尺寸光栅加工困难。测量精度取决于基准光栅的栅距，但制造大尺寸小栅距的光栅是较为困难的。随着栅距的减小衍射效应就变得更加显著，很难获得更高的测量精度。另一类是投影型莫尔，它的投影侧类似于幻灯装置。用以在被测物体上投射光栅而接收端是一架摄像机，它将空间光栅成像在基准光栅表面上，于是形成莫尔条纹图投影型莫尔形貌测量的主要特点是：通过投影镜头的放大率来改变基准光栅的成像尺寸，适于测量较大尺寸的物体。对于较小的物体，采用缩小投影，既可以提高测量分辨率又可以控制衍射现象的影响。莫尔形貌条纹摄影后再投影，在物体上可以直接观测并把莫尔等高线描绘出来。可以方便地确定物体基准点条纹的序号，并可以将变形光栅取出，通过二次曝光等处理后产生新的莫尔条纹测量方法。但测量装置相对于照射型来说较为复杂，光栅的节距受到透镜分辨率的限制。目前莫尔形貌法主要应用于工业测量、人体轮廓检测等领域。在工业测量方面主要用于特形零件和特殊环境下的轮廓测量，比如飞机机翼及涡轮机叶片形状、热轧钢板在热状态下的平面性、单晶硅片的平面性、微小物体的形貌等。此类物体大多难以使用其它方法测量，有的因表面不允许接触而不能用接触式测量法，有的由于全息干涉法太灵敏而不适合。莫尔形貌法则具有全场、非接触和灵敏度适中等特点，因此在形貌测量领域引起了广泛的关注。莫尔形貌法在人体轮廓测量方面取得了较好的效果，用于此领域的莫尔条纹图法的灵敏度只要毫米级就够了，由于莫尔条纹法提供了快速、简便和无放射性危害的有效方法，目前主要用于骨科、整形外科、胸外科等方面。国外在上世纪80年代进行了大量的研究，主要集中在美国、加拿大、日本、英国和俄罗斯等国的研究机构中。由于光源、图像获取手段和处理方法的限制造成系统复杂、测量精度低、重复性差，因此其研究结果并未得到广泛应用。国内研究工作主要在90年代进行的，清华大学精密仪器专业、北京航空航天大学、天津大学精密仪器专业、航天部七○四所和中科院光电所等科研院所在从事相关实验和研究。目前莫尔形貌测量法存在的主要问题：首先，在三维曲面检测时仅用了黑白条纹的中心线信息，测量数据少，并且受到光栅栅距的影响，造成测量分辨率较低，已不能满足机械行业中精细加工检测的精度要求；其次，很难通过单幅图像去自动判定被测曲面的凹凸信息，自动化程度不高；第三，受被测物曲率影响大，当被测曲面曲率变化较大时，平缓处条纹太稀，陡坡处条纹堆积太密，无法分辨。因而可测曲面的最大深度和梯度的局限性较大。4）结构光法结构光法根据所采用投射光束的不同，又分为点光束照射的光学三角测量技术、线光束照射的光切测量方法以及面光束照明下的空间光调制技术。（1）光学三角法测量技术是一种基本的三维测量方法。它的测量原理是基于传统的三角测距的方法，根据此原理设计的激光测头多用于改进型的三坐标测量机（CMM），以取代原有的接触式测头。通过这一改进使得三坐标测量机（CMM）从接触式测量迈向了非接触式无损测量。但是这种方法测量范围受到限制，并且由于三坐标测量机（CMM）的固有特性只能进行离散点的测量，而无法获取被测物体全场的形貌。虽然逐步被光切法及面结构光测量技术取代，但它仍是光切法及面结构光三维测量的基础。（2）光切法以激光逐点扫描法为基础，它采用激光线光源经柱面镜产生平面光照射在被测物表面，在被测物上产生一条明亮的光条，通过摄像机采集获得数字图像，然后经图像处理即得物体在该光切面上的二维轮廓信息，进一步沿第三维步进测量，就可得到物体的三维形貌全貌，原理如图1-5所示。图1-5线结构光原理图图1-6投影光栅面结构光原理图居琰等人运用该方法实现了脚型的三维曲面测量，刘震亚等人通过采用Tsai的两步标定算法实现了不规则料堆的测量，张启灿等人利用频闪光源实现了使用光切法对旋转叶片的测量。在此基础上，又提出编码结构光的方法，编码方式包括位相编码、M进制编码、颜色编码等。Kai等人运用二进制编码结合相移技术实现了轿车白车身三维尺寸的在线检测。但光切法仍然存在采样速度较慢等缺点，且难以实现被测物与测量装置之间的相对旋转测量，不适合大型物体的三维测量。（3）面结构光技术是将一幅或者多幅光栅图像投影到被测物体表面形成结构照明，最简单的是将一系列光栅投影到物体表面，如图1-6所示。通过面阵CCD记录被测物体表面每个光栅的变化，并与参考平面上的光栅进行比较计算被测物体的高度信息。实际上，当光栅间隔减小到一定程度就与投影型莫尔条纹法接近了，只是没有采用实物参考光栅进行解调，随着投影型三维形貌测量技术的发展，面结构光投影与莫尔形貌测量技术越来越融合在一起了。这就使得采用投影型连续变化的结构光场的形貌测量技术成为当前的研究热点。目前由于面结构光三维测量应用领域非常广泛，己成为人们的研究热点。总之，面结构光三维形貌测量技术是通过对平面二维光场分布进行结构化，并投影形成具有一定规律变化的三维空间光场，对被测物体进行照射并记录物体表面光场的变化实现对被测物体高度信息的测量。面结构光场的特性直接决定着三维测量系统的性能，这也是当前面结构光研究的重点之一。5）数字摄影测量法数字摄影测量系统如图1-7所示，通过在物体的表面及其周围放置标志点，包括编码点和非编码点，然后从不同的角度和位置对物体进行拍摄，得到一定数量的照片，经过数字图像处理、标志点的定位、编码点的识别，可以得到编码点的编码以及标志点中心的图像坐标。利用这些结果，经过相对定向、绝对定向、三维重建、以及平差计算，最后加入标尺约束及温度补偿，可以得到标志点准确的三维坐标。图1-7数字摄影测量系统示意图国外对摄影测量技术的研究起步较早，因此相应的生产厂家和产品比较多，比较典型的有美国GSI公司的V-STARS系统、德国AICON3D公司DPA-Pro系统、德国GOM公司的Tritop系统、加拿大EOS公司的PhotoModeler系统、挪威Metronor公司的Metronor系统等。工业摄影测量系统使用高分辨率数码相机，从多个角度拍摄预先布置的圆形参考点和带有编码的参考点，然后自动三维重建，得到工件表面参考点的三维坐标，精度可达0.1mm/m。这些系统已经大量应用于航空、航天、汽车、轮船等领域的工业检测以及逆向设计工作中。数字摄影测量能在较短时间内准确地获得被测物体关键点的三维信息，从而实现物体的三维数字化建模，尤其适用于大型复杂工件的三维检测，具有无接触、灵活、快速等优势，因此在反求工程、机械零件测量、虚拟现实等方面具有广泛的应用前景。6）数字图像相关法数字图像相关法（DigitalImageCorrelationMethod,DICM）是一种光测力学变形测量方法。数字图像相关法又称为数字散斑相关法（DigitalSpeckleCorrelationMethod,DSCM）。数字散斑相关方法是在二十世纪80年代由日本I.Yamaguchi和美国SouthCarolina大学的Ranson和Peter等人同时独立提出的。I.Yamaguchi在研究物体小变形时，采用测量物体变形前后光强的互相关函数峰值来计算物体的位移。同时，Ranson和Peter则采用电视摄像机记录被测物体加载前后的激光散斑图，经过模数转换得到数字灰度场，而后计算相关系数随试凑位移及其导数的变化过程，找出相关系数的极值进而得到相应的变形参数。数字图像相关法的原理是通过图像匹配的方法分析试件表面变形前后的散斑图像，来跟踪试件表面上几何点的运动位移场，然后计算得到应变场。在数字图像相关法算法中，图像匹配时常用图像子区的相关性来衡量不同图像上两个子区的相似程度，因此该图像子区常称为“相关窗”。与其它变形测量方法相比，数字图像相关法对复杂环境的适应性更好,这是由数字图像相关法的特性决定的。首先，数字图像相关法处理对象是数字化的散斑图像，散斑图像是指一类含随机斑点分布的图像，散斑指图像中的随机斑点。散斑可以由激光照在漫反射表面干涉产生；也可由特殊涂料（如哑光漆等）喷涂在试件表面形成（人工散斑）；甚至某些材料表面的纹理也能直接构成散斑（天然散斑）。后两种散斑是图像相关法测量中最常见的。因此，数字图像相关法测量中散斑图像在获取时可直接采用白光照明。这一点克服了前面提到的以干涉为基础的光测方法的缺点，也是数字图像相关法具有更好的适应性的直接原因。其次，数字图像相关法归根结底是一种二维数字图像的分析方法。该方法的测量分辨率与成像系统的物面分辨率（指数字图像上1个像素代表的实际长度）密切相关，物面分辨率高则测量分辨率高；数字图像相关法的测量范围取决于成像系统的视场范围。因此，数字图像相关法测量范围和测量分辨率可以方便地进行调整。这也是数字图像相关法对复杂环境适应性更好的另一个原因。此外，数字图像相关法实验装置简单、实验准备快，数据处理自动化程度高，这些都使数字图像相关法更方便易用，适应性更好。数字图像相关法提出二十多年来，其理论研究和应用发展非常迅速。正是由于数字图像相关法具备上述特点，目前，在超大和超小试件变形测量、复杂材料变形测量和复杂环境变形测量等方面，数字图像相关法具有很大的优势。随着图像采集设备、数字信号处理技术和计算机技术的发展，数字图像相关法的测量分辨率和测量精度大大提高，应用领域迅速扩展：借助各种显微镜设备，数字图像相关法可以实现微观变形测量；利用高速摄影，数字图像相关法还可以用于高速动态变形测量。2.三维形貌与变形测量研究现状综上所述，三维形貌与变形测量研究已取得了很大进展，部分技术已应用于商业测量系统，包括数字工业近景摄影测量、条纹投影面结构光三维形貌测量、数字图像相关法动态变形测量等。在国际上，美国斯坦福大学、美国哈佛大学、德国亚深应用科技大学、德国IAPG研究所、澳大利亚墨尔本大学等在三维形貌与变形测量方面均已开展了许多非常有意义的研究工作，并取得了较好的研究成果。国内清华大学、西安交通大学、天津大学、四川大学以及华中科技大学等也开展了广泛的研究，并取得了较好的阶段性研究成果。数字工业近景摄影测量方面，Harris和Stephen在Moravec算子的基础上发展出Harris算子：Linderberg深入地研究了如何选定一个合适的一致的尺度用于影像上的特征提取，即特征尺度选择的问题；张正友在角点附近利用相关窗口进行角点区域的匹配验证了角点提取也是可以用于基线较大的影像立体匹配；Torr发展出的一个近似的方法可以用于宽基线运动匹配方法；Schmid和Mohr开创性的采用一个目标特征与一个大的影像数据库进行匹配从而将不变局部特征匹配用于解决一般的影像识别问题，Shokoufandeh,Marsic和Dickinson提出使用小波系数来作为特征描述子；Low将局部特征的方法扩展到尺度不变的局部特征，构造了一种新的局部特征描述子，对于三维视点变化造成的变形也能够使用；Lhuillier等提出采用四边形分割建立局部几何约束的方法；Boonsang提出利用影像分割获取边缘区域和非边缘区域，在非边缘区域采用连续新约束的方法；2004年Low提出的一种尺度不变特征的SIFT算子。结构光三维形貌测量方面，Huang在文献中详细介绍了基于数字条纹投影的三维形貌测量技术的最新进展；Sansoni在90年代初研究了用液晶投影仪数字化投影光条来实现自适应形貌测量；Hu提出了一种DLP数字条纹投影三维测量新方法；Kowarschik研究了从三个不同角度投影条纹结构光的自适应三维测量系统；Frankowski提出了微镜DMD(DitigalMicromirrorDevice)数字条纹投影的实时三维测量技术；Sugeng研究了高速数字投影条纹结构光的实时深度信息获取方法；Qiu研制了一种多频谱条纹投影测量仪；Li提出了多分辨密集点测量方法等。数字图像相关法变形测量方面，He等首次使用数字散斑相关方法成功测量了两维稳态层流场；Wu用该方法测试了柔险材料和软组织的力学性质；Zink、Gonzalez等用数字图像相关法研究了复合材料的力学性质；Zink等还将数字图像相关法应用于木材的力学性质研究；Sutton发现了数字图像相关法与力学变分间的关系并提出了基于位移相关的搜索方法，用于低质量散斑图和大位移测量。3.三维形貌与变形测量发展趋势及技术瓶颈通过以上分析，高速度、高精度、大尺度和复杂变形是光学三维形貌与变形测量的研究重点和难点，而这些难题正是机器视觉测量的发展趋势。归纳起来主要有以下几个方面：1）高精度全自动测量测量精度是测量领域永远追求的目标，对于机器视觉测量系统来说，影响测量精度的因素包括图像获取、图像处理、相机标定、立体匹配和三维重建等，其中，相机标定和三维重建算法是影响视觉测量精度的关键因素。因此，研究高精度视觉系统标定算法和三维重建算法是机器视觉领域的重要方向。2）大尺寸、大变形三维测量在航空、航天、汽车、轮船等工业领域内，零部件的负载变形和热变形检测需求随着对于产品要求的提高而增多，同时对于产品在各个不同状态下的形态检测（如飞机机翼不同飞行状态下的形态检测）精度及效率要求越来越高，特别是大尺寸、大变形量测量，原有方法难以满足需要。3）位移场和应变场三维测量传统的二维数字散斑相关方法，只能测量物体表面的面内位移，而且要得到准确可靠的测量结果，对于被测物体、被测物体的变形状态以及成像系统还有一系列要求，包括被测物体表面近似平面、被测物体变形主要发生在面内、摄像机光轴应当和被测面垂直等，这些条件在实际应用中难以满足，三维的位移场和应变场测量是非常必要的，三维数字图像相关方法尚不完善。4）阴影遮挡问题在工业现场测量环境中，往往存在遮挡、阴影等因素，影响正常的测量过程。通过各种视觉方法实现的三维测量，阴影和遮挡问题是难以避免的，这是视觉测量研究中的瓶颈问题。针对这一问题，多年来人们花费了大量精力去研究和尝试，也提出了很多解决问题的方法，但问题还远未得到根本解决。5）光滑金属表面直接型面测量使用机器视觉技术测量模具等高镜面反射光滑金属表面是一项困难的任务，虽然近年来在这方面取得了一些研究成果，但收效甚微。目前相对成熟的测量方法都需要在被测表面喷涂粉末或者哑光涂层，但这种方法降低了测量速度和测量精度。透明及无反射的特殊型面的三维测量也是视觉测量的难点。6）海量测量点云后续处理问题使用结构光等视觉测量方法可以快速的得到大量测量点云，在测量得到的点云中存在因遮挡、阴影等因素造成的孔洞和噪音点，在贴有标志点的地方也会形成凸起和孔洞，多视场拼接中的数据融合问题。这些问题是点云后续处理的难点，近年来出现了大量的点云处理算法试图解决这一难题，但距离实际应用尚存在较大困难。