自适应几何畸变图像矫正方法研究

自适应几何畸变图像矫正方法研究 赵庆鹏 1 马华东 1 1 (北京邮电大学 智能通信软件与多媒体北京市重点实验室, 北京 100876) 摘 要: 几何畸变普遍存在于图像采集设备所获取的图像中, 如不对其进行适当的矫正, 对后续的 处理影响较大. 本文分析了常见线性和非线性几何畸变产生的原因, 对图像中存在的几何畸变类型 做出了判定, 结合成像模型和数值分析的方法, 提出一个自适应的矫正把畸变图像恢复到理想 无畸变的图像. 实验证明该方案能够有效的矫正复杂环境下的常见几何畸变.1 关键词: 自适应; 畸变矫正; 几何变换; 双线性插值; 数值分析 1. 引言 在二维条形码识别、文本识别和车牌识别等应用场景中, 通过图像采集设备所获取的 图像不可避免的存在有如畸变失真, 运动模糊等成像问题. 如果不对其进行适当的预处理, 将会直接影响到后续的处理的准确性和效率, 甚至无法进行后续处理. 对于一些常见的预 处理诸如灰度化、二值化和运动模糊复原等研究都已比较成熟, 而对几何畸变的矫正尚没 有一个通用的解决办法. 常见对几何畸变的研究大多基于具体成像系统, 通过确定摄像机 畸变参数对所获取图像进行矫正. 但是通常情况下对于一副图像我们无法得到其成像系统. 另外一种解决办法是多项式变形法, 缺点是运算量大, 不适用于实时性要求较高的系统. 本文针对通用性和实时性的要求, 提出一个对常见几何畸变的矫正方案, 旨在以较小的时 间和空间代价对图像中存在的几何畸变进行矫正, 从而对后续的处理提供便利. 2 相关工作 2.1 几何畸变定义 在实际的成像系统中, 视频捕捉介质平面和物体平面之间不可避免的存在有一定的转 角和倾斜角. 转角对图像的影响为发生旋转, 倾斜角的影响表现为图像发生投影变形. 另 外一种情况就是由于摄影机系统本身的原因导致的镜头畸变. 此外还有由于物体平面不平 整导致的曲面畸变如柱形畸变等. 这些畸变统称为几何畸变. 图 1 以等间隔正交网格为例 说明了常见的几种几何畸变: 图 1 几何畸变示意图 项目基金: 国家”八六三”高科技研究发展(No.2006AA01Z304), 国家自然科学基金项目(No.90612013), 北京市教委 共建项目(No.SYS100130422), 教育部新世纪人才支持计划. 联系作者: 赵庆鹏, E-mail: zhaoqpcn@163.com 376 几何畸变又可分为线性几何畸变和非线性几何畸变. 通常情况下, 前者指缩放、平移、 旋转等畸变. 而非线性几何畸变由成像面和物平面的倾斜、物平面本身的弯曲、光学系统 的像差造成的畸变,表现为物体与实际的成像各部分比例失衡. 2.2 相关的矫正方法 对几何畸变的研究大多基于特定的成像系统, 如模拟鱼眼和针孔系统进行摄像机标定, 通过确定摄像机畸变参数对所获取图像进行矫正[1][2][3]. 其优点是一旦确立成像模型, 便 可以快速有效的根据模型参数对畸变图像进行几何变换. 但是通常情况我们所面临的图像 其成像系统未知且多样化. 最后, 这种方法不适宜解决一般性无法预知模型的畸变比如由 成像面不平整造成的曲面畸变如柱形畸变. 另外一种常见的解决办法是多项式变形技术 [4][5], 其实质是利用数值分析的办法求解几何变换方程. 优点是不需要预先知道成像模型, 对复杂曲面畸变能够进行矫正. 缺点一是运算量大, 不适用于实时性要求较高的系统, 二 是这种方法对多项式的次数和控制点的选取要求严格,发生矫正失控(即图像出现非正常扭 曲)的概率很大, 不适用于一些只存在投影变换和镜头畸变的图像. 基于对上述常见线性和非线性几何畸变产生的原因的分析, 我们提出一种相对通用的 解决方案, 其要点在于：针对实际情况中非线性畸变和投影畸变存在较为普遍而镜头畸变 和曲面畸变较少, 对图像中存在的几何畸变类型做出了判定, 结合成像系统模型法和数值 分析法进行几何畸变矫正. 3 自适应几何畸变矫正方案 一般的讲, 摄像机成像系统可以看作是一个广义透视变换系统, 从物体空间的世界坐 标系到图像采集设备坐标系, 以及最终成像的二维像平面坐标系, 成像过程就是在这些坐 标系中的坐标转换的过程. 物平面图象 畸变图象 理想图象畸变 空间变换 图 2 畸变和空间变换 几何畸变体现在转换过程中就是坐标在变换过程中发生了失真. 基于数字图像处理的 变换即是以图像处理为基础, 通过几何坐标变换来矫正畸变图像中的坐标, 使其恢复到原 物体图像的位置和比例关系.. 包括两个步骤: 第一步需要建立空间几何变换, 使得畸变图 像恢复到原图像的空间位置, 常用的方法有基于成像系统模型的方法和数值分析法, 图 2 给出了空间几何变换示意图; 第二步为插值, 简要的说, 就是取得相应坐标位置上的像素 值, 我们在后续的章节中进行详细的介绍. 预先构造一个理想图像, 通用起见, 定义其为正 方形. 3.1 方案流程图 矫正方案流程如图3所示. 其中, 轮廓查找需要一定先验知识, 比如身份证识别中身份 证的轮廓阴影、QR 码识别中的定位方框[6], 也可以结合 hough 变换检测直线、利用 canny 算子检测轮廓[7]等办法确定. 确定轮廓后, 根据四个顶点的坐标位置, 结合理想图像的四 个顶点坐标位置做透视变换, 对非线性畸变和投影畸变进行矫正. 377 图 3 方案流程图 做透视变换的意义有两个, 一是判断透视变换后图像的四个边在给定的阀值内符合理 想图像的边界定义(一般定义为直线), 若符合则直接进行插值操作. 二是对于不符合理想 图像的边界定义的图像, 透视变换能够矫正其存在的线性畸变和投影畸变, 得到一副只含 有镜头畸变或者曲面畸变的畸变图像, 为下一步的矫正提供了便利. 下面我们重点介绍一 下镜头畸变矫正和曲面畸变矫正这两个步骤. 3.2 镜头畸变矫正步骤 在具体成像系统中影响最大的就是镜头畸变, 其中最为普遍存在的就是桶形畸变和枕 形畸变. 这两种畸变都属于径向畸变. 和径向畸变相关的还有切向畸变, 切向畸变就是矢 量端点沿切线方向发生的畸变, 而径向畸变为矢量端点沿法线方向发生的畸变. 常见场景 下主要影响是径向畸变, 对于切向畸变影响很小, 忽略不计. 径向畸变具有严格的光学对 称性, 即图像以中心点和 X, Y 轴对称, 这是曲面畸变所不具有的. 若经过透视变换后的图 像符合这个特征, 我们可以判定目前存在的几何畸变为镜头畸变. 我们根据成像模型简要 分析一下径向畸变产生的原因和矫正方法. (1) (2) 图 4镜头畸变示意图 图4(2)中, 虚线为成像系统, 实线部分为成像面; C为像平面 I的中心, 也可做为畸变中 心, OC 为垂直于像平面 I 的光学轴线, S 为以 O 点为中心的球面, P0 为物平面上一点在成像 面上的理想成像点. 向 P0 点入射的光学, 经由球面 S, 与 S 相交于 P2 点, 对应像平面的 P1 畸变点. 这样本来应该成像于P0点, 却成像在了P1点[3]. 径向畸变以图像的中心为对称点, 离中心越远, 畸变就越明显; 畸变后的成像点和理想的成像点之间的距离和半径的平方成 比例, 比例系数称径向畸变系数, 径向畸变系数为正表示为枕形畸变, 为负则表示桶形畸 变. 显然, 对于径向畸变需要求得畸变中心和畸变系数, 而过透视变换后的图像的中心就 是畸变中心, 选取相关的参考点便可以计算得到畸变系数, 完成镜头畸变的矫正. 378 3.3 曲面畸变矫正步骤 若经由透视变换后的图像不符合镜头畸变的光学对称性特征, 我们判定该图像具有曲 面畸变, 此时我们采用进行数值分析的方法分析几何变换函数来进行几何矫正. 假设 I(u, v)为获取到的可能存在畸变的图像, I(x, y)为目标实际的图像或理想图像. 那 么存在一个非线性变换T, 使得两者的坐标满足(u, v) = T(x, y). 给定变换T在理想无畸变图 像一系列点(x0, y0), (x1, y1), …, (xL, yL)所对应的畸变图像点为(u0, v0), (u1, v1),…, (uL, vL), 可以构造一个简单的变换函数 G, 做为变换 T 的近似表达式, 使得变换 T 和近似表达 式 G 之间的偏差最小, 能够反映所给数据的总体趋势, 这在数值分析中称为曲线拟合. 近 似变换函数 G 称为拟合函数, 常用的拟合方式有直线拟合、多项式拟合、曲线拟合等, 这 里我们采用多项式拟合. 定义 (u,v) = ( 0 0 n n i i j ij i j a x y − = = ∑∑ , 0 0 n n i i j ij i j b x y − = = ∑∑ ) (1) ija 和 ijb 是待定系数, n 为多项式系数. 计算出多项式系数 ija 和 ijb , 我们就可以得到整 个几何变换的函数表达式. 为了拟合出上述多项式的系数, 需要选取一系列理想无畸变图 像和畸变图像的对应点, 也称控制点[4][5], 如图 5 所示. 图 5 几何变换相关控制点 我们采用最小二乘法做为拟合准则, 定义偏差: ( xe , ye ) = ( 2 1 0 0 L n n i i j l ij l l l i j u a x y − = = = ⎛ ⎞−⎜ ⎟⎝ ⎠∑ ∑∑ , 2 1 0 0 L n n i i j l ij l l l i j v b x y − = = = ⎛ ⎞−⎜ ⎟⎝ ⎠∑ ∑∑ ) (2) 若要使偏差 xe , ye 最小, 需使得其偏导表达式为零: 1 0 0 2 L n n i i j s t l ij l l l l l i jst e u a x y x y a − = = = ⎛ ⎞∂ = −⎜ ⎟∂ ⎝ ⎠∑ ∑∑ ; 1 0 02 L n n i i j s t l ij l l l l l i jst e u a x y x y a − = = = ⎛ ⎞∂ = −⎜ ⎟∂ ⎝ ⎠∑ ∑∑ (3) 即: 0 0 1 1 n n i L L i s j t s t ij l l l l l i j l l a x y u x y − + + = = = = ⎛ ⎞ =⎜ ⎟⎝ ⎠∑∑ ∑ ∑ ; 0 0 1 1 n n i L L i s j t s t ij l l l l l i j l l b x y v x y − + + = = = = ⎛ ⎞ =⎜ ⎟⎝ ⎠∑∑ ∑ ∑ (4) 采用矩阵表达式为: Ta=X; Tb=Y (5) 这里L为所取控制点的个数, s和 t为枚举的指数组合, 定义 s = 0, 1, 2...n, t= 0, 1, 2...n-s. 可以得出变换矩阵的阶数 Q=(n+1)(n+2)/2 . 需要指出的是变换矩阵的阶数和控制点数 L 没 379 有直接得联系, 但是选取的控制点越多, 逼近的误差越小. 表达式(5)中T为Q阶方阵, a, b, X, Y 为 Q 维列向量, 已知 T 和 X,Y, 对其求解, 可得多项式系数 a, b, 即得到了理想无畸变 图像和畸变图像对应的坐标几何变换矩阵. 3.4 插值 确定好理想图像和畸变图像的变换关系后, 为了获取理想图像中每一坐标(x,y)上的像 素值, 对理想图像中每一坐标(x,y)进行变换, 得到原畸变图像中坐标(u,v). 这时经由变换 得到的(u,v)如果恰好落在原畸变图像的坐标点上, 直接取此坐标对应的像素值即可; 但实 际情况下所计算得到的(u,v)不一定是整数, 也不一定落在原畸变图像上的坐标上, 这样就 需要参考(u,v)附近的像素值对(x,y)的像素值做出定义,这便是灰度插值. 灰度插值的方法很多, 常用的灰度插值有零阶插值、双线性内插、三次卷积插值等; 零 阶插值, 也叫最近邻插值, 是取离(u,v)点最近的坐标的像素值, 优点是运算量较小, 缺点是 不能精确的反映实际情况的像素值. 双线性插值则利用(u,v)坐标点周围 4 个最近坐标点的 像素值在两个方向上做线性插值, 能够得到一个像素值较为连贯的恢复图像. 我们取 ud =u-[u], vd =v-[v], 见图 6 所示, 所取像素值便可定义为: u v u v u v u v(1-d )(1-d )f([u],[v])+(1-d )d f([u],[v]+1)+d (1-d )f([u]+1,[v])+d d f([u]+1,[v]+1) (6) 图 6 双线性插值示意图 三次卷积插值则需要参考邻近16个坐标点的像素值, 三次卷积插值能够获得较高质量 的图像边缘, 缺点是运算复杂度较高. 考虑到实时性和图像质量的要求, 本文采用双线性 插值法进行插值. 3.5 相关讨论 针对实际情况中常见的几何畸变, 本文提出的自适应的解决方案能够在大幅度降低空 间和时间复杂度的基础上对几何畸变进行有效的矫正. 事实上, 对于有些应用场景如身份 证、车牌识别等, 由于目标对象为刚性二维平面, 不存在曲面畸变问题, 故不需要进行基于 数值分析的曲面畸变矫正处理. 此外由于进行了变换插值操作, 得到的无畸变图像会产生 一些毛刺和孤立点等噪声, 如不进行消除处理, 对后续的处理也会产生影响, 可以采用用 模板算子等方法进行处理, 此处不再论述. 4 实验结果与分析 我们采用 matlab 作为实验软件环境, 以 QR 码图像识别为应用场景对上述方案进行了 实验, 对 50 幅大小为 1024*768, 颜色深度为 8 位, 存在不同几何畸变的 QR 码图像进行几 何矫正预处理. 实验表明如不对这些图像进行适当的几何矫正, 误识率很高或者根本无法 识别; 而仅仅根据成像系统模型仅能矫正那些规则镜头畸变的图像, 同时根据数值分析法 矫正需要处理时间较长, 且对于一些图像特别是仅存在线性几何畸变和投影畸变的图像出 现矫正失控现象. 经过本文提出的矫正方法进行处理后, 所有图像都能够恢复到理想无畸 380 变的图像, 整体识别率恢复到和无明显几何畸变的图像同样的识别率, 基本消除了几何畸 变带来的影响. 7(1-1) 7(1-2) 7(2-1) 7(2-2) 7(3-1) 7(3-2) 7(3-3) 图 7 几何矫正前后图像比较 我们选取一些矫正前后的效果图像如图 7 所示, 其中 7(1-1), 7(1-2)为存在投影畸变的 图像矫正前后的图像; 其中 7(2-1), 7(2-2)为存在曲面畸变的图像矫正前后的图像; 7(3-1), 7(3-2), 7(3-3)分别为存在镜头畸变的图像先做透视变换, 然后进行镜头矫正的图像. 我们可 以看到对上述几何畸变都基本恢复到了理想无畸变的图像. 5 结束语 本文通过对实际情况中图像中存在的几何畸变类型进行判定, 提出一个自适应的几何 矫正方案. 实验证明该方案能够有效的对实际应用场景下常见的几何畸变进行有效的矫正. 此外, 方法中的数值分析步骤由于其具有较好的通用性, 改进空间较大, 在今后的研究工 作中以期能使这些问题得到更好的解决. 参考文献 [1]陈泽志,吴成柯等. 计算机视觉测量系统的误差模型分析[J]. 计算机辅助设计与图形学学报. 2002(05) [2]Tsai R Y. A Versatile camera calibration technique for high accuracy 3 D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal of Robotics and Automation. 1987,3(4):323-344 [3]韩广良, 宋建中. 一种基于畸变等效曲面的图像畸变校正[J]. 光学技术. 2005(01) [4]Shah S, Aggarwa JK. A simple calibration procedure for fish-eye (high distortion) lens camera[C]. Proceedings of IEEE International Conference on Robotics and Automation. 1994, 3422-3427 [5]廖士中, 高培焕等 一种光学镜头摄像机图象几何畸变的修正方法 中国图像图形学报 2000(07) [6]明安龙, 马华东等. 散焦模糊的畸变QR barcode图像复原技术 [J]. 计算机辅助设计与图形学学报. 2007 [7]Canny: A Computational Approach to Edge Detection. IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 8, 1986 Research on a Self-Adaptive Rectification Method for Images with Geometric Distortion Zhao Qingpeng1 Ma Huadong1 1 (Beijing Key Laboratory of Intelligent Telecommunications Software and Multimedia, Beijing University of Posts and Telecommunications, Beijing 100876, China) 381 Key words：geometric distortion rectification; self-adaptive; numerical analysis; bilinear interpolation; Abstract: In many applications such as two-dimensional barcode recognition, text recognition and vehicle license character recognition, geometric distortions are ubiquitous among images captured by image acquisition equipment. The influence caused by them is crucial to the subsequent processing. To solve this problem, many rectification theories are proposed. However, most of these theories are based on imaging system models, and they can not rectify the general geometric distortions in different environments for they depend on specific imaging systems. Polynomial coordinate transform method works for general distortions, but it can not be used in real-time image processing system for its low time performance. In this paper, after analyzing the reason of both linear and nonlinear geometric distortions, we present a self-adaptive geometric rectification method by combining the method based on imaging system model and the one based on numerical analysis. There are two sections in this method: geometric transformation and gray interpolation. In the geometric transformation section, to eliminate linear distortions and projection distortions, perspective projection matrices are introduced to transform the images with these geometric distortions to temporary images. Then we define the types of geometry distortions in temporary images. For example, for those which only have lens distortions, methods based on imaging system models are introduced to solve it. We compute related parameters such as distortion coefficients to transform these temporary images to images without geometric distortions. And methods based on numerical analysis are used for those which have irregular distortions. In the interpolation section, we compare both the advantages and shortcomings of simple interpolation, bilinear gray interpolation and cubic convolution interpolation. We choose bilinear gray interpolation as the interpolation method from the perspective of both efficiency and accuracy. The experiment based on two-dimensional barcode recognition shows that this practical method in this paper can rectify geometric distortions effectively in most of the complex environments. 382