高精度光学头部位置定位系统

高精度光学头部位置定位系统 第卷第期 光学精密工程 . .年月 . ?一一 文章编号 高精度光学头部位置定位系统 汤 勇,顾宏斌,张丛茹 .南京林业大学汽车与交通工程学院,江苏南京; ,南京航空航天大学民航学院,江苏南京;.南京维笛而科技有限公司,江苏南京 摘要:针对头盔式虚拟现实系统中的头部位置跟踪,研究并实现了多摄像机下的高精度光学头部位置定位系统。通过设 计初始标定方块来减小系统安装误差,使摄像机按正交方式布置,保持其光轴两两相互垂直。定位过程中以某一摄像机 为基准,任意给定目标深度初值;依据摄像机成像模型计算出目标空间位置,再将该计算结果作为其他摄像机的目标深 度初值进行循环迭代计算,收敛至给定精度后得到目标三维空间坐标值。最后以个标记点空间位置为基础,依据其空 间关系计算得到目标姿态角。对比实验表明,该定位方法定位精度高、计算 速度快,静态位置误差为. ,动态位 置误差为. ,明显超过电磁跟踪器定位精度;同时该定位系统成本低廉,不受 外界金属和电磁环境干扰,可满足 虚拟现实系统中高精度头部位置跟踪需求。 关 键词:头部跟踪;计算机视觉;虚拟现实;迭代 :./.. 中图分类号:. 文献标识码: , ”, ,国; .曙 厂“?蝴捌以蒯了沁?甜鼢挖以,,口可, 埘 删溉傥心叻,?巧以 ,晚 ,流舰; .旋 埘口”,力咒 斑耵西 厂撒“ 口以 ,碱“ ,巧以 ,危”口 .力竹? 咒,竹, 户。起挖口聪 ,至盘:五“口。“. : ??.。 , ,, . ,’ . . . , . . , ? , . 收稿日期:一?;修订日期:?一. 基金项目:国家自然科学基金重点项目. 万方数据第期 汤勇,等:高精度光学头部位置定位系统 . ? . : ; ; ; 用低成本普通摄像机作为视频采集设备,简 引 言 单迭代算法进行空间定位,并通过实际实验对其 定位精度进行了测试,以验证其可行性和实用性。 在头盔式虚拟现实系统中,系 统必须实时获取用户头部的位置和姿态,以驱动 系统构成及其工作原理 图形引擎中的虚拟视点同步改变,保证用户所见 . 虚拟场景图像的正确性】。精确位置信息能为用 系统结构 户提供与真实环境相同的虚拟视点图像或者完成 本定位系统中个摄像机光 轴按正交方式布 正确的虚实注册与虚实融合,相反,错误的位置信 置,个光轴相互垂直,指向同一原点,如图。 息或者过大的误差则会导致不正确的显示结果, 破坏用户沉浸感一:。为保证头部位置的跟踪精 度,目前系统一般采用专用硬件实现位置检 测和跟踪。按检测原理不同,其测量方法可分为 机械法、电磁法、光电法、超声波法等,上述几种 方法各有适应场合以及优缺点。机械式跟踪属于 接触式测量,对用户存在机械约束;光电跟踪器存 在遮挡问题,精度和稳定性有限;而超声波式法则 存在频率低,延迟大等问题。从定位精度和使 用便利性综合考虑,目前系统中电磁跟踪器 使用最为普遍,但其也存在易受金属和外界环境 图定位系统结构图 干扰、购置成本较高等缺点。随着计算机视觉技 .术、光学技术的发展,采用低成本光学设备,比如 摄像机进行的视觉测量方法取得了长足发展和进 .摄像机安装位置校正 步阳“,并有学者开发出了一些实用定位方法和系 为保证实际安装时个摄像机光轴相互垂直 统。 利用单目摄像机进行头部定 且指向光轴交点,设计了一个标定方块对摄像机 位获取了头部位置和姿态,姿态角平均误差分 安装位置进行校正,如图。在软件? 别为.、.和.。,位置误差分别为.、.、 中进行尺寸和外形设计,通过精密机械加工 . 。 等人设计的应用于桌面式 来保证几何外形精度,标定方块基本结构包括 系统中的双目视觉头部定位系统精度达到毫 根相互垂直圆柱杆,每个杆上有个同心圆。 米级,个位置误差分别为.、.和. ,系统延时为 。国内北京理工大学研究 了利用多光学跟踪器进行数据融合的头部位置跟 踪方法?,定位精度和系统鲁棒性与单一视觉定 位方法相比有所提升。虽然目前视觉定位方法取 得了不少成果并得到一些实际应用,但是定位精 度不足,系统软硬件成本过高仍是阻碍其进一步 推广和应用的关键问题。针对上述问题,本文在 图系统初始位置标定 课题组前期所研究的多摄像机定位方法。驯基础. 上研究并实现了高精度的光学头部定位系统,采 万方数据 第卷 光学精密工程 安装摄像机时,使其满足以下条件:摄像机图 像中的标定杆上两圆均同心,且圆心点位于摄像 机光心点。轮流调整个摄像机,使每个摄像机 拍摄到的图像均满足此条件,调整完毕后就可认 为个摄像机光轴已经相互垂直并指向同一原 点,如图。 图定位系统坐标系示意图 【:兰:。. 工羞 . 图摄像机位置校正后所拍摄图像 .令一?扣一。,;?一;?争。,?一 一争一。。 系统定位过程中时需已知每个摄像机与三光 在当前采集的图像帧内对检测到目标进 轴交点即坐标原点间的距离。,:,。,该距离 行迭代,逼近真实值。若第 一次迭代得到的目 无法直接通过物理测量得到。本文通过棋盘格进 标值为,蛹一。,则: 行标定计算该距离。假设要求摄像机,距原点 .摄像机,中,有沿轴的坐标值以 位置。,则可将棋盘格模板对准,移动棋盘格,调 及目标的图像坐标‰,‰,根据摄像机成像模 整其在摄像机:,。中图像的位置,保证其边缘 型有: 均与摄像机:,。中线位置重合,则此条件下棋 十盘格垂直于。光轴,而且正交系统坐标原点正好 窿筘烈尝祭 ,一。一五一,::。/詹,’ 位于棋盘格上。保存,中拍摄到的棋盘格图像, 其中:疗和厂;是摄像机。的焦距。 通过离线工具箱标定外参,外参平 若。未检测到目标,保持,和的值不 移矩阵中值即为摄像机距棋盘格垂直距离,。 变,有: 按此方法可依次计算得到摄像机:,距原点 五 距离,。 篾三磬 .摄像机。中,应用了以及目标的图像坐 目标定位算法 标‰,‰,得到: . 坐标定义霪:二要燃,五 一:一急。/兵’ 将摄像机,、。、。的光轴分别沿、、 其中:兵和厂:是摄像机。的焦距。 轴以正交的方式布置好后,假设摄像机光心与原 若:未检测到目标,保持和的值不 点的距离分别为。、:、。,摄像机的成像平面 变: 均以摄像机光心为原点,坐标轴方向与地面坐标 一盘 系的、、轴一致。如图,目标在。、:、。皇。‘ 中的图像坐标记为‰,‰、‰,‰、 .摄像机。中,应用以及目标的图像坐 ‰,蠹。;目标在,、:、。中进行第 次迭代 标盎。,蠹。,得到: 所得到的三维位置计算值记为,,,;、?、 ?一。一;舞。/兵。,;’,、,孓,,算法最终输出的 旧 撕’。。一?蠹。/。’ 坐标值为,,,蝎。 其中:兵。和/争是摄像机。的焦距。 . 算法流程 若。未检测到目标,保持知和的值不 给定算法迭代初始值为。,。,。,并 万方数据第期 汤 勇,等:高精度光学头部位置定位系统 变: 一墨 ?’ 一肇。。 .将由。、:、。所得到的三维位置值取平 均,有: ,一工,/ 图 区域增长算法检测标记点 ,一一。/, .,一?;/ 遍历图像像素,搜寻满足式的第行第 若,、,、,满足: 列的像素点,。其中,,和 ,一,一 ?’, 把。为 ,为该像素的色度分量值,,把。和 则将矗、、,作为正交定位的输出值,并结束迭 预设的颜色标记色度分量值,?,和?,为色度分 代,转步骤。其中,。为给定的收敛精度。否 量偏移值。 则,转步骤,继续迭代,图为算法流程图。 一?。’?,? ?。’ 、。 。一?,? ,?。。。?,’ 搜索种子点领域,建立连通区域堆栈 ,,卵。行为堆栈中的像素点总数,初始状态 下,行一。搜寻到种子点,后,将其存入 ,,卵,且令竹一挖。然后依照, 一,一一,一,一的次 序判断,了的领域是否满足生长判断条件 式。若满足,将该领域像素点存人 , ,行,同时令以一行,直至所有相似的像素点 全部存人,,卵,结束生长过程。选取 最大的连通区域,可直接使用式计算其质心 位置。 ?一三 ‘。’’’?&‘‘’’’’”’ . 图定位算法流程图 : ? 。。,一三 . 甩。’?&。’’” . 目标位置和空间姿态计算 假设由上节算法中得到的个标记点空间坐 头部姿态计算 , 标分另为户 ,户 。了。 。,个点组成一个三角形平面,设该 头部位置跟踪不仅要跟踪三维坐标位置,还 目标平面初始位置位于平面,旋转平移后到 必须实时跟踪目标姿态。空间内个点确定一个 如图所在位置,此时其平面法向量为』。,如图 平面,因此可在三维空间内同时检测跟踪个目 。 标点位置,再由其位置关系计算出该平面姿态角。 目标位置为三标记点位置均值,即: .标记点图像位置检测 根据课题组之前对标记颜色稳定性的研 一??广 究?,选用图中的紫,绿,蓝三种颜色的圆形标 记作为定位目标,采用区域增长朝算法同时检测 一业等垒, 多个目标图像位置,再利用上节迭代算法计 一??广 算目标空间位置,区域增长算法描述如下: 万方数据 光学精密工程 第卷 的单位向量方向定义,定义单位向量为旋转向量, 首先计算平面当前法向量,再从法向量变化推导 出旋转向量。假设目标三角形中两相邻边向量为 九九两向量叉乘后可得当前三角平面法向 量。 』? ×』 , 从向量到。的旋转向量为: 袁一×。/×。, 旋转角度为: 口一』?. 图姿态角计算 通过单位向量袁一,,,,,和旋转角度曰喀 构造旋转矩阵,即进行罗德里格斯变换得到旋转 矩阵: 三维空问中旋转可以通过旋转角口和所围绕 臼一口; ~曰,,一曰, 一曰,,曰, 袁,臼一一口,,口, 臼一伊; 一曰了,,曰,. 臼一曰, 一口,,一口, 一口,,臼, 三维空间中的旋转也可以通过欧拉角矗,, 来定义。如果旋转次序为“于?”欧拉角,在右 手笛卡尔坐标中的旋转矩阵可表达为: 蚴咖萨鳓升 ,.? 声 户 四沪卜薹蔫善羔 篡蔫蓍剐 .自制摄像机固定支架,摄像机距原点距离 一 一/ 。 分别为.,.,. 户‖?. .转台摄影机三脚架。 【一口 一// .静态误差实验 如图,在游标卡尺活动端上固定乒乓球,以 实验测试 乒乓球作为定位目标进行位置误差测试实验。 在空间中任意选取个固定点。,。,。, 为验证本文头部位置定位系统的可行性和定 ,,以固定点为基准移动游标卡尺活动端,每次 位精度,设计了以下对比实验。 移动 ,移动个点,表中记录了每次移动 .实验硬件设备 后由本文定位方法计算得到的距离值即距起 主要硬件设备包括: 点距离,从表中统计可知位置检测静态误差平均 .视频采集设备:罗技高清摄像机,帧 为. ,最大误差为. ,最小误差为 率 ,采集分辨率×。 . 。 .定位目标:乒乓小球,直径 。 万方数据第期 汤勇,等:高精度光学头部位置定位系统 离与拟合圆半径的差为?,则总的误差定义为 /??,一,拟合出的空间圆三维图和顶视 图如图。 一 一 委 一 图静态误差实验 一巯. 表 定位系统静态误差测试数据 .婶寺呻‘ ?妒睁 广 ? 瞻点?丁?塑而 矿 ?. . . . . . . . 矿暑 ??书合圆 . . . . . . 鼍 。 . . . . . . \ . . . . . . 一 毽 \. 一 ” ‖ 、嘻啼日 妒 .动态误差实验 ? ?? 矗 ? 将乒乓球固定于摄像机三角架转台上,用手 推动转台做缓慢圆周运动,连续测量并记录乒乓 图动态误差实验数据分布球空间位置,如图。 .实验过程中同时对本实验室 购置的电磁跟踪 器进行相同条件下的动态精度测试,按 同样方法将电磁跟踪器固定在转台上测试其动态 误差,测试过程中将电磁跟踪器放置于空旷且远 离金属环境中,尽量避免干扰,拟合出的空间圆如 图。 表中记录本文定位系统和电磁跟踪器动态 定位误差对比数据。 表位置误差对比 . 图动态误差实验. 在理想条件下乒乓球运动轨迹是空间内某个 平面中的一个圆。在。中对所有测量数 据进行拟合,得出一个圆方程,实验中以该拟合出 从上述个实验可以看出,本文定位系统平 的圆作为标准进行误差计算。设记录点数据点到 均定位误差低于 ,并且精度已经明显超过 拟合圆所在的平面的距离为?,该点到圆心的距 电磁跟踪器。在动态误差实验数据分布图中可以 万方数据 光学精密工程 第卷 数据分布更加平滑但在某些区域数据值存在明显 漂移,与正确值偏离较远导致误差较大,这可能与 一 其磁场特性有关。 一 一 从理论推导可知,姿态角误差与个标记点 书一 空间位置精度以及三标记点间相互距离有关,由 一 于缺乏合适硬件和手段,因此本文未对目标姿态 ? 角误差进行实验测试,后续研究过程中拟通过设 计电机控制系统带动标记选择固定角度后对姿态 角误差进行测试。 .“五 吨啦 ‖ 结 论 。? 廷 针对系统中头部位置定位需求,本文实 ?《 零 现了一种高精度的光学头部定位系统,在保证摄 二嚣薯铲 . 像机光轴正交条件下,采用简单迭代算法对目标 麦 进行定位,以多标记点位置为基础再计算目标姿 ~ ‰ ?‘ , ‖ 态。对比实验表明,该系统定位精度低于 、 错拶’ ‰ ?审 不仅明显超过电磁跟踪器精度,并且不受外界金 属环境干扰,可满足系统中头部位置跟踪要 求。实验也发现该定位系统的鲁棒性有待提高; 图 电磁跟踪器动态误差实验数据分布 另外在用区域增长算法检测标记点时易受外界光.照影响,在某些视角下标 记点成像面积过小也会 发现本文定位系统误差较小,数据点分布更加贴 导致检测失败。后续研究将考虑用红外灯 近拟合圆,但是数据存在一定的随机抖动,这主要 替代颜色标记点作为检测目标,以消除光照影响, 与目标图像位置检测的不稳定有关。电磁跟踪器 增大检测目标面积,增强系统鲁棒性。.“口 参考文献: 已口, 口咒 ?: 已到起, 户口一 咒,,:?. , , . 张业鹏,何涛,文昌俊,等.机器视觉在工业测量中 ? 的应用与研究.光学精密工程,,:? ,谊,口? . . 行 咒,.“ , ;丁竹? 已,挖。加 , , ,以口..? 了,,:?. ., .户 .化咒雄.,,: 、一 ?. .,踞户“ 口加?,, 韩延祥,张志胜,戴敏.基于特征点的单目视觉测量 :?. 方法.光学精密工程,,:一. 周仕娥,高伟清,李英杰,等.六自由度头部跟踪系, , . 统的误差修正.光电工程,,:?. , , ,以.. .户 .旭 .,,一 ? .户一 :?. 矿 行 理行已一竹,,:?., , ,甜 .. ? 一? . . 万方数据第期 汤 勇,等:高精度光学头部位置定位系统 行 ” “ 口一 行行口行口,、行/,?订 , , . , :?. 。 . ? , , ,“ 口硝 . 厂 ,,乜已 / 户,,:?. . 厂旃,以 已,口 ://...//? ,九肌 戊声。九 ,. 行 竹歹, /.. ,:?. 柴功博,顾宏斌,孙瑾.多颜色标记三维定位以及 罗斌,王涌天,刘越.高精度鲁棒的座舱头部姿态跟 标记点稳定性研究.武汉理工大学学报,, :?. 踪器研究.北京理工大学学报,,: ?. , , .?? , , . ? ‘,“,‘行口 . , “皿珂己已,百 , 竹 “ 丁,‘口门乜以 . ,已巧行 , 丁,行/,‘行&行已挖 行一.,,:?. 九,,:?. 。. 顾人舒,顾宏斌,汤勇.应用多个正交视角轮流逼 , 咒 口行 近维目标的坐标.中国图象图形学报,, . 竹口 行 行, :?. , :卜. 作者简介 汤 勇 一,男,湖南益阳人,博 张丛吉占一,男,山东济南人,博 士,讲师,年于南京航空航天大学 士,年于美国新泽西理工学院获 获博士学位,主要从事虚拟现实技术及 博士学位,主要从事图像处理,智能 视 其应用,计算机视觉技术等研究。 频技术的研究及其应用。?: :. . 顾宏斌一,男,江苏常州人,教 授,博士生导师,年于南京航空航 天大学获博士学位,主要从事飞行模拟 与仿真。计算机视觉等研究。?: 瞩 .. ? 万方数据