智能工程一种基于视觉跟踪的增强现实系统的构建与实现马志艳,陈幼平,袁楚明,周祖德(华中科技大学机械科学与工程学院,湖北武汉430074)Design and Implementation of a Vision -based Augmented Reality SystemMA Zh-i yan,C HEN You -ping,YUAN Chu -ming,ZHOU Zu -de(Scho ol of M echanical Science and Engineer ing ,H uazhong U niversity o f Science and T echno lo gy ,W uhan 430074,China)摘要:以一种典型的基于视觉跟踪增强现实系统为对象,从硬件平台构建以及软件实现方法来探讨该系统的实现方案,主要以硬件模块的性能和价格,软件实现的实时性和精度2个方面的平衡为指导原则,实现了增强现实的实验平台原型系统.关键词:增强现实;硬件平台;ART oolKit 中图分类号:T P391.9文献标识码:A文章编号:1001-2257(2007)06-0055-03收稿日期:2006-12-12基金项目:国家÷八六三"计划资助项目(2001AA423230);湖北省国际科技合作重点项目(2005CA002);湖北省自然科学基金(2003ABA002)Abstract:T he realization scheme o f a ty pical vision -based aug mented sy stem is discussed fr omthe v iew o f hardw ar e platform desig n and so ftw are implementation.Considering the balance betw een the perfo rmance and price of the hardw are and the balance betw een the rea-l time and precision of the softw ar e,this paper r ealized the augmented reality ex periment platfor m prototype sy stem.Fo r the similar resear ch,it has certain reference signif-i cance.Key words:aug mented reality ;hardware plat -form ;ARToo lKit0 引言增强现实(AR)技术[1]不仅具有与虚拟现实技术相类似的应用领域,而且更显著的突出其对于真实环境的增强优势,在医疗研究、解剖训练、车间布局、装配与维护、军事训练、工程协同设计和机器人等领域具有比虚拟现实更加明显的优势.在进行增强现实研究过程中,如何搭建一个系统平台,是首先需要完成的工作.1 硬件平台的搭建目前,AR 系统大部分关键硬件都是在VR 硬件设备基础上研制而成的,有的设备既可以用于AR,也可以用于VR,如数据手套,跟踪系统等.另一些VR 设备则需要经过改装,才能应用于AR,如视频式头盔显示器(H M D).在VR 中,H MD 完全隔断了用户与真实环境之间的联系,强调的是÷沉浸感";而在AR 中,用户需要实时接收到真实的环境信息,所以需要在H M D 上加装2个摄像头来采集实景图像.为了达到比较好的实验效果,需要综合考虑各硬件设备的性能参数,使其能较好匹配,并预留扩展功能.基于此,增强现实硬件平台组成可分为如下几部分:a.计算机系统是实验的核心硬件组成部分,主要完成的工作有视频图像数据的输入、处理与识别,根据图像信息获取相机跟踪参数,绘制虚拟场景,完成虚实场景的合成,并将合成信息输出到显示系统.从实时性和注册精度角度来看,系统对计算机的CPU 、内存和显卡的要求较高.目前,由于计算机制造技术的飞速发展,高配置的PC 机基本就能完成上述工作.b.视频输入系统在增强现实系统中需要具备快速的单通道(单目系统)或双通道(双目立体视觉)视频图像采集,支持自动变焦功能,同时要有较高的分辨率、帧率和信噪比,以保证采集图像的实时性和清晰度.在本实验系统中,由于软件部分是基于AR -To olKit 开发的系统,所以暂时采用单摄像头输入.#55#1机械与电子22007(6)我们选用了台湾敏通公司型号为MT V-53X10H的彩色单板CCD摄像机[2].采集的视频数据经图像采集卡输入到计算机.为后续实验对硬件的进一步要求,选用了北京大恒公司的DH-Q P300图像采集卡[3].c.跟踪系统在增强现实中占有非常重要的地位,它直接影响虚拟对象的定位精度.采用硬件跟踪方式的优点是跟踪实时,不足之处就是测量精度可能不足、或者体积庞大、价格昂贵,容易受到干扰等.为克服这些问题,一些研究人员提出采用混合跟踪系统,采用不同的跟踪设备、取长补短,共同完成增强现实系统的注册任务.另一种实现方式是基于视觉的跟踪方法.该方法不需要额外的硬件设备,跟踪精度高,能够最小化系统注册误差,但也有一些缺点,如实时性不及硬件跟踪设备,图像处理与识别工作量大、受环境光照影响较大,近年来,随着计算机视觉学科的飞速发展,克服这些问题逐渐成为可能.基于此,我们采用了基于视觉的跟踪方法来完成系统注册工作.d.在增强现实显示技术方面,采用美国5DT公司的H M D800-26型头盔显示器[4].使用视频透视式头盔显示器有如下优点:由于真实场景的分辨率降低到了摄像机或显示系统所能提供的水平,可以适当降低对于注册精度的要求;系统呈现给用户的场景不论是真实的还是虚拟的,都是完全受系统控制的,所以图像虚实结合较好,有更强烈的沉浸感;方便用户利用数字图像处理的方式从图像中获取对摄像机的跟踪信息,而不需要另外的跟踪设备.e.在人机交互方面,采用美国5DT公司的5DT Glo ve5Ultra型数据手套[5],5触点数据手套主要是测量手指的弯曲(每个手指1个测量点),手套本身不含磁部分,其通信是靠光纤与控制盒相连,再通过串口输入到计算机.该资料手套虽然传感器较少,但基本可以满足实验要求,相比较美国Immersio n 公司的CyberGlov e型数据手套,价格仅为其1/20,是比较经济实用的一种选择.将上述各组成模块集成起来构成增强现实系统,通过内置式图像采集卡,将摄像头获得的模拟视频信号输入到计算机.数据手套通过它的控制器使用串行通讯方式与计算机相连.合成的视频图像由计算机输出到用户佩戴的头盔显示器[6].最后,完成的增强现实硬件集成平台如图1所示.图1增强现实系统硬件平台原理2基于ART oolKit的增强现实系统系统软件采用基于ART oolKit开发包来实现, ARToo lKit是基于视觉跟踪注册的AR工具包,其跟踪注册流程如图2所示[7].在真实环境中,预先图2基于AR T oo IKit的增强现实系统软件流程在实场景关键位置处放置好一些ART oolKit附带的矩形标识,这些标识是视觉跟踪定位的基准.摄像头采集到含有这些标识物的真实场景并输入计算机后,经过对图像进行处理,系统就会在图像中寻找标识.通过数学计算,得出摄像头相对于标识的位置和方向,并通过计算机绘制虚拟对象.然后,将标识和预存标识库中的模板信息匹配,获得该标识的ID,通过包含相机方位的变换将虚拟对象和该ID的标识对齐.最后,根据计算得出的摄像头的位置和方向,就可以得出虚拟相机的姿态和方向.由于虚拟相机坐标系和真实摄像机的坐标系相同,所以只要将三维虚拟模型在实场景输入图像中选择适当的位置,渲染后输出,就能够使得虚拟信息和真实世界进行融合,达到了增强现实的目的.ARToo lKit分别提供了基于微软的Vision SDK和Dir ectX中的Dir ectShow模块的2种视频采集方案.这2种采集方法都是在Window s环境下运行的.由于Vision SDK是基于共享内存技术来假定整幅图像都存在于内存中,所以不能支持特大数据量的图片,同时由于占用了很大一部分内存,对系统的实时性有很大影响.#56#1机械与电子22007(6)DirectSho w 是微软Window s 平台上的流式媒体体系结构,与其它Dir ectX 技术集成于一体,能自动感觉及使用视频和音频硬件加速,同时也支持没有硬件加速的系统.由于COM 的二进制特性,使得基于COM 技术基础之上的DirectShow 能够有很高的运行效率,能够很好地保证增强现实系统的实时性要求.另外,COM 的可扩展性使得用Direct -Show 采集图像的增强现实系统在以后的开发中有更好的可扩展性,能够向网络功能等其它方面扩展.基于上述缘由,实验中采集图像选用的是Direct -Show 编程方法来实现.使用DirectShow 方式进行编程实现增强现实系统时,可将所有主程序与视频硬件之间的操作封装到类ARFrameGrabber 中.在其中提供对视频硬件的检测、连接与初始化,视频图像的抓取、控制和信息获取等接口.使用ARTo olKit 编程实现AR 系统,主要工作如图3所示.图3 软件实现流程a.初始化.调用Init 函数来完成2件事,一是装载标识库范本,并初始化视频相机参数;二是调用ARFrameGrabber J Init()函数构造COM 接口直接,初始化视频设备.b.获取视频图像.调用ARFrameGrabber J Gr abFr am e()获取视频图像数据.c.标识检测.直接调用ART oolKit 中的接口函数arDetectM arker()检测标识,并回馈出相机相对标识的位置和方向.d.矩阵变换.根据得到的相机方位参数,来调用ART oolKit 中的arGetT ransM at ()等接口函数,以得到变换矩阵.e.绘制虚拟对象.在基于M FC 的SDI 应用程序的视类中添加绘制虚拟场景的函数Draw Scene (),并在OnDraw ()中调用.将绘制的虚拟场景按照计算得到的变换矩阵添加到真实视频图像中,并与标识对齐.f.关闭视频.调用Cleanup()函数关闭视频.按照上面所述搭建起来的硬件平台和软件编程方法,可以进行简单的AR 实验,如图4所示,在实验环境中人为地放置ART oolKit 附带的角形标识,经视频采集系统输入到计算机系统后,按照上面的图4 视频实景以及A R 系统运行效果软件流程来进行标识检测,若识别成功,则根据此标识计算出来的位置信息,将用户绘制的虚拟场景经过相应的位置变换后显示在标识位置.3 结束语在搭建硬件平台时,性能和价格是一对矛盾,有的性能稍有提升,价格就成倍上扬,主要是因为这一领域相关设备都是处于试研制阶段,在满足实验条件的情况下,性价比是考虑的首选因素.在软件编程方面,采集得来的视频图像的处理速度和精度也是一对矛盾,对图像处理的实时性和定位精度都是实验的指标参数,偏颇一方,容易造成输出合成视频图像的不连续或者虚拟场景闪烁不定.在进行AR 实验时,如何平衡这2个矛盾,是工作的关键.参考文献:[1] Azuma R T .A survey o f aug mented reality [J].Pres -ence:T eleper atio ns and V irt ual Env iro nments,1997,6(4):355-385.[2] 台湾敏通公司M T V -53X10H 的彩色单板CCD 摄像机[EB/O L]./pr oduct/cam -era/htm/htm/M T V -53X10H.htm,2006-08-24.[3] 北京大恒公司DH -Q P300图像采集卡[EB/O L ].ht -tp://w ww.daheng -imag e.co m/prd_car d_qp300.htm,2006-08-24.[4] 美国5DT 公司H M D 800-26型头盔显示器[EB/O L ].http://w w w.wildcat.co /shujushoutao/5DT-H M D800series.htm,2006-08-24.[5] 美国5DT 公司5DT G lo ve 5U lt ra 型数据手套[EB/OL ].htt p://ww w.wildcat.co /shujushoutao/5DT -g lo ve5-M ri.htm,2006-08-24.[6] 陈 靖.视频增强现实系统及其核心技术的研究[D ].北京:北京理工大学,2002.[7] Hiroshima Kat o,et al.A RT oo lK it manual[M ].V er sion2.70.H uman Int erface T echnolo gy L abor ator y,U n-i v ersity of Washing ton,2000.作者简介:马志艳 (1976-),男,湖北武汉人,博士研究生,研究方向为增强现实、虚拟仿真.#57#1机械与电子22007(6)。