基于视频的车辆检测技术综述学院:信息科学与工程学院专业:测控技术与仪器0902班学号:090401065姓名:孙娟摘要基于视频的车辆检测器近年来在智能交通系统(ITS)中得到了越来越广泛的应用。
本文分别讨论了常用基于视频的车辆检测算法,同时分析比较了各种方法的优缺点。
车辆跟踪的基本类型。
最后,说明了这一领域仍然存在的问题和对可能的研究方向进行了一定的预测。
关键字:视频;车辆检测;车辆跟踪引言城市智能交通已逐步得到社会各界的广泛关注,如何通过智能交通系统建设来缓解日益严重的交通问题已成为交通领域的研究热点。
车流量检测系统是智能交通(ITS)的基础部分,在城市道路建设、国道高速公路建设、隧道桥梁建设以及交通流的基础理论研究中占有很重要的地位。
近年来,逐渐发展起来了以空气管道检测技术、磁感应检测技术、波频检测技术和视频检测技术等[1~2]为代表的多种交通检测技术[3]。
常用的基于视频图像的车辆检测算法有:光流检测法、背景差法、相邻帧差法、边缘检测法[4]等。
智能交通系统(Intelligent Transport Systems,ITS)是将先进的信息技术、数据通信传输技术、电子传感技术、电子控制技术及计算机处理技术等运用于整个交通管理而建立的一种大范围、全方位发挥作用的,实时、准确、效的综合交通运输管理系统[5~6] 。
国际上一些发达国家[7~8] 从上世纪60年代起,就开始了有关智能交通系统的研究,美国是目前智能交通系统发展最为先进的国家。
2001年4月,美国召开了一次由智能交通系统行业260名专家参与的全国高层讨论会,并且制订了二十一世纪前10年智能交通系统的发展总体规划。
在此阶段,各国通过立法或其他形式,逐渐明确了发展ITS战略规划、发展目标、具体推进模式及投融资渠道等。
美、日等发达国家在推动ITS研发和试点应用的同时,从拓展产业经济视角,不断促进ITS产业形成,注重国际层面竞争,大规模应用研发成果。
如美国,参与ITS研发公司达600多家,其中半数以上为美国大型公司,包括航空和国防工业公司。
日本,在四省一厅联合推动ITS研发活动后,一直在加速ITS实际应用进程,积极推动如车辆信息通信系统、电子收费系统等应用。
车辆信息通信系统已进入国家范围内实施阶段并迅速扩展。
目前,我国智能交通技术已经渗透到了公路、铁路、水路和航空中,并都取得了一定的进展。
中国在智能交通方面也做了大量投入,截至目前为止,己经取得了一定的成果[9] 。
“十五”期间,科技部组织实施了国家科技攻关计划“智能交通系统关键技术开发和示范工程”,内容涉及了ITS领域中的智能控制、信息采集与融合、运输管理、短程通信等关键技术和系统集成技术,并且将对2008年北京奥运会、2010年上海世博会以及广州亚运会等起到非常积极的意义。
交通检测系统[10]是近年来计算机视觉领域中备受关注的前沿方向,也是智能交通系统的重要环节,负责采集有关道路交通流量的各种参数通过利用架设在道路上方的摄像机拍摄得到实时交通场景的视频序列图像,送到车辆检测模块、车辆识别模块和车辆跟踪模块,由检测、识别和跟踪的结果可以分析提取出交通流量参数,如车辆数量、类型、车流量、车流密度,平均车速以及交通事故检测等,这类实时道路交通信息及各种服务信息汇总到交通管理中心的交通监测模块,并经集中处理后,传送至公路交通系统的各个用户,使公众能够高效地使用公路交通设施,从而到达提高道路负载能力和行驶效率以及节约能源等目的。
下面将重点从处理方法入手回顾车辆检测与跟踪这两方面近年来国内外的发展现状。
1 车辆检测车辆检测的目的判断是否有车经过检测区,并建立一个与之对应的跟踪对象,主要提供车流量等信息。
减少车辆检测算法的计算量和提高实时性是一对矛盾,解决这对矛盾是提高系统检测准确度和稳定度的关键,然而实际中光照的变化、背景混乱运动的千扰、运动目标的影子、摄像机的抖动以及运动目标的自遮挡和互遮挡现象的存在,这些都会影响车辆检测和分割的精度,必须在算法中考虑这些因素的影响及其去除的方法。
2 基于视频的车辆检测算法基于视频的车辆检测算法可分为如下几类:光流法检测,帧差法,背景消减法,边缘检测法,运动矢量检测法。
下面按照上述分类分别加以介绍。
2.1 光流法检测光流的概念是Gibson于1950年提出的。
所谓光流是指图像中模式运动的速度,光流场是一种二维(2D)瞬时速度场,其中二维速度向量是可见的三维速度向量在成像平面上的投影。
光流法是把检测区域的图像变为速度的矢量场,每一个向量表示了景物中一个点在图像中位置的瞬时变化。
因此,光流场携带了有关物体运动和景物三维结构的丰富信息,通过对速度场(光流场)的分析可以判断在检测区域内车辆的有无。
2.2 帧差法帧差法是将前后两帧图像对应像素点的灰度值相减,如果灰度差值很小,可以认为该点无车经过;反之灰度变化很大,则认为有车经过。
帧差法的特点是实现简单、运算速度快,对于动态环境自适应性是很强的,对光线的变化不是十分的敏感。
采用这种方法时,需要考虑如何选择合适的时间间隔进行差分,这一般依赖于所监视的车辆的运动速度。
对快速运动的车辆,需要选择较小的时间差,如果时间间隔过大,最坏情况下车辆在前后两帧中没有重迭,造成被检测物体为两个分开的车辆;而对慢速运动的物体,应该选择较大的时间差,如果时间间隔过小,最坏情况下,车辆在前后两帧中几乎完全重迭,根本检测不到车辆。
Lipton等提出了取连续两帧对应象素点的差的绝对值,通过与阈值函数比较,确定是移动物体还是背景。
Lipton等进一步指出:利用连通区域准则克服检测到的运动实体内部产生的空洞,消除孤立的点,从而为进一步的模块匹配和目标分类打下基础。
Collins等[11]人研究了一种自适应背景减除与连续3帧差分相结合的混合算法,这种方法能够快速有效地从背景中检测出运动目标,比连续两帧差分的效果要好。
因为,由帧差得到的结果区域实际上是车辆前后两个位置的“或”区域,比车辆本身要大,文献[12]提出了一种使用模糊聚类的方法来合并检测到的“或”区域,并采用Kalman滤波器来预测运动车辆下一时刻可能处于的区域,缩小目标搜索的区域范围,从而达到快速跟踪车辆的目的。
帧差法是以背景固定不变为前提的,如果背景变动,这种方法就失效了。
针对这种情况,有人提出了将相邻两帧的邻域比较与帧差法相结合,先对由摄像机运动引起的背景移动进行补偿,然后再进行差分运算,克服了传统帧差法中背景去除不干净的现象。
文献[13]提出了基于图像对称差分运算的运动目标检测,以连续3帧序列图像为一组处理对象,先进行绝对差运算,再作均值滤波及最大熵的自动门限分割得到二值图像,从而使得运动缓慢目标的二值分割象素区域扩大,保证了算法能很好地检测出复杂背景中的低信噪比、小运动目标。
2.3 背景消减法背景消减法是目前基于视频检测算法中最常用的一种方法。
背景消减法可以看作一种特殊的帧差法。
它是一种利用当前帧图像与背景图像对应象素点的灰度差值来检测车辆的技术:如果当前图像的象素点和背景图像的象素点灰度值差别很大,就认为此象素点有车通过;相反,如果当前图像的象素点和背景图像的象素点灰度值差别较小,在一定的阈值范围内,我们就认为此象素点为背景象素点。
背景消减法的关键是背景提取与背景更新。
然而它对于动态场景的变化,例如光照的变化和阴影的干扰等特别敏感。
因此,选取一个可靠的背景模型进行背景的提取与动态更新以适应环境的变化是必要的。
背景消减法根据其背景模型的不同又可分为:直方图法、平均值法、单分布高斯背景模型、混合高斯分布背景模型、Kalman滤波器法,HMM模型法。
2.4 边缘检测法边缘检测方法是在不同的光线条件下利用车体的不同部件、颜色等提供的边缘信息有效的提取车辆的边缘,从而进行静止和运动车辆的检测。
相对于背景消减法,由于车辆的表面、形状及颜色不同,边缘检测法所能提供的信息相当显著。
即便车辆与路面的颜色相同,因为车辆要比地面反射更多的光线所以车辆仍能被检测出来。
运动车辆的边缘可通过计算图像在空间和时间上的灰度的变化率和变化方向获取。
空间上的边缘检测算法可用基于方向导数求卷积的边缘检测算子比如Sobel、Roberts、Robinson、Krisch、Prewitt、高斯拉氏算子(LOG)等进行边缘提取,这些算子在算法复杂度以及效果上有很大的差别,应根据实际情况选用适合的算子;而时间上的边缘检测算法是通过计算连续帧之间对应象素点的差获得。
但是上述边缘检测算子本质上是高通滤波器,它们在增强边缘的同时也同样扩大了引起边缘劣化的高频噪声。
为了克服高频噪声的影响,在传统的边缘检测算法的基础上,先对图像进行平滑滤波减弱噪声影响,再进行边缘提取。
Marr 和Hildreth提出了先用高斯函数对图像进行平滑滤波,然后采用Laplace算子进行边缘增强的方法,其边缘检测效果有了很大提高。
基于滤波的图像边缘提取方法由于抗噪能力和准确率都有较大提高,已成为边缘检测的重要发展方向。
但是若对图像进行平滑滤波,在抑制高频噪声的同时还会减弱边缘。
文献[14]提出了基于小波变换的多尺度边缘提取方法。
文献将边缘检测的核指标(误检率和定位精度)分别用小波尺度因子表示,经分析发现:大尺度的滤波器抑制噪声(误检率降低);而用小尺度滤波器准确定位边缘(定位精度提高)并提取边缘。
边缘检测法对环境光线变化的鲁棒性高于背景消减法。
但是对于车辆边缘不明显和道路边缘明显的情况,一般的边缘检测法可能造成漏检、误检。
针对道路背景的影响,有人提出了分别提取背景边缘图像和当前帧边缘图像,然后用包容性检测来去除背景边缘,得到对应的车辆边缘信息。
该方法先对路况边缘图像进行削顶处理,使得路况边缘图像中的车辆边缘和背景边缘有同样的峰值,然后选用连续的n幅图像进行叠加,最后进行简单的阈值判断就可以去除路况边缘图像中的车辆信息,从而得到加宽的背景边缘图像。
又由于实时路况边缘图像中的背景边缘是得到的背景边缘图像的一部分,所以采用包容性检测来去除背景边缘。
如果实时路况边缘图像中某点在背景边缘图像中对应点为边缘点,则认为该点是背景边缘而去除。
这样,结果图像只会保留车辆的框架,提高了车辆检测的正确性。
除了基于梯度算子的传统边缘检测算法外,近年来,基于形态学的边缘检测算法日益受到重视。
由于梯度算子对噪声敏感并不能检测较细的边界,而基于形态学的边缘检测算子对此有更好的处理效果。
通常的形态学边缘检测算子包括blur.min,top.hat,和开-闭算子。
在此基础上,Fathy和Siyal 发展了一个新的边缘检测算子:可分离形态学边缘检测器(SMED),SMED在关键区域内应用可分离中值滤波器去除噪声同时用简单易实现的形态学算子检测边缘,降低了计算的复杂度,获得了较好的检测效果。