第３２卷第３期　２０１１年３月　哈尔滨工　Ｊｏｕｒｎａｌ　ｏｆ　Ｈａｒｂｉｎ　程大学学报　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　Ｖ０１．３２　Ｎｏ．３　Ｍａｒ．２０１１　ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００６—７０４３．２０１１．０３．０１２　基于单目视觉的非结构化道路检测与跟踪　王燕清　，陈德运　，石朝侠　（１．哈尔滨理工大学计算机科学与技术学院，黑龙江哈尔滨１５００８０；２．南京理工大学计算机科学与技术学院，江苏　南京２１００９４）　摘要：针对智能车辆视觉导航中的车道保持问题，采用单目视觉技术检测非结构化道路上的车道线和道路边界，解决　不同路况下道路检测的鲁棒性与实时性问题．首先用一种自适应阈值分割Ｏｔｓｕ方法把道路分为道路区域和非道路区　域；然后利用Ｏｔｓｕ算法处理后的图像对Ｃａｎｎｙ边缘进行滤波，在消除复杂背景边缘的同时保留可能的弱的道路边界；最　后，用直线长度、平均梯度幅值、直线距离和直线角度四元组联合表示霍夫直线，采用蒙特卡罗方法对属于道路边界的霍　夫直线的后验置信度进行评价，根据最大权值提取出最优道路边界线．不同场景下的非结构化道路识别实验表明：该算　法能够有效克服道路缺损、光影、照度变化、水渍等不利因素的影响，平均处理时间为４５　ｍｓ左右．　关键词：道路检测；蒙特卡罗方法；阈值分割；边缘检测；智能车辆　中图分类号：ＴＰ２４２．６文献标识码：Ａ文章编号：１００６—７０４３（２０１１）０３－０３３４－０６　Ｕｎｓｔｒｕｃｔｕｒｅｄ　ｒｏａｄ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｔｒａｃｋｉｎｇ　ｂａｓｅｄ　ｏｎ　ｍｏｎｏｃｕｌａｒ　ｖｉｓｉｏｎ　ＷＡＮＧ　Ｙａｎｑｉｎｇ　，ＣＨＥＮ　Ｄｅｙｕｎ　，ＳＨＩ　Ｃｈａｏｘｉａ　（１．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ　１５００８０，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｎａ　ｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ　２　１００９４，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｏ　ｐｒｅｖｅｎｔ　ａｎ　ｉｎｔｅｌｌｉｇｅｎｔ　ｖｅｈｉｃｌｅ　ｆｒｏｍ　ｄｅｐａｒｔｉｎｇ　ｆｒｏｍ　ｉｔｓ　ｌａｎｅ　ｉｎ　ｖｉｓｉｏｎ—ｂａｓｅｄ　ｎａｖｉｇａｔｉｏｎ，ａ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　ｍｏｎｏｃｕｌａｒ　ｖｉｓｉｏｎ　ｗａｓ　ｐｒｏｐｏｓｅｄ　ｔｏ　ｄｅｔｅｃｔ　ａ　ｒｏａｄ　ｂｏｕｎｄａｒｙ．Ｆｉｒｓｔ，ｔｈｅ　ｏｒｉｇｉｎａｌ　ｉｍａｇｅ　ｗａｓ　ｓｅｇｍｅｎｔｅｄ　ｉｎｔｏ　ｔｈｅ　ｒｏａｄ　ａｎｄ　ｎｏｎ—ｒｏａｄ　ｒｅｇｉｏｎｓ　ｂｙ　ｕｓｉｎｇ　ｔｈｅ　Ｏｔｓｕ　ａｄａｐｔｉｖｅ　ｔｈｒｅｓｈｏｌｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ．Ｓｕｂｓｅｑｕｅｎｔｌｙ，ｔｈｅ　Ｃａｎｎｙ　ｅｄｇｅｓ　ｗｅｒｅ　ｆｉｌｔｅｒｅｄ　ＳＯ　ｔｈａｔ　ｃｅｒｔａｉｎ　ｃｏｍｐｌｉｃａｔｅｄ　ｅｄｇｅｓ　ｉｎ　ｔｈｅ　ｉｍａｇｅ　ｃｏｕｌｄ　ｂｅ　ｅｌｉｍｉｎａｔｅｄ　ａｎｄ　ｃｅｒｔａｉｎ　ｗｅａｋ　ｒｏａｄ　ｂｏｕｎｄａｒｉｅｓ　ｃｏｕｌｄ　ｂｅ　ｐｒｅｓｅｒｖｅｄ　ｓｉｍｕｌｔａｎｅｏｕｓｌｙ．Ｆｉｎａｌｌｙ，ｔｈｅ　Ｈｏｕｇｈ　ｌｉｎｅｓ　ｄｅｔｅｃｔｅｄ　ａｎｄ　ｔｒａｃｋｅｄ　ｂｙ　ｔｈｅ　Ｍｏｎｔｅ　Ｃａｒｌｏ　ｍｅｔｈｏｄ　ｗｅｒｅ　ｒｅｐｒｅｓｅｎｔｅｄ　ｂｙ　ｔｈｅ　ｌｅｎｇｔｈ，ａｖｅｒａｇｅ　ｇｒａｄｉｅｎｔ　ａｍｐｌｉｔｕｄｅ，ｄｉｓｔａｎｃｅ，ａｎｄ　ｏｒｉｅｎｔａｔｉｏｎ　ｏｆ　ｔｈｅ　ｌｉｎｅ．Ａｌｓｏ，ｔｈｅ　ａｄｏｐｔｅｄ　Ｍｏｎｔｅ　Ｃａｒｌｏ　ｍｅｔｈｏｄ　ｗｏｕｌｄ　ｂｅ　ａｂｌｅ　ｔｏ　ｅｖａｌｕａｔｅ　ｗｈｅｔｈｅｒ　ｏｒ　ｎｏｔ　ｔｈｅ　Ｈｏｕｇｈ　ｌｉｎｅｓ　ｂｅｌｏｎｇ　ｔｏ　ｃｅｒｔａｉｎ　ｒｏａｄ　ｂｏｕｎｄａｒｉｅｓ　ａｎｄ　ｔｈｅｒｅｆｏｒｅ　ｒｅｇａｒｄ　ｔｈｅ　Ｈｏｕｇｈ　ｌｉｎｅ　ｈａｖｉｎｇ　ｔｈｅ　ｍａｘｉｍｕｍ　ｗｅｉｇｈｔ　ａｓ　ｔｈｅ　ｏｐｔｉｍｕｍ　ｒｏａｄ　ｂｏｕｎｄａｒｙ．Ｅｘｐｅｒｉｍｅｎｔｓ　ｉｎｄｉｃａｔｅ　ｔｈａｔ　ｔｈｅ　ｍｅｔｈｏｄ　ｃａｎ　ｎｏｔ　ｏｎｌｙ　ｏｖｅｒｃｏｍｅ　ｎｅｇａｔｉｖｅ　ｉｎｆｌｕｅｎｃｅｓ　ｆｒｏｍ　ｒｏａｄ　ｆｌａｗｓ，ｓｈａｄｏｗｓ，ｃｈａｎｇｅｓ　ｉｎ　ｉｌｌｕｍｉｎａｔｉｏｎ，ａｎｄ　ｗａｔｅｒ　ｓｔａｉｎｓ　ｗｈｉｌｅ　ｓｐｅｎｄｉｎｇ　ｏｎ　ａｖｅｒａｇｅ　ｏｎｌｙ　４５ｍｓ　ｐｒｏｃｅｓｓｉｎｇ　ｅａｃｈ　ｆｒａｍｅ，ｂｕｔ　ａｌｓｏ　ｍｅｅｔ　ｔｈｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ　ｏｆ　ｒｏｂｕｓｔ—　ｎｅｓｓ，ｒｅａｌ—ｔｉｍｅ，ａｎｄ　ａｃｃｕｒａｃｙ．　Ｋｅｙｗｏｒｄｓ：ｒｏａｄ　ｄｅｔｅｃｔｉｏｎ；Ｍｏｎｔｅ　Ｃａｒｌｏ　ｍｅｔｈｏｄ；ｔｈｒｅｓｈｏｌｄ　ｓｅｇｍｅｎｔａｔｉｏｎ；ｅｄｇｅ　ｄｅｔｅｃｔｉｏｎ；ｉｎｔｅｌｌｉｇｅｎｔ　ｖｅｈｉｃｌｅ　通常智能车辆系统由道路感知、道路规划、车辆　控制等功能模块组成．道路感知的方法多种多样，包　收稿日期：２００９－１２—１７．　基金项目：黑龙江省教育厅科学技术研究资助项目（１１５４１０４０；　ｌ１５４１０５０）；哈尔滨市青年科技创新人才基金资助项目　（２００８ＲＦＱＸＧ０６７）．　作者简介：王燕清（１９７７－），女，讲师，博士研究生，Ｅ—ｍａｉｌ：ｗｙｑ０３２５＠　１２６．ｃｏｒｎ；　陈德运（１９６２一），男，教授，博士生导师．　通信作者：王燕清．　括在道路中嵌入磁极、雷达、红外、激光、超声波、多　传感器信息融合以及视觉等方法．传统的方法存在　较大的缺陷，如：道路中嵌入磁极需要升级道路结　构，这在短期内并不能实现；雷达虽然可以检测路　面，但存在路面反射率不一样的问题，且这些方法不　能利用道路路标的显著特征；基于多传感器信息融　

合的方法能够适用于各种复杂的未知环境，不需要　第３期　王燕清，等：非结构化道路的边界检测和跟踪　具备环境的先验知识，然而造价较高，不适于在普通　车辆上的普及．因此，基于视觉的道路检测技术提供　了廉价的解决方案，成为ＩＴＳ的研究热点之一．　尽管基于视觉的非结构化道路检测方法取得了　突破性的进展，然而仍然存在实时性、鲁棒性、准确　性等问题．为了解决上述难题，各国学者从不同的角　度对道路视觉检测问题进行了研究，主要方法有：基　于道路特征的方法　，基于道路模型的方法　。　，　基于神经网络的方法　Ｊ．　本文提出了一种基于视觉的非结构化道路检测　方法．该方法将自适应道路区域分割与边缘检测方　法结合，将智能车辆的运动学模型考虑在内，提出一　种新型的自适应蒙特卡罗方法对道路的边界进行　跟踪．　１　基于二维Ｏｔｓｕ法的区域分割　与结构化道路具有明显的分道线标志、清晰的　道路边界以及均匀的特征分布的特点不同，非结构　化道路具有形状不规则、没有分道线标志、路面容易　存在破损和裂痕、颜色或纹理特征不均匀以及光影、　水渍的影响严重等问题．　１．１一维Ｏｔｓｕ法　Ｏｔｓｕ法是一种经典的动态阈值方法，它的基本　思想是利用图像的灰度直方图，以目标和背景的方　差最大动态地确定图像的分割阈值．以往的研究将　一维Ｏｔｓｕ法引入非结构化道路的视觉检测，该方法　在道路检测实验中体现出良好的性能，能够有效抑　制路面缺损、灰度不均对检测结果影响．但是Ｏｔｓｕ　法是基于一维直方图的分割方法，它只考虑了图像　的灰度信息而没有考虑像素的空间位置信息，当图　像直方图没有明显的双峰或者图像信噪比较低时，　其分割效果并不理想　Ｊ．　智能车辆在道路上运动时，一个合理的假设是　可以从图像的特定位置获取路面参考区域，用Ｏｔｓｕ　法对图像进行多次划分，然后借助于路面参考区域　的信息合并属于路面的区域，从而提高道路区域划　分的精度．　当采用Ｏｔｓｕ法进行彩色图像分割时，不同的颜　色通道也会获得不同的分割效果．使用一种自适应　通道选择方法：根据路面参考区域的信息确定道路　上占统治地位的颜色分量，并以该分量为准进行图　像分割．颜色通道选择原理：　Ｃ＝ａＬｇｍａｘ（Ｒ，Ｇ，　）．　（１）　ｊ儿，Ｇ．Ｂ『　式中：Ｃ表示颜色通道，尺代表在参考区域里占统治　地位的红色通道的数量．利用式（１）确定的颜色通　道进行Ｏｔｓｕ划分能够获得更佳的分割结果．　１．２二维Ｏｔｓｕ法　Ｏｔｓｕ是利用图像中的灰度直方图，以目标与背　景之间的方差最大而动态确定图像分割门限值，是　经典的非参数、无监督阈值选取方法．与一维Ｏｔｓｕ　法相比，二维Ｏｔｓｕ法同时考虑了图像的灰度信息和　像素间的空间邻域信息　］，具有更高的抗噪性能，　具体步骤如下：　１）对灰度级为　的Ｍ×Ｎ图像厂及其邻域平滑　图像ｇ求取二维灰度直方图ｈ　ｈ　ｚｉ代表原图像灰度　为ｉ而平滑图像的灰度为　的像素点的个数．则　Ｐ　＝　／２×Ｍ×Ｎ为　和　的联合概率．　２）假设阈值对（Ｓ，ｔ）分别为原始图像和平滑图　像的分割阈值，显然由于目标和背景的特征自相似　性，位于图１对角线上的Ｉ区和ＩＩＩ区（分别假设为　背景与目标）．则　ｔ　Ｌ—ｌ　Ｌ一１　Ｗ。＝∑∑Ｐｉ　，　＝∑∑Ｐｉ　ｔ＝Ｏ　＝０　ｌＪ　ｔ＋１　分别代表背景与目标的概率．　ｓ　￡　ｓ　￡　Ｈ。：（“　，“。　）　：（∑∑ｉＰ　√／ｗ。，∑∑　Ｊ／ｗ。）　，　Ｌ＝Ｏ　Ｊ：Ｏ　Ｉ＝ｕ　Ｊ：Ｏ　Ｈ　＝（ｕ　ｕ　）　＝（∑∑ｉＰ　√／ｗ。，∑∑　Ｊ／ｗ。）　＝Ｏ　Ｊ＝Ｏ　￡＝Ｕ　Ｊ＝Ｏ　分别代表背景和目标的灰度均值．　Ｌ一１　Ｌ一１　￡一１　Ｌ一１　ｒ＝（“　，“巧）　＝（∑∑　Ｐ　，∑∑　Ｊ）　ｉ＝Ｏ　＝０　０』＝Ｕ　代表整体图像的灰度均值．　３）将满足类间方差最大的阈值对（ｓ，ｔ）确定为　分割阈值：　ａｒｇｍａｘＳ口（ｓ，ｔ）＝Ｗｏ（Ｕｏ—Ｕ，）‘（Ｕｏ一　ｒ）＋　Ｗｌ（Ｕｌ—Ｕ　）　（Ｕ１一Ｕｒ）．　（２）　由于智能车辆所在的环境中，可能存在与道路　同质的物体存在（比如水泥道路和水泥墙壁）．使用　Ｏｔｓｕ方法不可避免会产生错误的划分，所以必须利　用道路的边界进行约束．

　哈尔滨工程大学学报　第３２卷　Ⅳ　Ⅲ　Ｉ　Ⅱ　０　图１　Ｉ和Ⅲ代表背景和目标　Ｆｉｇ．１　Ｉ　ａｎｄ　ｉｌｌ　ｒｅｐｒｅｓｅｎｔ　ｂａｃｋｇｒｏｕｎｄ　ａｎｄ　ｏｂｊｅｃｔ　２边缘检测与滤波　２．１　Ｃａｎｎｙ边缘检测　尽管非结构化道路没有规则的形状，边界的形　状也变化很大，在智能车辆附近的道路边界仍可以　用直线或曲线粗略近似．其中Ｃａｎｎｙ算子『１。。是一个　具有滤波、增强和检测的多阶段的优化算子，提取的　边缘较完整，位置较准确，能够检测出图像较细的边　缘部分．因此拟采用Ｃａｎｎｙ算子实现边缘提取的　功能．　原图像首先与高斯核　Ｇ（ｘ，ｙ，ｏ－、＝２，ｒｒ　ｏ．￣－－Ｙｅ一　卷积，获得高斯模糊图像Ｌ（在实验中采用了９　Ｘ９　模板）．在过滤噪声的同时保留环境的有用信息．用　一阶偏导的有限差分来计算梯度的幅值和方向，对　梯度幅值进行非极大值抑制，用双阈值算法检测和　连接边缘．为了详尽描述Ｃａｎｎｙ边缘的特征，将识别　为边缘像素的梯度幅值记录并向下～环节传递，当　采用霍夫变换检测候选道路边界时，用直线的长　度、角度、距离和幅值强度来联合表征附近的道路　边界．　２．２　Ｏｔｓｕ边缘滤波　在Ｃａｎｎｙ边缘的双阈值选取阶段，通常会面临　如下的抉择：减小梯度幅值的阈值会增加边缘检出　的数量，使部分属于道路边界的弱边缘能够保留，但　是会带来较高的计算成本；增加梯度幅值的阈值无　疑会有效减少计算量，提高系统的实时性，但可能会　导致属于道路边界的弱边缘消失．为了解决这一问　题，利用Ｏｔｓｕ法分割的道路区域和非道路区域，然　后用Ｃａｎｎｙ边缘进行滤波，在消除复杂边缘干扰的　同时，保留道路边界附近的Ｃａｎｎｙ边缘．边缘滤波公　式为　Ｅ（　，Ｙ）＝Ｅ（　，Ｙ）・　ｒ一１　［　Ｒ（ｘ＋ｔ，Ｙ＋　）④　（　＋ｔ＋１，　＋　＋１）＋　ｔ＝　ｒ～１　Ｒ（　＋ｔ，Ｙ一　）ｏ　Ｒ（　＋ｔ＋ｌ，Ｙ—ｔ—１）］．　ｔ：一　（３）　式中：　（　，Ｙ）为边缘图像，在（　，Ｙ）取１时为边缘像　素，取０时为非边缘像素；　（　，Ｙ）为Ｏｔｓｕ图像，取１　时为目标，取０时为背景；“①”为异或操作符号．式　（３）对半径为ｒ区域内对角线上的像素进行计算，当　出现异于其他像素点的取值时该边缘点将得以保　留．　经过Ｏｔｓｕ边缘滤波之后，位于目标和背景内部　的部分边缘将会被消除，而位于目标和背景交界处　的边缘将保留．这样～方面可以通过减小梯度幅值　阈值增加可检测边缘的数量，另一方面利用边缘滤　波减小霍夫变换的计算量．尽管非结构化道路的边　界形状不规则，在大部分情况下，近处的道路边界仍　可以用直线近似，因此采用霍夫变换ｎ　方法检测可　能的道路边界．本文采用道路区域分割＋边缘检　测＋霍夫变换作为道路检测的预处理模式，在检测　出一条霍夫线之后，计算该霍夫线的有效线段的长　度，同时计算有效线段的平均幅值阈值．这样，图像　中的一条直线可以表示为一个四元组：　（ｄ，口，Ｐ，０）．　式中，ｄ为线段的有效长度，口为有效线段的平均梯　度幅值，Ｐ为车辆中心到直线的距离，０为直线与　轴正方向所成的夹角．　３　蒙特卡罗道路边界检测方法　道路边界检测的任务是从纷杂的霍夫直线中选　出可能性最大的道路边界．为此，一方面采用长度、　梯度幅值、距离以及角度等观测信息，另一方面通过　对不同帧问的直线进行关联，以获得更加准确的道　路边界，即采用蒙特卡罗算法提取出最佳道路边界　线．　智能车辆的运动模型如下：