上海大学2014～2015学年秋季学期研究生课程考试课程名称：模式识别技术及其应用课程编号：09Z117009论文题目：基于CMOS摄像头的智能车路径识别方法研究生姓名：徐威学号： 14721532论文评语：成绩：任课教师：评阅日期：基于CMOS摄像头的智能车路径识别方法徐威（上海大学机电工程与自动化学院，上海200072）摘要：介绍了一种基于摄像头图像的智能车寻迹方法。
以MC9S12XS128为核心控制器，利用CMOS图像传感器作为路径信息采集装置，通过对采集图像进行二值化处理、去噪操作、边缘检测和断点修补后提取出路径中心信息。
利用最小二乘法对路径中心信息进行直线拟合，根据拟合直线的参数计算舵机控制量。
对舵机采用PD控制算法，根据舵机转向角设定小车的速度，并对小车实行转角和速度的实时控制。
实验结果证明，该智能车系统能够沿着赛道快速稳定地自动行驶，实现了路径识别与跟踪。
关键字：智能小车；MC9S12XS128；图像；CMOS摄像头；寻迹；路径跟踪Smart Car Path Identification Method Based on CMOS CameraXUWei（School of electrical and mechanical engineering and automation, Shanghai University, Shanghai 200072,China）Abstract: A method of smart car tracing based on camera image is introduced. MC9S12XS128 as a core controller, and CMOS camera as an acquisition device for route information. The route information is extracted by binarization, denoising, edge detection and breakpoint interpolation on the image collected. The system uses the minimum square fitting method to fit a straight line with the tracking information and calculate the value of direction control according to the parameters of the fitted line.The PD algorithm is adopted for the steering control. The velocity of intelligent vehicle is set on the basis of steering angle. The real-time control of angle and speed is implemented on the smart vehicle.Experiment results shows that the smart car system is able to automatically run fast and stably along the black track. And the path recognization and tracking is achieved.Key word: smart car; MC9S12XS128; image; COMS camera; tracing; route tracing1. 智能小车的总体结构智能车系统是以迅猛发展的汽车电子为背景，集中的运用到自动控制、模式识别、传感器技术、汽车电子、电气、计算机、机械等多个学科，是典型的高新技术综合体，具有重要的军用及民用价值。
本文主要介绍智能小车识别路径的方法，该设计的系统主要由HCS12控制核心模块、电源模块、直流电机驱动模块、图像采集模块、舵机驱动模块、速度采集模块和调试接口模块组成，其结构框图如图1所示：MCU（MC9S12XS128）图像采集模块调试接口电源管理模块速度检测模块舵机驱动直流电机驱动图1 系统总体框图Fig.1 The overall block diagram of system2. 路径信息的获取2.1 识别方案选择目前市面上常见的摄像头主要有CMOS 和CCD 两种，模拟摄像头多为CCD 摄像头，CMOS 摄像头大多是数字的。
两者优缺点比较如表1，其中CMOS 型摄像头工艺简单，价格便宜，对于识别智能车赛道这样的黑白二值图像能力足够，因此，本文主要以CMOS 型摄像头为例，介绍基于摄像头方案的智能车自主寻迹设计。
表1 CCD 和CMOS 对比表Tab.1 The CCD and CMOS contrast tableCCD CMOS灵敏度 同样面积下高感光开口小，灵敏度低 成本 成本高CMOS 整合集成，成本低解析度 连接复杂度低，解析度高 低，新技术高 功耗比 单一放大，噪点低 百万放大，噪点高 噪点比需外加电压，功耗高直接放大，功耗低2.2 硬件设计2.2.1 S12控制核心智能车的控制核心是MC9S12XS128，是飞思卡尔公司生产的一款16位单片机，标称总线频率40 MHz，片内资源包括8 KB RAM、128 KB FLASH、2 KB E2PROM；SCI、SPI、CAN通信接口模块，脉宽调制(PWM)模块，A/D转换器，周期中断定时器(PIT)模块，增强型捕捉定时器。
其中用于路径识别的I/O口的分配如下：PAD1用于摄像头视频信号的输入口；IRQ（PE1引脚）用于摄像头行同步信号的输入捕捉；PM0用于摄像头奇-偶场同步信号的输入口。
2.2.2 电源管理单元根据系统各部分正常工作的需要，各模块的电压值可分为2.5 V、5 V、 6.5 V、 7.2 V、 12 V五个挡，具体电源分配图如图2所示：图2 电源分配图Fig.2 The power distribution diagram2.2.3 路径识别单元路径识别单元是智能车控制系统的输入采集单元，其优劣直接影响智能车的快速性和稳定性。
在摄像头方案中，其前瞻距离及检测到的赛道信息是红外线光电管方案远不能比拟的，但其软、硬件设计也较红外线光电管方案难。
要能有效地采样摄像头视频信号，首先要处理好的技术问题就是能提取出摄像头信号中的行同步脉冲、消隐脉冲和场同步脉冲。
否则，单片机将无法识别所接收到的视频信号处在哪一场，也无法识别是在该场中的场消隐区还是视频信号区，更无法识别是在视频信号区的第几行。
图3 摄像头视频信号Fig.3 Camera video signal摄像头的主要工作原理是按一定的分辨率，以隔行扫描的方式采样图像上的点，当扫描到某点时就通过图像传感芯片将该点处图像的灰度转换成与灰度成一一对应关系的电压值，然后将此电压值通过视频信号端输出，具体参见图3。
当摄像头扫描完一行，视频信号端就输出有一个电压“凹槽”，并保持一段时间，此“凹槽”叫做行同步脉冲，它是扫描换行的标志。
然后，跳过一行后，开始扫描新的一行，如此下去直到扫描完该场的视频信号，接着就会出现一段场消隐区。
在这若干个消隐脉冲中，有个脉冲远宽于其他的消隐脉冲，该消隐脉冲即称为场同步脉冲，它是扫描换场的标志。
摄像头每秒扫描25幅图像，每幅又分奇、偶2场，先奇场后偶场，故每秒扫描50场图像，即扫描周期为20 ms。
图4 摄像头采样电路图Fig.4 Camera sampling circuit diagram要能进行图像采集识别路径，首先要处理好的技术问题就是能有效地从摄像头信号中提取出行同步脉冲、消隐脉冲及场同步脉冲。
考虑到硬件提取简单易行，可靠性高，因此选用LM1881视频同步信号分离芯片进行提取，其硬件电路图设计如图4所示。
2.3 软件设计通过外部中断采集程序对摄像头的视频信号进行采集，主程序在两次外部中断的间隙中完成对数据进行处理及计算并给出控制量，采样周期为20 ms。
其中，主程序主要完成的任务是：单片机初始化和黑线提取算法；图像滤波算法；其他算法。
具体主程序流程图如图5 所示：图5 主程序流程图Fig.5 The main program flow chart2.3.1 图像采集考虑到实际赛道只是在白色KT板上布置黑色引导线，路径识别只需大致提取出黑色引导线即可，不必每行采集。
因此，我们可以采用隔行采集思想来压缩图像的数据。
实践证明，智能车控制系统的图像传感系统在单一方向上只要有40像素的分辨能力就足够用了。
所以我们只需对288行视频信号中的某些行进行采样就可以了。
实际测得所用摄像头（1/3 OmniVision CMOS）时序参数表如表2所示：表2 CMOS时序参数表Tab.2 CMOS timing parameter list信号属性行序数行持续时间行同步脉冲持续时间消隐脉冲持续时间场消隐区1-4 23us 3.5us5 27.3us 8us6 37.3us 3.5us 7-10 29.8us 3.5us 11-22 64us 4.7us视频信号区23-310 64us 4.7us场消隐区（场同步脉冲）311-314 64us 4.7us 315 64us 3.5us 316-319 29.8us 3.5us 320 53.4us 28us假设每场采样40行图像数据，为了方便软件程序的编写，可以均匀地采样288行视频信号中的40行，即每隔7个有效行采集一行。
例如采样其中的第7行、第14行、第21行、…、第273行、第280行，即采样该场信号的第29行、第36行、第43行、…、第295行、302行（每场开始的前22行视频为场消隐信号）。
此外，为了进一步解决图像数据大与S12单片机数据处理速度有限的矛盾，还可以通过适当地将S12的CPU超频运行，以及降低A/D转换器的转换精度，以提高A/D转换器的速度，具体实现流程图（以采集一幅16行×40列的图像为例）如图6所示。
图6 图像采集程序流程图Fig.6 Image acquisition program flow chart2.3.2 黑线提取将常用的黑线提取算法划分为二值化算法、直接边缘检测算法和跟踪边缘检测算法。
直接边缘检测算法较二值化方法而言，抗环境光强变化干扰的能力更强，同时还能削弱或消除垂直交叉黑色引导线的干扰。
从算法的简洁性和实用性综合考虑，直接边缘检测算法是一个较好的选择。
采用逐行搜索的算法，首先找到从白色像素到黑色像素的下降沿和从黑色像素到白色像素的上升沿，然后计算上升沿和下降沿的位置差，如果大于一定的标准值，即认为找到了黑线，并可求平均值算出黑线的中心点。