计全世界每年约有120万人死于道路交通伤害，多达5 000万人受伤。

如果不采取强有力的预防措施，今后20年中在道路交通事故中死亡和受伤人数将增加约65%错误!未找到引用源。

而自动驾驶汽车可以在很大程度上减少这些问题尤其是交通事故的发生。

自动驾驶可分为五个等级，如表1所示。

我们的发展目标即为L5级自动驾驶。

表1 自动驾驶分类等级名称转向、加速度控制对环境的观察激烈驾驶的应对应对工况LO人工驾驶驾驶员驾驶员驾驶员——L1辅助驾驶驾驶员+系统驾驶员驾驶员部分L2半自动驾驶系统驾驶员驾驶员部分L3高自动驾驶系统系统驾驶员部分L4超高度自动驾驶系统系统系统部分L5全自动驾驶系统系统系统全部自动驾驶作为一种高级“机器人”的应用场景之一，需要在恶劣的天气中，动态的道路条件下保持正常运行。

因此，保证在车辆复杂环境下的稳定运行是一项非常重要且有挑战性的工作。

边缘导航、目标识别与定位，状态估计以及控制技术的使用，对于自动驾驶的安全性和高效性有了显著提升。

在道路检测方面，当前的最新研究显示，一套典型的可靠性道路边缘检测的正确率超过了95%，甚至接近100%。

其中，谷歌公司宣称未来的自动驾驶系统不但能够识别所有的交通指示牌，而且能够实现智能避障，并且在汽车上使用座椅或者其他设备代替现有的方向盘。

美国的Blanco等人根据美国高速公路自动驾驶研究项目，研究了不同自动驾驶等级条件下的车辆事故发生概率问题，研究发现自动驾驶1级到3级时，随着自动驾驶程度的提高，事故发生的概率降低。

然而，2018年3月18日，Uber旗下的自动驾驶汽车，在亚利桑那州测试时与行人发生碰撞，并造成一名女性死亡。

通过事故调查显示，事发当日的自动驾驶系统并未检测到死者是否为行人，从而未执行减速或者避自动驾驶整体可大致分为感知，判断，执行三部分。

这就将自动驾驶技术分为目标检测和驾驶策略制定两方面。

目前，深度学习技术[2]（机器学习中一种基于对数据进行表征学习的方法）是该领域进行目标检测即感知部分的主流方法，广泛应用于道路分割、分类和车辆的检测任务中，以增强车辆对于驾驶场景的理解能力。

如于2018年6月举办的CES Asia展上，大陆集团推出了摄像头MFC 500，此摄像头在上一代摄像头的技术基础上又加入了深度学习算法，凭此提高了车辆的环境感知和目标检测的能力。

且该摄像头还能够同基于云端的环境数据互连，以便定位车辆和执行具有前瞻性的驾驶操作。

1 深度强化学习概述鉴于强化学习的普遍性，所以将强化学习与深度学习相结合成深度强化学习，而深度强化学习则是对驾驶策略制定即判断部分的一个有效的好方法，深度强化学习是深度学习与强化学习的取长补短——将深度学习的感知能力和强化学习的决策能力相结合，从而使其可以直接根据输入的图像进行控制。

■1.1 深度学习机器学习技术已经对我们生活的方方面面造成广泛影响：从网络的搜索引擎到社交网络，再到电子商务。

机器学习系统可以用来进行图片的识别、语音的识别等工作。

根据学习反馈机制的不同，机器学习方法大体分为监督式学习、非监督式学习和强化学习三种。

其中，图像识别使用到的神经网络属于监督学习之一。

具体方法一般是首先对系统输入一些有代表性的图片集合，比如房子、猫或者狗等；我们希望机器学习模型能够对上述不同类别的图片根据其真实内容进行一个分类。

为了实现此目的，我们需要使用一个数学函数来表示输入与输出的关系，然后使用训练误差来评价74 | 电子制作 2019年07月www�ele169�com | 75应用技术该模型的好坏，这个确定模型参数的过程也称为模型的训练过程。

那么，此数学模型就是神经网络模型或者是深度学习模型。

模型中的参数一般称之为超参数或偏差。

在实际工程项目中，对模型的求解方法一般使用随机梯度下降法。

具体原理为每次计算出模型的输出与样本的偏差，再对其求平均值，最后得到适合该模型的最优参数。

对许多小样本进行上述操作，直到训练目标误差降低到最低为止。

之所以称之为随机梯度下降，是由于我们进行迭代的输入数据都是随机抽取的。

深度学习正是上述机器学习过程的一种。

2006年Hinton等[3]提出了深度神经网络（DBNs）从此深度学习的新时代开启了。

此后深度学习开始在图像处理等领域进行应用研究。

深度学习的数学表示通常由多层的多栈组成，每层多栈又由多个神经元组成，无论深度学习类型如何，都由三类栈层构成：输入层、卷积层、池化层和输出层。

每层中包含的神经元就是一些数学方程，每层之间的联系就是一种称之为卷积的数学运算。

2011年谷歌通过构建复杂、深度的神经网络模型的大脑项目，结果为其学习到的模型在图像处理领域中表现优秀[4]。

同年，Krizhevsky 等人[5]在大规模视觉识别挑战赛上使用视觉神经网络（CNN）并取得突出成绩，从此以后深度学习开始在计算机的许多领域有了更广泛应用。

深度学习由传统的多层感知器算法发展而来，其深度为相对于浅层学习来说连接的节点层数较多。

深度学习本质是通过堆积多个隐含层和复杂的网络，并辅以大量样本数据进行训练，以此来调整深度网络中权重大小，从而达到高维层次特征表示[6]。

■1.2 强化学习通过机器学习分类可以看出强化学习是机器学习领域中重要分支之一。

强化学习算法解决问题的过程与机器学习图并不同，它不需要使用带有标签的数据训练模型，而仅仅需要确定好惩罚函数后，对模型进行迭代求解即可。

强化学习的思想要解决的是使智能体通过学习如何选择最佳动作，而1所示。

2 目标检测实现自动驾驶的关键是使得车辆能够准确的感知周围环境。

目前车辆感知周围环境主要依靠多种传感器实现。

通过激光雷达以及照相机对道路的行人以及车辆进行检测甚至追踪，通过角度传感器来实现对方向盘转角的控制。

其中，目标检测是实现自动驾驶功能的关键技术。

目标检测就是利用照相机对动态的环境，进行不间断的拍照数据采集，然后车载计算机将采集后的数据输入至已经训练好的计算模型中，最终模型对所输出的数据进行分类运算，最终输出检测结果。

自动驾驶的最终目标是实现零事故，保证乘客安全，所以在其技术发展的过程中，与保证行驶安全有莫大关联的目标检测也是许多科学家所关注的。

关于目标检测可以从两个层面考虑——技术层与应用层。

■2.1 技术层目标检测算法就像眼睛一样，在自动驾驶领域有无比重要的作用，它包含定位与识别两个步骤，即定位目标的位置并识别目标形态。

经典的目标检测算法包含预处理、感兴趣区域提取（ROI）、分类以及后处理几个步骤。

损失函数主要的任务为道路分割、分类以及车辆检测。

因道路分割和分类任务采用同种损失函数，这里以分割任务为例，分割任务采用交叉熵作为损失函数，其定义如式（1）所示。

()()()1,log seg pi i l c cLoss p q qi c c l ∈∈=−∑∑(1)其中：p 是预测值；q 为实际标定值；c 为所属类别集合；I 为最小批次中成员[7]。

■2.2 应用层为了尽可能多的道路信息要进行捕捉并融合（最好所有道路信息都能够融合）环境模型必须要全面且丰富。

同时汽车还要准确获取环境信息，这样才能使车辆更好地反应，以做出正确的驾驶操作。

我们不妨假设如果一辆车能够预见各类紧急情况，那么它必然可以在哪怕是最复杂的情况下正常安全行驶，如果所有车都可以预见各类情况并做出反应，那么道路交通必将越来越安全。

这样看来提高自动驾驶的安全性的关键便在于准确获取足量环境信息。

对此，在引言中提及的摄像头MFC 500的技术方法也是可扩展的，就是意味着更多的数据、更强的计算能力与更高的性能——将摄像头与雷达等的收集到的各类数据进行相互验证融合从而获得环境模型。

对于这些技术，现在发展的还不是特别充分，例如一辆车在行驶中，它检测到路边有一个静止的行人，于是计算后车继续向前运动，但如果这时这个人突然运动，那么以现在的技术汽车很可能会因检测技术的原因来不及反应而发生交通事故。

所以就这一点来考虑，我们离真正安全的76 | 电子制作 2019年07月的设计上。

具体来说，自动驾驶仿真平台关键技术主要包括道路目标检测以及驾驶策略的制定。

目标检测问题之后，驾驶策略制定问题也是一个关键的问题。

传统的智能车的驾驶策略的制定主要基于控制算法与车的设计，即通过实车进行试验调试，后再进行相应的修改，此类模式开发成本高、开发周期长和对硬件设备可靠性极度依赖。

而以虚拟平台验证算法后再进行实车开发，便可以极大提高开发的效率并有效降低成本。

■3.1 系统架构有人基于TORCS 仿真平台构建了一个新的策略模型的训练平台，并将经验池回放、深度强化学习及聚类分析等技术结合应用于自动驾驶的技术上，以此组成一个完整的自动驾驶策略模型训练与测试一体的系统，其具体架构如图2所示——以强化学习的框架划分为包括环境和Agent 两大主要板块，并借鉴深度学习的思想，用于训练模块给网络模型设置一个较好的初始权值，最后构建一个在每次训练之后，进行模型性能的测试的测试模块。

■3.2 模型的交互式学习和测试在每个训练测试周期中，系统会通过构建出的交互模块对TORCS服务器上的车辆及实车所处道路的最新状态进行检测观察并根据得到的最新状态值对上一训练测试周期控制动作的回报值进行计算，然后再用网络感受当前的状态，并根据网络计算Q 值的大小情况，基于ε-greedy 原则[8]给出相对应的驾驶动作反馈给仿真环境[9][10]。

4 未来发展针对上述分析，我们可以发现年，大部分汽车都会具备能够在少部分人为控制条件下的自动驾驶功能，即L4水平。

5 结论自动驾驶是未来汽车的主要发展方向之一。

集成了机械、电子、计算机以及新材料等众多先进学科的相关技术，虽然目前已经取得了长足的技术积累甚至商业应用。

但仍然有一些技术瓶颈需要去突破。

本文针对当前的自动驾驶在深度学习以及强化学习两方面的现状，分析了行业发展的技术痛点，并提出了自动驾驶未来发展方向。

参考文献＊ [1]佩登, 刘光远. 世界预防道路交通伤害报告[M]. 人民卫生出版社, 2004.＊ [2]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classificati on with deep convolutional neural networks [C]// Proc of Inte rnational Conference on Neural Information Processing Systems. New York: Curran Associates Inc, 2012: 1097-1105.＊ [3]Hinton G E.Osindero S,Teh Y-W.A fast learning algorithm for deep belief netsNeural [J].Computation, 2006, Vol.18 (7),pp.1527-1554图2 深度强化学习系统架构图（下转第63页）信息工程最后一步就是将无线投影设备与计算机设备相互连接，通过无线网卡把无线网关设备连接，同时安装当前操作系统下装有投放内容的软件所需要的驱动，只要对应操作将投影界面的登入码输入到软件中，在将计算机的分辨率调节到和无线投影设备相互匹配的程度，就可以完美的实现投影的功能。