自动驾驶环境感知介绍
基于深度学习的感知技术并非无所不能，仍然面临很大的挑战，大量问题亟待解决 和现有算法仍需提高。尤其是在中国交通状况中，路况较为复杂，像马车、吊车以及摩 托车，还有摩托车拉猪、卡车拉树的现象在我们生活中经常遇到，这些场景对视觉是一 个难题，提高这种复杂路况下的感知精度是自动驾驶研究的挑战。虽然深度卷积神经网 络在视觉任务尤其是基于图像的任务取得了巨大的成功，然而对视频分析能力相对薄弱 ，因为无人车面对的通常是视频流，不是单个静态图像。视觉深度学习在视频分析上， 算法往往从图像领域直接迁移过来，缺乏对时序性的有效描述手段，尚未形成独立的科 学问题。
自动驾驶环境感知介绍
自动驾驶的第一步就是环境信息和车内信息的采集、处理与分析，是智能车辆自主 行驶的基础和前提。环境感知作为第一环节，是智能驾驶车辆与外界环境信息交互的关 键，其核心在于使智能驾驶车辆更好地模拟、最终超越人类驾驶员的感知能力，感知并 理解车辆自身和周边环境的驾驶态势。智能驾驶车辆通过硬件传感器获取周围的环境信 息。环境感知主要包括三个方面，路面、静态物体和动态物体。对于动态物体，不仅要 检测到物体的位置，而且要对其轨迹进行跟踪，并根据跟踪结果，预测物体下一步的位 置。这方面涉及到道路边界检测、车辆检测、行人检测等技术，所用到的传感器一般都 会有激光测距仪、视频摄像头、车载雷达等。
车载感知系统组成简介
智能驾驶车辆获取和处理环境信息，主要用于状态感知和V2X网联通信。状态感知 主要通过车载传感器对周边及本车环境信息进行采集和处理，包括交通状态感知和车身 状态感知。V2X网联通信是利用融合现代通信与网络技术，实现智能驾驶车辆与外界设 施和设备之间的信息共享、互联互通和控制协同。
车载感知系统组成简介
视觉是人类驾驶汽车获取环境信息的主要途径之一，较之其他类型的传感器，相机 获取的信息更为直观，接近人类视觉，也更为丰富。
激光雷达通过电磁波获取目标的位置和速度信息以及周围环境的三维特征。激光雷 达的原理非常简单，通过向目标发射探测激光信号，通过分析目标的反射信号获取信息 。
毫米波雷达是自动驾驶不可或缺的传感器，它是唯一可以全天候工作的传感器。毫 米波雷达具有体积小、角分辨率高、频带宽、探测距离远、抗干扰能力强等优点。
车载感知系统组成简介
数据融合的前提各种传感器之间的标定, 标定的目的是实现各个传感器坐标系之间 的快速转换, 它是融合的基础, 它包括标定每个传感器本身以及求得各个传感器坐标系之 间的相互转换关系。一般来说，原始数据的格式和处理器处理的数据格式往往是不同的 ，因此需要根据输入输出的映射关系，完成数据格式的转换。以激光雷达标定和相机标 定为例，激光雷达标定是指激光雷达的坐标映射到统一车体坐标系中以便于数据处理。 在行驶过程中，汽车和激光雷达的相对位置一般保持不变，即刚性连接，因此可以首先 获得激光雷达外部的参数，然后通过激光雷达得到的极坐标完成单个激光雷达数据的映 射，最后完成多个激光雷达数据的映射。相机标定主要是完成图片中的像素点坐标与真 实环境所处位置之间的映射关系。
本书主要讨论基于传感器的状态感知。交通状态感知功能的实现依赖于环境感知传 感器及相应的感知技术。环境感知是一个复杂的系统，它需要多种车载传感器实时获取 周边环境的信息，通过多种算法处理和分析原始输入数据，给出最合理的决策。
车载感知系统组成简介
环境感知是硬件设备即感知设备和软件算法即感知技术的统一体。硬件设备是感知 的物理基础，主要指各种车载传感器，包括激光雷达、毫米波雷达、机器视觉系统、红 外传感器、超声波传感器、惯性系统、多传感器信息融合系统、多源信息交互系统等。 一般而言，原始数据的质量越高，后续数据处理与分析模块的难度就越低，而获取高质 量的数据离不开性能优异的车载传感器。客观上来说传感器各有优劣，难以互相替代， 未来要实现自动驾驶，多种传感器相互配合共同构成汽车的感知系统成为必然。不同传 感器的原理、功能各不相同，能够在不同的使用场景里发挥各自优势。多个同类或不同 类传感器分别获得不同局部信息，这些信息之间可能相互补充，多传感器融合可显著提 高系统的冗余度和容错性，从而保证决策的快速性和正确性。多传感器融合是自动驾驶 的环境感知的主流方案。车载Fra bibliotek知系统组成简介
传感器现有的融合方式主要有三种：数据级融合、特征级融合、决策级融合。数据 级融合又称像素融合，主要通过整合像素级别的图像，增加边缘、纹理等细节特征。数 据级融合的实现方式比较简单，但计算量大，对数据的格式也有着较高的要求。特征级 融合是指对原始数据提取的特征向量进行融合，对于特征的融合效果一般要优于对原始 数据的融合。而决策级的融合是指根据多个传感器对同一目标的观察数据，进行特征提 取和逻辑运算，根据需求进行高级决策。
本章知识点小结
上述介绍的传感器都是闭环的，即从周边环境获取信息输送给车载处理器，处理器 根据获取的信息作出决策和反馈。而惯性导航系统不依赖于外部信息，而是以陀螺仪和 加速度计为敏感器件的导航参数解算系统，该系统根据陀螺仪的输出建立导航坐标系， 根据加速度计输出解算出运载体在导航坐标系中的速度和位置。
车载感知系统组成简介
Chapter 1 自动驾驶环境感知概述
Outline
自动驾驶环境感知介绍 车载感知系统组成简介
自动驾驶环境感知概述
近年来，自动驾驶技术飞速发展，在工业界和学术界都掀起了巨大的研发热潮。 对我们中国而言，随着国内经济的持续增长，居民的生活水平不断提高，终端消费市 场活跃加速了汽车科技进步，未来市场潜力巨大，将吸引大量资本注入，加速了产业 发展和升级。国内汽车保有量大量增加，伴随而来的交通事故频发，城市道路通行效 率低，自动驾驶被认为是解决上述问题的重要途径。可以预见，自动驾驶汽车将成为 继手机之后又一个大有可为的移动终端。自动驾驶四大核心技术，分别是环境感知、 精确定位、路径规划、线控执行。环境感知系统设计是自动驾驶发展的一个关键环节 ，也是自动驾驶体现智能的主要方面之一。伴随着机器学习的发展，特别是近年来深 度学习技术的再度崛起，环境感知在工业界和学术界都吸引了大量的研究。本书将全 面探讨自动驾驶汽车的核心技术之一，即环境感知。
在实际的行驶场景中，仅依赖某一种类型传感器获得数据往往是不可靠的，且探测 范围有限，不可避免的存在时空盲区。为保证环境感知系统能实时获得可靠的数据，自 动驾驶汽车一般采用多种传感器同时采集数据。然而，多种传感器获得的信息具有互补 性，同时也会存在矛盾。对于互补的信息，利用多源信息融合技术对原始数据进行分析 、加权和综合，实现各个传感器优势互补，增大容错率，减小视野盲区。对于矛盾的信 息，由于处理器在同一个时间点对于某个动作只能给出一个决策，因此必须对原始数据 进行筛选和删减。传感器融合的目的在于获得不同传感器和传感器种类的输入内容，并 且使用组合在一起的信息来更加准确地感知周围的环境。
自动驾驶环境感知介绍
深度学习尤其是卷积神经网络在自动驾驶技术发展中有着巨大的应用前景。 卷积神经网络在环境感知中的传感感知技术中发挥关键作用。一般的卷积神经网络 包括四种类型的神经网络层：输入层、卷积层、池化层和输出层。卷积神经网络的层数 随任务定制，可以包含十几层甚至上百层，一般层数越多性能也会越好，随着网络层数 和节点数的增加，可以表达更细、更多的识别物的特征，为性能的提高打下基础。但是 训练网络的难度和需要的数据量就相应的变大，一般情况，我们需要根据任务的特性和 拥有的数据量来设计相应的网络结构。
深度学习被认为是一种有效的环境感知问题的解决方案，被称为第三代神经网络。 神经网络试图通过模拟大脑认知的机理，解决各种机器学习的问题。深度学习是近年来 在人工智能领域的重大突破之一，它在语音识别、自然语言处理、计算机视觉等领域都 取得了不少成功。深度学习在视觉感知中的巨大进展，为自动驾驶环境感知提供了丰富 的技术储备。
一般认为，环境感知需要遵照近目标优先、大尺度优先、动目标优先、差异性优先 等原则，采用相关感知技术对环境信息进行选择性处理。环境感知的检测和识别等任务 主要是通过机器学习和计算机视觉技术来实现的，也就是自动驾驶汽车智能的体现。
自动驾驶环境感知介绍
2006年以后，图形处理器GPU性能飞速增长，使得计算机的计算性能大幅提升，与 此同时，互联网的飞速发展积累了大量数据。在数据量和强大的算力相结合，深度学习 或者说神经网络再度爆发。