智慧交通产品解决方案关键技术【面向城市交通】公安交警视角创新智慧交通实践目录1.关键技术 (3)1.1.交通大数据处理及应用技术 (3)1.1.1.海量数据分布式存储技术 (4)1.1.2.高可靠性分布式计算技术 (5)1.1.3.内存数据库技术 (6)1.1.4.Web服务器集群和负载均衡技术 (7)1.1.5.数据分级存储 (7)1.2.图像智能分析应用技术 (8)1.3.支持多种载体的应用技术 (9)1.4.系统通用集成框架技术 (10)1.5.面向多源数据的交通管理GIS应用平台 (10)1.6.多源交通数据融合技术 (12)1.7.多源视频集成应用技术 (13)1.8.支持多层次多元化协同指挥调度模式 (13)1.9.基于可视化的方案预案推演技术 (15)1.关键技术1.1.交通大数据处理及应用技术社会经济的快速发展促使城市机动车辆的数量大幅增加，城镇化的加速打破了城市道路系统的均衡状态。

当前各种交通信息采集技术（如微波、视频、环形感应线圈等）已被广泛地运用于城市、高速等交通路段或卡口，并且这些交通信息采集系统每天都会产生海量的实时交通数据。

实时交通数据以数据流的形式记录着随时间变化的空间（位置、区域等）信息，具有大量、连续、不断变化和要求即时响应的特点。

典型的包括：1）交通设备上报的各类实时数据：包括卡口通行车辆数据、交通流量数据、GPS警车及单警数据等；2）通信息服务者产生的互动数据：包括微信、微博、短信等途径交互的各类交通信息数据；3）系统运行的各类信息，包括状态数据、运行日志数据、操作日志数据。

这些数据的特点也发生了较大的变化：1）规模性数据的规模从TB级别向PB，甚至ZB级别跃进；2）多样性除了传统的关系型数据，如视频、音频和图片等非关系型数据量也越来越大；3）高速性大数据处理对时效性的要求非常的高，如布控车辆的比对需秒级响应；4）价值性需从这些海量数据中提取有效的信息，为交通管理者提供辅助决策支持。

在社会经济高速发展的今天，在数据为王的互联网时代，交通领域正面临着异常严峻的挑战。

传统的交通管理信息系统难以满足当前复杂的交通需求，如何通过大数据构建合理高效的城市交通管理体系已经成为交通管理者当前迫切需要解决的关键问题。

我公司依托Hadoop分布式存储系统，通过多年的实战应用积累，构架了一套基于交通的有效地实时采集、处理和分析的系统架构与实现方法，目前已在城市治安防控中发挥着日益重大的作用。

1.1.1.海量数据分布式存储技术针对海量图片和非结构化数据存储需求，分布式存储系统采用Hadoop存储解决方案，实现图片和文本历史数据统一存储和高效管理。

1、Hadoop存储系统特色实现了一个分布式文件系统（Hadoop Distributed File System，HDFS），容错性高，具备高速缓存集群能力，可进行分布式数据存储。

●高速缓存：具备百万级数据处理能力，毫秒级响应速度。

●关系数据库处理：具备千万级数据处理能力和秒级响应速度。

●分布式数据存储：具备海量数据存储能力，功能简单，响应速度秒级到分钟级。

●高容错性：自动保存多个副本，自动将失败的任务重新分配，保证系统可靠性。

●高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

2、技术架构图1-1架构示意图前端数据转发：前端设备采集基础数据，突破结构化文本信息，通过数据总线，并发写入到后端的分布式存储系统中。

Hadoop存储平台：接收前端数据转发的图片和文本，与业务平台对接，进行数据交换，同时将文件分块复制到多个存储模块中。

1.1.2.高可靠性分布式计算技术基于对系统的多用户、高并发、大数据、高性能的特点和要求，系统采用大量的分布式计算技术。

分布式计算为了能极高效地发挥计算机的性能，采用低成本软硬件资源，把庞大的工程分割成适合小部件软硬件需要完成的模块，分配给不同的计算机进行处理，并把这些分别单独运算的计算结果整合起来起来，得到最终的结果。

Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。

需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。

它提供了具有有用差异的一个新的集群计算框架。

首先，Spark是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。

为了优化这些类型的工作负载，Spark引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。

Spark 是基于map reduce算法实现的分布式计算，不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

Spark分布式计算的一些特点如下：●效率更高：Spark的中间数据放到内存中，对于迭代运算效率更高。

●通用型好：Spark提供了比MapReduce更多的数据集操作类型，这些多种多样的数据集操作类型，给开发上层应用的用户提供了方便。

各个处理节点之间的通信模型不再像是唯一的Data Shuffle一种模式。

用户可以命名，物化，控制中间结果的存储、分区等。

可以说编程模型更灵活。

●容错性高：在分布式数据集计算时通过监测群集中的每个节点来实现容错性的。

每个节点定期报告和返回完成的工作与状态更新。

如果某个节点的静默时间长度超出了预期值，主节点就会发出通知，并把工作重新分配给其他节点。

●高可用性：Spark通过提供丰富的Scala,Java，Python API及交互式Shell来提高可用性。

1.1.3.内存数据库技术传统数据库是磁盘数据库（Disk Resident Database，DRDB），即数据的主拷贝（Primary DB）在磁盘上，数据库管理系统为了向应用系统提供存取服务，将用户需要访问的数据装入主存中，即对数据的管理是“基于磁盘的缓存技术”。

而磁盘相对于主存来说是极其低速的存储介质，且磁盘存取速度还和欲存取的数据的物理位置和当前磁头状态有关。

另外，管理缓存（cache）或缓冲（buffer），无论是在操作系统（OS）层，还是数据库管理系统层，都需要付出较大的代价（时间和空间，尤以时间代价为甚）。

因此，即使将磁盘数据全部缓存到主存，其管理代价仍较大，存取速度仍然无法满足多数实时性应用系统的要求。

为了实现实时数据库系统，我们采用了基于内存的数据库。

与传统关系数据库的根本区别在于，在内存数据库中，数据库的全部或活动事务存取的数据放于内存中，这样事务对盘的访问完全取消了。

由于整个数据库放于内存，数据库则不再作为大量存储文件看待而作为内存中可寻址的大量数据，不同于DRDB中的缓存或缓冲区方式，它完全打破了传统磁盘数据库系统的设计宗旨，带来了其自身新的设计问题。

如：传统磁盘数据库系统的数据组织、访问方法、查询处理算法的设计都针对减少磁盘访问次数与有效利用盘存储空间，甚至牺牲CPU时间来减少I/O次数（如查询处理有大量中间数据），而内存数据库的设计则主要考虑如何有效地利用CPU的时间和内存空间。

对传统磁盘数据库系统相当有效的数据组织、访问方法、查询处理算法，对于内存数据库系统可能并不有效，相反，一些认为对传统磁盘数据库系统无用的办法，反而成为可行的。

显然此方式可完全消除事务与盘打交道，且可避免与影响性能的缓冲区管理程序发生联系，故采用此方式使数据库系统性能极大提高。

内存数据库系统带来的优越性能不仅仅在于对内存读写比对磁盘读写快上，更重要的是，从根本上抛弃了磁盘数据管理的许多传统方式，基于全部数据都在内存中管理进行了新的体系结构的设计，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，从而使数据处理速度一般比传统数据库的数据处理速度快很多，一般都在10倍以上，理想情况甚至可以达到1000倍。

1.1.4.Web服务器集群和负载均衡技术网络的快速增长使多媒体网络服务器，特别是Web服务器，面对的访问者数量快速增加，网络服务器需要具备提供大量并发访问服务的能力。

对于提供大负载Web服务的服务器来讲，CPU、I/O处理能力很快会成为瓶颈。

简单的提高硬件性能并不能真正解决这个问题，因为单台服务器的性能总是有限的，尤其是网络请求具有突发性，当某些重大事件发生时，网络访问就会急剧上升，从而造成网络瓶颈，必须采用多台服务器提供网络服务，并将网络请求分配给这些服务器分担，才能提供处理大量并发服务的能力，因此服务器的负载均衡技术就成为建立一个高负载Web站点的关键性技术。

为了提高系统稳定性、可靠性，我们采用了Nginx集群和负载均衡技术。

Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like协议下发行。

由俄罗斯的程序设计师Igor Sysoev开发，最初供俄国大型的入口网站及搜寻引擎Rambler（俄文：Рамблер）使用。

其特点是占有内存少，并发能力强，事实上Nginx的并发能力确实在同类型的网页服务器中表现较好。

目前中国大陆使用Nginx的网站用户有：新浪、网易、腾讯。

1.1.5.数据分级存储根据交通数据应用特性，我们采用了数据分级存储的机制。

交通领域的原始数据是庞大繁杂的，如实时流量、实时状态、实时轨迹信息等。

我们通过数据清洗、分析处理、合并结转等预处理方式，形成了相对集中准确的成果数据，如5分钟/15分钟/1小时流量数据、1分钟GPS轨迹信息、当日警情信息等。

这样，在多数相对频繁及常用的应用场景中，系统不必去访问分散庞大的原始数据，而只需直接访问成果数据，极大地提高了系统效率和用户体验。

根据实际业务应用场景，我们在交通信息资源平台中对数据存储进行了相应规划，如公用基础数据（设备设施、用户权限、路网配置等）、公用字典信息（号牌种类、车身颜色、违法行为等）、通用专题信息（包括流量信息、通行车辆信息、警车轨迹信息、警员信息等），确保了数据的一致性和访问效率。

另外，根据数据价值和关键等级，我们也进行了相应分级，一些关键信息（如违法信息、警力资源信息、关键操作日志、基础配置信息等），为确保系统安全，它们的存储机制和备份机制也是不同的。

1.2.图像智能分析应用技术图像智能分析处理技术利用智能神经网络技术，对视频图像进行分层处理，分离出对系统有用的人或物体。

神经网络是基于模拟人脑智能特点和结构的一种信息处理系统，它通过对人脑的基本单元的建模和典型的激励函数的设计，来探索模拟人脑神经系统功能的模型，并研制一种具有并行分布处理与存储、高度自适应和自学功能、能分析较为复杂的非线性系统的软件模拟技术。