运行协调
分布式内存运算
搜索服务
V
m
分布式存储
NoSQL
NewSQL
图数据库
数据接入
数据抽取
数据转换
数据清洗
数据加载
传输监控
图1智慧交通大数据平台的计算和存储需求
3总体设计
智慧交通大数据平台总体架构如图2所示。 (1)感知层和数据接入：实现对分布广泛、多源异构的海量交通数据的采集，汇聚，清洗。 (2)数据资源层：实现智慧交通大数据的存储与计算。大数据系统：利用分布式文件系统HDFS 和分布式数据库HBase对采集到的海量多源异构交通数据进行存储;使用MapReduce计算框架和内存 计算框架Spark对其进行快速计算。大数据的组织与分析：对采集到的海量多源异构数据进行语义化 处理，并建立时空索引对其进行有效组织；利用数据关联和数据融合分析、综合出有用信息，并在此 基础利用可视化技术和数据挖掘提取有价值的交通信息，为企业，政府部门和社会公众的决策提供有 效支持。 大数据平台的数据库包括基础数据库，业务数据库和主题数据库。 基础数据库：企业基础数据库，从业人员基础数据库，场站基础设施数据库，车辆基础数据库， 线路基础数据库，GIS地理信息数据库。 业务数据库：运营计划管理数据库，运营服务管理数据库，企业经营状况数据库，车辆定位、运 行动态数据库，运营安全管理数据库，能源消耗管理数据库
4功能设计
智慧交通大数据平台需要从城市路网、地面公交、轨道交通和出租汽车等收集多源的异构的数据， 并进行数据关联、融合、语义化处理和建立索引，并通过可视化技术管理和监控平台。交通大数据处
• 314 •
应用层
公交智能调度云服务
数据服务
路况信息客流信息事故信息 业务数据库
能耗信息路链速度 主题数据库
外部应用
Development and Application of Big Data Platform in Smart Transportation
Zhang Tao,Ling Ping
(BOCOM Smart Network Technologies Inc., Shanghai200233) Abstract: To solve the traffic congestion,safety,pollution and efficiency, we need grasp accurate real-time traffic conditions of the city. Intelligent Transportation need to discover rules and provides various services through processing, analysis and mining massive real-time and historical data. Big Data technology is an effective way to achieve this purpose. This article designs intelligent transportation big data platform based on Hadoop technology. to achieve data collection�storage�correlation, semantic processing and analysis of the traffic big data. The platform shows running status by utilizing the visualized management and monitoring interface. The big data platform can effectively provide intelligent transportation services. Key words: Intelligent Transportation, big data platform, semantic processing, Data as a Service (DaaS)
数据 存储 与计 算
可视化 语义化处理 时空索引
数据挖掘 数据关联 数据融合
界面展不 人数据平台管理工具 Sql 解析器 Phoenix 分布式数据庠 Hbase 资源管理yarn 分布式文件系统 操作系统 流式计算 Storm 数据仓库 丁具 Hive 数据分析 丁具 Pig
内存计算 Spark
& 0Q台 岂监 1 ro1| o控 竺控
2需求分析
智慧交通大数据平台需要全面采集和感知来自道路、运输、交通管理等交通系统的基础和动态数 据，以支撑上层应用。为实现现代化大都市一体化综合交通运输的统筹、协调和联动，需要基于交通 数据建设交通运行协调指挥系统，实现以监测、分析、协调为主的协调指挥及调度，建立路网监控、 运输监管、协调指挥等业务相融合的全面交通管理模式，实现对地面交通、轨道交通等大交通运输的 综合协调指挥调度。基于大数据平台支撑的应用能够全面实现对基础设施、交通运行速度、客流、公 交服务、运输行业等信息的日常监测；实现极端天气、客流变化、道路路面状况等条件的预警，并在 区域范围内实现应急协调；借助互联网、移动终端，为城市交通管理部门及出行者提供先进完备的实 时公交、出租车监控、客流态势等综合信息发布服务。 海量交通数据由于其具备鲜明的实时性、空间特性、与城市生活其他行业的紧密相关性，以及非 结构化等特点，需要通过大数据的获取（抽取）、处理、存储、分析、融合、服务模式等技术，才能 更好地实现提供智慧城市决策支持，服务出行者。大数据平台的引入，形成了新的DaaS服务（数据 即服务）。 在智能交通系统建设过程中，广泛采用了视频监控系统，并迅速迈向数字化、网络化。智慧交通 大数据平台，需要通过对视频数据进行抽取和语义化处理，提供图文并茂的交通业务服务。 大数据平台应该在传统智能交通城市数据中心的基础上，更广泛地感知数据，扩大数据的采集及 整合范围，形成行业数据资源池。采集包括道路视频监控、卡口电警、路况信息、管控信息、营运信 息、GPS定位信息、RFID识别信息、到离站信息、客流信息等信息，涵盖城市道路、公路、地面公 交、轨道交通、出租汽车、省际客运、公安交通管理、民航、铁路，甚至气象等领域。 在原有的统计分析模型基础上，进一步深入发挥大数据平台海量、快速、智慧的特点，形成能更 好发挥数据作用的深层模型。从对海量数据进行简单的统计分析，逐步开始向数据挖掘方向扩展，如 通过建立模型预测交通流、对事故黑点进行分析等应用，在这些模型的基础上，引入更多的数据，对 模型参数和计算体系更完善，使结果更贴近事实规律。 为实现上述业务需求，需要利用大数据技术在存储、查询、分析、挖掘处理时的分布式的计算能力。 图1示意了智慧交通大平台的应用需求。 (1)支持大数据存储：应采用分布式文件存储技术，能运行在通用硬件上，提供一个高度容错性 和高吞吐量的海量数据存储解决方案。 ( 2 ) 支持大数据实时查询：应支持NoSQL,建立面向列的实时分布式数据库，实现由TB到PB 级别的海量数据存储和髙速读写。这些数据要求能够被分布在最多至数千台普通服务器上，并且能够 被大量并发用户高速访问。平台还应支持NewSQL,基于Shared Nothing架构，实现面向结构化的数 据分析。 ( 3 ) 支持大数据分析挖掘：应基于HDFS�NoSQL存储，通过MR分布式计算框架进行分析挖掘 [2] ;基于NewSQL�通过SQL接口，利用MPP技术实现分布式处理。 ( 4 ) 支持基于内存计算：支持Storm,这是一个分布式的、容错的实时计算系统，遵循Eclipse Public License 1.0可以方便地在一个计算机集群中编写与扩展复杂的实时计算同时保证每个消息都会得到处 理，而且它很快。
• 311 •
第九届中国智能交通年会大会论文集
突破传统单中心型计算机系统综合处理能力的限制，采用分布式的存储和计算技术来支撑复杂的交通 应用。平台基于HBase存储海量GPS数据、刷卡数据、过车数据，通过MapReduce模型进行客流数 据分析、OD分析、套牌车分析、区域关联分析、伴随分析，通过Storm/Spark streaming实时完成黑名 单报警、缉查布控，通过Spark实时计算城市路网状况、拥堵指数等。
“工 具 工 具
集
T-
铁路 气象
0"
U
数据接入
城市路网
) (
地面公交
) (
轨道交通
) (
出租汽车
图2智慧交通大数据平台的总体架构
录用论文
理分析后从基础、业务和主题数据库，提取路况信息、客流信息、事故信息、能耗信息和路链速度信 息，用于智能调度、公交服务，检测和智慧交通云服务，并通过网站、移动互联网、数字广播等多种 方式展示给服务人群，达到为业务管理部门、决策部门、交通运输企业和社会公众提供更有效的服务。 平台的组成包括异构交通数据采集、大数据管理、语义化处理、数据监控等核心功能。 从功能设计的角度，智慧交通大数据平台不是通用性商业计算机平台，而是针对交通行业的定制 研发。第一，因为历史的原因，传统各个细分智能交通系统大多各自独立运行，数据之缺少有统一的 标准，这就要求交通大数据平台能适应这个客观情况，搭建符合国家标准规范的统一交通数据资源管 理目录，并内置于这个平台，以方便传统各个智能交通系统的数据融合；第二，平台应能适应交通 行业数据多源异构海量的特性，要具备交通数据的快速存储和计算能力；政府与公众需要及时准确的 交通预测服务，而大多数交通预测的算法都需要历史数据的支撑，这就要求平台能将历史数据处理存 储为当前数据；第三，平台应当内置智能交通一些成熟的算法或模型，例如交通拥堵模型、能耗模型、 实时公交模型、公交服务评价模型、仿真模型等，作为平台的基本组件，用户使用平台时，只要在这 些组件之上做上层应用开发即可；除此之外，平台还应具备集成能力、自适应能力等。
• 313 •
第九届中国智能交通年会大会论文集
户c业务管理部门)g业务决策部门)c交通运输企业)r社会公众