第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
参数配置优化 • 图形化界面操作，配
简单、易操作； • Hadoop 基础组件（
core 、 Hive 、 HBa 参数 1000+ ；
任务监控 • 清晰的看到主机上运
些任务，任务的运行 是正常运行还是有故 • 各个任务运行的内存 的使用情况
• 功能特性 —— 安全可靠
安全授权
• LDP 平台可以控制数据访问，并对已通过验证的用户提供数据
细粒度访问控制
• LDP 平台支持细粒度的 Hadoop 数据和元数据访问控制；在服务器、数据 了不同特权级别的访问控制，包括查找、插入等；允许管理员使用视图限 持字段级别的访问控制；
基于角色的管理 • LDP 平台通过基于角色的授权简化了管理，可以将访问同一数 授予多个组。
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
主要功能
嫌 疑车 辆确 认 、 黑名 单管理、 车 时 管理 、数 据稽 查审 核管理 、 证行券路径查询。
综合稽查系统架构
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
异车倒卡处理流程
技术总监 1 人 专业数据挖掘分析师 4 人 大数据可视化工程师 1 人 需求分析师 3 人 总工程师 1 人 高级软件工程师 5 人 架构师 1 人 业务经理 1 人 QA 管理 1 人
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
个人简介
曹正凤
统计学 博士 北京大数据协会 理事
经管之家（原人大经济论坛）大数据课程培训负责人
首发集团
智 慧交通大数据中心筹备组负责人
博士论文：随机森林算法优化研究
出版专著：从零进阶！数据分析的统计基础 EI 核心论文： Parameter Settings of Genetic Algo
Based on Multi-Factor Analysis of V
2019
BigData Department
博士学历 2 人 研究生学历 8 人
智慧交通大数据中心建设方案（ 1
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
一期建设的内容
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
2 智慧交通大数据平台
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
视频
基于大数据平台的综合稽查
产品概况
综合稽查
针 对当 前高 速公 路的 逃费问题 ，提
据 分析 的高 速公 路防 逃费稽查 方案 当 前高 速公 路视 频监 控系统的 可视 结 合通 行信 息 ， 运用 大数据存 储 量 历史 数据 中提 取出 疑似逃费 车辆 抓 拍图 片、 通行 视频 和通行路 径等 费 证据 链信 息 ， 该证 据链信息 可 政 执法 、公 安执 法， 为打击高 速公 辆定位提供了完善的稽查手段和证据
多租户管理
• LDP 平台允许为委派给不同管理员的不同数据集设置权限 。
机器级别的安全
• 对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止
第四届中国数据分析师行业峰会 务。即使伪装成用户入侵到一个 HDFS 或者 MapReduce 集群上，
3 智慧交通大数据应用
综合稽查 BI 展示
2 智慧交通大数据平台
智慧交通大数据平台的功能特
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
功能特性 —— 各种异构数据的全方位汇集
我们的产品
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
功能特性 -- 拖拽 式、图形化大数 据分析环境，降 低门槛和使用难 度
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
开源大数据平台运维成本高
大数据集群数量众多的 服务器不便于整体的部 署与管理。 1. 资源监控 2. 组件部署 3. 资源分配 4. 辅助工具 …
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
3 智慧交通大数据应用
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
大数据部的组织架构
技术总监
20
BigDat
产品团队（ 3 ）
开发团队（ 4 ）
平台团队（ 4 ）
数据团队（ 4 ）
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
强大的技术架构 团队共 19 人
主持全国统计科学研究项目：基于大数据平台的我国宏观经
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
从零进阶！数据分析的统计学基础
2019/7/17
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
目录
1 大数据团队概况及建设方案
2 智慧交通大数据平台
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
• 功能特性 —— 便于维护
自动部署 • 操作系统、 LDP 平台自动化
部署功能 • 添加、批量移除，触发
hadoop 、 hbase 等服务的一 系列处理
服务器状态监控 • CPU 、内存、网络、磁盘运
行状态 • 超过阀值报警
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
黄冀 GC9035 百泉庄双向入
土桥站内环出
应缴： 125+145
实缴： 20+10
逃费： 240
第四届中国数据分析师行业峰会
智慧交通大数据平台建设的目的
人人都能进行大数据分析
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
大数据学习门槛高
spark mahout
JAVA JDBC
第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT
开源大数据平台的开发难度高
例如，黑屏命令行操作维 护方式，增加了运维开发 人员的工作难度、操作量， 降低的工具的友好性。