p
Storm实时计算
e
r
数
YARN资源管理
据
平
台
HBase非关系型数据库
配
HDFS文件存储
置
Kafka消息队列
和
调
Sqoop数据传递
Flume日志收集
度
数据库（结构化数据）
文件日志（半结构化数据）
视频、ppt等（非结构化数据）
业务模型层 任务调度层
数据计算层
资源管理层 数据存储层 数据传输层 数据来源层
任务调度层
数据计算层
资源管理层 数据存储层 数据传输层 数据来源层
Spark Core内存计算
YARN资源管理
HBase非关系型数据库 HDFS文件存储
Sqoop数据传递
Flume日志收集
Z
o
Spark Sql 数据查询
Spark Streaming 实时计算
o k e e
p
Storm实时计算 e
r
数
据
平
台
配
Kafka消息队列
置 和
调
度
数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据）
推荐系统项目框架
分析结果数据库
Tomcat 推荐业务
分析结果文件
Ss购买海狗人参丸
Nginx
Tomcat 收集访 问日志
Tomcat 收集访 问日志
Oozie任务调度
Azkaban任务调度

Hive 数据查询
Mahout 数据挖掘
Spark Mlib 数据挖掘
Spark R 数据分析
MapReduce离线计算
大数据技术生态体系
业务模型、数据可视化、业务应用
Oozie任务调度
Azkaban任务调度
Z
o
Hive 数据查询
Mahout 数据挖掘
Spark Mlib 数据挖掘
Spark R 数据分析
Spark Sql 数据查询
Spark Streaming 实时计算
o k e
e
MapReduce离线计算
Spark Core内存计算