大数据管理员
数据Ev科an学家
数据与业务的结合
咨询团队
大数据开发团队
业务人员 技术平台支持
PPT学习交流
20
大数据技术应用
PPT学习交流
21
Internet of Customers and Internet of Things
IoT
Trillions of computer-enabled devices which are
on disk)
PPT学习交流
One Click
15
同时处理实时与批次
实时，流数据
推荐引擎 Spark Streaming/Kafka
转换
清洗
流式处理 治理
数据库，文件，批次数据
批次处理
Spark
转换
清洗
治理
PPT学习交流
数据流 输出 HDFS 文件
16
基于用户数据理解地模型预测
•图形化数据准备挖掘 •运用Spark Mlib 等进行计算 •结果回写入Impala或者HIVE
• 部署简便 • 提高开发效率 • 降低实施风险 • 基于内存的计算 性能优异
• 全部基于唯一Hadoop集群内，统一存储统一计 算
• 减少数据传输迁移的同步问题
• 维护便捷：一套集群,维护简单 • 扩展性：无限扩展 线性提升
• 便捷的开发及报表展PP现T学习工交流具
19
大数据团队组织建设
内部团队与专业伙伴紧密合作
part of the IoT
Invisible devices and Wearable devices
Trillions of networked nodes
100kBit/sec
Low bandwidth last-mile
connection
Mostly addressed by local schemes
High-bandwidth access
深圳
新加坡
雅加达
业务1 业务2
提供基于大数据技术的预测性分析及商务智能解决方案
• 300+ 技术服务人员 • 端到端的大数据平台 • 数据集成、数据挖掘与预测性分析、高级分析 • 企业级大数据仓库、企业绩效管理、商务智能
提供全球顶尖的大数据软件产品
• 大数据平台、数据集成与准备工具、开源开发技术 • 自助式分析工具、数据可视化工具
Machine-centric
Sensing-focus
Laptops / tablets / smartphones
6+billion people 1.5 billion use net
US: 4.3 devices per adult
Billions of networked
devices
Cable: 10Mbs+ Fiber: 50-100Mbs
PPT学习交流
17
非结构化数据为存储的新型SQL
• 基于落地HDFS的文件或HBASE进行SQL建表解析 • 提供工业MPP级别查询性能 • 线性可扩展 • 标准JDBC SQL界面，直连BO，Tableau ，Qlikview,
MSTR等报表工具
PPT学习交流
18
技术方案：特点小结
• 基于开源系统的成熟商用插件方案
NET
JDBC
S Q L ODBC
前端应用 报表
、（ 、 。
下游系统
、 ）
：
外部应用
API Java, C/++, Python
PPT学习交流
14
用工具取代代码作坊
MapReduce Performance
(runs on disk)
Spark Performance
20X (runFsains-mteermory &
PPT学习交流
12
大数据平台计算框架
Y
SQL
A R
N
传统数仓功能PPT学习交流
非结构化流式挖掘分析
13
软件架构 （举例）
DATA PLATFORM(HDFS)
数据安全以及认证（Portal集成） 管理控制台 （CloudEra、Talend、KNIME）
灵活数据准备
SQL in Hadoop 数据挖掘与预测
5
主要客户
汽车制造 · 电子产品及家电 · 快消零售 · 医药与生命科学 · 航空与物流 · 高科技制造业 ·金融及其他
PPT学习交流
6
大数据软件产品
H aHd oaodpo o p
以
以
Text here
为
核
流计算
机器学习
为心
核 心 的 大的大数据产 数品
Vortex
据系
产列
品
SQL on Hadoop
量变到质变
大数据与大数据技术
PPT学习交流
2016.10
1
议程
• 公司简介 • 大数据与大数据技术 • 大数据技术应用
• 大数据案例分享
• 问题讨论
PPT学习交流
2
• 公司概况&发展历史
公• 主司要客简户介&大数据产品
PPT学习交流
3
公司概况
专注于分析预测与行业应用的的大数据公司
北京 青岛
上海
数据集成与准备
数
开源开发技术
据
可
视
化
Statistica
数据挖掘
云
PPT学习交流
7
HEAD竞LIN争E优势
拥有多元化的数据科学家团 队和十余年的数据分析经验。 经十余年自主开发的IP打造 数据行业领先的技术优势。
数据
创新
追踪吸收和引进行业内最先 进的技术，产品和应用经验。 世界顶尖数据技术公司在中 国地区的首选合作伙伴。
业务3
大数据SaaS应用和DaaS服务
• 基于云平台的软件即服务大数据应用 • 为企业提供发展历史
大数据技术 大数据应用 分析预测 数据挖掘 数据即服务
14年来，
我们与数俱进
高级分析 数据可视化 看板管理 商务智能2.0
数据 集市
2002
数据仓库 绩效管理
PPT学习交流
在一大批竞争行业（汽车、 制药、快消、家电、物流等） 内拥有深厚的客户基础和众 多行业成功案例。
经验
融合
追求行业业务能力和技术能力的 融合以及企业系统架构与解决业 务问题间的平衡，具有扎实的项 目实施能力。
PPT学习交流
8
大数据与大数据技术
PPT学习交流
9
Hadoop技术的发展
物联网应用需要将Hadoop变为一个高性能的分析平台 需要Hadoop不光能存储数据，更要能够处理计算数据
PPT学习交流
10
基于大数据技术的数据分 析处理
SQL 分析
时间、用户、地理位置、 事件 等标签
数据准备
辅助技术：
Kafka, HBase, Cassandra, Accumulo
挖掘预测 图形化数据分析
智能搜索
Hadoop 核心层
PPT学习交流
11
大数据技术的顾虑
• 技术更迭过快 • 开源产品成熟度 • 开发效率 • 与现有架构的关系 • 运维与安全