10GE FC IB
10GE SAS IB
分布式数据库 非关系型数据库
计算 存储 网络 数据库
大数据时代群雄逐鹿
Hadoop解决方案架构
目录
1 什云么时十代大大数数据据的特点 2 大大数 数据 据各 带来行哪业些需技求术和变应革用
3 大数据架构和具体实践
大数据架构和具体实践
在大数据方面不仅仅是平台提供商Βιβλιοθήκη 计算瓶颈存储瓶颈 网络瓶颈
数据库瓶颈
大数据带来哪些技术变革
单机
集群
单块机存储 文件存储 设备间连接 设备内连接
横向扩展 横向扩展 GE FC
FC
关系型数据库
数据库集群
集群 虚拟化
横向扩展（硬件扩展） 块虚拟化 丰富的增值软件及对外接口 横向扩展（硬件+文件系统） 文件虚拟化 丰富的增值软件及对外接口
大
大数据应用开发提供商
数
据
管理
大数据系统集成商
服务 提供
商
大数据平台提供商
除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根据用户 的实际需求，打造适合用户自身特点的大数据服务体系；
大数据统一架构
数据可视化
管控平面
策略调度
HBASE
Data Bridge
数据挖掘
日志留存
内容检索
存储节点
合作
集成
3rd Party Tool
Lucene
Flume
Data Loader
Sqoop
数据重构时间缩短20倍
10
8
6
10
4
2
0.5
0
传统阵列
RAID 2.0
1TB NL－SAS 磁盘重构时间（小时）
30mins/TB的恢复速度
安全可信
弹性高效
加速数据恢复
存储池内所有硬盘参与重构，仅重 构业务数据
大数据时代存储解决方案
目录
1 云时代大数据的特点 2 大数据带来哪些技术变革 3 大数据架构和具体实践
大数据定义-不同行业的不同声音
大量数据管理
海量计算
数据分析
大量用户 群体
云时代的大数据特点
Volume-巨 量
Variety-多样性
Value-价值密度
Velocity-速 度
数据量巨大
全球在2010 年正式进 入ZB 时代 IDC预计到2020 年， 全球将总共拥有40ZB 的数据量
300+
专业服务监管
300+
备件中心
200+ 2000+
4 1700+
增值服务伙伴 合作伙伴 培训中心 专业讲师
实施
运营
改进
感谢聆听 批评指导
结构化数据、半结构化 数据和非结构化数据
如今的数据类型早已不 是单一的文本形式，订 单、日志、音频，能力 提出了更高的要求
沙里淘金，价值密度低
一部数小时的视频，可 能有用的数据仅仅只有 一两秒。如何迅速“提 纯”是大数据亟待解决 的难题
实时获取需要的信息
大数据区分于传统数 据最显著的特征。如 今已是ZB时代，在如 此海量的数据面前， 处理数据的效率就是 企业的生命
统一存储，同时支持块和文件应用 可扩展至192GB Cache 可扩展至1440 块硬盘
存储管理软件
可扩展至384GB Cache 可扩展至1440 块硬盘 25万SPC-1性能
SmartCache UltrPath Management
SmartThin
UltraVR Console
N9000大数据存储系统
3~288节点，40PB容量扩展，500万OPS 10GE/IB高性能互联
UDS海量存储系统
标准Amazon S3接口 EB级容量扩展 高密设计，单柜2PB容量
HDP3500E*
一体化备份设备
VTL6900*
PB级海量备份 集群架构
同时支持Inline与后端重删
本地产为的是降低生产成本，OEM仅仅是包装 存储核心竞争力是研发、设计
库）统计外企在国内重大信息安全漏洞多达6万个 技术、质量、价格均不可控
存储的中国芯
SAS SSD控制芯片 Hi1811
PCI-E SSD控制芯片Hi1821
智能融合IO芯片 Hi1812
• 业界第一颗支持SAS 2.0的ASIC控 制器 •发布首款全固态存储系统Dorado 2100
短信、Email内容 过滤等其他信息
大数据在各行业的应用
互联网
金融
公安
社交网络
B 2C业务
能源
电子支付
票据归档
媒资
视频监控
视频分析
科研
地质勘探
智能电网
非线编辑
后期制作
卫星探测
基因工程
目录
1 云时代大数据的特点 2 大大数 数据 据各 带来行哪业些需技求术和变应革用 3 大数据架构和具体实践
大数据带来技术变革
Dell 7%
HDS 8%
HP 14%
other 国内厂商
12%
19%
IBM 26%
EMC
14%
IDC2011年数据
外企当道 ≈安全威胁
本地产/OEM ≠自主可控
外企霸占国内市场：国外存储厂商占据国内80% 本地产/OEM不等于自主可控
以上的市场份额，其中金融业占据90%，交通行 业超过80%，电信行业超过90%； 威胁国家安全：CNNVD（国家信息安全漏洞
大数据一体化平台
应用适配, Programmable接口
批处理(Galax HD) ) Hive,Pig,Mashout
Hcatalog
MapReduce
分布式计算和分析
实时处理和内存计算
流处理
内存数据库
视频分析
OLAP
近实时分析和MPP DB
SQL Query Planner
MPP Exec
资源管理 (YARN,多 户,Zookeeper)
SmartX Insight UltraAPM InfraControl
HVS85T/HVS88T
VIS6600T*
2~16 控制器
可扩展至3TB Cache
可扩展至 3216 块硬盘
0~5s RPO
2~8节点，Scale-out
虚拟化存储
数据复制软件
HyperSnap HyperClone
SSD
SAS
NL-SAS
SmartTier
数据动态分级
SmartVirtualization
异构数据整合
数据智能流动
IBM HDS EMC HW
SmartMotion
数据动态平衡
Smart智能软件
SmartTier：精细化热点统计与迁 移，最大化性能资源利用率，性能
提升3倍
SmartMotion：基于场景的动态 部署变更，最大化自动负载均衡，
存以智用，融以致远
HVS & T系列统一存储
N9000大数据存储
存储虚拟化VIS6600T
面向企业级数据中心 实现数据智能布局
面向海量数据存储 融合架构简化生命周期管理
PP1P1P5282 PP1P1P5282
PP1P1P5282
PP1P1P5282
PP1P1P5282
双活数据中心 统一存储资源池
外企当道、自主乏力
专用/通用处理器CPU
• 支持PCI-E 3.0接口 • 支持SAS 3.0协议
SHA1、Dedup加速卡
• 自研ARM64，融合存储特性 (Raid5/6/DIF/Multicast/DMA)
• 最少磁盘，最少电力，满足海量 数据备份需求 • 加速卡实现5GB/s = 18TB/Hr •更低成本，更高性价比
提供最全系列全国产存储产品
大数 据和 云存
储
数据 保护
磁盘 存储
存储 软件
N8500集群NAS系统*
全Active架构 支持文件和块接口 2~24节点，15PB容量扩展，300万OPS 动态分级存储
CSS分布式存储系统
支持Posix/NFS/CIFS/JDBC/ODBC接口 多GE互联
固态 存储
Dorado2100 G2
60万 IOPS 访问延迟低至500s
Dorado5100
100万 IOPS 访问延迟低至500s
S2200T
S2600T/S5500T/S5600T/S5800T
S6800T
双控制器 支持4GB Cache 支持204 块硬盘
SmartQoS SmartMotion SmartTier
由传统RAID多对一的重构模式转变 为HVS的多对多快速重构模式
数据恢复速度相对传统RAID提升
20倍 降低95%的多盘失效概率
大幅降低重构过程对业务的影响
核心业务专属保障
安全可信
弹性高效
Partition 1
Partition 2
Partition 3
Partition 4
Partition …
亚洲最大兼容性实验室
超过400家兼 容性测试伙伴
兼容性实验室——解决您的兼容性顾虑
最大 亚洲
的IT产品兼容性实验室，拥有国内最全面的测试环境，产品兼容性得到充分的认证，客户的兼容性
疑虑得到最好的解答 与全球400家IT厂家合作，影响全球IT生态圈，为客户提供更加全面的IT产品。
云化存储设计：智能融合可信赖，满足企业需要
大数据 分析处理