当前位置:
文档之家› XSKY 分布式存储解决方案
XSKY 分布式存储解决方案
XSKY为Ceph网络层AsyncMessanger的主 要贡献和维护者。
XSKY 2016 年 10 月 将 Ceph 的 InfiniBand/RDMA互联共享给upstream。
产品以Ceph为引擎,构建企业级分布式存储产品
• 企业级接口,FC和iSCSI,多路径 • 高性能,低延时、百亿级文件对象 • 持续服务,高水平SLA和业务QoS保证 • 易运维,全图形化操作,0命令行运维 • 内置数据保护功能,一站式解决数据安全问题
X-EBS 是专门为大并发,高性能,高 压力,弹性扩展需求的客户所量身定 做的解决方案产品。
应用场景:虚拟化 / 数据库 / 结构化 数据 / 部分替代SAN
X-EDP是一个真正的统一存储,实现 了同一套存储系统向上层应用同时提 供块、文件和对象三种数据服务,满 足业务对结构化、半结构化、非结构 化数据的存放需求。
全球存储市场发展趋势:分布式存储快速成长
当前
基于标准服务器的软件定义存储(SDS)逐渐取代专用存储
未来10年全球企业分布式存储市场快速增长,预计2027将占存储市场的70%份额
XSKY 产品介绍
融合架构 – Software Defined Device
Radio
PSP
MP3 Games Camera Video
性能优化: • 4K随机写IOPS提升20%; • IO延时降低15% • CPU利用率降低40% • 内存使用至少减少2/3 支持在线升级
支持Xen、Hyper-V
完美的支持Xen、Hyper-V
全图形化运维
准备硬件
安装OS 安全与密钥配置
NTP配置
安装XSKY软件包 Web集中配置集群
集群其他节 点就绪
哪块硬盘坏了? • 硬盘手动点灯功能
• 硬盘点灯设置是硬盘故障定 位功能,对于出现错误或告 警的硬盘可以通过管理界面 点灯操作定位到物理盘的位 置。以便于运维人员进行排 查或修复。
X-EOS 是专门为高性价比和大容量需 求型客户,量身定做的解决方案产 品,对海量小文件,超大容量数据存 储有良好的优化。
应用场景:视频,影音,图片,流媒 体 / 非结构化数据 / 性能容量比
XSKY 产品架构体系
XSKY分布式存储软件部署形式
两种形态,按需选择
超融合部署架构
资源池分离部署架构
将计算和OSD部署在同一个节点即超融合架构,部署在不同节点即分离部署架构。
TCO持续上升,部分设备扩 容成本比新购还高
“3 年 前 的 型 号 厂 商 说 停 产 了,建议我们买新型号。问 题是数据迁移太痛苦!”
性能无法满足业务要求,需 要购置新设备,原投资浪费
“如果一套存储可以一直扩 展下去那样就好了!”
对云计算、大数据等新技 术支持不足
“现在业务都上云了,要 给上千个虚机配存储资源 至少要花两天!”
按需选择所需的虚拟化平台
iSCSI | FC | LibRBD | Local SCSI
XSKY分布式存储资源... 池
标准x86服务器
标准x86服务器
标准x86服务器
Vmware Ready
VAAI支持,获得Vmware 官方认证 TAP 合作伙伴 SDDC 成员
OpenStack生态默认后端存储
XSKY统一存储解决方案
2017.5
XSKY 公司和团队简介
Future Ready SDS
关于公司
• Ceph分布式存储技术中国领先者,2016年Ceph社区中 国贡献率第一
• 拥有近40个产品专利和软著 • 中国开源云联盟 理事会员 • IDC重点关注的软件定义存储创业公司
关于 XSKY | 星辰天合
LibRBD
S3
RADOS GW
海量小文件处理 冷池休眠
Librados
XSKY加速组件 (内存管理、网络通信、线程调度、数据持久化策略等)
FileStore
OSD Core
BlueStore
KvStore
XStore 读写缓存
硬件加速层(SPDK,DPDK等)
MON
CPU
DISK
MEM
NIC
XSKY管理系统
图灵奖得主Jim Gray :
从现在起,每18个月,新增 的数据量等于有史以来数 据量之和。
企业信息化面临的挑战
容量不足, 经常需要扩容
“业务发展快,数据量 增长更快!”
管理复杂, 需要专业人员
“It is data center that managing me, not I am managing it.”
推荐在中小规模的vmware 虚拟化场景使 用。参考《Vmware超融合部署最佳实践 指南》
XSKY分布式存储系统——VMware VAAI支持
X-EBS:增强的LIBRBD,提升超融合性能
使用了“增强LIBRBD”后… 1. 4K随机写IOPS提升 20% 2. IO延迟降低15% 3. CPU利用率降低40% 4. 内存使用至多减少2/3
统一数据平台。
研发核心
• 团队A:来自一线互联网,国内Ceph社区贡献第一; • 团队B:来自IT领导厂商的存储产品研发。
XSKY 在ceph社区的贡献度
3
XSKY如何为Ceph社区贡献源代码
XSKY 开 源 贡 献 主 要 集 中 在 NVMe , DPDK/SPDK/RDMA整合,BlueStore, 网络 优化,OSD, MON 性能优化等等方面。
可视化管理 健康状态监控
智能辅助 故障告警 容量性能统计 工作负载统计 操作日志
市场对于XSKY的认可
IT架构变革趋势
互联网和物联网持续推动大数据经济
44ZB 数据产生 80% 以上的
数据将是非结构化 数据
未来10年内,将增加44倍 的数据和内容
4500亿美元
数据价值
至2020年,500亿设 备实现互联
在融合EBS 和 EOS,形成统一管理的 基础上,内置数据保护功能:备份、 复制、容灾、云分层等,帮助企业轻 松应对业务快速变化时的信息灵活、 可靠存取需求。
应用场景:虚拟化 / 数据库 / 结构化 数据 / 低延迟 / 部分替代SAN
X-EDP 分布式数据平台
X-EOS 分布式对象存储
X-EOS 是XSKY基于软件定义的分布 式对象存储的发行版,X-EOS 不但可 以帮助运营商与云服务商实现数10个 PB规模的存储资源池,也可以帮助企 业实现成本可控的中小规模水平扩展 存储。
两步完成在线扩容(主机): 1、配置主机网络环境 2、输入IP安装主机
两步完成在线扩容(磁盘): 1、选择目标主机 2、安装磁盘
除去安装Linux操作系统的时间,X-EBS本身的安 装部署仅需要2~3分钟
完善的软硬件监控平台,数据统计长达90天时间
GUI/CLI
Restful API
SNMP
可视化硬盘管理
SDS统一数据平台:
• 更高的数据可靠性 • 数据与硬件解耦合,通用|异构 • 数据价值排浪 • 可控的|更长的数据生命周期
• 高性能服务器集群 • 服务器、机架、DC多级保护 • OLTP业务,FC与iSCSI接口
• 大容量服务器集群 • 分析与增值业务 • 在线备份 • 对象接口
• 低功耗服务器集群 • 合规与潜在数据红利 • 在线归档 • 对象接口,多云互通
接口不变,每台物理机多运行更多的VM
OpenStack
• 创建虚拟机 • 创建镜像 • 创建块存储卷 • 块存储卷生命周期管理 • 创建卷快照及克隆块存储卷
• 创建拓扑、存储池 • 块存储卷管理与监控 • 批量设置块存储卷QoS • 卷快照管理 • 硬件资源管理与监控
支持多虚拟化(Multi-Hypervisor)
资源孤岛,无法共享,利用率 低下
“各个部门都说资源不够用, 但实际上很多是可以共享使用 的,特别是研发,但是我们很 难都监控起来”
企业的面临的IT挑战是技术革新的推动力
TOP 6问题:容量/管理/TCO/性能/大数据/利用率
存储容量不能满足需求
50.1%
资源配置复杂
44.4%
采购和运营成本高 不能满足并行处理能力需求
以可视化的视图展示硬盘的基本 信息及从属关系,基本信息包 括:硬盘名称、状态、容量、已 使用容量、数据恢复情况、硬盘 介质、IO利用率等。从属关系包 括从属服务器视图和从属存储池 视图。同时支持鼠标hover时显示 硬盘详细信息。
硬盘运维
海量硬盘如何维护? • S.M.A.R.T检测 • 硬盘灯告警功能 • SSD寿命预警
SDS 软件软件 = Server SAN
互联网技术引导存储变革:通用硬件 + 软件定义
传统公司的数据中心 (Yahoo, Altavista)
各种专用服务器、交换机、SAN、NAS
一线互联网的数据中心(Google, Amazon,BAT) 通用硬件 + SDI
磁带库或蓝光设备
支撑线上业务
数据保护,按需调档
合规留存
光纤网络
以太网络
以太网络+特殊介质
~30000元
~10000元
~1000元
软件定义存储 – “数据湖”模型
数据访问热度
业务访问
分析访问
增值访问
2016 2017 2018
… 2025
…
热数据池
2045 …
温数据池
SDS
冷数据池
数据加密
存储公 有云
传统的业务数据存储策略与模型
数据访问热度
传统影像数据生命周期:
• 从在线到离线,单向流动 • 数据价值仅一次利用
介质转移
2016 2017 2018 … 2025