当前位置:
文档之家› 2019金山云KS3对象存储介绍
2019金山云KS3对象存储介绍
国内最大公有云对象存储服务
上传的数据量每月增长30%,全年增长500%
核心优势
稳定
• 多副本、多IDC部署 • 可用性99.95%,可靠性11个9 • 6年以上数百PB大规模业务验证
安全
• HTTPS传输加密 • AES-256网银级服务端加密 • 专有DDos防护体系 • 客户端IP访问限制 • 细粒度资源访问策略
易用
• 兼容AWS S3接口标准 • 支持控制台、API、命令行和可
视化客户端访问 • 10余种主流语言SDK • 多种数据迁移工具和服务
企业私有云
虚机、容器
大数据
备份
数据存储
KVM
镜像、快照
日志、图片、视频
数据库、日志
对象存储KS3
文件、对象存储
核心优势
• 规模无限制,可支持数百PB数据,千亿规模元数据,数万台服务器,商用验证 • 高可靠(11个9),高可用(4个9),高性能(sata,网络无阻塞) • 全自动运维:全面监控、自动化运维、故障自动检测和预测 • 全自研系统:多副本或EC冗余存储 & 周期性自检 • 单桶百万QPS能力 • 完全兼容S3协议:支持业界标准,业务无缝集成 • 不依赖特定硬件厂商 • 完全自研的监控报警平台 OnePiece
元数据存储
Application Table SDK
proxy
Table Server
proxy
Table Server
proxy
Table Server
Zone1
zookeeper Master
proxy
Table Server
proxy
Table Server
proxy
Table Server
Zone2
系统架构
Shadow Master
proxy
Table Server
proxy
Table Server
proxy
Table Server
Zone3
mem disk Level0 Level1
Level2
Immutable Mem Table
compaction
Immutable Mem Table
PHY
PHY
PHY
PHY
MG-ilo
基于标准IP交换网络和x86服务器,无需任何专用设备
服务部署 - AllInOne
负载均衡
接入层 业务层
NGX API
元数据存储
KTS
数据存储
Phenix
S1-A1
KGW N2
NGX API KTS Phenix S1-A1
KGW N2
网络
NGX
NGX
API
API
X86 小规模、半离线、非关键业务
系统架构
缓存 集群
接入集群(NGX) 业务集群(WebService)
异步任务 处理集群
跨Region复制
标
标
标
低
准
准
准
频
存
存
存
存
储
储
储
储
集
集
集
集
群
群
群
群
数据存储(Object)
Region.A
元
元
数
数
据
据
集
集
群
群
M
S
元数据存储(KV)
Region.B
数据存储
DataServer.n
NameServer (Standby)
Get Active Nameserver
Zookeeper
Zookeeper
Zookeeper
Zookeeper
Zookeeper
• 单个集群规模:1000台;单台物理机最大:288TB,单个集群支持:>200PB物理空间 • 支持三副本& EC两种冗余策略,异步物理空间回收 • 支持数KB~数Mb级别的海量小文件存储
DataServer.5 DataServer.5 DataServer.4 DataServer.3 DataServer.2 DataServer.1
KS3 API
Da
Obj SDK
tSe a re. 1vr
Data IO
• • • ••
Get Metadata
NameServer (Active)
对象存储存储产品介绍
© 2019 KSYUN The information contained herein is subject to change without notice
产品介绍 金山对象存储(Kingsoft Standard Storage Service,简称KS3)
…
KT1
S1-A1
NGX API KTS Phenix S1-A1
服务部署 – 标准部署
负载均衡
KGW
KGW
…
N2
N2
业务接入
NGX API
NGX
…
API
N2
N2
网络
KTS
KTS
KTS
KTS
Phenix Phenix Phenix Phenix Phenix Phenix … Phenix
核心优势
存储规模 可用性 & 可靠性
数据策略 可扩展性 单点容错 扩容代价 空间利用率 技术支持 运维成本 硬件依赖 适用场景
KS3经过多种业务、大规模、长时间验证的高品质商用服务
KS3 商用售卖超过800PB 4个9 & 11个9,5年大规模商业验证 动态自动三副本&EC转换 无上限,单Bucket无上限
C4-S C4-S C4-S C4-S 元数据存储
S2-S1 S2-S1 S2-S1 S2-S1 S2-S1 S2-S1 数据存储
S2-S1
客户案例
国内领先的 版权分销商
KS3
私有云存储
• 10PB私有化存储 • 500台存储节点 • 存储视频母带 • 标准HTTP协议传输数据 • 金山云通过专线运维 • 提供控制台与使用工具
• 十年技术积累 • 国内最大的企业级公有云存储服务 • 国内4个region,数万台存储服务器 • 日增1P+
俄罗斯 北京
上海
新加坡
广东
香港
产品介绍
2012年12月 2013年6月 2013年12月 2014年6月 2014年12月 2015年6月 2015年12月 2016年6月 2016年12月 2017年6月 2017年12月
无影响 无影响 > 90% 7 * 24, 全自研 低(成熟、自动化程度高)
X86 大规模、低成本、关键业务
Ceph 数十PB 设计4个9 &11个9,无大规模商用验证 固定三副本或EC 单集群100台,单Backet有上限 分钟级卡顿 业务有损 < 80% 无,依赖开源社区 高(自研,自动化程度低)
写入操作
log manifest current
block0
block1
SST block2 block3
block4
Block index
本地引擎
物理架构
运营商
内网KGW集群
外网KGW集群 CORE1
路由器
外网KGW集群 CORE2
内网KGW集群
TOR
TOR
TOR
TOR
TOR
MG-CORE
PHY