KS3
IAAS
虚拟化层管理
管理平台
基础网络管理
存储管理
安全管理
CPU资源
GPU资源
FPGA资源
内存资源
存储资源
网络资源
架构特点
• 金山云容器Paas平台基于开源 Kubernetes容器编排系统开发，构建
于金山云IAAS平台之上
优势
•
•
•
高性能、稳定性、可靠性、安全性、易 用性。 提供可靠的集群容灾和业务容灾能、弹
性集群扩展能力 共享金山云生态拓展Paas容器平台能
力
部署示意图
容器集群
可
私 有
用 区
节点
容器
容器
地网 A
域络
V
可
P
用
C
区 节点 容器
容器
B
负载均衡
Internet 镜像仓库
GPU-docker
GPU-docker
GPU-docker
GPU-docker
容器异构
GPU
GPU GPU GPU
计算异构
集群架构-容器存储
概述
容器的数据都是非持久化的，Kubernetes 提供了强大的 Volume 机制和丰富的插件，解决了容器数据 持久化和容器间共享数据的问题
功能
• 支持EmptyDir、HostPath、Ebs、Nfs四种存储产品类型 • 支持存储介质初始化、销毁、创建、删除、挂载、卸载等操作 • Pod漂移后，保证ebs、nfs中存储数据不丢失
Kube-node
Kube-proxy
kubelet
flannel
docker
集群架构-部署示意图
Kingsoft Load balancer
Kube-master Kube controller manager
Kube scheduler Kube apiserver
etcd
etcd
etcd
Kube-node
Cidr:172.16.1.0/24
eth0
Flannelbackend
VPC Route table:172.16.0.0/24 gw hostA_eth0 VPC Route table:172.16.1.0/24 gw hostB_eth0
Pod ip由cni插件分配 Pod ip注册到VPC网络 Pod和pod、pod到node通信使用VPC路由 网络吞吐率提升40%
KS3 Etc.
集群类型 集群版本 集群功能
集群管理
虚拟机集群
GPU集群
物理机集群
1.10.5
1.12.3
一键化部署 支持跨可用区部署
支持任意机型 手动、弹性伸缩
自定义集群配置 节点升降配
Kube-master Kube controller manager
Kube scheduler Kube apiserverKube-proxy源自kubeletflannel
docker
Kube-master Kube controller manager
Kube scheduler Kube apiserver
Kube-node
Kube-proxy
kubelet
flannel
docker
• 用户独享集群资源，在底层资 源层面实现多租户的隔离，保 证用户业务的隔离性
Kubernetes volume 插件机制: • 动态PVC（disk-provisioner） • 静态PV（flex-volume）
集群架构-社区网络方案
集群架构-金山云网络方案
Center controller
Kube-Datacenter
CloudProvider
K8S Cluster host A Node A PodA-1
• 99% post/put/patch/delete api 100m 内响应 • 99% get/list api 500 ms 内响应 • Shceduler 调度性能可达 100 pod/s • 99% Pod 启动延迟 小于 3 s
• 单个 Core DNS 请求可达 5万 qps • Core DNS 99%请求 5 ms 内响应 • etcd：读10万qps，写2万qps
Storage Health
Log DNS
Monitor LB
Network Volume plug-in plug-in
Log plug-in
Monitor plug-in
Other plug-in
Docker registry
Public hub
Private hub
Harbor Docker hub monitor
PodA-2 PodA-3
host B Node B
PodB-1
PodB-2 PodB-3
Flannelbackend
Cidr:172.16.0.0/24
eth0
VPC Route table:172.16.0.0/24 gw hostA_eth0 VPC Route table:172.16.1.0/24 gw hostB_eth0
Kube-controller-manager
Disk Provision
provision
delete
EBS Volume
容器存储-EBS
集成金山云块存储服务（EBS）
attach
detach
container container container
mount
umount
FlexVolume Kubelet
VPC
VM VM VM
虚拟化
NAT SW SW
金山云整体业务模型
EIP
LB
FW
SW
VRouter
SW
VM-docker VM-docker VM-docker
容器
FPGA GPU GPU
异构物理计算
RDS
Redis
MongoDB
DC
VPN
BM
peer
BM
BM
pbsvc
多选型裸金属
业务特点及优势：
金山云容器产品构建在金山 IAAS平台之上用户VPC内部， 可以共享用户VPC内的所有 资源和服务
金山云容器引擎
KINGSOF T CLOU D 201 9
产品整体设计方案
控制台&API&SDK
PAAS
Kubernetes
Deployment ConfigMap StatefulSet Service Job
ServiceAccount HPA Ingress
Secret Other
Network Security
• 支持集群在VPC内部跨可用区 部署，有效保证用户业务的高 可用性
• 多master控制节点、多etcd节 点的部署方式，保证集群的高 可用
集群能力
master规格 推荐节点数量
核心指标
4c 8g 8c 16g 16c 32g 32c 64g
0-100 100-300 300-500 500-1000