1、跨可用区容灾 2、访问时延降低3~5倍
客户IDC
Host Host
云联网跨城流量分级调度
➢ 挑战：光缆物理路径不同，时 延不等，时延抖动明显。
➢ 方案：端到端的探测隧道延时 ，通过算法聚合分类线路，根 据业务要求分级调度。
➢ 加速故障收敛：周期探测隧道 ，实时踢除不健康隧道，快速 感知线路故障并且自愈。收敛 时间与DCI underlay网络解耦。
userspace slowpath
Host
Flowtable agent
Flowtable
Flowtable proxy
VM
Slowpath流量 占比小于20%
fastpath流量 占比大于80%
安全组
分布式交换机 分布式路由器 NAT
LB
Kernel
通信通道
Miss上送
Miss上送
物理 网卡
packetIO
➢ 快慢路径分离，显著提升转发性能。 ➢ Fastpath独占cpu，不抢占guest VM的cpu ➢ Fastpath的包转发性能提升10倍，包转发时延降
低50%。 ➢ Fastpath和slowpath框架统一适配多种异构平台
(DPDK、smartnic、FPGA)
VM
Flowtable proxy
new vswitch
Flowtable
Tmp vswitch
Flowtable
new vswitch
Kernel
slowpath
通信通道
fastpath
Kernel
slowpath
通信通道
fastpath
Kernel
slowpath
通信通道
fastpath
Kernel
slowpath
通信通道
fastpath
1
完成安装tmpvswitch 完成tmpviswitch的流表安装
2
打开开关将流量切 换到tmpvswitch
3
删除旧vswitch 安装先vswitch，并安装流表
4
关闭开关将流量切换到新 vswitch，并删除tmpvswitch
升级过程的网络中断时间从500ms优化到几乎为0
fastpath升级变更无感知
流表对账
THANK YOU!
感谢聆听！
Flowtable proxy
Flowtable proxy
SDNGW
SDNGW
SDNGW
anycast vip (Region级网关集群)
SDNGW
Host A
Virtual Switch
Host B
Virtual Switch
VM
VM
A
X
VM
VM
O
E
Available zone Ⅰ
Host C
Virtual Switch
Flowtable proxy
Flowtable proxy
Host Flowtable
agent
userspace
Flowtable
vswitch
s通low信pa通th 道
VM
vring
Host Flowtable
agent
Hale Waihona Puke userspaceFlowtable
vswitch
s通low信pa通th 道
用户视图下的虚拟化云网络
用户在控制台操作即可实现： 云上网络的规划设计、部署建设、运营监控和计量计费
虚拟化云网络的挑战
大规模公有云的云网络运营过程中，用户对云网络对要求和期望越来越高，也是我们的挑 战和目标：
➢ 高可靠：跨可用区容灾、故障快速自愈 ➢ 变更透明：升级无中断、bugfix/优化/新特性可快速迭代上线 ➢ 高性能：高吞吐量、低时延 ➢ 大规模：60K VMs/vpc、百万私有网络、流表快速下发 ➢ 热迁移：VM热迁移中断时间<100ms，减少物理机维护对业务影响
Host D
Virtual Switch
VM
VM
B
y
VM
VM
P
F
Available zone Ⅱ
云联网 DCI
SDNGW包括:VPCGW、CCNGW、MCGW、CLBGW、IGW。
高性能virtual Switch
➢ Vswitch主要实现分布式虚拟交换机、分布式虚拟路由器. ➢ 基于GRE协议的overlay封装，与underlay网络解耦。
流表对账
60K流表下发时间较少30倍
流表对账
Host A
Virtual Switch
Host B
Virtual Switch
VM
VM
A
X
VM
VM
O
E
Available zone Ⅰ
Host C
Virtual Switch
Host D
Virtual Switch
VM
VM
B
y
VM
VM
P
F
Available zone Ⅱ
➢ 流表对账：本地就近定时对 账，确保流表数据准确性。
流表对账
Flowtable proxy
SDNGW
SDN controller
控制台 云API 业务编排
SDN controller
Flowtable proxy
Flowtable proxy
SDNGW
SDNGW
Flowtable proxy
SDNGW
Anycast BGP ip和普通BGP ip时延对比
VM热迁移网络中断时间优化
VM running
VM running
VM stop
开启源母机代理
VM running
开始热迁移
迭代迁移脏内存
更新映射关系 迁移最后的流表 迁移寄存器virtio状态
流量不再中转，正常 收发
周边模块映射关系 生效
迭代迁移会话表
腾讯云网络架构设计实践
——高可靠、高性能、低时延、大规模、平滑升级
腾讯云网络产品中心 周显平
目录
➢ 公有云用户视图下的云网络 ➢ 公有云虚拟化云网络的挑战 ➢ 腾讯云虚拟化云网络架构
• Vswitch的高性能设计 • Vswitch的平滑升级设计 • 端到端的时延优化设计 • 云联网跨域时延优化设计 • BGP Anycast IP公网加速 • VM热迁移网络中断时间优化 • 大规模流表的管理设计
腾讯云虚拟化云网络架构 Globa SDN controller cluster
Region XX
ISP
BGP peer
专线接入 BGP peer
客户 IDC
Host Host
SDN region controller
SDN region controller
Flowtable proxy
Flowtable proxy
VM
vring
old fastpath
new fastpath
VF1
VF2
NIC(SRIOV)
1
网卡将数据包发给VF1 启动new fastpath进程初始化VF2
old fastpath
new fastpath
VF1
VF2
NIC(SRIOV)
2
切换vring由new fastpath收发包 切换网卡收发包到VF2
迁移最后的脏内存
目的母机上开机
子机在源母机
子机在源母机
停机(100ms内)
子机在目的母机
VM running
热迁移完成
大规模私有网络流表的管理
➢ 分布式接入：Flowtable proxy分布式部署及就近接 入减少交互时延。
Region XX
➢ 数据分组：数据逻辑分组， 减少冗余数据传输。
➢ 批量下发：批量下发减少交 互次数。
Host A
Virtual Switch
VM
VM
A
X
Host B
Virtual Switch
VM
VM
O
E
Host C
Virtual Switch
VM
VM
B
y
Host D
Virtual Switch
VM
VM
P
F
➢ 减少跨zone流量，降低业务 抖动概率。
Available zone Ⅰ
Available zone Ⅱ
fastpath
会话查询
配置变更
action执行
packetIO
物理 网卡
slowpath升级变更无感知
Flowtable proxy
Host
Flowtable proxy
Host
Flowtable proxy
Host
Flowtable proxy
Host
Flowtable agent
Flowtable agent
基础服务RS
基础服务RS
基础服务RS
客户IDC
Host Host
➢ 分布式就近部署SDNGW。
SDNGW
SDNGW
SDNGW
anycast vip (Region级网关集群)
SDNGW
➢ 统一Anycast vip提供服务。
➢ Underlay最短路径选路确保 时延最小。
➢ 单设备、单zone设备故障， underlay路由自动收敛后故 障自愈。
user
短距离走运营商公网
user
➢ 全地域同服： 使用同一个ip提供服务，简化DNS、备案等管理。 ➢ 多出口容灾： 多公网出口同时提供服务，出口故障自动切换容灾。 ➢ 分布式抗攻击：多公网出口同时DDOS防护。 ➢ 跨域传输加速：公网就近接入pop点，长距离走腾讯云DCI专线，减小