当前位置:文档之家› 云原生时代消息中间件的技术演进

云原生时代消息中间件的技术演进



计算平台
视频云
IoT

云 消
Blink
Max Compute
MPS
IoT PaaS


ES
HBase
RTC

IoT 边缘智能

Dataphin


数据库
ADB DTS
云通信
短信
DM 移动 推送
存储
OSS CSG HBR
AI
VCS 城市大脑 工业大脑
安全
云盾
Serverless 电商生态
FC
菜鸟PaaS
服务能力
高可用
• 交易链路12年,双十一10年 • 可用性99.95%,可靠性8个9
• 双 11 消息收发 TPS 峰值过亿, 日消息收发总量3万亿;
• 全球最大的业务消息集群之一
高性能
• 双 11 万亿级数据洪峰下, 消息发送99.996%在毫秒级响应;
• 消息发布平均响应时间不超过 3 毫秒,最大不超过 20 毫秒;
STANDARD BENCHMARK
OpenMessaging
接入&迁移
多协议 多API 多语言 多终端 多生态 全球消息路由
多租户
命名空间 访问控制 实例限流 资源隔离
标准版 铂金版
海量堆积
消息类型
普通消息 事务消息 定时消息 顺序消息 重试消息 死信消息
消费&治理
Pub/Sub 广播/集群 Tag过滤 SQL过滤 消息轨迹 消息查询 消息回放
故障应急
监控报警 故障发生 快速止血 排查根因 故障复盘
Svc.
远程调用 Svc.
异步化
Svc.
Message Broker
Svc.
• 消息是比事件更通用的抽象(Raw Data) • 消息常用于微服务调用之间的异步解耦 • 消息的内容往往绑定了较强的业务属性 • 消息的发送方对消息处理逻辑有明确的预期
MQ实例
2W TPS
根据业务流量 自动升降配
10W TPS
根据消费者数量 自动升降配
实例规格
..…
队列数量 逻辑资源按需扩缩容
Kubernetes集群
MQ 集 群
Broker1 PV1
Broker2 PV2
Broker3 PV3
Broker4 PV4
MQ 集 群
根据Load等Metrics 做出扩容决策
M CPServer
Control Plane
• 推动 Envoy 社区加速on-

demand CDS的支持
• 创新性地使用Pop消费模式适 配Mesh的无状态网络模型
Data Plane
• 类Frame的协议设计降低解 码成本
消息队列 Kafka 聚焦大数据生态链,100% 融合 Kafka 开源 社区,大数据应用领域中不可或缺的消息产 品;
Event Sources
Event Broker
Event Consumers
• 事件是具像化的,代表事情的发生、条件和状态的变化 • 事件源可能来自不同的环境与组织 • 事件源对事件将被如何响应没有任何预期 • 采用事件的应用架构是更彻底的解耦 • 采用事件的应用架构将更加具备可扩展性和灵活性
根据Load等Metrics 做出缩容决策
MQ 集 群
Broker1 PV1 PV3
Broker3 PV3
PV漂移
Broker4 PV4
Broker2 PV2 PV4
MQ 集 群
物理资源按需扩缩容
• 阿里云消息队列 RocketMQ 是国内第二个 成功进入 Service Mesh 官 方社区的中间件产品
集团场景
政务钉
聚石塔
饿了么









云原生技术栈
应用框架
数据分析
大数据
Kafka API&协议
JMS API
CloudEvents 规范
社区“标准”
MULTI DOMAINS
STREAMING
WIRE LEVEL PLUGGABLE
PLATFORM INDEPENDENT
CLOUD ORIENTED
低延迟
云产品簇
消息队列RocketMQ 消息队列 Kafka 微消息队列 MQTT 消息队列 AMQP 消息服务 MNS 事件总线 EventBridge
RocketMQ 内核
富客户端
轻量级 Push Pull Pop
重试/熔断
注册中心
简单可靠 无状态
最终一致
计算节点
高性能 传输层
可扩展 RPC框架
存储引擎
低延迟读写互斥 日志与索引分离 一致性多副本
多模存储 多级存储Leabharlann PageCache 读写互斥
事定查 务时询 索索索
引引引
百万 队列 索引
CommitLog
Master-Slave DLedger 秒级RTO协议 统一存储接口
Deep Storage
本地块设备 云存储
盘古原生存储 OSS
架构开发
消息队列 AMQP 100% 兼容 AMQP 事实标准协议, 全面融合 RabbitMQ 开源社区生态;
事件总线 EventBridge 原生支持 CloudEvents 标准,提供中心化 事件服务能力,加速云原生生态集成,EDA 首选;
互联网
大数据
移动互联网 & 物联网
拥抱开源
消息通知服务
下一代消息产品形态
应用定义/ 开发层
云原生 其它层次
云原生消息服务定位
高SLA 低成本 易用性 多样性 标准化
标准化
高SLA
云原生消息 服务
多样性
易用性
低成本
• 快速部署 RocketMQ集群 至 Kubernetes 环境
• 利用 K8S 的能力低成本运 维 RocketMQ 集群
• 使用云原生Prometheus观 测集群指标
云原生时代消息中间件的技术演进
技术创新,变革未来
SLA
Dis tribution
Performance
Aut omation
Configuration
Delivery
Diagnosability
Resistancy
Elasticity
Security
云原生 消息服务
云原生 通信 基础设施
云原生消息服务定义
消息队列 RocketMQ 阿里巴巴自主研发及双 11 交易核心链路 消息产品,阿里云主打品牌, 主要面向业务消息处理, 打造金融级高可靠消息服务;
微消息队列 MQTT 基于 MQTT 标准协议自研,拓展消息产品 的领域与边界,延伸到移动互联网以及物 联网,实现端与云的连接;
消息服务 MNS 聚焦云产品生态集成 & 消息通 知服务(HTTP Endpoint、 Function Compute、事件通 知、移动推送等);
面向失败设计
开发测试
Code Review 单元测试 集成测试 性能测试 容灾测试
变更管理
可灰度 可监控 可回滚 可降级
稳定性防护
限流、降级 容量评估 应急方案 大促保障 故障演练 预案演练
定期风险梳理
体系化 巡检
黑盒巡检
用户视角 全功能扫描 50+检测项
白盒巡检
JVM运行时指标 内核系统指标 集群统计指标
相关主题