当前位置:文档之家› 腾讯实时流计算平台演进之路

腾讯实时流计算平台演进之路

腾讯实时流计算平台演进之路
杨华(vinoyang)
腾讯高级工程师
目录•Flink在腾讯实时计算概况简介
•Oceanus平台简介
•针对Flink的扩展与优化
•Q&A
Flink 在腾讯的演进历

2017年上
Flink 框架预研,跟Storm 进行对比
2017年下
Flink 内部版本定制开发,Storm 业务迁移,Standalone 集群模式运行
2018年上
Flink 产品化,打造一体化的实时流计算平台Oceanus,Flink on Yarn
2018年下
实时流计算平台规模化接入腾讯内部业务(覆盖所有BG)与外部客户并上线公有云2019年上完善场景化服务,上线在线ML ,同时发力Flink 批处理,打造
SuperSQL
Flink赋能腾讯实时计算
Flink 在腾讯实时计算的规模
集群总核数34万
峰值算⼒力力2.1亿/s ⽇日均消息量量
近20万亿⽬目前,腾讯内部除⼴广告的在线训练业务外,原先运⾏行行在Storm上的实时流计算业务都已逐步迁移⾄至Flink平台,⼴广告业务的迁移计划预期也在今年年下半年年完成。

目录•Flink在腾讯实时计算概况简介
•Oceanus平台简介
•针对Flink的扩展与优化
•Q&A
Oceanus平台整体技术架构
Oceanus-应用列表。

相关主题