关于我
11年加入腾讯
关注分布式存储和计算系统现负责腾讯广告数据系统
•丰富的广告资源
•精准的定向能力
腾讯社交广告
•预先聚合•实时+离线•灵活性不够•查询速度快
数据分析
•查询时聚合
•预先将数据处理成易于查询的格式•灵活性高•查询时计算量大
预先聚合的计算系统
LAMDA 架构
接入
计算
存储
•问题：任务越来越多，计算资源消耗越来越大•合并原始数据聚合的工作，减少重复IO 和数据解析的开销•多个pig, hive, mapreduce -> 一个mapreduce 生成多个聚合结果•一份代码，易于性能优化
•
时间均匀分布，提高集群利用率
统一计算框架
任务解耦 – 流式计算。