– Cassandra集群总规模全球第一（超过10K节点） – 增加数据备份，数据冗余EC方案，索引等一系列功能 – 修复BUG无数，稳定性经受住线上7*24小时，一年
365天无服务中断考验
SUCCESS
THANK YOU
2019/8/3
• 机器学习平台Euler
应用
计算
作业管理&任务调度
分类
聚类
360大数据平台介绍
唐会军
• 360大数据规模&能力
– 大数据服务器规模超过30000台 – 总存储数据量接近1EB，每天新增超过1PB – 每天各种数据计算任务10万个，每天处理数据量10PB – 具备一分钟内调动几十万颗CPU核参与计算能力 – 具备一秒钟处理1TB数据能力
• 360大数据技术路线
• 大数据分析平台—云图
• 语音识别
– 7人小团队一年时间在搜索语音识别领域超过讯飞 – 利用公司海量数据优势和海量数据挖掘经验
3.50% 3.00% 2.50% 2.00% 1.50% 1.00% 0.50% 0.00%
字错误率
3.09%
1.82%
360搜索
讯飞语音+
谢谢！
SUCCESS
THANK YOU
• 协同过滤
– User-based – Item-based
• 回归
– 逻辑回归
• 机器翻译
– SMT – EMBT•来自其它– PageRank：网页排序 – ALS：矩阵分解
• Hadoop平台（HDFS, M/R）
– 360内部分支版本（从2010年开始） – 单集群规模5K个节点，年底到10K节点 – 增加了权限管理，性能优化一系列改进
2019/8/3
回归
分布式向量
分布式矩阵
MPI通信框架
存储
… 计算框架
• Euler平台算法库
• 聚类
– k-means – 凝聚层次聚类 – minhash – Disjoint-Set – Query Clustering
• 分类
– 随机森林 – GBDT – LLGC – 朴素贝叶斯
• 主题模型
– plsa – Lda
对象存储 平台
流式计算 平台
块存储 平台
底层
云主机
内核
硬件
• HBase平台（HDFS, M/R）
– 运行全球最大的HBase集群之一（3K节点） – 存储记录总条数达到100万亿条 – 增加索引引擎，满足关系型数据库查询需求 – 增加搜索引擎，对存入平台的所有数据支持字符检索
• Cassandra平台
– 利用最廉价的PC服务器+开源/自主开发软件构建而成 – 数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100
• 360大数据业务(搜索 广告 杀毒 语音\图像识别…)
• 360大数据架构图
产品
搜索
安全
广告
语音
图像
机器学习 平台
文件存储 平台
计算
实时计算 平台
M/R计算 平台
存储
表格存储 平台