存储
文件存储 平台 表格存储 平台 对象存储 平台 块存储 平台
底层
云主机 内核 硬件
• HBase平台（HDFS, M/R）
– – – – 运行全球最大的HBase集群之一（3K节点） 存储记录总条数达到100万亿条 增加索引引擎，满足关系型数据库查询需求 增加搜索引擎，对存入平台的所有数据支持字符检索
360大数据平台介绍
唐会军
• 360大数据规模&能力
– 大数据服务器规模超过30000台
– 总存储数据量接近1EB，每天新增超过1PB – 每天各种数据计算任务10万个，每天处理数据量10PB – 具备一分钟内调动几十万颗CPU核参与计算能力 – 具备一秒钟处理1TB数据能力
• 360大数据技术路线
分布式矩阵
MPI通信框架
计算框架
存储
• Euler平台算法库
• 聚类
– – – – – k-means 凝聚层次聚类 minhash Disjoint-Set Query Clustering 随机森林 GBDT LLGC 朴素贝叶斯
• 协同过滤
– User-based – Item-based
• 回归
– 器翻译
– SMT – EMBT
• 主题模型
– plsa – Lda
• 其它
– PageRank：网页排序 – ALS：矩阵分解
• Hadoop平台（HDFS, M/R）
– 360内部分支版本（从2010年开始） – 单集群规模5K个节点，年底到10K节点 – 增加了权限管理，性能优化一系列改进
• 大数据分析平台—云图
• 语音识别
– 7人小团队一年时间在搜索语音识别领域超过讯飞 – 利用公司海量数据优势和海量数据挖掘经验
字错误率
3.50% 3.00% 2.50% 2.00% 1.50% 1.00% 0.50% 0.00% 360搜索 讯飞语音+ 1.82% 3.09%
谢谢！
• Cassandra平台
– Cassandra集群总规模全球第一（超过10K节点） – 增加数据备份，数据冗余EC方案，索引等一系列功能 – 修复BUG无数，稳定性经受住线上7*24小时，一年 365天无服务中断考验
• 机器学习平台Euler
应用 计算
作业管理&任务调度 分类 聚类 回归 …
分布式向量
– 利用最廉价的PC服务器+开源/自主开发软件构建而成 – 数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100
• 360大数据业务(搜索 广告 杀毒 语音\图像识别…)
• 360大数据架构图
产品
搜索 安全 广告 语音 图像
计算
机器学习 平台 实时计算 平台 M/R计算 平台 流式计算 平台