性能、高可靠性硬件保障系统性能和可靠性。 • 基于通用硬件，平台兼容性好，可跨代，跨厂商硬件部署 • 扩展性高，业内有上万节点级部署案例，大陆有千节点级部署
Twitter利用Hadoop和Pig工具完成数据的批量分析，并进行决策支持和数据挖掘， 利用Storm每天实时推送1亿活跃用户的5亿消息
Amazon为被托管应用提供了多租户、按使用付费的大数据服务，整合了非结构化 （S3）、结构化（RDS、SimpleDB、DynamoDB）数据，通过并行计算EMR能 力，将数据放入RedShift用于最终的数据展现等目的。
电信运营商大数据平台和应用实践
提纲
• 电信运营商大数据面临的挑战 • “大云”大数据平台研发和实践
移动互联网用户流量激增，手机数据化、宽带化趋势明显
用户分布
流量分布
时间分布 移动互联网：通信功能 = 80：20
数据来源：Infoma 2013
全球移动互联网用户数量激增， 已3倍于固定互联网用户数量
2017年，全球4G终端产生的数据流量是非4G终端的8倍，每月数据流量超过 10EB [1EB=1000PB] – （Cisco VNI 2013）
数据业务成为运营商收入的新增长点
2013年全球移动互联网业务收入增加23.4%，达到3千亿美元。其中， 2013年Q4美国运营商的数据收入超过语音收入。
Facebook以Hadoop为基础建设了包括流计算、实时计算、离线分析在内的各种大 数据系统系统。2012年每天要处理25亿条消息、用户点击Like按钮的次数达到27 亿次、上传3亿张照片。Graph Search可以检索10亿用户、2400亿图片和1万亿次 访问。目前已经支持多区域数据同步。Facebook Puma每天处理超过200亿事件， 延迟小于30秒
ABI Research Feb.2014
• Verizon 2013Q3的ARPU同比增长7.1%，比2010年发布4G时增长 21%。
• SKT 2013年Q3 4G的ARPU增长比综合ARPU增长超32%，竞争对 手KT则达到40%。
• 荷兰所有的电信运营商的数据业务收入占比同比增加14%，全部来自 语音业务的下降。
互联网公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技 术应对大数据4V挑战，例如Yahoo针对日志数据进行两种处理，并与业务 系统结合（后期尝试Spark技术）
示例：Yahoo数据处理 流程
By Tim Tully (Distinguished Engineer/Architect, Yahoo)
提纲
• 电信运营商大数据面临的挑战 • “大云”大数据平台研发和实践
云计算是挖掘大数据价值的核心基础
传统数据分析处理
DBMS
DW
transaction
ETL
基于云计算的大数据处理
Unstructure
Cluster
Analysis
Stream
Analysis
Multiple data sources (MapReduce)
面对巨大流量，移动运营商面临强大的挑战
超过7.1亿用户 超过100万基站
经分系统数据规模接近10PB 每分钟超过800万通话 每秒上网流量超过40GB 每天信令数据 超过1PB
移动互联网 专业SNS 博客 消息
服务商
新闻 点评
电商
视频 图片
优惠券
音乐
微博
地图 问答 SNS
签到 论坛
电信运营商
2G、3G、4G、WIFI …
• 面向结构化数据，非结构化处理效率低 • 基于昂贵硬件（小型机+磁盘阵列）或一体机 • 硬件平台兼容性差：在跨代硬件或跨厂商硬
件环境下常常无法部署 • 扩展性达到PB级之上可选厂商较少，易绑定
• 具备结构化/非结构化混合分析的能力,大数据多为非结构化 • 基于消费级硬件，以常态化硬件故障为设计出发点，不依赖高
4G、M2M将大大加快移动网络数据业务和流量增长
4G驱动流量增长
2013年4G网络将占到全球流量的 20%，2016年将超过3G网络流量， 2018年将占据超过2/3的移动网络 流量。2013-2018年，4G流量的年 复合增长率达到82.2%。2018年数 据业务收入占运营商的份额的 47.3%
大数据技术在互联网公司得到成功应用
Google在全球多个数据中心大规模混合部署和调度数据处理能力，系统利用率高达 80%+，2011年MapReduce系统每天处理1000PB左右输入数据，支撑其核心业 务，包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多 种数据处理系统。随着技术能力提高，将大数据处理能力服务化。
A+Abis信令 Mc信令
Gn+Gb信令 Gn-IuPS信令
Wifi、Radius信令 4G X2等信令 DNS 数据 语音等业务数据
日志
+
结构化数据
网络优化 决策支持 精准营销 业务创新
需要建立采集、存储、分析、交互等全方位能力，其中既包括传统已经具备的能力，也 包括需要新建的大数据能力
互联网公司通常采用混合架构解决大数据问题
管道数据类型多样、数据巨大、处理速度要求高，同时也存在质量问题，是电信运营商 大数据的主要来源
需要融合巨大的管道数据和业务数据
虽然结构化的业务数据虽然价值含量很高，但是管道数据却提供了用户的数据消费、 社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息，这对用户刻画、 套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助
M2M终端数量大幅度增长 2014年，M2M设备数量接近智能终端
ABI Research 2013.09
数据来源：Ericsson 2013.11 数据来源：ABI Research 2012
2012年9月Verizon LTE网络建成不到2年，用户达到11M， 占Verizon用户总数约12%，流量消耗占全网流量的35% 以上。2013年1月，4G流量占比50%，2013年11月，4G 流量超过64%，视频是主要业务
数据来源：ห้องสมุดไป่ตู้isco 2013
数据来源：GSMA 2013
移动互联网流量激增，2012年底， 移动互联网应用使用时间激增，是
移动数据流量占比超过13%
使用通信服务时间的4倍
中国移动互联网发展有相类似的趋势，截至2013年6月，中国手机网民已达4.6 亿，上半年移动互联网接入流量同比增长62.6%（CNNIC、工信部）