3
4G、M2M将大大加快移动网络数据业务和流量增长
4G驱动流量增长
2013年4G网络将占到全球流量的 20%，2016年将超过3G网络流量， 2018年将占据超过2/3的移动网络 流量。2013-2018年，4G流量的年 复合增长率达到82.2%。2018年数 据业务收入占运营商的份额的 47.3%
数据来源：Cisco 2013
数据来源：GSMA 2013
移动互联网流量激增，2012年底， 移动互联网应用使用时间激增，是
移动数据流量占比超过13%
使用通信服务时间的4倍
中国移动互联网发展有相类似的趋势，截至2013年6月，中国手机网民已达4.6 亿，上半年移动互联网接入流量同比增长62.6%（CNNIC、工信部）
A+Abis信令 Mc信令
Gn+Gb信令 Gn-IuPS信令
Wifi、Radius信令 4G X2等信令 DNS 数据 语音等业务数据
日志
+
结构化数据
网络优化 决策支持 精准营销 业务创新
需要建立采集、存储、分析、交互等全方位能力，其中既包括传统已经具备的能力，也
包括需要新建的大数据能力
7
互联网公司通常采用混合架构解决大数据问题
电信运营商大数据平台和应用实践
提纲
• 电信运营商大数据面临的挑战 • “大云”大数据平台研发和实践
2
移动互联网用户流量激增，手机数据化、宽带化趋势明显
用户分布
流量分布
时间分布 移动互联网：通信功能 = 80：20
数据来源：Infoma 2013
全球移动互联网用户数量激增， 已3倍于固定互联网用户数量
Twitter利用Hadoop和Pig工具完成数据的批量分析，并进行决策支持和数据挖掘， 利用Storm每天实时推送1亿活跃用户的5亿消息
Amazon为被托管应用提供了多租户、按使用付费的大数据服务，整合了非结构化 （S3）、结构化（RDS、SimpleDB、Dynamoபைடு நூலகம்B）数据，通过并行计算EMR能 力，将数据放入RedShift用于最终的数据展现等目的。
Facebook以Hadoop为基础建设了包括流计算、实时计算、离线分析在内的各种大 数据系统系统。2012年每天要处理25亿条消息、用户点击Like按钮的次数达到27 亿次、上传3亿张照片。Graph Search可以检索10亿用户、2400亿图片和1万亿次 访问。目前已经支持多区域数据同步。Facebook Puma每天处理超过200亿事件， 延迟小于30秒
5
面对巨大流量，移动运营商面临强大的挑战
超过7.1亿用户 超过100万基站
经分系统数据规模接近10PB 每分钟超过800万通话 每秒上网流量超过40GB 每天信令数据 超过1PB
移动互联网 专业SNS 博客 消息
服务商
新闻 点评
电商
视频 图片
优惠券
音乐
微博
地图 问答 SNS
签到 论坛
电信运营商
2G、3G、4G、WIFI …
2017年，全球4G终端产生的数据流量是非4G终端的8倍，每月数据流量超过 10EB [1EB=1000PB] – （CISCO VNI 2013）
4
数据业务成为运营商收入的新增长点
2013年全球移动互联网业务收入增加23.4%，达到3千亿美元。其中， 2013年Q4美国运营商的数据收入超过语音收入。
管道数据类型多样、数据巨大、处理速度要求高，同时也存在质量问题，是电信运营商
大数据的主要来源
6
需要融合巨大的管道数据和业务数据
虽然结构化的业务数据虽然价值含量很高，但是管道数据却提供了用户的数据消费、 社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息，这对用户刻画、 套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助
互联网公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技 术应对大数据4V挑战，例如Yahoo针对日志数据进行两种处理，并与业务 系统结合（后期尝试Spark技术）
示例：Yahoo数据处理 流程
By Tim Tully (Distinguished Engineer/Architect, Yahoo) /wp-content/uploads/2013/10/Tully-SparkSummit4.pdf
8
大数据技术在互联网公司得到成功应用
Google在全球多个数据中心大规模混合部署和调度数据处理能力，系统利用率高达 80%+，2011年MapReduce系统每天处理1000PB左右输入数据，支撑其核心业 务，包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多 种数据处理系统。随着技术能力提高，将大数据处理能力服务化。
ABI Research Feb.2014
• Verizon 2013Q3的ARPU同比增长7.1%，比2010年发布4G时增长 21%。
• SKT 2013年Q3 4G的ARPU增长比综合ARPU增长超32%，竞争对 手KT则达到40%。
• 荷兰所有的电信运营商的数据业务收入占比同比增加14%，全部来自 语音业务的下降。
• 面向结构化数据，非结构化处理效率低 • 基于昂贵硬件（小型机+磁盘阵列）或一体机 • 硬件平台兼容性差：在跨代硬件或跨厂商硬
件环境下常常无法部署 • 扩展性达到PB级之上可选厂商较少，易绑定
M2M终端数量大幅度增长 2014年，M2M设备数量接近智能终端
ABI Research 2013.09
数据来源：Ericsson 2013.11 数据来源：ABI Research 2012
2012年9月Verizon LTE网络建成不到2年，用户达到11M， 占Verizon用户总数约12%，流量消耗占全网流量的35% 以上。2013年1月，4G流量占比50%，2013年11月，4G 流量超过64%，视频是主要业务
9
提纲
• 电信运营商大数据面临的挑战 • “大云”大数据平台研发和实践
10
云计算是挖掘大数据价值的核心基础
传统数据分析处理
DBMS
DW
transaction
ETL
基于云计算的大数据处理
Unstructure
Cluster
Analysis
Stream
Analysis
Multiple data sources (MapReduce)