当前位置:文档之家› (华为)大数据时代的大机遇v2.52

(华为)大数据时代的大机遇v2.52


实时Wifi转移 (四网协同) 欺诈管理
新企业用户订单 影响分析 业务流程优化
网络故障检测和 恢复 收入保障
基于价值的实时网络 拥塞管理 合作伙伴价值优化
企业管理
市场分析&监控
HUAWEI TECHNOLOGIES CO., LTD.
8
华为大数据应用情况
截止到2013年11月份,全球拓展86个大数据市场项目,其中39个交付中(11个已经商用)
Datastage
Oracle Essbase、 IBM Cognos
流式计算 多维 分析 内存分析
Hbase/Hive、 Cassandra、MongoDB SAP HANA、 Oracle Exalytics
数据库 分析
数据治理
NoSQL
MPP 数据仓库
NewSQL Hadoop 发行版
Cloudera、MapR、 Hortonworks
大数据分析和数据开放
商业智能
流量经营
客户关怀
精准营销
大数据基础设 施 9
网络运维
HUAWEI TECHNOLOGIES CO., LTD.
11个商用项目简介(按正式商用时间先后排序)
产品名称(Offering)
SDP彩铃 日志详单 CBS SDP游戏基地 CBS
项目名称
尼日利亚彩铃MTN 天津私有云 巴林VIVO CBS项目 SDP游戏基地(BDI) 不丹Tashi CBS项目
Indicator
Query Performance Loading Performance
Analytic
Inquiry
BI
Product
Unstructured data
POC Result
2-4s delay with 300 concurrent queries 83+MB/S with 13 nodes
IBM Streams、 Apache Storm
自然语 言处理 社交图谱 分析
Pregel、 Neo4j
Videosurf
媒体智 能分析
分析实时化: 分析计算向自助式adhoc多维分析、实时内 存分析、流式计算发展
管理集中化: 数据管理从数据仓库、 Hadoop向支持海量数据 集中化管理、交互式SQL 查询的NewSQL发展 软硬一体化: 传统基础设施从小型 机向软硬整合一体机 方向发展
商用时间
2012年11月 2012年12月 2013年6月 2013年8月 2013年10月
游戏基地:将分布式数据库Teastore中的数据同步到BI系统进行经分分析。要求每月全量同步一次,每天增量同步一次,同时同步 的数据要按照客户的要求进行聚合。
用于AR/GL/Report等模块,实现模块间数据集成;提供产品配臵、匹配、订购的规则引擎 业务方目前已完成部分流程的配臵,jdbc抽取、jdbc加载节点使用最多,数据库都是oracle。中间偶尔会有过滤等少量转换节点。 正在和第三方讨论方案,已决定文本的处理。 调度方面存在三个: 1、分钟 目前有5个分钟调度, 1个1分钟调度,4个两分钟调度,大多数据量是1条,5个调度总共7条数据。 2、日 大约15至20个。总数据量不超过100条。 3、月 目前有3个,数据量和日调度一致,总数据量不超过100条。 BDI,SM,RTD,Hadoop共计4个组件。 新用户因其不存在用户评分记录,这个时候可以基于用户特性、标签通过业务规则来推荐,用户特性或标签本身可以来源于数据挖 掘分析或者是数据钻取分析。 提供事件决策平台,引入实时和精确营销能力 Hbase客户画像,RTD实时决策能力
适时的客户接触 关怀 渠道和时间偏好 分析 客户体验差的时 候主动关怀 网络故障的时候 主动关怀
客户离网风险预 测 客户离网原因预 测 个性化的挽留营 销活动 挽留营销活动的 效果评估
客户自服务渠道 效率分析 沉默用户(服务) 主动关怀
产品设计和开发
网络优化 基于价值的网络 规划
基于策略的网络 性能管理
11MB/S
HUAWEI TECHNOLOGIES CO., LTD.
华为Confidential
12
山东移动综合分析系统
与山东移动合作进行网络综合分析系统一期建设: 完成了HADOOP+MPP的大数据架构的搭建; 打通与Gn信令系统、综合资源系统、经分系统、流控系统、话务网管、数据网管、网优系统、拨测系统8个系统的接口; 初步建立网络数据融合分析模型和指标体系; 自 定 义 分 析
eCommerce电子渠道
河北移动(BDI)
2013年10月
RBT BI( 一体化营销项目) VASCloud Report Hybird Video SDP音乐基地
音乐平台菲律宾Smart项目 山东移动一体化营销项目 多米尼加(BDI) 卡塔尔卡电(BDI) 四川移动音乐基地(BDI)
2013年10月 2013年11月 2013年11月 2013年11月 2013年11月
Exadata、GP、 Teradata、Netezza
Dremel、Spanner、 Impala、EMC HAWQ
小型机
软硬一体机
Oracle Exadata、 IBM Puredata
大数据技术向海量、实时和智能发展。在实际的应用过程中按需采用。
HUAWEI TECHNOLOGIES CO., LTD.
互联网行为分析 支撑个性化营销
用户上网行为
BigData-C 数据就是商品。通过规则开 放市场,数据在不同企业和 领域间被交换、处理和应用, 形成数字经济商业生态环境。
• 数据分析结果用于 解决自身业务问题
BigData-R 数据是资源。依托主营业务的 数据进行整合,衍生出特定的 商业数据应用。数据与业务强 相关组合。
数据用途
(提供者角度)
项目描述
主要是预测分析(流失率预测、订购行为预测)以及关联推荐营销,Smartminer用户分类分析能力 提供超大容量100台节点的访问和管理能力 提供便捷的安装部署能力 提供高很高的吞吐量和高并发的业务访问 用于AR/GL/Report等模块,实现模块间数据集成;提供产品配臵、匹配、订购的规则引擎
Page 3
数据,已经渗透到每一个行业和业务领域,
洞见本质、预测趋势、指引未来是Big Data时代的核心
用未来牵引现在,用现在保证未来!
HUAWEI TECHNOLOGIES CO., LTD.
Page 4
运营商需要依据大数据发展趋势进行战略选择
• 从外界有偿获取 需要的数据和服 务
数据来源(使用者角度) NhomakorabeaTMF 34个大数据分析应用场景
数据货币化
市场营销 网页浏览个性 化推荐 客户体验 个性化的实时交 互人工服务
实时互动个性 化推荐
基于设备的实时 个性化推荐
基于位置实时个性化 推荐
基于业务使用的实时 个性化推荐 产品分析 产品引入分析
基于互联网记录进行精准 广告
Checkout个性化推荐 产品优化 客户对产品的购买概率分析
Simple Inquery &Analytic Structured data Reporting
MPP
• 痛点诉求 如左图,机会1:A(结构化数据存储)+B(非结构化数据 存储);机会2:ETL基础数据处理。 • 提供的方案 硬件采用x86服务器,软件系统采用OI平台,提供 A+B+C的整体解决方案,超出客户需求。 • 空间和进展 一期已开始交付;二期需求主要是B和C,投资预算超 $500万。 后续该大数据存储中心可作为IT网改中的核心部件,为 上层各应用(BI/Report/CRM等)提供统一的数据接 口和服务。
BigData-M 数据是手段。利用自有的业务运营 数据,进行汇集和分析,指导企业 经营和管理。
• 数据用于向外部 客户提供服务
• 自有资源和业务 数据采集分析 以数据来源和数据用途两个维度来看,大数据会经历三个阶段:从自发的利用内生数据解决问题,到基于数据的 应用商业化,再到进入数据共享交易时代。

广义大数据:是物理世界到数字世界的映射和提炼,通过发现其中的数据特征和规律,最终实现提升人 们生活质量、提高生产效率的目的; 狭义大数据:是指围绕着海量数据的智能存储、智能挖掘和智能分析;

华为 TECHNOLOGIES CO., LTD. HISILICON SEMICONDUCTOR
华为Confidential
HUAWEI TECHNOLOGIES CO., LTD.
10
中移动集团私有云/南方基地日志详单系统
日志详单数据存储系统逻辑功能视图
应用系统
HDFS MR FTP JDBC/SQL
背景介绍:
北方基地私有云和南方基地,为中移动集团的南北两大云 计算基地,集中建设海量日志详单系统,用于集团各省公 司共享式地使用Hadoop存储日志详单数据; 系统规模为1xx节点,存储容量1.x PB
华为Confidential
6
目前为止半数以上的运营商已经开始部署大数据,针对具 体应用的方案占多数
结 论
半数以上已经开始部署大数据,但 是规模不一;
HUAWEI TECHNOLOGIES CO., LTD.
1
结 论 二
相比规划和部署端到端大数据方案, 针对具体应用/目的的大数据方案占 多数;
Source: Informa Telecoms & Media N:240 (All base) 7
支持7个报表产品,合计100个左右的作业调度。报表接受系统定时(默认2-30分钟之间)采集生成的统计数据文件。部分话单包括和 配臵表关联衍生字段。 按一般消息400字节计算,具备单机2万/行的入库能力。支持单机和集群部署,集群一般场景是双机 提供BDI 四川移动音乐基地:将分布式数据库Teastore中的数据同步到BI系统进行经分分析。 每天增量同步一次,全量只同步一次,同时同步的数据要按照需求进行聚合。
相关主题