数据建模
数据关联
数据分析
Big Data Processing Framework
几分钟后读取 结果文件并展 现
谢谢！
15
4
BI云应用海量数据分析系统-总体框架
数据分析系统门户 用户
SQL
ETL服务器
数据采集
分 析 结 果 云计算应用层 数据分析应用
数 据 导 入
云计算平台层 云计算基础设施层 Cloud平台
海量数据处理平台 分布式存储
硬件层
…
BI云应用海量数据分析系统-系统架构
IT & xSP Solutions
BI云应用海量数据分析系统
1
目录
BI云应用海量数据分析系统
方案建议
成功案例
BI云应用海量数据分析系统
Business Intelligence Platform
BI 云应用海量数据分析 系统
BI云应用海量数据分析系统是基于流行分布式框架 Hadoop、Hbase、Hive基础开发一套解决海量数据 分析难题的系统解决方案。具有强大的PB级数据处 理能力，支持对现有数据库的导入导出无缝衔接。
Master Node Secondary NameNode 云架构海量 数据分析集 群
slave Node
12
12
12
API-预定义分析模型API
Big Data Analytics Solution
固定查询模型 如： 异常流程查询 指定主叫查询 指定被叫查询
毫秒级返回 运算结果集
• 预定义分析模型是指客户对常用的、即时性要求高的查询分析应用 计算模型明确提出，由云计算平台预处理后提供相应API接口供前端 应用调用，并在毫秒级反馈运算结果。
数据 分析
数据 挖掘
数据 预处理
分布式数据处理引擎 新算法
Work Flow 引擎 数据预处理 数据分析 数据挖掘 搜索 引擎 SQL 适配
Map Reduce 分布式数据存储层 新资源/接口
数据库集成 FTP SMB/CIFS HBase
HDFS
新硬件
BI云应用海量数据分析系统-设备管理实 现
万兆交换机
Cloud集群
。。。 。。。
海量的存储空间
BI云应用海量数据分析系统-数据处 理定制化流程控制
用户按照业务逻辑自由 定制各种数据处理操作
海量数据处理平台
任务计划
任务执行
分布式计算框架
BI云应用海量数据分析系统-扩展
新BI应用
数据分析应用 Web Service API
存储 搜索
其他应用
其他应用
简单 表API
毫秒级返回 运算结果输 出文件名称
• 自定义分析模型是指客户随机决定计算模型，应用层组织 类SQL语句作为云计算平台API的查询计算输入条件调用接口。 云计算海量数据分析平台会在毫秒级返回计算结果的文件名 称与路径，几分钟后应用层可根据路径及名称读取结果文件 （文件格式为csv）并加以展现。
14
API
大数据时代-你准备好了吗？
随着企业规模的不断成长，有效存储和管理长期累积的且 仍在持续快速增长的海量数据，从中发掘商业价值，意味着巨 大的市场机遇；同时也带来了严峻挑战：大数据将挑战企业的 存储架构及数据中心基础设施，也会引发数据仓库、数据挖 掘、商业智能、云计算等应用的连锁反应。
市场调研机构的数据显示，2011年企业 会将更多的多TB（1TB=1000GB）数据集用于 商务智能和商务分析；到2020年，全球数据 使用量预计暴增44倍，达到35.2ZB（1ZB=10 亿TB）。大数据正在彻底改变IT世界。大数 据时代将重新定义既有的IT格局
Telecom CDR & Log Process Solution
Web & Digital Media Solutions
Content Security Solutions
Management Console
Data Import
Data Export
MapReduce Launcher MapReduce Runtime
API
数据建模
数据关联
数据分析
Big Data Processing Framework
13
API-自定义分析模型API
Big Data Analytics Solution
自定义计算模 型，支持类SQL 接口，如： “select * from tab_cdr where ESN=‘789’; ”
WorkFlow Engine
Distributed Database
Distributed File System
BI云应用海量数据分析系统-数据分析 流程
数据导入 预处理和
和归档
数据整理
数据分析
数据关联
和统计
数据导出和报表
预处理 数据整理
全文 索引搜 索
多维度 统计分析
各字段 索引搜索
数据导入 ODBC/JDBC 数据导入 FTP 数据导入 Samba
工作流引擎
Web接口
分布式计算框架
数据导出接口
分布式数据结构
分布式文件系统
云基础架构 IaaS
BI云应用海量数据分析系统-数据流向
原始数据
数据挖掘 分析统计
报表分析
关系型数据库
ETL服务器
基于TCloud集群的 海量数据分析系统 分析结果数据库
BI云应用海量数据分析系统-海量数据处理
强大的处理能力