当前位置:文档之家› 大数据平台项目方案汇报

大数据平台项目方案汇报

明确网优大数据安全管理职责,由网优中心负 责大数据使用全部环节的安全管理,做到核心 数据不出机房,先脱敏再使用,用多少取多少。 通过4A管控访问大数据平台,采用防病毒软 件、防火墙和专业漏洞扫描软件进行安全加固 和漏洞扫描,保证整个系统的安全性。
总体要求 落实
安全管理 制度
根据总部管理办法制定网优中心大数据安全与风险防控 管理细则,明确内部安全管理要求和对外合作风险防控 要求,建立网优大数据“分层、分权、分级”管理制度。 在网优大数据的采集、传输、存储、使用、共享、销毁 六个环节,采用加密、模糊化处理、限制访问和批量导 出限制等手段进行保护,防止用户敏感信息泄露。
业支 大数据平台
软采XDR (UU、X2) 硬采XDR MR Data (MRO、MRE)
工参、参数、告警
FTP传输、解压、归档 FTP传输、解压、归档
Hadoop最终实现方案将采用“瀑布式”数据对接, 实现随传随呈现,全自动化对接。当前业支大数据 平台不支持Spark架构,处理效率有待提升。
网优 MR服务器/ 网优平台
大数据平台项目方案

平台开发进展和架构说明

部分分析成果演示

下一步开发计划

案例演示
2
大数据网优项目整体完成情况汇报
截止三月中旬,大数据网优项目已经完成相关功能开发,目前正在对全省数据进行轮巡分析。 重要事件 整体开发计划:
定位技术突破
1. 系统Demo版本开发 09/25 11/15 数据源解 析入库 完成试用版本
当前方案处理性能主要受服务器I/O性能的限制,光邵阳、湘潭两市一 天的数据仅解压时间都超过了12小时。通过给特定服务器增加固态硬 盘可以使平台整体I/O性能得到增长,缩短数据处理时间。
数据采集&预处理服务器集 群(201/202/203/208)
4
大数据系统系统架构说明
网优大数据系统做为公司大数据平台应用层:数据源来源于业支大数据平台,基础运算功能植入业支大数据 平台,网优输出结果可实现共享,支撑“网络+市场”联合分析、协同发展。
界面加速 性能 优化 功能增加
2.系统Beta版本开发 11/16 12/15
Hadoop改造,接口 联调
3.系统正式版本开发 12/16 1/28
全省推广和功能“挑刺”
4.平台上线试用 2/10 04/30
关键时间点
多项功能增加
完成测试版本
完成Beta版本测试
完成商用版本
全省上线使用并最终评分验收
工测试每小时可以采集到720个采样点)
长沙
数据源 MRO 1天(T)解压后 6.5 数据源 MRO 软采 S1-U S1-MME
湘潭
1天(T)解压后 1.89 0.82 1.4 0.24 2.9千万 数据源
邵阳
1天(T)解压后
MRO
软采 S1-U S1-MME
2.65
1.12 2.10 0.41
软采
SPARK业务质量计 网优平台 MR Data
采集层 (网优大数据平台)
共享层 (网优大数据平台)
应用层 (网优大数据平台) GIS服务器
数据采集存储
Oracle集群定位计 算
Oracle集群关联计 算 Oracle集群业务质 量计算
数据 录入
JAVA数据预过滤、 回填等预处理
安全防护 加固
全流程安 全管控
四个落实:
敏感信息脱敏 关键数据防复制 接入4A管控 分权分域授权
6

平台开发进展和架构说明

部分分析成果演示

下一步开发计划

案例演示
7
功能开发计划完成情况
弱覆盖
覆盖类指标 评估 干扰评估 掉线分析 低速率分析
开发进度
落地进度 • 已完成长沙、邵阳、湘潭数据呈现,现场 已开始利用平台进行覆盖评估; • 通过地市公司使用挑刺,已收到意见反馈 10多条,已完成整改8条;
Gn口话单
字段推送
字段推送
网优Hadoop集群 (210/211/212/213/214)
前端服务器 (204)
GIS服务器 (209)
2/3G业务流量
查询、抓取 Java工具入库
支持前端呈现
支持地图呈现
当前数据对接方案
网管 (DPI、MR服务器)
数据推送
数据库集群 (205/206/207/215/216)
技术难点
数据源完整性 排查
多数据源清洗 和快速入库解 析
数据库逻辑 优化
GIS界面深 度定制开发
大数据联 合运算效 率提升
关联算法 优化
进化版APP 定位算法设 计
Hadoop数据对接在线运算 集中化生产接口联调
集中化、自动化生产 功能优化
3
大数据系统系统架构说明
网优大数据系统做为公司大数据平台应用层:数据源来源于业支大数据平台,基础运算功能植入业支大数据平 台,网优输出结果可实现共享,支撑“网络+市场”联合分析、协同发展。 Hadoop数据对接最终方案
目标架构:
软采XDR
采集层 (业支大数据平台) HADOOP数据录 入、归档 SPARK数据地市分 拣、过滤、回填等 预处理
共享层 (业支大数据平台) SPARK定位计算 SPARK关联计算
应用层 (网优大数据平台) GIS服务器 分析服务器 前台服务器
硬采XDR
MR Data
工参、参数、 告警
数据 录入
S1-U S1-MME
3.5
5 1
采样点数
有效采样点数 界面呈现采样点数
8千万
2千万 114万
采样点数
采样点数
有效采样点数 界面呈现采样点数
分析服务器
前台服务器
5
大数据网优安全防控措施介绍
16年总部安排湖南公司牵头编写了《网优大数据安全管理办法(征求意见稿)》( 网通 [2016] 173 号文) ,从总体要
求、安全管理制度、全流程安全管控、安全防护加固四方面对网优大数据安全进行了规范与要求。湖南公司积极 落地总部要求,在建设大数据平台时同步实现了各项安全管控措施。
重叠覆盖 越区覆盖
100% 100% 100% 100% 100% 100% 60% 60%
• 下一步将进行全省逐步推广及平台功能挑 刺,对各地市反馈需求汇总分析、进一步 优化功能输出。
竞对分析
室分外泄 用户投诉 驻留比评估
5月底完成 5月底完成 8
数据规模及处理效率
当前大数据平台接入了长沙、邵阳、湘潭三个地市的数据,数据源类型包括MRO、软采X2、UU接口XDR和硬 采S1MME和S1U接口XDR数据。经过筛选、处理完成后,结果等效于约400小时的人工测试量输出结果。(人
相关主题