长沙已完成DEMO，正对邵阳进行落地评估 正对邵阳进行评估 邵阳暂无竞对数据
服务器资源使用情况
大数据平台最终将采用Hadoop集群对接业支大数据平台方式采集数据，5台的Hadoop集群估算的处理能力对应现网4G流量约为 380T/天，而现在由于华为服务器使用的SCSI硬盘性能低于预期，导致实际流量处理能力只有136T/天（全省峰值4G流量约为 1600T/天）。主要性能瓶颈在于解压、转储和存储过程调用数据会消耗大量I/O，通过在Hadoop集群主服务器上增加固态盘组件 可以解决这一问题。
重叠覆盖 越区覆盖
100% 100% 100% 100%
掉线分析 低速率分析
长沙已完成DEMO，正对邵阳进行落地评估
在全省落地后期中给有此需求的地市提供基础功能
用户投诉
驻留比评估 室分外泄 竞对分析
尚未接入23G 数据，无法统 计准确驻留比， 但可以就倒流 情况进行分析
60% 60% 100%析
02-03
重要事件
整体开发计划：
OTT技术突破
02-08
界面加速 性能优化 功能增加
2.系统Beta版本开发
02-14
02-16
02-26
集团巡检演示
1. 系统Demo版本开发 数据源解 析入库
Hadoop改造，接口联调
3.系统正式版本开发
全省推广和功能“挑刺”
4.平台上线试用
当前方案处理性能主要受服务器I/O性能的限制，光邵阳、湘潭两市一 天的数据仅解压时间都超过了12小时。通过给特定服务器增加固态硬 盘可以使平台整体I/O性能得到增长，缩短数据处理时间。
数据采集&预处理服务器集 群（201/202/203/208）
数据源接入情况
当前大数据平台接入了长沙、邵阳、湘潭三个地市的数据，数据源类型包括MRO、软采X2、UU接口XDR和硬 采S1MME和S1U接口XDR数据，数据量如下表所示。利用当前算法，可以从当前数据类型中的所有采样点提取 大约百分之一的有效数据，如果可以提供S1U原始码流数据，并充分保障XDR数据完整性和准确性，这一比例可 以提高若干倍。
Hadoop数据对接最终方案
业支 大数据平台
软采XDR （UU、X2） 硬采XDR （S1MME、S1U） MR Data （MRO、MRE）
工参、参数、告警
FTP传输、解压、归档 FTP传输、解压、归档
Hadoop最终实现方案将采用“瀑布式”数据对接， 实现随传随呈现，全自动化对接。当前业支大数 据平台提供给网优大数据的租户在6月才能下发， 只能使用不支持Spark架构的临时工具组采集数据， 十分不便。
09/25
11/15
完成试用版本
11/16
多项功能增加
12/15
完成测试上线版本
12/16
1/28
2/10
04/30
关键时间点
完成Beta版本测试
完成商用版本
全省上线使用并最终评分验收
技术难点
数据源完整性排查
多数据源清洗和快速入 库解析
数据库逻辑优化 GIS界面深度定制 开发
大数据联合运 算效率提升
七、Hadoop数据预处理——基于Hadoop Spark架构的数据源存储、索引、清洗、纠错、分片过滤功能 的开发，现已完成，且运行效率达到要求。
各大功能当前开发进度
弱覆盖
覆盖类指标 评估
模3干扰评估
开发进度
落地进度 长沙已完成DEMO，正对邵阳进行落地评估 长沙已完成DEMO，正对邵阳进行落地评估 长沙已完成DEMO，正对邵阳进行落地评估
关联算法优化
进化版APP定位算 法设计
Hadoop数据对接在线运算
集中化生产接口联调
集中化、自动化生产
功能优化
项目截至到当前完成的重点工作
一、虚拟路测功能全部完成
二、栅格测试功能全部完成
三、主流试和研 究增加了搜狐、快手、美团、58同城、唯品会、大众点评等多个主流APP的HOST，可准确识别经纬度坐标 系的APP增加了一倍。 四、三个额外覆盖指标分析和两大定制功能模块——额外增加了基于用户定位采样点的重叠覆盖、模三 干扰和越区覆盖分析；增加了定制的竞对分析、室分外泄分析功能，均已完成并实现演示。 五、MRO替代UEMR的相关代码开发、回填算法研究、回填纠错算法的开发和优化——MRO回填采用3M （MME_CODE、MME_GROUP、MME_UE_S1AP_ID） + eNB ID关联，增加基于时间和网元信息的纠错算法，关 联率从50~60%提升到85%以上，且能保证回填准确性；与S1U定位信息关联后，定位点的覆盖和干扰指标 准确度得到了提升。 六、基于用户数据的OTT定位算法——研究出了可以直接从用户S1U上下行数据中抓取并解码关键定位字 段的算法，只是目前尚无持续可用的原始码流数据源，导致此定位技术获取的经纬度信息无法利用。
网优 MR服务器/ 网优平台 Gn口话单
字段推送 字段推送
网优Hadoop集群 （210/211/212/213/214）
前端服务器 (204)
GIS服务器 (209)
2/3G业务流量
查询、抓取 Java工具入库
支持前端呈现
支持地图呈现
当前数据对接方案
网管 （DPI、MR服务器）
数据推送
数据库集群 （205/206/207/215/216）
大数据平台项目方案
一
项目进展汇报
二
面临的问题与主要困难
三
状况总结与下一步工作方针
四
平台安全防控情况
整体完成情况汇报
近两周主要工作进展：
MRO回填 算法优化 Hadoop平台 Spark版本升级 功能开发——虚拟路测、栅 格测试所有子功能算法开发 业支大数据 平台对接 软硬采XDR数 据问题提交 虚拟路测、栅格测试、低速 率、掉线等整体页面调试 采集湘潭、邵阳XDR和MR数 据，并评估了数据质量 重叠覆盖、越区覆盖、MOD3 干扰算法存储过程测试 S1U原始码流数据对 接需求的沟通与提交 邵阳市全量数据导入、 处理和呈现 数据管理和地图管理 功能界面设计和开发 邵阳市落地试点和“挑 刺”工作 前端GIS联调和bug修 复
长沙
数据源 MRO 软采 S1-U S1-MME 总采样点数 有效采样点数 有效采样点比例 1天（T）解压后 6.5 3.5 5 1 8千万 114万 1.425% 数据源 MRO 软采 S1-U S1-MME