1. 方案建议书

1.1 项目总述

1.1.1 项目背景

中国的电信行业经过数十年的高速发展，走到了三网融合的十字路口。随着移动互联产业的高速发展，未来几年必将迎来一个井喷的时代。在三网融合的大背景下，特别是作为运营商来讲，这是关系到未来能否持续保持竞争力、跟上新技术、新商业发展的关键时刻。

就目前运营商的业务分析而言，语音业务的收入占比正在逐年下降，增长速度也明显低于数据业务。从世界上发达国家的电信行业发展来看，运营商的数据业务比例大多数已经超过了全业务占比的3/4还多，个别运营商例如日本的NTT Docomo，其2009-2010年度数据业务的比例已经达到了9成以上，这些数据都充分说明了数据业务在下一个十年甚至是更长的时间里将会是运营商业务的最大增长极。

由于缺乏对移动客户的深入了解，缺乏更科学的市场细分和更有效的营销策略，客户群差异化的需求未能得到满足而形成的潜在不满，易成为竞争对手潜入的机会。相比于传统通信业务阶段，全业务发展要求我们对客户的理解和把握有更高的能力，从重点关注客户通信方面的需求向全面把握客户生活、学习、娱乐、工作方面的需求。

随着智能手机的快速普及和第三代、第四代移动通信系统的建设，移动数据业务和移动互联网呈现出快速增长的态势。易观数据显示2011年上半年中国的移动互联网用户数达到2.14亿人，同与增长41.09%，市场收入规模达到237亿，同比增长31.67%。智能手机价格下降、流量资费单价下降、用户消费能力提升、无线上网需求增加等，都是推动移动互联网高速发展的主要因素。

目前，移动现有数据经分系统只是覆盖到传统语音、短信和传统的GPRS流量分析，对于用户在移动互联网上的行为数据如何应用以及在生产中的运营支撑仍是空白。另一方面，用户的互联网使用行为比传统语音、短信要更为复杂，用户在什么时段、什么位置、通过什么终端、访问什么网站的什么频道、关注什么内容、喜欢什么信息以及与谁在交互信息等等，都比传统语音、短信要复杂很多，因此针对这些数据的分析能有效提升我司用户的精细分群和针对性营销和服务工作水平，为业务生产的良性发展提供必要的运营支撑保障。

1.1.2 项目理解

当前，数据业务在运营商业务结构中的占比正在逐年上升，随着数据业务的丰富化，流量经营逐渐成为运营商在移动互联高速发展背景下的工作核心和主旨。从流量经营的内涵来看，包含三个方面的内容：一是扩大流量规模，二是提升流量层次，三是丰富流量内涵。三个方面的内容都将带来海量的用户行为数据，海量的数据即意味着未来将迎来一个大数据的时代。

海量数据好比一座金矿，其中不仅包含了显性的用户行为数据，也隐性地蕴藏了用户行为规律及用户需求等信息。在大数据的结构下，毫无疑问，这些隐性信息将扮演更为重要的角色。但是目前对这些隐性信息的挖掘及探究工作仅仅是刚起步，数据中的巨大价值还有待挖掘。如果能够充分地获取数据背后的信息，就能充分了解用户行为规律及用户需求，进而将业务内容丰富化、多元化，并寻求合适的渠道、时间推荐给潜在用户，完成业务精确营销及市场精细运营过程，实现真正 意义上的流量经营，这对于运营商占据移动互联时代的制高点无疑会起到极其关键的作用。

综上分析，本项目的内涵可理解为首先对海量的用户数据进行系统化结构化维度划分及整理，由不同维度组成用户的特征标签组合进而形成生动的用户画像，基于用户特征进行相似群体聚合，进而形成用户精细分群。在不同的用户群体基础上，进行终端、流量、位置、业务、时间等维度的行为分析，利用行为预测模型及有效的行为研究方法探知用户行为规律及用户潜在需求，形成用户行为知识库体系，并基于该体系利用推荐模型针对业务进行目标用户挖掘，或针对用户群体进行适用业务推荐，在整体上形成“数据沉淀-深度挖掘-运营支撑”的基于数据分析挖掘的三位一体业务运营体系。

1.1.3 项目范围

基于对数据的深刻理解，建立科学的用户行为属性标签系统模块，从行为、流量、终端、位置UA等维度对用户数据进行科学的维度划分，建立用户行为属性分类，从而完成系统性结构化的用户特征标签体系建立。

基于多维数据的融合，建立用户画像数据分析模块。构建用户画像联机分析系统，以行为、流量、终端、位置及UA作为主维度进行数据分析，同时提供数据报表展现同；将多维度数据进行融合，形成可定制化的多维数据报表。

建立适用于用户分群、趋势预测以及业务推荐的智能分析系统模块。基于兴趣图谱模型、分散度切割模型等进行用户偏好分析进而进行用户分群，基于隐马尔科夫模型对用户行为进

行趋势预测，基于协同过滤算法的推荐模型针对目标业务进行潜在用户挖掘，针对目标用户进行适用业务推荐。

本项目通过全网的用户数据行为构建用户行为分析，通过对用户行为数据的存储和处理，同时实现分析客户行为特征，支撑市场精确化营销。

1.1.4 项目总体规划

通过对项目的分析与理解，本项目将着力打造一个全面的，完整的以用户数据分析为中心的运营支撑平台，对用户数据从多方面进行整合，实现自动化存储，建立营销资源池数据管理，同时基于核心数据库形成用户标签库、用户画像、精细分群系统，进而有针对性的进行用户需求分析、潜在用户挖掘、适用业务推荐等运营支撑服务，以达到支撑市场决策、营销策划等日常运营工作的目的。项目的具体建设目标有以下几点：

1. 建立本地数据分析核心库

通过系统接口、ETL调度、数据导入、FTP文件交换等各类方式，收集整理实时、准实时、非实时的各类数据业务数据，融合静态的数据集市、BI系统等经分数据及动态的网络信令数据，形成本地数据分析核心库。

2. 建立以用户数据分析为核心的运营支撑系统

（1）基于对数据的深刻理解，建立科学的用户行为属性标签系统模块。从行为、流量、终端、位置UA等维度对用户数据进行科学的维度划分，建立用户行为属性分类，从而完成系统性结构化的用户特征标签体系建立。

（2）基于多维数据的融合，建立用户画像数据分析模块。构建用户画像联机分析系统，以行为、流量、终端、位置及UA作为主维度进行数据分析，同时提供数据报表展现同；将多维度数据进行融合，形成可定制化的多维数据报表。

（3）建立适用于用户分群、趋势预测以及业务推荐的智能分析系统模块。基于兴趣图谱模型、分散度切割模型等进行用户偏好分析进而进行用户分群，基于隐马尔科夫模型对用户行为进行趋势预测，基于协同过滤算法的推荐模型针对目标业务进行潜在用户挖掘，针对目标用户进行适用业务推荐。

3. 建立用户价值评估体系支撑市场精确营销

研究用户的价值算法模型，通过消费能力、使用频率、业务类型、终端价值等多个角度对用户价值进行综合评判，形成用户价值评估体系，有效支撑业务的精确营销与微区域市场的精细运营。

4. 建立有效的数据安全管理机制

以数据安全访问等级管理为基础，通过对系统间的数据接口、系统数据使用人员访问权限控制实现数据安全管理。系统从各环节层次抽取的审计日志信息，对其进行重新过滤和格式化整理，并最终进行日志信息入库。整个过程需实现处理的流程化及自动调度机制，以保证能够及时地获取日志数据。

1.2 系统设计方案

1.2.1 系统原理

用户行为建模运营支撑服务平台分为数据共享层、业务处理层及平台应用层，实现用户行为数据以及网络基础数据等数据进行分析应用，围绕数据采集、处理、分析和应用的建设思路提供成熟的信令监测系统。

1.2.2 系统软件结构

1.2.2.1 系统架构总体思路

通过前面的ETL过程对用户行为数据进行关联整合，建立可深入挖掘的结构化数据维度，结合数据挖掘快速实现供用户做视图查询，即席查询等操作；全面提供满足决策需求的主题分析。

基于ESB企业服务总线提供业务应用、系统管理的数据服务支撑，快速支撑业务扩展。

1.2.2.2 系统核心架构

商业智能数据挖掘平台，是在基于多年服务于运营商的行业经验，结合自身IT系统建设的实践，基于规范化的项目实施方法，利用业界领先的商业智能技术，推出了数据挖掘平台。包含ETL、数据仓库、OLAP服务器、数据挖掘服务引擎、分析展现平台、系统管理、开发工具等多个组成部件。各个组成部分都充分的贯彻了组件化设计思想和实现，能够实现独立的拆分和组装，使系统本身具备更灵活的构成和表现形式，它能够支撑我司信令类、数据类、增值类等多种业务产品线条的底层数据处理和分析需求。可以快速实施用户行为建模运营支撑服务平台的相关内容。

➢ ETL（数据抽取、转换和加载）：采用自主开发的ETL工具与第三方ETL引擎相结合的方式形成高效的 ETL平台，通过数据采集、复杂存储过程、数据补录、异常处理、故障恢复及一些ETL特殊处理过程，将数据从计费、营帐、客服等业务系统数据源抽取、转换后，加载到数据仓库。在ETL平台实现了ETL抽取、转换、清洗、加载过程中的原子操作与具体业务和模型的分离，仅通过简单的配置和组装就可以实现与数据源模型和目标数据源模型无关的数据抽取、转换与加载操作，真正实现了独立的ETL平台。

➢ 数据仓库：由关系数据库和多维数据库组成，通过运营业务模型组合成面向经营分析主题的、集成的、基于历史的、相对稳定的数据集合。在数据仓库中面向某些特定主题建立数据集市。通过运营业务模型形成整个经营分析系统的业务和实现基础。运营业务模型是基于公司多年服务于运营商的行业经验建立而成的，同时在模型设计时充分考虑了后续扩展性，通过特殊的模型冗余、关联确保了在业务系统、业务重点、分析指标与维度发生变化时保证模型的可扩展性，增强了模型本身的健壮性和生存能力。同时在模型设计时充分的考虑了模型之间的关联与叠加，可通过现场的二次组装和配置满足用户特殊的业务分析要求。

➢ OLAP（联机分析处理）服务器：为满足大数据量的OLAP多维分析查询需要的应用服务器，支持 ROLAP、MOLAP联机分析技术，并可根据不同的应用需求进行灵活、简单的配置，良好的平衡系统的功能、性能和容量。系统针对各种分析主题，可通过灵活的配置方式定义多种维度的观察形式，使管理决策人员可以在多维模型的基础上访问数据，并进行复杂的分析工作。

➢ 数据挖掘服务引擎：在大量的业务数据基础上形成知识库，利用统计方法、面向属性归约方法、数据立方方法、 Rough集方法等多种数据挖掘技术，找出其中隐含的普化知识、关联依赖关系、分类规则、聚类原则及给出相关预测数据，为用户提供对当前业务状况更为深入分析和对后续业务行为更为前瞻性的指导支持。

➢ 展现平台：通过展现平台实现统一的展现门户，提供预定义报表、即席查询、关键指标展示、EIS（主管信息系统）、多维分析、数据挖掘等数据展现方式。并可实现基于模型的展现的指标与维度动态变化，提供用户更广阔的分析数据查看视野和灵活的分析数据查看方式。

➢ 系统管理：采用简易、灵活的GUI界面，实现集中的系统管理。功能包括：安全防护、日志管理、参数管理、监控及告警、备份与恢复、产品升级支持、元数据管理等等。

1.2.2.3 关键技术特点

数据挖掘平台关键技术特点：

➢ 丰富的业务功能，满足个性化需求

综合报表分析：与MS Office无缝集成，“零”编程的报表设计、生成，满足各级部门所需要的个性化报表；全面提供满足决策需求的主题分析：客户分析、大客户分析、帐务分析、客户服务分析、产品分析、市场分析、营销分析、结算分析、网络分析、收益分析等；数据挖掘专题：客户发展、客户流失、潜在大客户、大客户异动、市场竞争、营销计划预演等。

➢ 开放的体系架构，满足未来决策新业务的平滑扩充

数据挖掘平台支持主流的数据仓库、OLAP服务器和数据挖掘服务器；采用B/A/S三层体系结构，具有良好的扩展性；强大的支持完成多种数据源的抽取清洗过程，为数据源接口、前端展现提供二次开发平台；适应未来新的分析需求和管理新策略的融合及扩展。

➢ 电信级整体解决方案，满足运营商信息集成的决策需求

大容量，支持TB的数据仓库存储；高性能OLAP查询的响应时间小于3秒，绝大多数查询小于2秒，数据抽取过程不超过1小时；支持服务器集