Big Data
团队构成
1. 2. 3. 4. 5. 项目经理：1人 项目助理：1人 大数据系统工程师：5-10人 调研员/协调员：1-2人，应由甲方选拔熟悉业务及部门关系的人员 数据分析师：1-2人。须深入甲方业务需求，具备一定java或R、 python语言开发能力更佳
Big Data
中长期建设目标
模型优化 按每月的营销结果反 馈，优化营销活动方 案
营销结果预期 第一周：用户回复率xxx 第二周: 用户到店率xxx
营销方式 第一周：短信通告（优惠，买 赠活动等） 第二周：电话销售
Big Data
系统优化
1. 随着业务规模扩展，对大数据系统实现集群化，减少 Namenode/ jobtracker单点故障率 2. 根据实际的应用需要对Hadoop进行调优，主要有以下措施
基础建设
数据源
产品数据
数据采集
存储,计算 数据服务
数据展现
数据下载
销售数据
运营数据
查 询 引 擎
flume hadoop集群
数据接口
数据可视化
业务报表
Big Data
技术选型
1. flume做为数据采集通道, 将各数据源实时传输到Hadoop集群 中存储 2. Hadoop集群,包括Zookeeper集群,Hbase集群,Storm集群 3. Hive,Pig作为ETL工具,提供实时计算,离线计算两种模式 4. 针对实时性要求高的业务需求，可以增加Redis等NoSql方案做 为补充
（1） 从应用程序角度进行优化。由于mapreduce是迭代逐行解析数据文件 的，怎样结合业务特征，编写高效率的应用程序，是最基本的优化途径 （2） 对Hadoop参数进行调优。当前hadoop系统有190多个配置参数，可 以根据运行环境逐步调整参数组合，使hadoop作业运行尽可能的快 （3） 从系统实现角度进行优化
Big Data
业务测试
• 测试目的 – 从数据采集到数据查询的流程完整性，可靠性 – 使用MRUnit，结合PowerMock模拟业务流 程单元测试 – 性能测试 – 异常处理
Big 高换车周期的用户 转化率 目标客户群特征 既有用户，旧车辆已经接近 设计寿命 数据分析/提取 通过大数据支撑平台，提取符 合特征的用户
需求及数据源分析
1. 对各业务部门做需求调研，评估系统运营规模，制订数据仓库的 架构及数据来源 2. 审核第一方数据（如产品库、客户资料、销售记录等）是否充分 满足需求 3. 如第一方数据源不足，制定第三方数据补充方案（引入用户社交 平台数据，从专业机构采购数据等） 4. 生成需求定义文档
Big Data
大数据分析平台建议方案
Big Data
系统建设目标
该项目将提供两项核心能力 1、建立大数据处理基础设施，为营销及生产工作提供长期支持 2、根据近期经营需求建立分析模型（建模），协助业务决策
Big Data
工作计划
需求及数 据源分析
分析建 模 系统优 化
系统基 础建设
业务测 试
中长期建 设
Big Data
预测模型。随着大数据技术和机器学习技术的成熟，大数据系统可以根据既 有数据预测顾客未来的行为。通过预测模型，销售人员可以更好地了解客户 需求。结合CRM的预测模型还能够更深入地解读客户需求，预测客户将在什 么时段产生对什么产品的兴趣。 即时反应。结合爬虫工具，可以揭示客户需要的产品，和其他客户对该产品 的评价，从价格到质量到客户服务。对这些信息的监测和反应至关重要。大 数据支持下的CRM系统更应该能够将公司网站和点评类社区结合起来，确保 对客户动态做出及时的反应。
Big Data
THANKS
期待与您合作！
Big Data