电子邮件 • 从上世纪70年开始，平均的通讯量以每年几倍的速度增长。
阶段 • 从1995年起，以WEB技术为代表的信息发布系统，爆炸式地成长起来，成为目前 Internet的主要应用。
信息发布 阶段
电子商务 阶段
• 1997年底召开的APEC会议中提出各国共同促进电子商务发展的议案，引起全球 的关注。1998年被称为电子商务年。
数据理解
• 熟悉数据、发现 数据的内部属性，识 别潜在的特征, • 检查数据是否完 整、正确，是否存在 缺失值等等
模型评估
数据准备
建立模型
• 为了特定的数据挖掘目的作出假设， 运用适当的数据挖掘工具建立模型； • 利用模型解释特定的现象和预测对 象的未来状况。
• 将原始数据处理成 最终建模需要的数据。 该过程可能多次执行， 且非常耗时。
数据挖掘分析 后，会产生几个不 同类型的交付形式 。可能是一个报表 或充满图标和图形 的简报。 例如：当我们 的目的是提醒销售 惊雷时，产生一个 营销测试的客户列 表是不够的。
例如： • 主动向高风险或高 价值的客户提供一个 优惠，挽留他们 • 研究渠道方式，以 利于那些能带来最忠 实客户的渠道 • 如果停止某类产品 ，列出处于销售风险 的产品 • 根据当前市场营销 策略，预测未来三年 的客户数量
引 言
随着云计算、物联网、社交网络等新兴服务的兴起，人类社会的数 据种类和规模正以前所未有的速度增长，大数据时代正式到来。数据从
简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用数
据，从已有的数据资源中挖掘出更大的价值已经成为普遍关注的话题。 本课程从数据挖掘以及数据分析讲起，结合大数据背景时代行业特
和颶风的微妙关系就难以被发现。
25
第二部分
数据挖掘与分析方法
目的 流程 方法
26
27
在处理海量数据时，我们常常遇到类似的苦
恼，数据库越来越大，数据爆炸，不能制定合适的 决策，那么我们如何更好的利用挖掘出的数据，通 过分析获取到有价值的数据成为非常重要的课题。
数据挖掘与分析目的：
用适当的统计分析方法对收
偏差检测
• 数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜 在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量 值随时间的变化等。
23
美国梅隆银行（Bank of NewYork Mellon）
梅隆银行设定争取20万新户头的目标， 为此计划向1000万可能得顾客邮寄邀请函。
全程电子 商务阶段
• 随着SaaS (Software as a service)软件服务模式的出现，延长了电子商务链条， 形成了当下最新的“全程电子商务”概念模式。
21
数据挖掘与分析的重要性：
在银行、保险、电信、零售等行业，
激烈的市场竞争环境下，数据挖掘及数据 分析的作用尤为重要，并已开始广泛应用。 通过挖掘出的数据，对其进行适当的 数据模型分析，使公司对客户了解更精细 化，从而改善其市场、销售和客户支持运 作。
如何使用结果
如何交付结果
32
选择合适的数据
什么数据可以用
对数据的探索的前 期工作
多少数据才足够
分析需要多久的时间 数据必须包含什么
认识 数据
判断字段，含义， 是否有用，是否缺 失，是否有问题等 一系列问题
33
构建分析模型
数据分析模型（方法论）：主要是用来指导分析人员进行一个完整的数据分析，更多是指导数 据分析的思路。如：主要从哪几方面开展分析？各方面包含什么内容或者指标之类？
聚类
• 数据库中的记录可被化分为一系列有意义的子集，即聚类。 • 聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包 括传统的模式识别方法和数学分类学。
概念描述
• 对某类对象的内涵进行描述，并概括这类对象的有关特征。 • 分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间 的区别。
数据挖掘与分析的基本概念
定义
历史
特点
功能
重要性
18
我们身边的数据挖掘与分析
如今，网上购物已成为大部分人的消
费趋势与习惯，而大家在网上购物时，经 常会收到系统做出的个性化推荐。 比如：亚马逊会推荐你可能会喜欢看 的图书，淘宝会根据你的购物和浏览记录 推荐你可能感兴趣的商品。 所有这些推荐结果都来自于各式各样 的推荐系统，它们依靠计算机算法运行， 根据顾客的浏览、搜索、下单和喜好，为 顾客选择他们可能会喜欢、有可能会购买
•
• • • • • • • •
电信：客户流失
银行：客户细分；交叉销售 百货公司/超市：购物篮分析 保险公司：客户细分；流失 信用卡：欺诈探测；客户细分 税务部门：偷税漏税行为探测 医学：医疗保健 电子商务：网站日志分析 物流行业：货物追踪
典型的商业应用领域包括：市场营销，
交叉销售与交叉营销，客户关系管理，个 性化推荐与服务，风险分析与控制，欺诈 行为检测和异常模式的发现，供应链库存 管理，以及人力资源管理等。
的商品，从而增加潜在的销售。
19
定义 —— 数据挖掘分析是什么？
海量数据 • 技术层面：探查和分析大量数据以发现有意义的
模式和规则的过程。
数据挖掘
•
商业层面：是一种商业信息处理技术，特点是对 大量业务数据进行抽取，转换，分析和建模处理 ，从中提取辅助商业决策的关键性数据。
知识库
20
数据挖掘分析的发展历史
低
按要求而定
战略影响 工作表 每月情报简报 形势 分析
中
每月一次
情报汇总
高
高级管理人员
按要求而定
15
第二篇 行动实践篇
如 何 操 作 ？
16
我 们 应 该
Contents目录
数据挖掘与分析的基本概念
数据挖掘与分析的流程及方法
数据挖掘与分析系统框架的设计
17
第一部分
报告种类 描述
包括来源于内部和外部的战略 及战术方面的信息。包括：已 印刷出版或未印刷出版的信息
战略价值 水平
低
目标客户
一线销售人员 市场推广/销售管理 人员 其他管理人员 市场推广/销售管理 人员 前线销售人员 其他管理人员
市场推广/销售管理 人员 其他管理人员 高级管理人员 其他管理人员 高级管理人员 其他管理人员
阶段。
29
欧盟“跨行业数据挖掘过程标准”
• 构建模型不是项目的终 点。在模型建立并验证之 后，还需要一个“部署— 监控—更新”的过程，以 使模型的作用最大化。
商业理解
数据挖掘的第一个阶段； 理解项目的目标和从业务的角度理解需 求，并将这个知识转化为数据挖掘的定 义和完成目标的初期计划。
模型发布
• 将模型输出的结果与现 实生活中发生的结果进行 对比，从而进一步评估模 型准确性。 • 合理性、简单性、稳定 性、预测能力
点与现状，希望能对如何利用当前数据资源开展数据挖掘工作及有效的
进行数据收益分析做一些有益的探讨。
2
第一篇 思维模式篇
要想上战场杀敌，你首先得让自己成为一个士兵！
找准定位
视角
效果
精准
定位
责权
渠道
4
视 角
视 角
视 角
8
责 权
如何理解信息情报的功能性——
企业的决策结构相当于中枢神经系统，情 报系统相当于神经系统，资金管理相当于 血液，知识管理（方法、工具）相当于骨
集来的大量资料、数据进行分析，
提取有用信息并形成分析结论，把 隐没在一大批看似杂乱无章的数据 中的信息集中，萃取和提炼出来，
以找出所研究对象的内在规律；对
数据、资料等加以详细研究和概括 总结的过程，帮助人们作出判断， 以便采取适当行动。
数据挖掘与分析流程
数据是企业核心业务处理的中心内容，决定 着企业的未来发展。但是在面对这些海量数据时， 需要通过一个系统的流程来处理。成功的数据挖 掘是让数据产生商业价值，而不是简单运营特别 算法或工具。 根据1999年由欧盟机构联合起草的“跨行 业数据挖掘过程标准” CRISP-DM，一个数据挖 掘项目生命周期可以分为商业理解、数据理解、 数据准备、建立模型、模型评估及模型发布6个
30
如何构建一个有指导的数据挖掘与分析模型
评估模型 构建模型 适用性
结论
选择合适
的数据 把业务 问题转
换为数
据问题
31
把业务问题转换为数据挖掘问题
把广泛的目标具体化，细化，深入观察客户行为可能变成具体的目标；
取决于对要解决的业务问题的理解程度。没有正确的理解业务问题就没办法把数据
转化为挖掘任务。
• 通过什么方式？ • 使用者是如何获得情报的？ • 他们获得情报的意愿如何？
13
效 果
情报工作中可能出现的问题——
工作重点不明确：
确定 需求 最佳分配 搜集 情报 识别 筛选 研究 整理 沟通 说服 提供 传播
5%
10%
30%
15%
20%
20%
实际使用
5%
5%
20%
50%
5%
25%
14
效 果
架，人力资源（能力）相当于肌肉。
传导≠动作反应
信息情报≠管理决策
9
渠 道
情报的多渠道来源——不同渠道的情报内容不同
•国家经济指标
•房地产 •消费水平 •股市资讯 •信息收集 •信息分析
时效
•情报储存 •信息情报传递
经济来源分支
销售 人员
提 炼
竞争 对手
情报圈
甄 别
技术来 技术来源分支 源分支
同行合 作伙伴