06
数据分析的四个层次
07
描述性分析—发生了什么 描述性分析主要是对已经发生的事实用数据做出准确的描述 比如某企业本月订单签约额比上月增加100万，至1100万，但是订单履约率从
上月的98%下降到了95%，库存周转率从上月的0.8下降到了0.7
08
诊断性分析—为什么会发生 通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取
2 1 • 对数据聚合的探索，包括：排序、筛选、计数、重复项、分组、求和、比例、条形图、饼图等
PART 03 诊断性数据分析
诊断性分析可以明确到底发生了什么。
22
诊断性分析
诊断性分析的目的是明确为什么发生 1. 寻找相关特征
• 首先需要知道和结果可能相关的因素有哪些，这依赖于对业务的了解程度， 只要是可能相关的，都纳入考虑，也可以基于现有特征构造新特征 2. 相关性分析 • 列出和结果可能相关的特征后，就需要验证这些特征和结果到底是否相关 3. 因果性分析 • 诊断性分析就是要找到事物的因果关系，即因果性分析 • 所谓因果性，假设X是因，Y是果，则只要X出现，必然会导致Y的发生
17
数据的分布 在统计分析中，通常要假设样本的分布属于正态分布，因此需要用偏度和峰度两 个指标来检查样本是否符合正态分布 • 偏度衡量的是样本分布的偏斜方向和程度 • 而峰度衡量的是样本分布曲线的尖峰程度 如果样本的偏度接近于0，峰度接近于3，就可以判断总体的分布接近于正态分布
18
绘制统计图 绘制统计图：用图形的形式来表达数据，比用文字表达更清晰、更简明 绘制各个变量的统计图形，包括条形图、饼图和折线图等
如果各个数据之间的差异程度较小，用平均值就有较好的代表性
如果数据之间的差异程度较大，特别是有个别的极端值的情况，用中位数或众
数有较好的代表性
16
数据的离散程度分析 数据的离散程度分析主要是用来 反映数据之间的差异程度，常用 的指标有方差和标准差 方差是标准差的平方，根据不同 的数据类型有不同的计算方法
5%，但是客户服务水平仅下降1%，属于可接受范围，但是当成本降低10%时，客户服
务水平下降达6%，可能对公司的经营、商誉等产生重大影响，则此时成本降低5%是
相对合适的，而10%就不是那么合适了。
41
处方式分析的方法
最优化 最优化是应用数学的一个分支，主要指在一定限制条件下，选取某种研究方案
使目标达到最优的一种方法 最优化问题在当今的军事、工程、管理、商业等领域有着极其广泛的应用 比如，企业都希望利润尽量高，那如何在现实的约束条件下，达到上述目标就
2. 收集数据
• 有了初步的分析思路和目标以后，就可以确定需要收集哪些数据了 • 比如销售额分析可能用到的数据为销售订单数据、销售开票数据
3. 选择相应分析方法
• 根据分析的思路和目标，就可以对收集到的数据选择相应的分析方法了。具体的方法包括： • 对数据位置的探索，包括：最大值、最小值、均值、中位数、分位数等 • 对数据分布的探索，包括：偏差、方差、标准差、茎叶图、直方图、箱形图、密度图等 • 对数据趋势的探索，包括：同比、环比、趋势图、条形图等
到数据的核心 比如经过分析，发现订单履约率下降的原因是成品生产不出来，无法完成交付，
而成品生成不出来的原因则是部分原材料的供应商未能按时送货，导致原材料 不齐套，无法开始生产
09
预测性分析—什么可能会发生 预测型分析对事件未来发生的可能性，预测一个可量化的值，或者是预估事情
发生的时间点 比如通过建模可以预测本月该供应商会使我们的订单履约率下降2%
是一个普遍的最优化问题 最优化常用的方法为线性规划、非线性规划、凸优化、整数规划、网络流优化
（物流、电网、通讯网络应用）等
42
处方式分析的其他特点
处方式分析除了会给出行动建议外，另一大特点就是需要有一个反馈系统可以收 集采取相应行动后的结果数据，以验证行动建议的有效性，若效果不佳，则需要 调整，给出新的可行性建议，这个过程会不断循环迭代，直至达到预期目标
23
相关性分析
二维散点图 若分析的仅是一个特征与结果的相关性，则可以通过画二者的二维散点图进行
分析，通过图形描述，可以初步且直观判断二者的存在何种相关关系：正相关、 负相关、无关；如果相关的话，是线性相关还是非线性相关(抛物线、指数等)。
左图为不同性别年龄与身 高关系的散点图，可以看 出在青少年时期，这二者 是呈线性正相关的
一个优秀的处方式数据分析系统，迭代过程应该是无须人工干预、智能自动完成 的，这也是目前机器学习和人工智能方法的最大优势
24
相关性分析
矩阵散点图 当有多个特征与结果相关的情
况时需要矩阵散点图进行分析。 其实质就是针对每一个特征与
结果分别做二维散点图，以分 析其相关性。
25
因果性分析 诊断性分析的隐含意思就是要找到事物的因果关系，即因果性分析 所谓因果性，假设X是因，Y是果，则只要X出现，必然会导致Y的发生
10
处方性分析—该做些什么
处方性分析基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来 帮助用户决定应该采取什么措施
通常情况下，是在前面的所有方法都完成之后，最后需要完成的分析方法 比如，供应商A会导致本月订单履约率下降，可能采取的措施就是把A换掉，但是现在有
B和C两个供应商供选择，通过分析和计算得出：选用供应商B会比选C的订单履约率高1%， 因此建议选择供应商B
大数据应用场景之-大数据预测
01
CONTEN据分析 3 诊断性数据分析 4 大预测性数据分析 5 处方式数据分析
6 数据分析示例 7 大数据预测度特征 8 大数据的其他功能应用领域
02
PART 01 大数据预测概述
大数据预测是大数据最核心的应用，大数据预测将传统意 义预测拓展到“现测”。
的年收入为Y=3.5*25+23.2=110.7。
36
PART 05 处方式分析
处方式分析给出问题的解决方案和行动建议。处方式分 析回答的问题是：为了解决这个问题，我们该做些什么？ 或者说，为了达到某个目标，我们该朝哪个方向努力？
37
处方式分析 处方式分析给出问题的解决方案和行动建议 处方式分析回答的问题是：为了解决这个问题，应该做些什么？或者说，为了
神经网络
31
预测性分析的数据挖掘算法
一个自变量
回归分析模型
两个及两个以上自变量
一元回归
多元回归
线性 回归
非线性 回归
线性 回归
非线性 回归
32
回归分析的一般步骤
33
一元线性回归分析示例 例1：已知工作年限与收入的额关系如下表所示。 1. 问题：当工作年限为10年时，年收入是多少？ 2. 问题：当工作年限为25年时，年收入是多少？
26
PART 04 预测性数据分析
预测性分析可以明确未来会发生什么。
27
预测性分析 预测性分析试图基于历史数据来预测未来的结果 预测性分析的步骤：建立预测模型，模型评估和预测
28
预测性分析第一步：建立模型
29
预测性分析第二步：用模型进行预测
30
预测性分析的数据挖掘算法
回归分析模型
SVM
03
预测是大数据的核心价值 大数据预测是大数据最核心的应用 大数据的本质是解决问题，大数据的核心价值就在于预测，而企业经营的核心
也是基于预测所做出的正确判断。
04
大数据预测的优势
大数据预测则是基于大数据和预测模型去预测未来某件事情的概率，让分析从 “面向已经发生的过去”转向“面向即将发生的未来”是大数据与传统数据分 析的最大不同
• 对数据做探索性分析后，可对数据反映的事实有一个直观的感受，但是要想更准确、简洁地描述
发生了什么，还应该进行总结和提炼出相应指标，做为企业日常经营管理的KPI
• 比如描述库存周转的整体情况，库存周转率、库存周转天数等指标更有效
20
探索性分析步骤
1. 提问，理顺初步分析思路和目标
• 在了解清楚数据产生的业务场景后，试问一些what happened的问题 • 比如，本月销售额是多少？环比和同比变化分别是多少？本财年销售的变化趋势是怎么样的？
34
能够用货币计量 由最小二乘法可得到对应的一元线性回归为：y=3.5*x+23.2
35
一元线性回归分析示例
问题：当工作年限为10年时，年收入是多少？ 将工作年限10带入一元线性回归方程中，可预测出对应
的年收入为Y=3.5*10+23.2=58.2 问题：当工作年限为25年时，年收入是多少？ 将工作年限25带入一元线性回归方程中，可预测出对应
数据分析的根本目的就是要洞察数据背后的规律，企业可以基于数据分析的结 果制订决策、并采取相应措施和行动，进而达成想要的结果
数据分析的四个层次 • 描述性分析（Descriptive Analysis） • 诊断性分析（Diagnostic Analysis） • 预测性分析（Predictive Analysis） • 处方性分析（Prescriptive Analysis）
11
数据分析方法总结 传统分析方法只能完成描述性和诊断性分析 大数据分析方法使用大量多样化和可变数据来实现预测，在充满不确定性的环境下，能
够帮助企业做出更好的决定 大数据预测是大数据在很多领域的重要应用
12
PART 02 描述性数据分析
描述性分析做为商业数据分析的第一个层次，主要回 答『发生了什么』的问题。
达到某个目标，该朝哪个方向努力？
38
处方式分析的步骤 1. 首先，进行描述性分析，通过描述性分析明确现状和问题，及业务人员 和管理人员的需求，这样才能做到有的放矢 2. 其次，进行诊断性分析，寻找和当前问题相关的特征，并对其进行建模 3. 最后，根据不同的业务场景和需求，给出具体的解决方案和行动建议