当前位置:
文档之家› CDA L1业务数据分析师大纲解析
CDA L1业务数据分析师大纲解析
( 6) 数据分析流程中表达不正确的是() A.方法论 CRISP-DM 与 SEMMA 是业内公认的权威流程,严格按照步骤做数据分析总不会 出错的。 B.CRISP-DM(译为“跨行业”数据挖掘)在任何数据分析行业中均适用。 C.我的数据比较整洁,不需要预分析,可以直接从建模开始。 D.数据预分析在是分析师了解数据的一个很重要的途径。 答案:ABC 分析:AB 两项都犯同一类错误,就是过于迷信方法论的权威性,C 项的跳跃性太大,数 据分析的一般性描述是很重要的预分析过程。
(3) 数据分析级别包括以下哪几种()
CDA 数据分析研究院
A.即席查询. B.多维分析(又称为钻取或者 OLAP). C.统计分析与警报. D.与业务人员协商知识点
答案:ABC 分析:考察数据分析的八个层次,需要在理解的基础上加以记忆。
( 4) 统计模型主要用于解决哪几类问题() A.预测分类问题 B.OLAP 分析问题 C.相关分析 D.市场细分问题
1.1.2 解析
明确数据分析目标的意义和过程、传统数据分析和数据挖掘的概念、数据分析的 8 个层 次、大数据对传统小数据分析的拓展、传统数据分析方法与数据挖掘方法的区别和联系:
数据分析的目的是为业务发展答疑解惑及分析层次。他描述了“过去发生了什么”、“现 在正在发生什么”和“未来可能发生什么”。根据分析的级别,分为常规报表、即席查询、 多维分析(又称为钻取或者 OLAP)、警报、统计分析、预报(或者时间序列预测)、预测型 建模(预测性(predictive)模型)和优化。
数据挖掘是一种发现知识的手段,数据挖掘要求数据分析师通过合理的方法,从数据中 获取与数据挖掘项目相关的知识。
大数据对传统小数据分析的拓展及其区别和联系:两种的间关系实际上可以理解为数据 挖掘是对数据分析的扩展,主要体现在如下几个方面——数据量、数据精度、算法、关注点。 数据挖掘特征:海量数据通常带来的问题是数据精确度下降,这是普遍的规律,所以同时具 有量大和精确度低的特征,则需要特殊的算法来解决这个问题,而神经网络、决策树、svm 等算法就具有相应特点,此外由于以上不同点使得分析时关注的侧重点不同,如数据预分析 的时间远远大于建模时间,关注时间、效率和知识发现,而不是正态分布、异方差、显著性, 关注相关分析,而不是因果分析等。
CDA 数据分析研究院
CDA LEVEL I 大纲解析
1.数据分析概述及统计学基础
1.1 数据分析概述
1.1.1 考试要求
1.领会:传统数据分析和数据挖掘的概念。商业数据分析预测的本质、数据分析的 8 个层次、大数据对传统小数据分析的拓展、数据分析师在业务流程中的作用。
2.熟知:明确数据分析目标的意义和过程、数据分析方法论如 CRISP-DM、SEMMA 等 方法、传统数据分析方法与数据挖掘方法的区别和联系、明确数据分析中不同人员的角色、 职责。
CDA 数据分析研究院
的均值变化过于剧烈)、重复值(相同的交易被记录两次)和及时性(银行客户的财务数据 更新的滞后时长)等方面。这部分的探索主要解决,变量是错误时是否可以修改、是否可以 使用的问题。
(3)变量修改 根据变量探索的结论,需要对数据质量问题和变量分布情况分别作变量修改。数据质量 问题的修改涉及改正错误编码、缺失值填补、单位统一等操作。变量分布情况的修改涉及函 数转换和标准化方法,具体的修改方法需要与后续的统计建模方法相结合。 (4)建模 根据分析的目的选取合适的模型,这部分内容在“数据分析方法分类介绍”已经作了详 细的阐述,这里不再赘述。 (5)模型检验 这里指模型的样本内验证,即使用历史数据对模型表现的优劣进行评估。比如,对有监 督学习、会使用 ROC 曲线和提升度等技术指标评估模型的预测能力。
( 2) 单 择 题 : 下列场景中哪项是数据挖掘发现知识的过程?() A.快递员及时反馈客户满意度。 B.数据挖掘模型分析结果与所有人的观点一致。 C.使用 excel 发现商品的时段投入量不合理。 D.老板“一拍脑袋”做出决策。
答案:C 分析:同样为概念测试题,需要大家清楚数据挖掘的概念,数据挖掘强调与项目有用的 知识发现过程,如 B 选项,很具有疑惑,如果数据挖掘分析的结果,是大家已经知道的结论, 严格意义上说数据挖掘失去了其价值。
1.1.3 例题
( 1) 每月例会报告的经营指标汇总,属于哪类数据分析。() A.客户行为的数据挖掘报告。 B.描述性数据分析报告。 C.产品和行为倾向报告。 D.以上都不对。
答案:B 分析:按照惯例经营指标汇总,通常是报告业绩指标的数量、金额、百分比或排名等信 息,这类分析多数归属于描述性数据分析,而且是单变量分析的内容。AC 项涉及行为特点 和商品特征的关系,属于多变量分析的内容。
CDA 数据分析研究院
(5)模型评估 在模型最后发布前,根据商业目标评估模型和检查建立模型的各个步骤。此阶段关键目 的是,判断是否存在一些重要的商业问题仍未得到充分考虑。 (6)模型发布 模型完成后,由模型使用者(客户)根据当时背景和目标完成情况,决定如何在现场使 用模型。比如,在网页的实时个人化中或营销数据的重复评分中。 SAS 公司的数据挖掘项目实施方法论,对 CRISP-DM 方法中的数据准备和建模环节进行 了拓展,被称为 SEMMA 方法,如图 1-3 所示。
答案:ACD 分析:A 项、C 项和 D 项是统计模型的典型问题,但 OLAP 分析问题并不是统计模型。
( 5) 下列情境中,数据分析师不正确的做法是(B) A.客户行为分析中决策数据化均需谨慎 B.数据挖掘分析中势必强调模型的精确性,模型都不精确谈何决策支持 C.数据分析师需要具备建构模型和数据展示的能力 D.业务问题的洞察与模型的理解同样重要 答案:B 分析:本题 A 和 B 产生疑惑,A 项决策数据化均需谨慎不仅仅在客户行为分析中,在其 他数据分析中也是同样,B 项“数据挖掘分析中,模型都不精确谈何决策支持”模型的精确 性是一个很模糊的字眼,况且使用“势必”显然不合适。在不同行业中,对精确性的要求不 同,此外如果模型精确度不够,但却能发现有用的商业知识也是可以接受。
(1)业务理解 该初始阶段集中在从商业角度理解项目的目标和要求,通过理论分析转化为数据挖掘可 操作的问题,制定实现目标的初步计划。 (2)数据理解 数据理解阶段开始于原始数据的收集,然后是熟悉数据、标明数据质量问题、探索对数 据的初步理解、发觉有趣的子集以形成对探索关系的假设。 (3)数据准备 数据准备阶段包括所有从原始的、未加工的数据构造数据挖掘所需信息的活动。数据准 备任务可能被实施多次,而且没有任何规定的顺序。这些任务的主要目的是从源系统根据维 度分析的要求,获取所需要的信息,需要对数据进行转换和清洗。 (4)建模 在此阶段,主要是选择和应用各种建模技术。同时对它们的参数进行校准,以达到最优 值。通常对同一个数据挖掘问题类型,会有多种建模技术。一些技术对数据格式有特殊的要 求。因此,常常需要返回到数据准备阶段。
数据分析目标的意义、过程及其本质,数据分析方法论如 CRISP-DM、SEMMA 等方法, 数据分析师在业务流程中的作用、角色和职责。
数据分析目标的意义、过程及其本质:可以认为数据分析涉及到公司运营的方方面面, 这包括对企业部门经营情况的评估、内部员工的管理、生产流程的监管、产品结构优化与新 产品开发、财务成本优化、市场结构的分析和客户关系的管理。其中,关于客户与市场的数 据分析是“重头戏”。下面以客户全生命周期管理为例介绍数据分析运用场景和挖掘主题, 如图 1-1 所示。
CDA 数据分析研究院
图 1-1
数据分析方法论: CRISP-DM 方法论将数据挖掘项目生命周期分为 6 个阶段,它们分别是业务理解、数据 理解、数据准备、建模、模型评估和模型发布,如图 1-2 所示。
图 1-2
图 1-2 呈现了通用数据挖掘方法论(CRISP-DM)流程的 6 个阶段。下面简短地介绍了每 个阶段的要点。
3.应用:根据不同数据类型选用不同的统计指标进行数据的集中趋势、离中趋势和数 据分布的衡量,各种统计图形的侧重点及其典型应用。
1.2.2 解析
数据的计量尺度及集中趋势、离中趋势、数据分布的特征与典型应用。 数据的计量尺度: 变量的计量尺度和具体的统计方法息息相关。变量的测量类型大致分为 3 类,分别是名 义测量、次序测量和连续变量测量。名义测量和次序测量也被统称为分类变量,其中连续变 量测量可以进一步细分为间距测量和比例测量。 (1)名义测量(nominal measurement)是最低的一种测量等级,也称定名测度。其数值 仅代表某些分类或属性。比如,用来表示性别(1 或 2)和民族(1、2、3…)等。这类变量一 般不做高低、大小区分。 (2)次序测量(ordinal measurement)的量化水平高于名义测量,用于测量的数值代 表了一些有序分类。比如,用来表示受教育程度高低的数字(1、2、3…)具有一定的顺序 性。 (3)间距测量(interval measurement)的量化程度更高一些,它的取值不再是类的编 码,而是采用一定单位的实际测量值。可以进行加减运算,但不能进行乘除运算,因为测量 等级变量所取的“0”值,不是物理上的绝对“0”。比如,考试成绩的零分,不能说这个学 生一点英语能力也没有。 (4)比率测量(ratio measurement)是最高级的测量等级,他除了具有间距测度等级 的所有性质外,其 0 值具有物理上的绝对意义,而且可以进行加减乘除运算。例如增长率、 收入等。 间距测量和比率测量这两种测量,统计软件通常不做区分。大部分的模型都适用。一般 而言,间距测量适用于线性模型与广义线性模型,而比率测量适用于所有模型,包括非线性 模型。 数据描述及其典型应用: 对于分类变量,通常用于检查数据的众数、分类取值的百分比间的差别大小,有无太小 的比例(异常值),主要的统计量如下: (1)频次:每个水平出现的次数; (2)百分比:每个水平出现的频数除以总数; (3)累积频次与累积百分比:仅对于次序型变量有意义,分别计算累积频次和百分比;
数据分析师在业务流程中的作用、角色和职责:业务问题是需求,最终需要转换成统计 问题,用数据分析的思路来解决,因此数据分析师在业务与数据间起到协调作用,是业务问 题能否成功转换成统计问题的关键。业务问题可不可以量化及如何量化。通常来说,业务问 题需要一个或多个字段来表达,这些字段以什么形式出现(如测量级别),因为字段的形式 会决定选择的方法,而每种方法又用于解决特定的需求,此外由于模型对业务人员或企业高 管来说可能过于专业,因此需要将模型输出通俗的表达出来。所以协调者、数据分析师、报 告人的角色,决定了数据分析师是一名(精通数理和软件的)综合性人才。