第一章作业1.数据库与数据仓库的本质差别是什么?书P2(1)数据库用于事务处理,数据仓库用于决策分析。
(2)数据库保持事物处理的当前状态,数据仓库即保存过去的数据又保存当前的数据。
(3)数据仓库的数据是大量数据库的集成。
(4)对数据库的操作比较明确,操作数量较小。
对数据仓库操作不明确,操作数据量大。
2.从数据库发展到数据仓库的原因是什么?书P1(1)数据库数据太多,信息贫乏。
如何将大量的数据转化为辅助决策信息成为了研究热点。
(2)异构环境数据的转换和共享。
随着各类数据库产品的增加,异构环境的数据也逐渐增加,如何实现这些异构环境数据的转换的共享也成了研究热点。
(3)利用数据进行事物处理转变为利用数据支持决策。
3.举例说明数据库与数据仓库的不同。
比如,银行中储蓄业务要建立储蓄数据库,信用卡要建立信用卡数据库,贷款业务要建立贷款数据库,这些数据库方便了银行的事务处理。
但是要对这些独立数据库进行决策分析就很复杂了。
因此可以把这些数据库中的数据存储转化到数据仓库中,方便进行决策。
4.OLTP(On Line Transaction Processing,联机事物处理)是在网络环境下的事务处理工作,以快速的响应和频繁的数据修改为特征,使用户利用数据库能够快速地处理具体的业务。
OLAP(On Line Analytical Processing,联机分析处理)是使用多维数据库和多维分析的方法,对多个关系数据库共同进行大量的综合计算来得到结果的方法。
5.OLTP是用户的数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果。
6.7.包括数据项、数据结构、数据流、数据存储和处理过程五个部分。
8.定义为关于数据的数据,描述数据仓库中数据及其环境的数据。
9.元数据不仅仅是数据仓库的字典,而且还是数据仓库本身功能的说明数据,是整个数据仓库的核心。
数据字典是关于数据库中数据的描述,而不是数据本身,数据字典是数据库的元数据。
10 .数据仓库的定义是什么?答:(1)W.H.Inmon对数据仓库的定义:数据仓库是面向主题的,集成的、稳定的、不同时间的数据集合,用于支持经营管理中决策制定过程。
(2)SAS软件研究所的观点:数据仓库是一种管理技术,旨在通过通畅、合理、全面的信息管理,达到有限的决策支持。
从数据仓库定义可以看出,数据仓库是明确为决策支持服务的,而数据库是为事务处理服务的。
11.数据仓库的特点有哪些?答:数据仓库的特点有一下几个:(1)数据仓库是面向主题的(2)数据仓库是集成的(3)数据仓库是稳定的(4)数据仓库是随时间变化的(5)数据仓库中的数据量很大(6)数据仓库的软硬件要求较高12、说明机器学习如何形成人工智能的学科方向。
答:机器学习是研究使计算机模拟或实现人类的学习行为,即让计算机自动获取知识。
20世纪80年代,机器学习取得了较大成果,如AQ11系统、ID3决策树方法等,让机器学习上了一个新的台阶,机器学习便成为人工智能的一个主要学科方向。
13、说明数据挖掘的含义。
答:数据挖掘就是从数据库中的所有数据记录中归纳总结出知识,让人们从抽象复杂的数据中看到客观规律,以便做出决策。
14、OLAP多维分析如何辅助决策?举例说明。
答:OLAP是在多维数据结构上进行数据分析的,一般在多维数据上切片、切块成简单数据来进行分析,或是上钻、下钻来分析。
OLAP要查询大量的日常商业信息,以及大量的商业活动变化情况,如每周购买量的变化值,经理通过查询变化值来做决策。
例如经理看到利润小于预计值是,就会去深入到各地区去查看产品利润情况,这样他会发现一些比较异常的数据。
经过进一步的分析和追踪查询可以发现问题并解决。
15OLAP是在带层次的维度和跨维度进行多维数据分析的。
数据挖掘则不同,它是以变量和记录为基础进行分析的。
16比如对超市的所有的购物账单中成对出现的商品的统计,可以有助于超市商品的合理摆放。
17(1)常用统计(2)相关分析(3)回归分析(4)假设检验(5)聚类分析(6)判别分析(7)主成分分析18、统计学与数据挖掘的不同。
统计学主要是对数量数据或连续值数据进行数值计算的定量分析,得到数量信息。
数据挖掘主要对离散数据进行定性分析,得到规则知识。
在统计学中有聚类分析和判别分析,它们与数据挖掘中的聚类和分类相似。
但是,采用的标准不一样,统计学的聚类采用的“距离”是欧式距离,即两点间的坐标(数值)距离。
而数据挖掘的聚类采用的“距离”是海明距离,即属性取值是否相同,相同者距离为0,不相同者距离为1。
总之,统计学与数据挖掘是有区别的,但是,它们之间是相互补充的。
不少数据挖掘的著作中均把统计学的不少方法引入到数据挖掘中,与将机器学习中不少方法引入到数据挖掘中一样,作为从数据获取知识的一大类方法。
19、说明数据仓库与数据挖掘的不同。
数据仓库是在数据库的基础上发展起来的。
它将大量的数据库的数据按决策需求进行重新组织,以数据仓库的形式进行存储,将为用户提供辅助决策的随机查询、综合信息以及随时间变化的趋势分析信息等。
数据仓库是一种存储技术,其数据存储量是一般数据库的100倍,包含大量的历史数据、当前的详细数据以及综合数据。
它能适应不同用户对不同决策需要提供所需的数据和信息。
数据挖掘是从人工智能机器学习中发展起来的。
它研究各种方法和技术,从大量的数据中挖掘出有用的信息和知识。
最常用的数据挖掘方法是统计分析方法、神经网络方法和机器学习中研究的方法。
数据挖掘中采用机器学习的方法有归纳学习方法(如覆盖正例排斥反例方法,如AQ系列算法、决策树方法等)、遗传算法、发现学习算法(如公式发现系统BACON)等。
利用数据挖掘的方法和技术从数据仓库中挖掘的信息和知识,反映了数据仓库中数据的规律性。
用户利用这些信息和知识来指导和帮助决策。
例如,利用分类规则来预测未知实体的类别。
20、数据挖掘应用于数据库与数据挖掘应用与数据仓库有什么不同。
数据挖掘兴起是针对数据库的,随着数据仓库的兴起和发展,由于数据仓库不同于数据库,数据挖掘也随之发生变化。
(1)数据存储方式的不同数据库的数据存储是按照管理业务中事物处理项目的要求而存放的。
数据仓库的数据存储是按决策分析需求而存放的。
这种需求是以决策主题为对象的,典型的主题是客户。
这样,在数据仓库中客户数据需要从多个数据库集成而来,如银行数据仓库需要从储蓄、信用卡、贷款等不同数据库中,对同一客户的数据抽取并集成在一起,以便完成对该客户的分析。
(2)数据存储的数据量的不同数据库的数据存储量相对数据仓库的数据存储量小得多。
从上面的例子可以看出,以客户主题建立数据仓库的数据量是储蓄、信用卡、贷款3个数据库的数据量的总和。
按一般的统计,数据仓库的数据量是数据库数据量的100倍。
数据仓库的数据量比数据库的数据量大这么多在于:①数据仓库中的数据(近期基本数据)是数据库中数据按决策主题重新组织并集成而来;②数据仓库中数据还需要保留大量的历史数据,用于预测分析;③数据仓库为了给不同级别管理者提供各种决策分析的数据,需要对近期基本数据进行轻度综合和高度综合,这些综合数据在数据仓库中占据了不小的比重。
近期基本数据、历史数据、综合数据三者的数据相加,使数据仓库的数据量远远大于数据库中的数据量。
(3)数据存储的结构不同由于数据仓库的数据量远大于数据库的存储量,数据库的关系型二维(平面)存储格式不能适应数据仓库。
数据仓库的数据存储结构采用多维的超立方体结构形式。
数据仓库的数据存储结构采用星型模型或者多维立体数据库形式。
21:答:数据仓库实在数据库的基础上发展起来的,它将大量的数据库的数据按决策需求进行重新组织,以数据仓库的形式进行存储。
数据挖掘是从人工智能机器学习中发展起来的,它研究各种方法和技术,从大量的数据挖掘出有用的信息和知识。
数据挖掘应用于数据仓库后,能挖掘更深层次上的信息,如:哪些商品一起销售更好?高价值客户的共同点是什么?等。
22:答:数据仓库为数据挖掘提出的新要求为:1,数据挖掘需要可扩展性。
2,数据挖掘方法需要能挖掘多维知识。
23:答:数据仓库视为辅助决策而建立的,单依靠数据仓库达到辅助决策的能力是有限的,综合信息和预测信息是数据仓库所获得的辅助决策信息。
数据仓库中增加联机分析处理和数据挖掘等分析工具,能较大的提高辅助决策能力。
数据仓库和联机分析处理几数据挖掘结合的决策支持系统,是以数据仓库为基础的,称为基于数据仓库的决策支持系统。
概括地说:基于数据仓库的决策支持系统是从数据仓库的数据中获取辅助决策信息和知识,为决策提供支持。
24基于数据仓库的决策支持系统的组成是什么?答:基于数据仓库的决策支持系统由三个部件组成:数据仓库技术,联机分析处理技术和数据挖掘技术,其中数据仓库技术是系统的核心。
25画出基于数据仓库的决策支持系统结构图。
如图:26说明基于数据仓库的决策支持系统与传统决策支持系统有什么区别。
答:数据仓库技术将传统数据库中的数据及其他源数据进行了抽取、转换、装载等工作,使之成为统一、集中、稳定的数据,并在元数据库中保存了数据转换、映射等过程,就能为决策过程提供良好的数据基础。
而传统的决策支持系统主要以关系数据库为基础,主要关注于对数据的操作,很难有效率地获取决策需要的信息。
27. 商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。
商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。
28 可以认为,商业智能是对商业信息的搜集、管理和分析过程,目的是使企业的各级决策者获得知识或洞察力(insight),促使他们做出对企业更有利的决策。
商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。
商业智能的实现涉及到软件、硬件、咨询服务及应用,其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。
29 信息共享,实时反馈系统,鼓励用户找出问题的根本原因,使用主动智能,实时智能等方面第二章作业周劼人1-3 郭朋4-6 王国梁7-9 旦增群培10-11 刘洋12-14 许赟昊15-17 杜海洋18-20 徐文松21-23 何金海24-25 陶汉26-271.画出数据仓库的结构图,说明各部分内容。
P18当前基本数据是最近时期的业务数据,是数据仓库用户最感兴趣的部分数据量大。
随着时间的推移,有数据仓库的时间控制机制转为历史数据,轻度综合数据是从当前基本数据中提取出来的,最高一层是高度综合数据层,这一层的数据十分精炼,是一种准决策数据。
2.说明数据仓库结构图中包含轻度综合层与高度综合数据层的作用。
这些数据为什么不是临时计算出来的。
P18-19数据仓库除了存储按主题组织起来的当前详细数据外,还需要存储综合数据,这是为了适应决策需求而增加的。