当前位置:文档之家› 商务智能重点(大概整理)

商务智能重点(大概整理)

题型:选择10*1分,单选10*1分,填空8*1分,计算4*9分,问答4*9分。

一、商务智能概述1.数据数据是可以记录、通信和能识别的符号,它通过有意义的组合来表达现实世界中的某种实体(具体对象、事件、状态或活动)的特征。

商务智能技术可以分析结构化数据、半结构化数据以及非结构化数据、静态的历史数据和动态数据流等各种类型的数据。

2.3.BI定义定义一:Business Intelligence is a process of turning data into knowledge and knowledge into action for business gain. (Data Warehouse Institute)标准定义:商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息,创造和累计商务知识和见解,改善商务决策水平,采取有效的商务行动,完善各种商务流程,提升各方面商务绩效,增强综合竞争力的智慧和能力。

4.商务智能的结构(1)商务智能的结构主要由两部分组成:数据仓库环境分析环境(2)商务智能主要由三种技术构成:数据仓库(Data Warehouse)联机分析处理(On-line Analysis,OLAP)数据挖掘(Data Mining)在三大技术支柱中,数据仓库是商务智能的基础。

联机分析处理(OLAP)是以海量数据为基础的复杂分析技术。

数据挖掘(Data Mining)是从海量数据中,提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。

二、决策支持系统1.结构化:数据结构字段含义确定、清晰。

典型的如数据库中的表结构半结构化:具有一定结构,但语义不够确定典型的如HTML网页,有些字段是确定的(title),有些不确定(table) 非结构化:杂乱无章的数据,很难按照一个概念去进行抽取,无规律性2.DSS的产生背景电子数据处理——EDP(Electronic Data Processing)管理信息系统——MIS(Management Information Systems)决策支持系统——DSS(Decision Support Systems)(70年代中期提出)3.DSS的定义决策支持系统(DSS)是以管理科学,运筹学,控制论和行为科学为基础,以计算机技术,仿真技术和信息技术为手段,针对半结构化和非结构化的决策问题,支持决策活动的具有智能作用的人机系统.3.DSS 的构造DSS的构造研究主要解决DSS的组成问题,即组成DSS的部件。

现在,经典提法是:DSS = 四库系统+ 对话系统(人机界面)四库系统:数据库系统、模型库系统、方法库系统、知识库系统。

4.模型库(Model Base)提供模型的存储和表示模式。

模型库管理系统提供模型的提取、访问、更新和合成等操作。

三、数据仓库1.数据仓库(Data Warehouse, DW)的概念是92年提出来的。

2.数据处理被分为两大类:操作型处理(OLTP)和分析型处理(OLAP)(1)区别:操作型处理以传统的数据库为中心进行企业的日常业务处理。

➢如电信部门部门的计费数据库用于记录客户的通信消费情况;➢银行的数据库用于记录客户的帐号、密码、存入和支出等一系列业务行为。

分析型处理以数据仓库为中心分析数据背后的关联和规律,为企业决策提供可靠有效的依据。

➢如对超市近期数据进行分析可以发现近期畅销的产品,从而为公司采购部门提供指导信息。

(2)操作型处理&分析型处理的比较1)使用的人员和处理的数据操作型系统的使用人员通常是企业的具体操作人员,处理的数据通常是企业业务的细节信息,其目标是实现企业的业务运营。

分析型系统的使用人员通常是企业的中高层管理者,或者是从事数据分析的工程师,分析型系统包含的信息往往是企业的宏观信息而非具体细节,其目的是为企业的决策者提供支持信息。

2)环境操作型处理和分析型处理的分离,划清了数据处理的分析型环境与操作型环境之间的界限,从而由原来以单一数据库为中心的数据环境发展为以数据库为中心的业务处理系统和以数据仓库为基础的分析系统。

3.商业智能系统由3个层次的内容组成:数据仓库、联机分析处理(OLAP)和数据挖掘。

商业智能系统的数据处理循环:4.数据仓库的体系结构由于数据库和数据仓库应用的出发点不同,数据仓库将独立于业务数据库系统,但是数据仓库又同业务数据库系统息息相关。

也就是说,数据仓库不是简单地对数据进行存储,而是对数据进行“再组织”。

5.数据清洗——数据不一致和不同步1)数据不一致企业常常为不同的应用对象建立不同的业务数据库,这些业务系统中可能包含重复的信息;不同的数据库可能使用不同数据库公司的产品;不同的业务系统可能由不同的软件开发商提供。

这使得各个业务数据库中的数据存在不一致的现象。

数据库使用人员的操作失误也会造成数据的不一致。

2)数据不同步由于冗余的数据存放在不同的数据库中,如果不同数据库间的数据更新不是实时的,则可能出现数据不同步的情况。

6.数据转化由于业务系统可能使用不同的数据库厂商的产品,各种数据库产品提供的数据类型可能不同,因此需要将不同格式的数据转化成统一的数据格式。

7.元数据(数据的数据)数据仓库的元数据主要包括两类:(1)第一种是为了从操作型环境向数据仓库环境转换而建立的元数据,它包括所有源数据项的名称、属性及其在提取仓库中的转化;(2)第二种元数据在数据仓库中是用来与最终用户的多维商业模型和前端工具之间建立映射的,这种数据成为BI元数据,它包括:1)数据仓库中信息的种类、存储位置、存储格式;2)信息之间的关系、信息和业务的关系,数据使用的业务规则;(如:何时数据仓库中的所有数据才能用于生成报表)3)数据模型;4)数据模型和数据仓库的关系。

8.数据集市数据仓库面向整个企业,而数据集市则是面向企业中的某个部门。

面向企业中的某个部门(主题)而在逻辑上或物理上划分出来的数据仓库中的数据子集称为数据集市。

当部门人员使用数据时,不需要到数据仓库的巨量数据中检索,而只需在这些数据上进行分析,因此从效率和处理速度的角度出发,这种划分是合理的。

独立和依赖的数据集市。

9.数据仓库的功能和特征传统的数据库系统由于主要用于企业的日常事务处理工作,存放在数据库中的数据基本符合操作型数据的特点。

而为了适应数据分析处理的要求而产生的数据仓库中存放的数据,基本符合分析型数据的特点。

10.区别:11.数据转化数据转化通常可能包含如下问题:(1)数据格式(2)测量单位(3)数据代码含义混乱(4)数据名称混乱12.BI需要的不是静态的集成,而是动态的集成。

13.数据库系统中数据是不稳定的,数据仓库中的数据相对稳定。

数据仓库的数据只增不删,这使得数据仓库的数据总是拥有时间维度。

14.硬件的利用模式在数据库环境下,硬件资源的利用率总保持在一个相对稳定的状态,这是由于不断地有事务需要处理。

而在数据仓库环境下,硬件资源的利用率常常在高利用率和低利用率之间切换。

●当系统进行数据分析应用时,硬件资源的利用率将很高;●而系统空闲时,系统的硬件利用率很低。

15.数据仓库的数据组织结构在数据仓库中,数据被分成4种级别,分别是:高度综合级轻度综合级当前细节级早期细节级16.OLAP中的数据颗粒度粒度就是对数据仓库中数据综合程度的一个度量。

数据粒度与数据量数据的综合程度不同,其数据量将相差很大。

●数据粒度越小,信息越细节,数据量越大。

●数据粒度越大,忽略了众多的细节,数据量越小。

17.数据的分割所谓数据分割是指将数据分散到各自的物理单元中以便能够独立处理,提高数据处理的效率。

数据分割后的数据单元称为分片。

数据分割没有固定的标准,分割的方法和粒度应当根据实际情况来确定。

分割方法常常可以选择时间、地点、业务领域来划分。

18.数据仓库的数据追加技术(1)时标法(2)前后映像比较法(3)DELTA文件法(4)日志文件法19.清理数据仓库的数据数据仓库的清理与普通系统中数据清理的含义有区别。

在普通的系统中,数据清理意味着将数据删除。

而数据仓库系统中清理并不是简单地删除,而是从细化级别的数据逐渐上升为高级综合度的数据,直到数据已经不再具备任何意义时被清除的过程。

数据仓库中清理的过程如下:(1)数据从操作型环境进入分析型环境;(2)数据从细节数据逐渐转换为综合数据;(3)数据从高速磁盘中转移到低速存储介质上;(4)数据失去实际意义,最终被清除。

这个过程实际上也是数据在数据仓库中的生命周期。

20.操作数据存储(ODS)ODS是用于支持企业日常的全局应用的数据集合。

ODS解决的是“日常”性问题,因而具有引入数据是可变的、数据是当前或者近期的特点,这个特点类似于传统的数据库。

ODS是面向全局应用的(数据涉及多个部门),这使得ODS中的数据需要面向主题来组织,并且应当是实时集成的。

所谓面向主题的,是指数据仓库围绕一些主题,并且更关注决策者的数据建模与分析,而不是集中于组织机构的日常操作和事务处理21.记录系统和参考表建立ODS实际上是建立了一个全局数据库,它通过在ODS中的记录系统定义和参考表来建立一系列DB和ODS记录间的双向联系,以实现数据在企业级上的同步。

➢ODS的记录系统就是说明如何从DB中向ODS进行数据抽取。

有了ODS记录系统后,DB中对应的数据项发生的变化,都将反映到相应的ODS 记录中。

➢参考表建立的是从ODS数据项到DB数据项的反向映射。

当ODS中的记录发生变化时,将通过参考表去修改与之相关的DB中所有数据项。

✓其过程如图所示。

数据库A、B、C都存在相同含义的数据。

✓数据库A中的数据项发生变化后,通过ODS记录系统定义,反映到ODS 中对应的数据项;✓再通过参考表去更新数据库B和C。

通过记录系统定义和参考表,使得原先分散的数据库系统被紧密的结合起来,一点动,全局变。

21.在DB—ODS—DW三层结构中数据是如何流动的在三层结构中,数据的传输控制是通过两级记录系统的定义来实现的。

ODS系统和DW系统都有各自的记录系统和记录系统的定义。

ODS的记录系统是定义在原有的数据库系统中,DW的记录系统是定义在ODS 一致性数据环境中。

●ODS记录系统的定义作为ODS元数据的一部分保存放在ODS区中,它指明需要如何从数据库系统中提取数据。

●DW记录系统的定义作为DW元数据的一部分存放在DW中,它指明需要如何从ODS环境中提取数据,如图2-45所示。

五、联机分析处理——OLAP1. OLAP系统按照其存储器的数据存储格式可以分为关系OLAP(Relational OLAP,简称ROLAP)、多维OLAP(Multidimensional OLAP,简称MOLAP)和混合型OLAP (Hybrid OLAP,简称HOLAP)三种类型。

相关主题