第1章商务智能基本概念
1.1 商务智能的基本概念
商务智能是数据仓库、联机分析处理和数据挖 掘等相关技术走向商业应用后形成的一种应用 技术。该技术收集、汇总了与商务活动有关的 各种数据,将其集成到数据仓库中。采用联机 分析技术对商务活动进行实时的监控、分析, 便于及时采取有效的商务决策,提升商务活动 的绩效。应用数据挖掘技术对描述商务活动的 数据进行挖掘,以获取有效的商务信息,从中 提取商务知识,为企业商业发展寻找新的机遇。
1.1 商务智能的基本概念
商务分析:绩效管理、客户管理、供应链管理
OLAP、数据挖掘 数据仓库
图1.1 商务智能体系结构
1.2 数据仓库的发展与展望
1.2.1 从传统数据库到数据仓库 1.决策处理的系统响应问题 2.决策数据需求的问题 3.决策数据操作的问题 4.数据仓库与传统数据库的对比
1.2 数据仓库的发展与展望
1.3.5 分布式数据仓库结构
站点A 局部数 据仓库
局部数 据仓库
站点B
局部数 据仓库
站点C
总部
全局数 据仓库
局部数 据仓库
站点D
1.4 数据仓库的参照结构
数据仓库的基本功能包含:数据抽取,数据筛选、清 理,清理后的数据加载,设立数据集市,完成数据仓 库的查询、决策分析和知识的挖掘等操作。 数据仓库的管理层分成数据管理与元数据管理两部分, 主要负责对数据仓库中的数据抽取、清理、加载、更 新等操作进行管理。 数据仓库环境支持层包含数据传输和数据仓库基础两 部分。
1.5.1 数据挖掘的发展
发展原因主要有:超大规模数据库的出现、先进的计 算机技术、经营管理的实际需要和数据的精深计算能 力
1.5 数据挖掘技术概述
1.5.2 数据挖掘的定义 1.数据挖掘的技术定义
数据挖掘是从大量的、不完全的、有噪声的、模糊的、 随机的实际数据中,提取隐含在其中的、人们所不知 道的、但又是潜在有用的信息和知识的过程。
表1-1 数据仓库与数据库对比表
对比内容
数据库
数据仓库
数据内容
数据目标
数据特性
数据结构
使用频率 数据访问量 对响应时间 的要求
当前值
面向业务操作程序、重复 处理 动态变化、按字段更新
高度结构化、复杂、适合 操作计算 高 每个事务只访问少量记录 以秒为单位计量
历史的、存档的、归纳的、计算 的数据 面向主题域、管理决策分析应用
第1章 商务智能基本概念
信息技术的不断推广应用,将企业带入了一个信息爆炸的时代。 每日、每时、每刻都有潮水般的信息出现在管理者的面前,等 待管理者去处理、去使用。与此同时,企业的管理者在管理中 面对来自不同部门的、相互矛盾的信息无法对所要解决的决策 问题提出正确的解决方案。为此,需要一种新的信息处理技术 能够使决策者们获取及时准确的信息,以理解商务活动并做出 智能化的、更有效的决策,即能从海量的数据中提取有用的信 息并转化为商务知识,从而告别“拍脑袋”决策方式。 通过本章学习,可以了解: 商务智能的发展及体系结构; 数据仓库的总体结构框架; 数据仓库的功能结构; 数据仓库的环境支持结构; 数据挖掘的基本原理; 数据挖掘的应用范围和应用过程。
登录、 归档、 恢复与 净化管
理
1.4 数据仓库的参照结构
1.4.3 数据仓库的环境支持层 1) 数据仓库的数据传输层
数据传输 客户/服务 复制系统 安全和保
和传输网 器代理和
障系统
络
中间件
1.4 数据仓库的参照结构
2)数据仓库的基础层
系统管理 工作流程管 存储系统 处理系统 理
1.5 数据挖掘技术概述
1.3
业务系 统数据源
外部 数据 源数据仓库的体系结构数数数据
据
据
集市
准
仓
/知
备
库
识挖
应用工
区
数
掘库
具
据
库
数据 集市 /知 识挖 掘库
应用工 具
管理工具 图1.2 数据仓库的概念结构
1.3 数据仓库的体系结构
1.3.2 虚拟数据仓库结构 不需要从业务系统中抽取数据到新的数据存储 位置——数据仓库中
索
数据仓库 元数
分析与报 据管
告
理
数据仓库 直接存取
数据集市 存取
报表工具 分析工具
元数 据管 理与 报表
数据集市 重整
转换为多 维结构
创建局部 存储
分析建模 工具
数据挖掘 工具
图形工具
元数 据抽 取与 创建
1.4 数据仓库的参照结构
1.4.2 数据仓库的管理层 1.数据仓库的数据管理层
数据 抽取 与新 数据 需求 与查 询管 理
1.1 商务智能的基本概念
1.1.2 商务智能的发展与应用
1.商务智能的发展
从20世纪60年代计算机用于管理信息处理开 始,经过40多年的发展,信息处理技术的发展 经历了电子数据处理系统(EDPS, Electronic Data Processing System)、管 理信息系统(MIS,Management Information System)和决策支持系统(DSS, Decision Supporting System)等阶段。
业务系统 数据库
数据仓库
查询管用理户 服务器
1.3 数据仓库的体系结构
1.3.3 数据集市结构
业务系统数 据库
主题1
主题2
数据仓库 查询管理 服务器
用户
1.3 数据仓库的体系结构
1.3.4 单一数据仓库结构
业务 系统 数据 库
数据 仓库
数据 集市
1
数据 集市
2
数据仓库 查询管理 服务器
用户
1.3 数据仓库的体系结构
2.数据准备区功能结构
数据准备区
标准化 元
过滤与 匹配
数 据 抽
净化 取
标明时 与 间戳的 创 数据源 建
确认数 据质量
1.4 数据仓库的参照结构
3.数据仓库功能结构
数据重 数据仓 元 整 库创建 数 据 管 理
集成与 建模 元
分解
数
概括与 概括 据
聚集
浏
览
与
导
航
预算与 聚集 元
推导
数
1.4 数据仓库的参照结构
2.数据挖掘的商业定义
一种崭新的商业信息处理技术,其主要特点是对商业 数据库中的大量业务数据进行抽取、转化、分析和模 式化处理,从中提取辅助商业决策的关键知识
1.5 数据挖掘技术概述
传统数据分析工具(DSS/EIS)
数据挖掘工具
工具特点 分析重点
分析目的
数据集大 小 启动方式
技术状况
回顾型的、验证型的 已经发生了什么
数据 加载、 存储、 刷新 和更 新系
统
安全 性与 用户 授权 管理 系统
数据 归档、 恢复 及净 化系
统
1.4 数据仓库的参照结构
2.数据仓库的元数据管理层
数据仓 元数据 预定义 刷新 库、数 抽取、 的查询、 与复 据集市 创建、 报表和 制管 和词汇 存储和 索引管 理 表管理 更新管 理
理
1.6 数据挖掘技术与工具
1.6.2 常用数据挖掘工具 1.按使用方式分类的数据挖掘工具
决策方案生成工具、商业分析工具和研究分析 工具三大类。
2.按数据挖掘技术分类的数据挖掘工具
基于神经网络的工具、基于规则和决策树的工 具、基于模糊逻辑的工具和综合性数据挖掘工 具等。
3.按应用范围分类的数据挖掘工具 专用型数据挖掘工具和通用型数据挖掘工具。
1.1 商务智能的基本概念
1.1.1 商务智能的定义
1989年美国加特纳公司的分析师Howard Dresner首次提出“商务智能” 美国IBM公司的定义 Microsoft认为商务智能 IDC国际数据公司 Business Objects公司认为商务智能 Teradata公司认为商务智能的目的 美国Micro Strategy公司的定义
1.2 数据仓库的发展与展望
1.2.3 数据仓库的发展 1.基于关系对象数据库的数据仓库 2.网络的影响 3.操作型动态数据仓库 4.Web应用中的多智体技术
1.3 数据仓库的体系结构
1.3.1 数据仓库的概念结构
数据源、数据准备区、数据仓库数据库、数据 集市/知识挖掘库以及各种管理工具和应用工 具(图1.2)。
静态、不能直接更新、只定时添 加 简单、适合分析
中到低 有的事务可能要访问大量记录 以秒、分钟、甚至小时为计量单 位
1.2 数据仓库的发展与展望
1.2.2 数据仓库的定义与基本特性
William H.Inmon在1993年所写的论著 《Building the Data Warehouse》则首先系 统性地阐述了关于数据仓库的思想、理论,为 数据仓库的发展奠定了历史基石。在文中,将 数据仓库定义为:
4.数据集市/知识挖掘库结构
求精与重整
过滤与匹配 集成与分割 概括与聚集 预测与推导
标明时间维的数 据源
数据集市/知识挖掘 库创建 建立模型 概括 聚集
调整与确认
建立结构化查询
元数据管 理
元数据浏 览与导航
元数据的 抽取与创
建
创建词汇 表
1.4 数据仓库的参照结构
5.数据仓库的数据存取与使用结构
数据仓库 存取与检
“一个面向主题的、集成的、随时间变化的、 非易失性数据的集合,用于支持管理层的决策 过程”。
1.2 数据仓库的发展与展望
1.面向主题性 面向主题性表示了数据仓库中数据组织的基本原则, 数据仓库中的所有数据都是围绕着某一主题组织的。 确定主题以后,需要确定主题应该包含的数据。 不同的主题之间可能会出现相互重叠的信息。 主题在数据仓库中可以用多维数据库方式进行存储。 主题的划分中,必须保证每一个主题的独立性。