当前位置:
文档之家› 电信业务数据仓库平台中接口的设计与ETL开发
电信业务数据仓库平台中接口的设计与ETL开发
司 的发展状 况难 以得 到清楚 的认 识 。
收稿 日期 :0 80 -0 20 -63 作者简介 : 谷赫( 9 6 17 一
)女 , , 吉林辽源人 , 长春大学讲师 , 主要从事数据挖掘研究 ,T 18 -340 80 ( — i g h6 @sh. o ( e)619 3 98 8 Emal u e6 o uem。 )
预先定 义好 的数 据仓库 模型 ,将数 据加 载到 数据仓 库 中去 。
电信企业的数据源来 自 各业务系统 ,且各业务系统采用省集中方式 。电信数据仓库平台提取的外部 源数据 ,根据各省情况会有部分差异,以吉林省为例,吉林省通信公司多年累计存储数据超过 6T y 。 Bt e 主要数据来源于企业内部的各种类型数据 ,汇集各地市的计费帐务系统 、网间结算 系统 、智能网系统, 综合受理系统 ,统一客户资料系统 ,其他增值业务平台的数据等 。针对这些业务数据 ,接 口设计将 J 从外部源系统的数据 集 中程度 、数据 库存储特 征、提 供给数据 仓库 的数据 清单等 角度进 行详 细描
累的事务型数据重新进行组织 ,建立新 的数据存储 ,专 门用于支持数据分析及企业决策 。数据仓库 技术在电信行业 的应用。可对各业务系统的数据库加以整合 ,并在此基础上对数据做出统一规范 ,对相 关数据做必要的转换 ,从而消除由于数据无时基 、数据算法差异而造成的数据缺乏可信性的问题 。
1 设 计 规 划
第2 6卷 第 6期 20 0 8年 1 1月
吉 林 大 学 学 报 ( 息 科 学 版) 信
Junl f inU i rt If m t nSineE io ) ora o Ji nv sy(n r ai c c dtn l ei o o e i
Vo J 6 No 6 l2 . NO .2 o V 08
成数 据获取 、存储及访问。该 平台的建立能对各生产 系统的数据加 以统 一 ,为前 台的展示 开发提 供强有力 的 后 台支持 ,便于决策层对企业 发展状况更为准确的把握 。 关键 词 :数据仓库 ;E L T ;数据分析 ;接 口设计 ;规范
中图分类号: P9 T 3 文 献 标 识码 : A
述 , 。
电信业 务数 据仓库 由数 据仓 库平 台和 统计分 析平 台组 成 ,构建这 两个 平 台可 以使用 B O的 D ei ID s — g
nr( e 简称 D )和 B E I O 。这两个平台不仅满足数据仓库项 目的需要 ,而且为将来其他应用提供 了平 台服
务。
数据仓库平 台在构建时由两个子平台——数据整合平台和数据管理平台组成 ,数据整合平台的主要 功能是整合企业 内部和外部 的数据 ,然后将整合 的数据加载到数据仓库 中 。数据管理平台的主要功 能是对数据仓库 中的数据进行有效的组织和管理 ,为综合统计分析平台或其他业务系统提供数据服务。 其中数据整合平台由3 个子层面组成 , 其功能框架如图 1 所示 。
引 — 口
中国电信的改革和重组使 中国电信业的市场环境发生 了根本性的变化 ,电信业务市场由局部竞争向
全面开放式竞争转移 ,由以话音为主的通信服务向以数据为主的信息服务转移;由单一媒体信息服务形
态向多媒体服务转移。电信市场竞争更加激烈 ,电信公司现有 的数据库系统已经影响了公司的发展速 度 ,各个业务系统的数据库系统之间没有很好地关联起来 ,形成了很多 的信息孤岛… ,使决策层对公
pe o edt cus i , t ae adv ib T ( xr t nT as r a o odn ) h s bi m n l i t a aq it n s rg , n i t yE L E t ci rnf t nL a ig .T eet l h e t tn h a io o s a o o i m a s
文章编号 :6 159 (0 8 0 -620 17 -8 6 2 0 )60 5 -5
电信业务数据仓 库平 台中接 口的设计与 E L开发 T
谷 赫
( 长春大学 计算机科学与技术学院 ,长春 10 2 ) 3 0 2
摘要 : 针对当前 电信业务 中各业务系统的数据库 之间没有很好 地连接而 形成信息孤 岛的 问题 ,利 用数据仓库 这一新型 的数据组织及存储方 法 ,对 电信业务进行有效的数据分析 和企业决策 。针对业 务数据 ,构建 数据仓 库平 台 ,对功能框架和软件进行部署 。通过接 口设计对数 据进行必要 的规范和组织 ,依 据该 规范 和约定进行 环境 配置 ,将预处理后的数据经 D ei e 加 载到数据库 中,通过 E L ( x at nTas r ai od g I s nr D g T E t ci r f t nL ai )完 r o no m o n
c n e to e d n o a s u fi fr to sa d, u i go h aa wa e o s o n c in la i g t n is e o n o mai n il n sn ft e d t r h u e, t e n w a a og n z t n a d h e d t r a ia i n o so a e meh d ,t fe t ey d a t a a a ay i n e iin— k n o h ee o tr g t o s o efc i l e lwi d t n lssa d d cso ma ig frt e tl c mmu i ain u i s . v h n c to s b sne s Ac odig t usn s a a,t e d t rh u e p afr ,t e f n t n lfa wo k a d s fwa e a e d v l p d. c r n o b ie sd t h a a wa e o s l t m o h u c i a r me r n ot r r e eo e o Thru h t e i tra e d sg o n r s a d o g nia in aa s n c sa y,c ry o o fg a in e vr n n o g h n ef c e in t o m n r a z t s d t s i e e s r o ar n c n ur t n io me t i o
图 l 数 据整合 平 台功 能框 架 图
Fg 1 i . Da a i tg ai n plt r u cina r me r t ne r t afm f n to lfa wo k o o
数据整合过程从接 口 文件开始,因此需要对接 口 文件进行一定的管理 ,以保证接 口文件的质量和数
I tra e De in a d De eo me to nef c sg n v lp n fETL i ee o n T lc mmu iain nc t s o Bu ie s Daa W a e o s afIn sn s t r h u e Pltcl r
GU He
( o eeo C m ue c n eadT cnlg ,C agh nUn e i ,C agh n10 2 ,C ia C l g f o p t Si c n eh ooy h ncu i rt l r e v s y hnc u 3 0 2 hn )
Ab t a t F rc re t e d t b s f u i e s s s m l c mmu iai n u i e sd d n t a e av r o d s r c : o u r n l t aa a e o s s y t i t e o y h b n e n e n c t sb sn s i o v ey g o o h
第 6期
谷赫 : 电信业务数据仓库平台 中接 口的设计与 E L开发 T
63 5
这些问题的长期积累,往往会造成决策层在对公 司的发展做出部署时,产生决策失误 ,造成不可估
量 的损 失 ,解 决这 种 问题 最有 效可 行 的办 法是 建立 企业级 的统 一数据 仓库 平 台 。 数 据仓库 (a aeos)是一 种新 型 的数 据 组织 及 存储 方 法 ,它 以多维 数 据 建 模方 式 对 企业 积 dt w rhue a
o e p afr a et n td t ed t f h a h p o u t n s se , n r v d t n a k r u d s p o t ft lt m c n b o u i aa o e e c r d ci y tm a d p o i e a s o g b c g o n u p r h o e h t o r frd v lp n n ip a o e f n , b n f h o iy ma i g lv l r c u a e g a p d v l p n i a o e eo me ta d d s ly ft o t e e t e p l — k n e e e a c r t r s e eo me t t - h r i t c mo su t n o e e t r r e i f h nep i . o t s
b s d o e r g l t a d o g n z t n ,t e d t l b rte td la i g t e OD h o g e in r o a e n t e ae n r a i i s h aa wi e p er a e o d n S t r u h DID sg e ,e m— h u a o l h
Ke o d : a ae os ; x at nt nfr ai aig ( T ) aa n l i;it fc ei ;nr s yw r s dt w rhue et c o a s m t nl dn E L ;d t a a s a r i r o o o y s ne aed s r n g o m
据 抽取流 程 的正确 。接 口文 件处 理层就 是完 成这些 工作 的 。 数据整 合层按 照 E L设计 规 范和规 则 顺 序地 或并 行 地 从接 口文 件 中抽 取 数据 。然 后 将 数据 进 行 清 T