SAP BW开放式数据抽取、转换与加载
1概述
除了获取SAP系统的数据外，SAP BW还需要获取其他系统的数据，SAP BW提供了更多类型的数据源，支持从外部系统导入数据。
2 SAP BW的外部数据获取功能
2.1通过Web服务获取数据
在SAP BW系统中，我们可以使用Web服务获取数据，基于该方式，通过一个SAP BW系统向源系统发出请求，（通过“拉”
的方式），数据被传输到SAP的数据仓库中。
数据的发送是通过
Web服务的方式进行的。
由于基于“拉”的方式，用户通过Web
服务可以实现实时数据的获取，并且数据的获取可以通过后台进
行，基于一点的时间间隔周期性的执行“拉“数据的动作。
具体
细节，可以参考SAP BW应用与SAP交换架构的集成。
通过SAP的组件－通用数据连接器（Universal Data Connect ,UDC）实现SAP系统与非SAP系统的连接，该组件使用
SAP Web 应用服务器的J2EE引擎。
通过该组件，用户可以连接
所有的关系型或多维的源系统。
基于关系型的数据，通用数据连
接器传输扁平结构的数据，对于多维的数据，该通用数据连接器
会把多维数据转换成扁平结构。
通用数据连接器使用J2EE集成架构的BI Java 连接器组件，该组件包括：
BI JDBC连接器
BI ODBO 连接器
BI SAP Query连接器
BI XMLA连接器
如下图：
2.2通过数据库连接器（DB Connect）获取数据
通过该方式，SAP BW应用服务器首先会打开与其他数据库的连接，随后，用该连接从数据库中的表或视图中传输数据。
在
使用数据库连接器前用户必须在SAP BW应用服务器上安装源系统数据库相关的数据库客户端，并且还有必须安装SAP提供的与源系统数据库相关的数据库接口－DBSL。
具体架构图如下：
通过该方式，数据库连接器支持的数据库产品有如下： DB2（OS390）
DB4（AS400）
DB6（UDB）
Informix
MS SQL Server
Oracle
SAP DB
2.3基于文件的获取数据
SAP的商务智能系统支持数据文件的传输，数据格式可以时ASCII的或者时CSV格式的，并且CSV格式可以是通过EXCEL文
件进行编辑的。
数据可以从工作站（前端）或应用服务器（后端）进行数据的传输。
2.4实时数据的获取（与SAP交换架构的集成）
在数据仓库的建设中，运营数据层的构架往往是一个技术上的难点，SAP BW应用在数据仓库层面很好地解决了该问题。
通过
SAP BW应用与SAP交换架构的集成，SAP BW应用可以获得任意
源系统中产生的实时数据。
首先，源系统的数据通过SAP交换架构中Web Service把数据“推”到SAP BW系统的PSA中，再由SAP BW系统中的Daemon
信息包或数据传输进程（DTP）把数据“推”到运营数据层，如
下图：
在SAP交换架构中，数据是从源系统“推“到SAP BW应用
中的数据队列中，在SAP BW系统中，数据又从数据队列中，
以小于1分种的频率”拉“到SAP BW应用中的运营数据层，
由于运营数据层实际是一个逻辑概念层，该层可以是一个物
理存储数据层，用户可以通过SAP BW系统中数据仓库的数
据储存对象来实现该层。
同时，该层也可以是一个虚拟的数
据层，或通过SAP的虚拟信息提供者来构架实现该层。
2.5通过第三方ETL 工具实现数据传输
为了能够从非SAP 源系统获得应用层的数据，SAP 提供开发的接口－BAPI ，这些BAPI 是一些标准的程序结构可以维维外部系统访问SAP 的数据，这些接口也使第三方ETL 厂商能够与SAP 的商务智能应用进行连接。
SAP BW 应用可以与主流的ETL 厂商，informatic 和Ascential 都有很好的集成。
如下图为SAP 与Ascential 的集成示意图：
对于主流的第三方ETL 工具,支持的功能有如下：
1. 灵活数据处理能力，包括预置的公式，函数，数据汇总和计算能力
2. 支持分区技术
3. 支持数据清洗，转换
4. 支持不同的数据源和数据目标（包括SAP BW 应用）
5. 支持元数据的集成，包括与SAP BW 应用的元数据进行交换
BW Load Pack XML
Pack
Appl. Spec.Extr.Pack Application Business
API
6.较高的性能，Ascential和Informatic都支持网格计算
7.具有较好的可扩展性
8.可以针对不同的源系统，基于用户需求自动生成数据抽取程序
9.可以进行模块化设计
3使用SAP BO Data Service集成获取外部数据
3.1与SAP BO DS Service系统无缝连接
使用SAP BW的源系统管理功能,可以创建与Data Service系统的直接连接,如下图所示.
完成源系统的创建后,根据需要抽取的数据结构，在SAP BW系统中创建相应的信息源和数据源。
同时，需要在SAP BO Data Service系统创建与SAP BW系统的连接，如下图所示。
SAP BO Data Service系统中可以读取SAP BW系统信息，如下图所示。
3.2定义协同的数据加载过程
在使用BO Data Service获取外部数据的场景中，数据加载过程的前半部分是由BO Data Service完成的，即数据的抽取，部分转换功能在BO Data Service完成。
相应地，这一部分的配置工作在BO Data Service完成，如下图所示。
具体的配置功能参见本章第五节。
在BO Data Service完成数据获取和数据转换之后，将数据写入SAP BW系统的数据源（PSA）数据存储区中，可以由SAP BW完成后续的工作。
3.3由SAP BW系统实现统一工作调度
虽然数据加载过程的定义是由两个系统协同完成的，但是在日常数据加载过程中，日常的调度是由SAP BW系统统一完成的。
在
SAP BW系统中定义信息包，可以调用BO Data Service的Job，实现数据的加载动作，将源系统的数据写入SAP BW系统，并通
过SAP BW系统的处理链实现数据的后续处理。
如下图所示。