Spoon 工具使用说明
介绍:spoon是一个开源java编写etl开发工具。
我们可以使用它实现多种数据导入工作。
一、登陆界面
资源库:指本spoon当中配置的共享的数据库;
初始登陆名、密码都为admin;
二、程序主界面
功能:
Transformations:生成转化,即将按照我们既定的规则倒数
Job:将我们生成多个转化脚本封装,真正形成一个etl开发整体。
:新建Transformations和Job的快捷菜单
三、建立数据库连接
在此双击”DB连接”可以新建数据库。
四、Transformations的使用:
单击Core Objects将展现
Input:输入设备;
Output:输出设备;
Lookup:查询
Transform:转化的各种方法;
Joins:联合查询;
Scripting:嵌入脚本
Data Warehouse:数据仓库
Mapping:映射;
Job:嵌入job;
Inline:嵌入socket;
注:每项下面都有很多子功能,我们可以根据自己的需求建立转换。
具体细节,只要了解需求,及基本的数据库知识,基本就可以上手。
事例:
济南商行反洗钱项目客户数据抽取流程
一、将商行核心系统客户数据抽取到文件。
二、将生成的数据文件导入到本地数据库。
三、将所需的transformation整合,形成etl程序。
具体实施流程
一、将商行核心系统客户数据抽取到文件。
1.建立数据库连接:
在DB连接上双击左键弹出如下窗口
2.新建一个transformations 文件/新建/transformation
上图是已经创建好并能完成一定转换功能的转化脚本。
从个人客户资料簿到文本文件输出是一个整体转化流,每个transformation可以包含多个流,但每个流不能有分支,除非有判断。
3.测试我们的建立的transformation方法如下:
单击“对号”进行测试
如上图,证明编译没有问题,我们可以抽取数据了,注意,编译正确并不代表,此transformation抽取工作可以正常工作,在编译通过后还可能产生运行时异常。
二、将生成的数据文件导入到本地数据库
新建transformation,如图:
此阶段我们可以通过字段选择过滤到我们不需要的字段,剩下的所有的字段将和数据库完全匹配。
编译测试即可从文件到库。
三、新建/文件/job,如:
这样我们就能直接点一个开始按钮,那么抽取工作会根据我们的设置自动运行。