Kettle分区应用案例
实际生产中,经常会有地市数据上报或者省厅省厅数据下发,而且各地市的表结构都相同的需求。
针对这种需求,假如有10个地市,一般会写10个抽取。
这样不仅做了重复工作,而且增加了维护负担。
通过kettle分区功能,可以只写一个抽取,实现多地市数据汇集和下发功能。
下面通过一个案例,简单介绍下kettle分区使用。
1. 创建数据库连接
新建数据库连接,点击集群选项,此处假定所有节点都是相同类型数据库。
如下图,创建含有两个节点的集群连接。
2. 创建分区模式
新建数据库分区
点击导入分区,可以从刚刚创建的数据库连接中导入分区,点击ok保存。
3. 创建抽取模型
整个模型如下
表输入中选择刚刚创建的集群连接,输入SQL语句。
这里获取查询SQL语句及预览功能不能直接使用。
文本文件输出组建配置如下
右键点击表输入,选择分区选项,选择使用数据库分区,分区类型如下:None:不分区
Mirror to all partitions:使用数据库分区
Remainder of division:使用kettle标准分区
4. 结果验证
源表数据如下:
数据结果文件如下:。