Kettle集群实例
Kettle cluster example
概述:
本文的实例是我在实验以后编写的,有详细的步骤截图说明,适用于初用KETTLE做集群的朋友作为参考。本文分两部分,先介绍实例操作后说原理。
Part A
- 配置jetty容器
配置文件在 $kettlehome$ \data-integration\pwd下,没有的话手动建立一下, 需要修改的是三个xml文件内容,其中master为主服务的配置,另外两个为子服务。
Carte-config-master-8381.xml
Carte-config -8382.xml
Carte-config -8383.xml
- 启动jetty容器
在kettle的路径下找到carte.bat,在控制台下启动,使用carte ip port命令。
三个容器启动成功。
- 配置集群子服务
在spoon环境下配置子服务,其中Q1为主服务,要勾选上"是主服务器",Q2和Q3为从服务器。
- 配置集群schemas
- 制作转换
转换制作完成后,在需要使用集群的步骤上选择集群即可。如下图。
- 集群执行
执行时选择集群执行。如下图。
查看执行结果。
Part B
集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中,它包含一个主服务器(Master)和多个从属服务器服务器(slave)。如下图所示。
子服务器(Slave servers)允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做"Carte"的 web 服务器,该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。
在以后的描述中,如果我们提到的是子服务器,则包括集群中的主服务器和从属服务器;否则我们会以主服务器和从属服务器来进行特别指定。