页面树结构
转至元数据结尾
转至元数据起始


Kettle集群实例
Kettle cluster example
 
概述:
本文的实例是我在实验以后编写的,有详细的步骤截图说明,适用于初用KETTLE做集群的朋友作为参考。本文分两部分,先介绍实例操作后说原理。
Part A

  1. 配置jetty容器

配置文件在 $kettlehome$ \data-integration\pwd下,没有的话手动建立一下, 需要修改的是三个xml文件内容,其中master为主服务的配置,另外两个为子服务。

Carte-config-master-8381.xml

Carte-config -8382.xml

Carte-config -8383.xml

  1. 启动jetty容器

在kettle的路径下找到carte.bat,在控制台下启动,使用carte ip port命令。



三个容器启动成功。

  1. 配置集群子服务

在spoon环境下配置子服务,其中Q1为主服务,要勾选上"是主服务器",Q2和Q3为从服务器。


  1. 配置集群schemas

  1. 制作转换

转换制作完成后,在需要使用集群的步骤上选择集群即可。如下图。


  1. 集群执行

执行时选择集群执行。如下图。


查看执行结果。

























Part B
集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中,它包含一个主服务器(Master)和多个从属服务器服务器(slave)。如下图所示。

子服务器(Slave servers)允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做"Carte"的 web 服务器,该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。
在以后的描述中,如果我们提到的是子服务器,则包括集群中的主服务器和从属服务器;否则我们会以主服务器和从属服务器来进行特别指定。

  • 无标签