kettle实现简单的增量同步

Posted on Posted in kettle示例

job如下:

如下转换:获取区服列表,将id列表保存到结果(内存)

job: 同构数据库单表抽取(每个输入执行一次)

 

同构数据库单表抽取(job) 的具体实现如下:

转换:获取数据库连接ID

从结果获取本次输入id,并设置为变量parmid

转换:获取数据库连接信息

转换:获取最大时间

获取目标的最大时间并设置变量

获取源表最大时间并设置变量,注(源数据库连接dblink为动态连接)

 

dblink:

转换:删除目标表最后时间点的数据(防止同一秒中出现多条记录,漏数据)

转换:抽取数据

转换:写入ETL日志