kettle记录集(Merge Join)使用

Posted on Posted in kettle示例

果两个表需要进行连接查询筛选出数据,那么可以使用记录集组件。(Merge Join)。

 

使用之前要进行排序:

使用记录集之前,要对输入的两张表进行排序,如果不排序,会导致两张表连接的时候出现问题,关联的数据变少。并且排序的顺序必须一致,比如

A表的a字段和B表的b字段 是连接条件,那么这俩要排序,而且规则要一样

排序有2种方式:

1 直接在表中用order by 排序

 

2 使用排序记录组件进行

 

 

 两种排序方式的比较:第一种还是在数据库种排,第二种利用缓存排序

 

实际业务:从mysql种取两张表,关联,排序后,用记录集连接取出关联数据。将关联出的数据全部写入mongodb中。