kettle demo4 从FTP下载文本文件到本地,然后插入到数据库 (转载)

Posted on Posted in kettle示例

本事例演示从FTP下载文件,然后在插入到数据库,这次FTP配置信息就通过变量来配置了,全局变量一般配置在kettle.properties文件里,

下面是FTP的配置信息,

因为FTP下载是一个作业(job),一些路径信息的设置需要转换,所以咱们需要串联配置转换和作业,大致步骤如下

设置远程FTP文件路径变量>下载FTP文件>导入本地文件到数据库

1、新建一个转换,设置远程FTP服务器的目录,最后名称保存为demo_get_url,因为后面要用,所以名称要起的认真点,

至于为什么有这个步骤,是因为很多ftp服务器的文件命名规则都是这么来的,要获取当年当月当天文件夹下的文件

首先从输入里拖进来生成记录控件,然后通过JS代码返回目录路径字符串,最后把这个路径设置为变量

 

2、设置生成记录,把条数改为一条

3、设置JS代码控件,最终返回的是一个或者多个目录的名称变量,我这里的目录为年月日分开的目录,我的ftp服务器是本地测试的,所以ftp目录也在本地

4、然后开始设置变量,把刚才年月日设置为变量,供同作业下的下个转换使用

到这里,ftp服务器的目录就设置好了,然后开始设置ftp下载了

5、创建ftp下载作业,和上一篇基本类似,就不再详细贴图了,只把有变化的地方指出来,设置好后保存为demo_ftp_downlaod,开始设置从文本文件到数据库转换了

6、新建一个转换,从文本文件到表输出,这个步骤就不再贴图了,和前面的一模一样,

7、基本的步骤都弄好了,然后新建一个作业,把这些步骤穿起来,如图

这之前把数据库表清空,然后执行当前job,查看结果

 

本地下载目录

数据库