Skip to content

Kettle中文网

  • 基础组件
    • 官方教程
  • 经验示例
  • 异常报错
  • 下载
  • 淘宝店
  • 在线调度系统
Kettle中文网
阿里云云服务器内部优惠

KettleOnline在线调度系统

作者:admin

windows下kettle脚本无法创建文件

Posted on 2025年4月5日 adminPosted in 异常报错

在确认路径正确的情况下,无法创建文件的原因是文件名问题,文件名不能有特殊字符。

Kettle实例(获取Token并带入请求接口拉取数据到本地)

Posted on 2025年3月11日2025年3月11日 adminPosted in 经验示例

转自:https://www.cnblogs.com/sgxw/p/17645117.html 本次转换全流程 […]

改变开始复制数量

Posted on 2024年12月28日2024年11月21日 adminPosted in 基础知识

这个功能实际的含义是:设置多少份的拷贝,开多少线程 例如:开20个线程,拷贝20份,那么单击控件“生成随机数” […]

KETTLE调用http传输中文参数的问题

Posted on 2024年12月25日2021年12月26日 adminPosted in 异常报错

场景:检查服务器异常(hive)服务,就通过http发送一条短信到手机上,内容类似:【通知】${START_D […]

Kettle循环执行-采用js的方式

Posted on 2024年12月25日2021年12月26日 adminPosted in 经验示例

网上有很多的例子,介绍怎样用JS来控制循环,这里我们也简单的测试下 2.1 query_the_result […]

Kettle循环执行-最简单的方法

Posted on 2024年12月25日2021年12月26日 adminPosted in 经验示例

有的时候,我们想要在Kettle中实现这个循环的功能,比如,批量加载数据的时候,我们要对10张表执行同样的操作 […]

kettle组件 java代码

Posted on 2024年12月21日2024年12月21日 adminPosted in 基础知识

1、getRow(); 获取每一行数据,循环读数据;返回的是Object[]数组 2、get(Fields.i […]

kettle的作业和参数组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

    1、大多数ETL项目都需要完成各种各样的维护工作。例如,如何传送文件;验证数据库表 […]

kettl的脚本组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

7、脚本是转换里面的第七个分类。脚本就是直接通过程序代码完成一些复杂的操作。 7.1、Javascript脚本 […]

kettle的映射组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

    6、映射是转换里面的第十八个分类。映射是用来定义子转换,便于封装和重用。 &nbs […]

kettle的统计组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

5、统计是转换里面的第十三个分类。统计是提供数据的采样和统计功能。 5.1、分组是按照某一个或某几个进行分组, […]

kettle的连接组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

   4、连接是转换里面的第八个分类。连接是结果集通过关键字进行连接。   &n […]

kettle的查询组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

3、查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。 3.1、HTTP clien […]

kettle的流程组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

    2、流程是转换里面的第六个分类。流程主要用来控制数据流程和数据流向。   […]

kettle的应用组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

1、应用是转换里面的第五个分类。应用都是一些工具类。 1.1、替换NULL值就是把null转换为其它的值。NU […]

kettle的转换组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

  1、转换是转换里面的第四个分类。转换属于ETL的T,T就是Transform清洗、转换。ETL三 […]

kettle的输出组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

1、输出是转换里面的第二个分类。输出属于ETL的L,L就是Load加载。微软的Excel目前有两种后缀名的文件 […]

kettle的输入组件

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

1、kettle里面的输入,就是用来抽取数据或生成数据,是ETL操作的E。 2、CSV文件是一种带有固定格式的 […]

kettle的基础概念入门、下载、安装、部署

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

1、什么是ETL? 答:ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过 […]

kettle的job定时任务的一个小问题

Posted on 2024年12月19日2020年12月19日 adminPosted in 异常报错

思考,启动此job,做一个最简单,job实现表输入和表输出,但是实现表输入和表输出要花2个小时。那么这个job […]

数据库统计后,保存到数据库

Posted on 2024年12月19日2020年12月19日 adminPosted in 经验示例

1、主要是解决,作为一个数据共享的数据库,存在的数据库统计,然后将计算的数据量输出到自己使用的数据库,进行主页 […]

使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。

Posted on 2024年12月19日2020年12月19日 adminPosted in 经验示例

转自:https://www.cnblogs.com/biehongli/p/9900068.html

kettle基础概念的学习

Posted on 2024年12月19日2024年11月21日 adminPosted in 基础知识

转自:https://www.cnblogs.com/biehongli/p/10361342.html

9.1其他数据库等驱动的路径说明

Posted on 2024年12月14日2020年12月14日 adminPosted in KettleOnline使用说明

如果您使用其他的数据库,比如:db2、informix等,KettleOnline默认没有带这些驱动,请下载相 […]

9.KettleOnline支持Kettle版本的说明

Posted on 2024年12月14日2021年6月5日 adminPosted in KettleOnline使用说明

KettleOnline默认使用Kettle9.0.0.0-423作为内核引擎。向下兼容kettle8.3/k […]

Kettle 过滤记录

Posted on 2024年12月13日2024年12月13日 adminPosted in 基础知识

任务描述 在数据处理时,往往要对数据所述类别、区域和时间等进行限制,将限制范围外的数据过滤掉。 为了统计2班的 […]

kettle 过滤记录中的in list如何实现

Posted on 2024年12月13日2024年12月13日 adminPosted in 经验示例

使用;分割列表值。

kettle组件java 代码

Posted on 2024年12月13日2024年12月13日 adminPosted in 经验示例

一、Java脚本 简单来说,java脚本就是使用java语言通过代码编程来完成对数据流的操作。java脚本内置 […]

Kettle 替换NULL值

Posted on 2024年12月13日2024年12月13日 adminPosted in 基础知识

任务描述 在Kettle转换过程中,默认情况下,会将控制当做NULL值处理。如果数据类型字段出现NULL值,那 […]

Kettle调用Redis

Posted on 2024年12月8日2021年12月9日 adminPosted in 经验示例

概述 Redis作为一个开源免费,高性能的kv数据库,官方称号称能够达到10w+的读写速度;本文讲解Redis […]

kettle日志级别和记录日志

Posted on 2024年12月6日2024年12月6日 adminPosted in 基础知识

Kettle日志级别 Kettle的日志级别LogLevel分为以下几个: Nothing 没有日志 不显示任 […]

Kettle连接oracle报错

Posted on 2024年12月5日2024年12月5日 adminPosted in 异常报错

问题描述:   在kettle第一次连接本机oracle的时候,总是报错,提示“确保安装好jar包” […]

kettle通过pop3收取邮件,以163邮件为例

Posted on 2024年12月5日2024年12月5日 adminPosted in 经验示例

1、注册163邮箱并开通IMAP协议   授权码会被配置在kettle的接收配置中; 163和126 […]

kafka生产者鉴权配置 kettle中kafka鉴权配置

Posted on 2024年12月3日2024年12月3日 adminPosted in 经验示例

kettle运行时提示WARN: Establishing SSL connection without server’s identity verification is not recommended

Posted on 2024年12月3日2024年12月3日 adminPosted in 异常报错

Tue Dec 03 14:44:27 GMT+08:00 2024 WARN: Establishing S […]

kettle在linux下部署,提示文件找不到

Posted on 2024年12月3日2024年12月3日 adminPosted in 异常报错

这个文件确认是存在的,但是,kettle还是提示文件不存在,原因是空格的问题。在linux下,kettle命令 […]

8.策略配置管理

Posted on 2024年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

策略配置列表 策略配置详情 策略表达式生成说明

7.用户管理

Posted on 2024年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

6.监控管理

Posted on 2024年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

监控管理-作业监控列表 监控管理-作业监控日志详情 监控管理-转换监控列表 监控管理-转换监控日志详情

4.作业调度

Posted on 2024年11月29日2021年6月25日 adminPosted in KettleOnline使用说明

任务管理-作业列表 任务管理-资源库作业新增 任务管理-文件作业新增

3.资源库资源库

Posted on 2024年11月29日2021年6月25日 adminPosted in KettleOnline使用说明

请务必理解资源库的概念,点击了解 点击【新增数据库资源库】或者编辑,进入资源库编辑界面。 文件资源库,采用文件 […]

2.登录后的首页

Posted on 2024年11月29日2021年6月25日 adminPosted in KettleOnline使用说明

点击图片放大  登录后首页显示KettleOnline任务概况 

Kafka Producer生产者介绍

Posted on 2024年11月28日2024年11月28日 adminPosted in 经验示例

参数:  在上面的实例中,我们配置了如下三个属性: ①、bootstrap.servers:该属性指定 bro […]

Kafka根据时间重置消费offset,要注意时区

Posted on 2024年11月21日2024年11月21日 adminPosted in 基础知识

前言 kafka提供了消费组命令工具管理消费组:kafka-consumer-groups.sh,在0.11版 […]

pan.sh和kitchen.sh

Posted on 2024年11月21日2024年11月21日 adminPosted in 官方教程

Kettle——shell交互命令 在kettle上开发了job或transform可以以单独的文件存在,也可 […]

kettle参数传递-命令参数、位置参数、变量

Posted on 2024年11月21日2024年11月21日 adminPosted in 基础知识

转自:https://blog.csdn.net/king14bhhb/article/details/129 […]

通过kettle组件消费Kafka下topic中数据

Posted on 2024年11月21日2024年11月21日 adminPosted in 经验示例

通过kettle消费Kafka消费者数据 原文地址: https://blog.csdn.net/q […]

kettle Hbase output组件怎么使用 kettle连接hadoop

Posted on 2024年11月20日2024年11月21日 adminPosted in 基础知识

kettle Hbase output组件怎么使用 kettle连接hadoop https://blog. […]

Kettle与Kafka流处理的整合

Posted on 2024年11月20日2024年11月20日 adminPosted in 基础知识

Kettle8.0版本自动集成kafka插件,如果版本较低,就需要自己安装插件。 一. 环境准备在虚拟机的Do […]

Kettle安装Kafka Consumer和Kafka Producer插件

Posted on 2024年11月19日2024年11月21日 adminPosted in 基础知识

1.从github上下载kettle的kafka插件,地址如下 Kafka Consumer地址: ht […]

kettle异常处理、自定义错误处理示例

Posted on 2024年11月10日2021年11月11日 adminPosted in 异常报错, 经验示例

新建基本转换控件,这里便于方便,就建了2个   2.鼠标点中你想进行错误处理的控件,右键选择定义错误 […]

一个未预期的错误发生在Spoon

Posted on 2024年10月25日2021年10月26日 adminPosted in 异常报错

一个未预期的错误发生在Spoon: probable cause:在停止Spoon前,请先关闭其它spoon […]

kettle 点击connect,资源库空白解决

Posted on 2024年10月24日2024年10月24日 adminPosted in 异常报错

没有connect的原因有很多种,比如创建资源库的时候包含中文,本人就在第一次使用的时候在创建资源库的时候在描 […]

kettle资源库乱码 ****************

Posted on 2024年10月19日2021年12月26日 adminPosted in 异常报错

使用Kettle在不同的数据库抽取数据时,有时会出现中文乱码问题:其解决方案如下: 1.查看数据库的字符集是否 […]

kettle运行时报karaf错误、spoon启动报错

Posted on 2024年10月18日2024年10月18日 adminPosted in 异常报错

11:22:51,172 INFO  [KarafBoot] Chec […]

kettle作业连接mysql资源库8小时后报错

Posted on 2024年10月17日2021年10月25日 adminPosted in 异常报错

kettle作业在运行一段时间后会报错,原因是mysql会默认每8小时回收一次无用连接。错误日志如下: 记录保 […]

kettle组件找不到或者搜索不到

Posted on 2024年10月13日2020年10月13日 adminPosted in 异常报错

在中文语言下,有时候某些组件无法找到,需要将语言改为英文English。

kettle连接数据库资源池时中文乱码

Posted on 2024年9月19日2020年9月19日 adminPosted in 异常报错

第一步,在数据库中将库、表、字段的编码设置为utf8   第二步,将spoon.bat中链接资源池的 […]

无法创建资源库–功能未打开

Posted on 2024年9月16日2020年9月16日 adminPosted in 异常报错

在本地运行时会发现标题中提到的问题:工具-资源库里面的按钮都是灰色的,无法点击。   一个勾选项 & […]

无法创建资源库–常见三种原因

Posted on 2024年9月16日2020年9月16日 adminPosted in 异常报错

资源配置变为灰色的3种情况     1) JDK版本不对,JDK需求为1.8版本 […]

kettle各组件说明

Posted on 2024年9月16日2024年11月21日 adminPosted in 基础知识

文本文件输入(text input):读取大量不同的文本文件。大多是通过工具生成的CSV文件。 表输入(tab […]

Kettle作业

Posted on 2024年9月14日2024年11月21日 adminPosted in 基础知识

作业包括一个或多个作业项,作业项以某种顺序来执行。 作业项:与转换中的步骤类似,作业项也以图标的方式图形化展示 […]

Kettle转换

Posted on 2024年9月14日2024年11月21日 adminPosted in 基础知识

转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤 […]

如何创建资源库

Posted on 2024年9月14日2024年11月21日 adminPosted in 基础知识

1.资源库的介绍     kettle资源库是用来保存转换任务的,用户通过图形界 […]

kettle数据无法保存到数据库中

Posted on 2024年9月10日2020年9月10日 adminPosted in 异常报错

批量提交的时候,如果已经有部分数据了,那么其他数据有可能也不提交或更新。把下面的“不执行任何更新”去掉即可。b […]

数据转换抽取mysql(主键重复)

Posted on 2024年9月10日2020年9月10日 adminPosted in 异常报错

首先按照前面讲的 如果主键重复会报下面错误 而且会停止抽取数据,碰到这种情况,我们需要使用另一个输出,插入或更 […]

Invalid byte 1 of 1-byte UTF-8 sequence 共享数据库db链接、ftp链接等后无法保存

Posted on 2024年9月10日2021年11月21日 adminPosted in 异常报错

异常提示如下: 共享数据库db链接、ftp链接等后无法保存 说明: 这个是kettle8.3的bug,需要删除 […]

kettle性能优化

Posted on 2024年9月7日2020年9月7日 adminPosted in 基础知识

Kettle调优 1、  调整JVM大小进行性能优化,修改Kettle定时任务中的Kitc […]

kettle中通过 时间戳(timestamp)方式 来实现数据库的增量同步操作(一)

Posted on 2024年9月3日2020年9月3日 adminPosted in 经验示例

这个实验主要思想是在创建数据库表的时候, 通过增加一个额外的字段,也就是时间戳字段, 例如在同步表 tt1 和 […]

kettle实现简单的增量同步

Posted on 2024年9月3日2020年9月3日 adminPosted in 经验示例

job如下: 如下转换:获取区服列表,将id列表保存到结果(内存) job: 同构数据库单表抽取(每个输入执行 […]

kettle删除移动文件

Posted on 2024年9月3日2020年9月3日 adminPosted in 经验示例

Kettle – 读取 CSV 文件

Posted on 2024年9月3日2020年9月3日 adminPosted in 基础知识

Kettle 是一款采用纯 Java 实现的开源 ETL工 具,属于开源商务智能软件 Pentaho 的一个重 […]

Kettle 导入文件夹下的多个文件

Posted on 2024年9月3日2020年9月3日 adminPosted in 经验示例

收到的需求是这样的:在一个文件夹下有几百个文本文件,每个文件内容的格式相同,都是有固定分隔符的两列,每个文件有 […]

kettle中作业和转换的关系

Posted on 2024年9月3日2024年11月21日 adminPosted in 基础知识

一、作业job是多个转换的任务的集合。通过kitchen.sh(厨房)来执行。  例如:./kich […]

java调用kettle_实现

Posted on 2024年9月3日2020年9月3日 adminPosted in 经验示例

最近要对一个系统的数据同步到另一个系统中,要求新系统的数据结果完成之后,实时同步到另一个系统数据表中。 Jav […]

kettle demo12 通过JAVA创建trans并保存到数据库资源库

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

最近需要用到Java代码API来根据数据源规则,动态的创建trans,网上看了好多都是直接生成文件ktr的, […]

kettle demo11 利用java代码解压gz格式文件(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

kettle默认只能解压zip格式的文件,比如linux里的tar、gz等格式的文件需要用到java代码来解压 […]

kettle demo 10 在Java代碼中读取文件内容插入到数据库(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

kettle调用java代码一步步扩展,本次在Java代码里读取本地文件,然后把数据插入到数据库 本地文件内容 […]

kettle demo9 调用JAVA代码(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

kettle执行简单的java代码,基本流程配置如下 1、生成记录,设置一条记录 2、java代码,双击mai […]

kettle demo8 调用存储过程(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

调用存储过程也很简单,首先创建一个存储过程,传入一个boo表记录的id,然后设置status为1,然后返回当前 […]

kettle demo7 从FTP下载多文件类型,解压,插入到数据库(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

从FTP下载多个文件,包括zip的,先看图,整个过程如下,中间的节点没有特别复杂的,再前面文章都有例子 &nb […]

kettle demo6 解压缩(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

本事例演示解压目录下多个zip,unzip控件在作业(job)里面 目录如图 1、新建作业,拖进来文件管理-解 […]

kettle demo5 遍历目录下多文件,根据文件类型走不同方式导入到数据库(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

有时候从FTP上下载下来的文件有多个,并且文件格式有可能不同,这时候就要用到条件判断了,比如txt文件通过文本 […]

kettle demo4 从FTP下载文本文件到本地,然后插入到数据库 (转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

本事例演示从FTP下载文件,然后在插入到数据库,这次FTP配置信息就通过变量来配置了,全局变量一般配置在ket […]

kettle demo3 从FTP下载文本文件到本地(转载)

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

本配置为从远程FTP下载文件到本地,一般后期应用里应该是定时从别人ftp服务器批量下载文件,然后根据文件类型走 […]

kettle demo2 从Excel文件导入数据库

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

本次例子是从excel导入到数据库,表结构不变,还用上次的表 1、看下excel文件内容,基本没甚特殊的 2、 […]

kettle demo1 从文本文件导入数据库

Posted on 2024年8月31日2020年8月31日 adminPosted in 经验示例

kettle 从文本文件导入数据库 此文章主要为了对自己最近的摸索做个笔记,记录些坑,有些定义就不再叙述了,都 […]

carte介绍

Posted on 2024年7月16日2022年7月17日 adminPosted in 官方教程

Carte是一个简单的web服务器,允许您远程执行转换和作业。它通过接受包含要执行的转换和执行配置的XML(使 […]

Kettle最佳实践二十条

Posted on 2024年7月16日2022年7月17日 adminPosted in 基础知识

一、当输入对象为CSV文件时,将NIO Buffer Size从默认的50000改到最佳的200000。&nb […]

Kettle启动时报错Cannot create java virtual machine & A java exception has occurred

Posted on 2024年7月4日2021年7月5日 adminPosted in 异常报错

开源免费–最喜欢的四个字没有之一 1.官网下载 https://sourceforge.net/p […]

通过Kitchen和Pan以命令行方式执行kettle的Job和Transformation

Posted on 2024年6月29日2024年11月21日 adminPosted in 基础知识

简述逻辑: 在windows界面打开kettle 进行脚本编写 ,编写好后把kettle的安装压缩包上传到li […]

资源库的概念

Posted on 2024年6月21日2024年11月21日 adminPosted in 基础知识

一、简介       资源库,顾名思义,是存放转换和作业脚本的地方。不是业务数据库。    当然,我们也可以不 […]

kettle参数、变量详细讲解

Posted on 2024年6月10日2024年11月21日 adminPosted in 基础知识

kettle 3.2 以前的版本里只有 variable 和 argument,kettle 3.2 中,又引 […]

Kettle增量更新设计技巧

Posted on 2024年6月10日2022年6月11日 adminPosted in 基础知识

摘要:本文主要讨论一些在ETL中设计增量更新的方法和技巧。   ETL中增量更新是一个比较依赖与工具 […]

kettle job通过javascript进行循环控制

Posted on 2024年6月10日2022年6月11日 adminPosted in 经验示例

任何一种编程语言都少不了循环,kettle中的job也一样。那么kettle中的job是怎么通过JavaScr […]

Kettle根据时间戳同步数据实现

Posted on 2024年6月10日2022年6月11日 adminPosted in 经验示例

1 Kettle总体步骤 更多数据实时同步方案,请参考笔者的另一篇博文:大数据时代,数据实时同步解决方案的思考 […]

Kettle完成通用DB生成指定文件并通过FTP上传

Posted on 2024年6月10日2022年6月11日 adminPosted in 经验示例

 在生产环境中,我们经常会遇到数据定时同步的问题,这里整理出一个通用的FTP上传同步的程序(FTP下载入库的同 […]

时间戳(timestamp)方式 来实现数据库的增量同步操作(一)

Posted on 2024年6月10日2022年6月11日 adminPosted in 经验示例

这个实验主要思想是在创建数据库表的时候, 通过增加一个额外的字段,也就是时间戳字段, 例如在同步表 tt1 和 […]

在ubuntu上面使用kettle一些总结

Posted on 2024年6月10日2022年6月11日 adminPosted in 经验示例

1 ubuntu上面安装mysql用户名和密码问题: ubuntu上面安装MySQL的时候,如果是自动安装,没 […]

kettle在linux下面用于shell脚本执行:转换或者作业

Posted on 2024年6月10日2022年6月11日 adminPosted in 经验示例

1 将windows下面创建好的转换,放到Linux某一个文件夹下面。如:把0816_em.ktr文件放到/h […]

文章导航

先前文章
kettle.org.cn 提供技术支持