Kettle实例(获取Token并带入请求接口拉取数据到本地)
转自：https://www.cnblogs.com/sgxw/p/17645117.html 本次转换全流程 […]
分类：经验示例
Kettle循环执行-最简单的方法
有的时候，我们想要在Kettle中实现这个循环的功能，比如，批量加载数据的时候，我们要对10张表执行同样的操作 […]
Kettle循环执行-采用js的方式
网上有很多的例子，介绍怎样用JS来控制循环，这里我们也简单的测试下 2.1 query_the_result […]
使用kettle来根据时间戳或者批次号来批量导入数据，达到增量的效果。
转自：https://www.cnblogs.com/biehongli/p/9900068.html
数据库统计后，保存到数据库
1、主要是解决，作为一个数据共享的数据库，存在的数据库统计，然后将计算的数据量输出到自己使用的数据库，进行主页 […]
kettle组件java 代码
一、Java脚本 简单来说，java脚本就是使用java语言通过代码编程来完成对数据流的操作。java脚本内置 […]
kettle 过滤记录中的in list如何实现
使用；分割列表值。
Kettle调用Redis
概述 Redis作为一个开源免费，高性能的kv数据库，官方称号称能够达到10w+的读写速度；本文讲解Redis […]
kettle通过pop3收取邮件，以163邮件为例
1、注册163邮箱并开通IMAP协议 授权码会被配置在kettle的接收配置中； 163和126 […]
kafka生产者鉴权配置 kettle中kafka鉴权配置
Kafka Producer生产者介绍
参数： 在上面的实例中，我们配置了如下三个属性： ①、bootstrap.servers：该属性指定 bro […]
通过kettle组件消费Kafka下topic中数据
通过kettle消费Kafka消费者数据 原文地址： https://blog.csdn.net/q […]
kettle异常处理、自定义错误处理示例
新建基本转换控件，这里便于方便，就建了2个 2.鼠标点中你想进行错误处理的控件，右键选择定义错误 […]
java调用kettle_实现
最近要对一个系统的数据同步到另一个系统中，要求新系统的数据结果完成之后，实时同步到另一个系统数据表中。 Jav […]
Kettle 导入文件夹下的多个文件
收到的需求是这样的：在一个文件夹下有几百个文本文件，每个文件内容的格式相同，都是有固定分隔符的两列，每个文件有 […]
kettle删除移动文件
kettle实现简单的增量同步
job如下： 如下转换：获取区服列表，将id列表保存到结果（内存） job: 同构数据库单表抽取（每个输入执行 […]
kettle中通过 时间戳（timestamp）方式 来实现数据库的增量同步操作（一）
这个实验主要思想是在创建数据库表的时候， 通过增加一个额外的字段，也就是时间戳字段， 例如在同步表 tt1 和 […]
kettle demo12 通过JAVA创建trans并保存到数据库资源库
最近需要用到Java代码API来根据数据源规则，动态的创建trans，网上看了好多都是直接生成文件ktr的， […]
kettle demo1 从文本文件导入数据库
kettle 从文本文件导入数据库 此文章主要为了对自己最近的摸索做个笔记，记录些坑，有些定义就不再叙述了，都 […]
kettle demo2 从Excel文件导入数据库
本次例子是从excel导入到数据库，表结构不变，还用上次的表 1、看下excel文件内容,基本没甚特殊的 2、 […]
kettle demo3 从FTP下载文本文件到本地（转载）
本配置为从远程FTP下载文件到本地，一般后期应用里应该是定时从别人ftp服务器批量下载文件，然后根据文件类型走 […]
kettle demo4 从FTP下载文本文件到本地，然后插入到数据库 （转载）
本事例演示从FTP下载文件，然后在插入到数据库，这次FTP配置信息就通过变量来配置了，全局变量一般配置在ket […]
kettle demo5 遍历目录下多文件，根据文件类型走不同方式导入到数据库（转载）
有时候从FTP上下载下来的文件有多个，并且文件格式有可能不同，这时候就要用到条件判断了，比如txt文件通过文本 […]
kettle demo6 解压缩（转载）
本事例演示解压目录下多个zip，unzip控件在作业（job）里面 目录如图 1、新建作业，拖进来文件管理-解 […]
kettle demo7 从FTP下载多文件类型，解压，插入到数据库（转载）
从FTP下载多个文件，包括zip的，先看图，整个过程如下，中间的节点没有特别复杂的，再前面文章都有例子 &nb […]
kettle demo8 调用存储过程（转载）
调用存储过程也很简单，首先创建一个存储过程，传入一个boo表记录的id，然后设置status为1，然后返回当前 […]
kettle demo9 调用JAVA代码（转载）
kettle执行简单的java代码，基本流程配置如下 1、生成记录，设置一条记录 2、java代码，双击mai […]
kettle demo 10 在Java代碼中读取文件内容插入到数据库（转载）
kettle调用java代码一步步扩展，本次在Java代码里读取本地文件，然后把数据插入到数据库 本地文件内容 […]
kettle demo11 利用java代码解压gz格式文件（转载）
kettle默认只能解压zip格式的文件，比如linux里的tar、gz等格式的文件需要用到java代码来解压 […]
kettle过滤、生成随机数、改变开始复制数量
下面是一个用Kettle实现数据过滤、生成随机数、改变开始复制数量的连贯示意图。 首先，我们将控件一一建立，通 […]
kettle将Excel数据导入oracle
阅读目录 导读 Excel数据导入Oracle示例 1、准备Excel文件 2、建立转换 3、编辑 […]
kettle mogodb output详解
以下主要来自官网文档，原文：https://wiki.pentaho.com/display/EAI/Mong […]
Kettle实现从mysql中取2张表数据关联的数据，并写入到mongodb中
1 建立转换，并设置DB连接到mysql 选中DB连接：连接类型选择MySQL，输入主机名称，数据库名称，端口 […]
Kettle 排序记录的使用（Sort rows）
排序行的步骤根据您指定的字段和它们是否应该按升序或降序排序当行数超过指定的排序大小（默认为100万行）时候，k […]
kettle记录集(Merge Join)使用
果两个表需要进行连接查询筛选出数据，那么可以使用记录集组件。（Merge Join）。 使用之前 […]
kettle在linux下面用于shell脚本执行：转换或者作业
1 将windows下面创建好的转换，放到Linux某一个文件夹下面。如：把0816_em.ktr文件放到/h […]
在ubuntu上面使用kettle一些总结
1 ubuntu上面安装mysql用户名和密码问题： ubuntu上面安装MySQL的时候，如果是自动安装，没 […]
时间戳（timestamp）方式 来实现数据库的增量同步操作（一）
这个实验主要思想是在创建数据库表的时候， 通过增加一个额外的字段，也就是时间戳字段， 例如在同步表 tt1 和 […]
Kettle完成通用DB生成指定文件并通过FTP上传
在生产环境中，我们经常会遇到数据定时同步的问题，这里整理出一个通用的FTP上传同步的程序（FTP下载入库的同 […]
Kettle根据时间戳同步数据实现
1 Kettle总体步骤 更多数据实时同步方案，请参考笔者的另一篇博文：大数据时代，数据实时同步解决方案的思考 […]
kettle job通过javascript进行循环控制
任何一种编程语言都少不了循环，kettle中的job也一样。那么kettle中的job是怎么通过JavaScr […]
Kettle行列转换
Kettle在控件中拥有行列转换功能，但是行列转换貌似是弄反了。 一.行转列 1.数据库脚本 (& […]
Kettle计算器的使用以及字符串格式化
1.简介 先生成随机数，将生成的2列随机数进行计算，并且格式化计算结果 2.kettle流程图 […]
Kettle发送邮件
在Kettle里面，我们每天执行完调度之后，想要监控下JOB的执行状态，通常我们可以会发送邮件，可以的话，还可 […]
kettle发送邮件-自定义邮件正文
之前曾多次使用kettle进行作业监控,当Kettle需要通过邮件发送统计结果时,之前我的做法都是通过邮箱附件 […]