数据库统计后,保存到数据库

Posted on Posted in kettle示例

1、主要是解决,作为一个数据共享的数据库,存在的数据库统计,然后将计算的数据量输出到自己使用的数据库,进行主页面展示。


1、第一步,可以查询自己作为目标表的数据表的数据量。方便做条件过滤,如果数据量大于0,那么查询出所有字段,然后将is_sync标识位标为1。  
2 select count(1) as count from 数据表名称 where CREATE_TIME > DATE_FORMAT(now(),'%Y-%m-%d 00:00:00') and TYPE="条件";  
3 2、第二步,过滤条件,如果count的数据量大于0那么修改标识位。否则不大于0,那么就将查询的数据量进行插入操纵。  
4 3、第三步,如果查询出符合的数据,将这些数据进行标识位标识,然后方便过滤这些数据,不用查询。如此设计,是因为如果一天出现多次批量数据的导入,
那么这样可以避免重复数据的统计。  
5  实现数据统计的准确性和精准性。也可以直接查询今天批量导入的数据量。  
6 select * from 数据表名称 where CREATE_TIME > DATE_FORMAT(now(),'%Y-%m-%d 00:00:00') and IS_SYNC = 0 and TYPE="条件"  
7 4、第四步,将字段值设置为常量,将is_sync的标识位进行标识位为1。  
8 5、第五步,更新,将这个字段,根据id进行更新。id是用来查询的关键字。is_sync是更新字段。  
9 6、第六步,查询某个指定的数据表的数据统计量表输入。 
10 7、第七步,表输出,将上一步,即第六步,查询出的数据量,将获取到字段,然后字段映射,最后执行即可。 
11 注意:可以创建一个job,然后定时30分钟,执行,这样每天的数据量可以实施统计,在主页面进行展示。主要针对于多库的问题,然后将目标库统计的数据量存放到指定库。 

111111111111

转自:https://www.cnblogs.com/biehongli/p/9954523.html