Linux安全网 - Linux操作系统_Linux 命令_Linux教程_Linux黑客

绿色网站无广告
会员投稿 投稿指南 本期推荐:
搜索:
您的位置: Linux安全网 > Linux编程 > 数据库管理 > » 正文

使用Kettle来完成数据迁移

来源: wildhorseli 分享至:

有一个概念上的BI项目,但是又没有时间去写ETL工具,写的windows服务自己实现也挺费劲,有个java版自己写的伪ETL工具也很难用,于是考虑使用开源ETL,虽然对项目来说是大炮打蚊子。不过还得打阿。

调查了一圈,选用Kettle,由于资料不多,也懒得去搜一知半解的教程,自己瞎琢磨一会,果然够尿一壶的。

背景是从不同的几个数据库中,抽取一些信息,很少的转换和清洗,步骤如下

1 创建本地和远程的数据连接

2 在数据中心上创建一个setting表,主要是配置变量,用来保存增量关键值,

3创建转换,使用一个输入表,取得配置的参数,然把参数传入到另外一个输入表中,得到所需要的字段,再把取得的输入导入到输出表中

4 创建JOb,使用刚才创建的转换。


使用bat command可以执行job,或者生成bat文件用windows schedule来设置。

郁闷了一会,Kettle有企业版的,包含调度功能,目前正在下载,还没有找到破解版本,如果能破解后,给大家发jar文件。



Tags:
分享至:
最新图文资讯
1 2 3 4 5 6
验证码:点击我更换图片 理智评论文明上网,拒绝恶意谩骂 用户名:
关于我们 - 联系我们 - 广告服务 - 友情链接 - 网站地图 - 版权声明 - 发展历史