鉴于目前我们大多数写的各省份区域的对外接口及数据上报类接口,经常用到 kettle,所以我们整合 kettle,盘它。

KettlePack是ETL数据抽取、任务调度、自动化数据应用的全新一体化解决方案。该方案由Kettle数据采集插件、Kettle任务调度及应用平台组成,有效降低数据抽取到应用中产生的多平台耦合成本、风险和复杂性,有利于数据的全流程管理,加速数据驱动的创新,并提升开发应用的敏捷性。

一、环境准备

1、安装 jdk1.8,推荐使用 jdk1.8 及以上,1.8 以下高版本 kettle 无法运行,经测试下面两个 jdk 稳定性最高

jdk14 下载地址

链接:https://pan.baidu.com/s/1SDgoi3x-SJM9bp23uSi0Hg?pwd=f0ee

jdk1.8 下载地址

链接:https://pan.baidu.com/s/1Ev9EK5TKVicIHfgC9rYZ3w?pwd=c7hl

2、安装 jdk 并配置系统环境变量

设置JAVA_HOME环境变量,例如:D:\Program Files\Java\jdk1.8.0_xxx (根据你的实际安装路径)

:::
注意%前面的两个标点符号不能缺失
:::

在CLASSPATH环境变量中添加JDK的相关jar包路径,例如:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;

在PATH环境变量中添加JDK的bin目录路径,例如:%JAVA_HOME%\bin;

验证 jdk 是否安装成功,打开 cmd 窗口,输入 java 或者 javac,有数据返回即正常,否则需要重新配置环境变量。

3、本地使用需要安装 mysql可以直接使用服务器上的 mysql,免除本地安装,用户名密码见第三章第 6 节

mysql-installer-community-8.0.37.0 下载链接地址如下:

链接:https://pan.baidu.com/s/1ZGr8RTolBQtQib1edWqLmA?pwd=azk4

4、MySQL 安装中注意的点,处理本文中描述的,其他直接下一步。

mysql 我们只作为服务器,选择服务器模式减少内存占用

这个也是选择服务器

特别注意端口号这里不要轻易修改,不确定本机电脑那些端口在使用就不用改,改了自己的记住

二、安装与配置

1、下载 Kettle

从Kettle的官方网站或源(如SourceForge)下载Kettle(现已更名为PDI, Pentaho Data Integration)。

下面是百度网盘下载地址:

最新版 pdi-ce-9.4.0.0-343  安装包大小 300M

链接:https://pan.baidu.com/s/1_mQJjOT1kYt3m3T3vcv2QA?pwd=zaff

kettle pdi-ce-9.3.0.0-428 版本  安装包大小 1.04G

链接:https://pan.baidu.com/s/1TdHvdNaQ681J5DNONQrG0Q?pwd=3who

kettle5.7 版本   安装包大小 475M

链接:https://pan.baidu.com/s/1hpLZ5j8wZk3hETy6MK0meg?pwd=29l4

2、验证环境 pdi-ce-9.4.0.0-343\data-integration

在 …\pdi-ce-9.4.0.0-343\data-integration\目录下,双击运行`spoon.bat`启动Kettle,并尝试新建转换测试连接数据库,确保一切正常工作。

3、kettle 链接 cache 数据库配置,必须下载下面两个驱动包,放在 kettle 根目录的 lib 驱动文件夹下,重新启动         kettle 配置数据源即可

https://ftp.ntsc.fun/d/ntsc/%E8%BD%AF%E4%BB%B6%E5%AE%89%E8%A3%85%E5%8C%85/PC%E8%BD%AF%E4%BB%B6%E5%90%88%E9%9B%86/cachedb.jar

https://ftp.ntsc.fun/d/ntsc/%E8%BD%AF%E4%BB%B6%E5%AE%89%E8%A3%85%E5%8C%85/PC%E8%BD%AF%E4%BB%B6%E5%90%88%E9%9B%86/cachejdbc.jar

三、部署Kettle-Pack

1、下载 kettlepack 安装包

打开链接后选择 …/v0.8.2/安装包/Windows X64/kettlepack-windows-x64v0.8.2.7z  提取码:cjkj   下载即可

https://www.123pan.com/s/b92SVv-Bqt4h.html#cjkj

2、安装 kettle-pack

选择自定义安装,先在 mysql 中创建 kettle-pack 数据库,用户名和密码是安装 mysql 时填写的账号密码。可以使用服务器上的 mysql,用户名密码见第三章第 6 节

选择一个目录文件层数较少的文件夹,后期会在这个目录的下一级workspace 文件夹中做转换和作业的存储路径,会经常打开,层数太多不好找

验证是否安装成功,看能不能打开登录页面:

本地电脑地址:   默认用户名:admin     默认密码:congjingkeji

http://127.0.0.1:9089/

服务器地址:     默认用户名:admin     默认密码:congjingkeji

http://43.143.151.90:9089/

4、整合Kettle和Kettle-Pack

https://ftp.ntsc.fun/d/ntsc/%E8%BD%AF%E4%BB%B6%E5%AE%89%E8%A3%85%E5%8C%85/PC%E8%BD%AF%E4%BB%B6%E5%90%88%E9%9B%86/cachejdbc.jar https://ftp.ntsc.fun/d/ntsc/%E8%BD%AF%E4%BB%B6%E5%AE%89%E8%A3%85%E5%8C%85/PC%E8%BD%AF%E4%BB%B6%E5%90%88%E9%9B%86/cachedb.jar

将上面两个驱动放在 kettle-pack 安装目录下,按照以下路径放置,放在其他目录下会导致崩溃

…\kettlepack\tomcat\webapps\ROOT\WEB-INF\lib

然后重新启动 tomcat 或者重启电脑自动加载 tomcat

shutdown.bat  停止 tomcat 服务器

startup.bat   启动 tomcat 服务器

5、配置 kettle-pack 链接 cache 数据源

6、MySQL 数据库用户名密码

使用 datagrip 或者 Navicat 链接服务器 43.143.151.90,数据库 kettle-pack,端口号 3306

用户名为姓名简称首字母,密码为123456

四、服务器地址及文件路径

windows远程服务器登录地址:

win+R在弹出运行窗口中输入mstsc,回车后输入下面ip地址和密码即可连接,

用户名为Administrator

kettlepack 路径

C:\iMedical\kettlepack

kettle9.4 路径

C:\iMedical\data-integration

不要关闭服务器上正在运行中的 cmd 窗口

此文档有问题或者需要补充的欢迎大家及时添加。