鉴于目前我们大多数写的各省份区域的对外接口及数据上报类接口,经常用到 kettle,所以我们整合 kettle,盘它。
KettlePack是ETL数据抽取、任务调度、自动化数据应用的全新一体化解决方案。该方案由Kettle数据采集插件、Kettle任务调度及应用平台组成,有效降低数据抽取到应用中产生的多平台耦合成本、风险和复杂性,有利于数据的全流程管理,加速数据驱动的创新,并提升开发应用的敏捷性。
一、环境准备
1、安装 jdk1.8,推荐使用 jdk1.8 及以上,1.8 以下高版本 kettle 无法运行,经测试下面两个 jdk 稳定性最高
jdk14 下载地址
链接:https://pan.baidu.com/s/1SDgoi3x-SJM9bp23uSi0Hg?pwd=f0ee
jdk1.8 下载地址
链接:https://pan.baidu.com/s/1Ev9EK5TKVicIHfgC9rYZ3w?pwd=c7hl
2、安装 jdk 并配置系统环境变量
设置JAVA_HOME环境变量,例如:D:\Program Files\Java\jdk1.8.0_xxx
(根据你的实际安装路径)
:::
注意%前面的两个标点符号不能缺失
:::
在CLASSPATH环境变量中添加JDK的相关jar包路径,例如:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
在PATH环境变量中添加JDK的bin目录路径,例如:%JAVA_HOME%\bin;
验证 jdk 是否安装成功,打开 cmd 窗口,输入 java 或者 javac,有数据返回即正常,否则需要重新配置环境变量。
3、本地使用需要安装 mysql可以直接使用服务器上的 mysql,免除本地安装,用户名密码见第三章第 6 节
mysql-installer-community-8.0.37.0 下载链接地址如下:
链接:https://pan.baidu.com/s/1ZGr8RTolBQtQib1edWqLmA?pwd=azk4
4、MySQL 安装中注意的点,处理本文中描述的,其他直接下一步。
mysql 我们只作为服务器,选择服务器模式减少内存占用
这个也是选择服务器
特别注意端口号这里不要轻易修改,不确定本机电脑那些端口在使用就不用改,改了自己的记住
二、安装与配置
1、下载 Kettle
从Kettle的官方网站或源(如SourceForge)下载Kettle(现已更名为PDI, Pentaho Data Integration)。
下面是百度网盘下载地址:
最新版 pdi-ce-9.4.0.0-343 安装包大小 300M
链接:https://pan.baidu.com/s/1_mQJjOT1kYt3m3T3vcv2QA?pwd=zaff
kettle pdi-ce-9.3.0.0-428 版本 安装包大小 1.04G
链接:https://pan.baidu.com/s/1TdHvdNaQ681J5DNONQrG0Q?pwd=3who
kettle5.7 版本 安装包大小 475M
链接:https://pan.baidu.com/s/1hpLZ5j8wZk3hETy6MK0meg?pwd=29l4
2、验证环境 pdi-ce-9.4.0.0-343\data-integration
在 …\pdi-ce-9.4.0.0-343\data-integration\
目录下,双击运行`spoon.bat`启动Kettle,并尝试新建转换测试连接数据库,确保一切正常工作。
3、kettle 链接 cache 数据库配置,必须下载下面两个驱动包,放在 kettle 根目录的 lib 驱动文件夹下,重新启动 kettle 配置数据源即可
三、部署Kettle-Pack
1、下载 kettlepack 安装包
打开链接后选择 …/v0.8.2/安装包/Windows X64/kettlepack-windows-x64v0.8.2.7z 提取码:cjkj 下载即可
https://www.123pan.com/s/b92SVv-Bqt4h.html#cjkj
2、安装 kettle-pack
选择自定义安装,先在 mysql 中创建 kettle-pack 数据库,用户名和密码是安装 mysql 时填写的账号密码。可以使用服务器上的 mysql,用户名密码见第三章第 6 节
选择一个目录文件层数较少的文件夹,后期会在这个目录的下一级workspace 文件夹中做转换和作业的存储路径,会经常打开,层数太多不好找
验证是否安装成功,看能不能打开登录页面:
本地电脑地址: 默认用户名:admin 默认密码:congjingkeji
服务器地址: 默认用户名:admin 默认密码:congjingkeji
4、整合Kettle和Kettle-Pack
将上面两个驱动放在 kettle-pack 安装目录下,按照以下路径放置,放在其他目录下会导致崩溃
…\kettlepack\tomcat\webapps\ROOT\WEB-INF\lib
然后重新启动 tomcat 或者重启电脑自动加载 tomcat
shutdown.bat 停止 tomcat 服务器
startup.bat 启动 tomcat 服务器
5、配置 kettle-pack 链接 cache 数据源
6、MySQL 数据库用户名密码
使用 datagrip 或者 Navicat 链接服务器 43.143.151.90,数据库 kettle-pack,端口号 3306
用户名为姓名简称首字母,密码为123456
四、服务器地址及文件路径
windows远程服务器登录地址:
win+R在弹出运行窗口中输入mstsc
,回车后输入下面ip地址和密码即可连接,
用户名为Administrator
kettlepack 路径
C:\iMedical\kettlepack
kettle9.4 路径
C:\iMedical\data-integration
不要关闭服务器上正在运行中的 cmd 窗口
此文档有问题或者需要补充的欢迎大家及时添加。
评论