ETL

应用场景

当你想通过工具,从一个数据库将数据进行清洗后搬迁到另一个数据库,那么就可以通过ETL的数据抽取清洗转换加载工具来操作。

操作步骤

1. 工具下载

kettle文件下载,解压即可用:
下载地址

2. 配置

首先我们了解下Epoint-DI能做什么?
一般我在项目中数据抽取一般都是自己写定时任务,通过quartz或者其他任务调度框架来定时从数据源中抽取数据,所有有关数据的抽取、校验、转换等过程都是在代码中手工编写,针对不同的数据源都是需要手动来编写代码,然后重新发布数据抽取程序。但是通过DI就可以实现配置的方式来创建定任务调度,数据的抽取、校验、转换等过程。并且支持多种数据的输入、输出方式,有完善的过滤组件,数据处理组件等。


简单的数据推送
创建一个输入组件、一个输出组件即可。负责抽取和插入数据。

已标记关键词 清除标记
相关推荐
<p class="sub-title" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 17px; font-weight: bold; line-height: 1; background-color: #ffffff;">学完本课程,您将掌握:</p> <ul class="profit-list sub-content clearfix2" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 30px 0px 45px; padding: 0px; list-style: none; font-size: 16px; color: #313d54; background-color: #ffffff;"> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle数仓技术</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle开源免费的ETL推送工具</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle数据清洗</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle数据抽取</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle数据挖掘</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle案例实战</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle技巧</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle9.1版本</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle通用</li> <li style="margin: 0px 20px 20px 0px; padding: 5px 18px 5px 44px; float: left; line-height: 27px; background: url('edu/center/css/course_detail/images/icon-duihao1.png') 17px center / 13px 11px no-repeat whitesmoke; border-radius: 6px;">PDI/Kettle水壶技术</li> </ul> <p class="sub-title" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 17px; font-weight: bold; line-height: 1; background-color: #ffffff;">适合人群:</p> <p class="study_crow sub-content" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 24px 0px 45px; padding: 0px; font-size: 16px; color: #313d54; white-space: pre-line; word-break: break-all; background-color: #ffffff;">需要数据清洗和操作的IT信息化相关人员,IT相关从业人员,大数据工程师,数据库工程师及DBA,数据仓库ETL</p> <p class="sub-title" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 17px; font-weight: bold; line-height: 1; background-color: #ffffff;">学习计划:</p> <p class="study_plan sub-content" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 24px 0px 45px; padding: 0px; font-size: 16px; color: #313d54; white-space: pre-line; word-break: break-all; background-color: #ffffff;">利用碎片化的时间学习即可,每天学习一小时或3个课时即可达到效果;时间充足者,自由安排</p> <p class="sub-title" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 17px; font-weight: bold; line-height: 1; background-color: #ffffff;">课程目标:</p> <p class="course_target sub-content" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 24px 0px 45px; padding: 0px; font-size: 16px; color: #313d54; white-space: pre-line; word-break: break-all; background-color: #ffffff;">促使教育公平,打破教育壁垒,让ETL更加的大众化使用</p> <p class="course_target sub-content" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 24px 0px 45px; padding: 0px; font-size: 16px; color: #313d54; white-space: pre-line; word-break: break-all; background-color: #ffffff;"> </p> <p class="sub-title" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 17px; font-weight: bold; line-height: 1; background-color: #ffffff;">课程简介:</p> <div class="course_desc sub-content" style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 24px 0px 0px; padding: 0px; font-size: 16px; color: #313d54; word-break: break-all; background-color: #ffffff;"> <p style="margin: 0px; padding: 0px;"><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;">【可视化介绍】</span><br style="margin: 0px; padding: 0px;" /><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;">       Kettle 是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration,Kettle 本意是水壶的意思,表达了数据流的含义。Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。</span><br style="margin: 0px; padding: 0px;" /><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;">【软件版本】</span><br style="margin: 0px; padding: 0px;" /><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;">     企业用的最多的Kettle9.x/8.x/7.x,本教程以最新Kettle 9.x进行教学</span><br style="margin: 0px; padding: 0px;" /><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;">【授课方式】</span><br style="margin: 0px; padding: 0px;" /><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;">    番茄教学法:以知识点为基准,进行独立课时讲解,课时之间低耦合,方便同学利用碎片化时间学习</span></p> <p style="margin: 0px; padding: 0px;"> </p> <p style="margin: 0px; padding: 0px;"><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;"><img src="https://img-bss.csdnimg.cn/202101061300589266.png" alt="" /></span></p> <p style="margin: 0px; padding: 0px;"><span style="font-family: 微软雅黑; margin: 0px; padding: 0px; color: #666666; font-size: 14px;"><img src="https://img-bss.csdnimg.cn/202101061301334847.png" alt="" /></span></p> </div>
©️2020 CSDN 皮肤主题: 点我我会动 设计师:白松林 返回首页
实付 49.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值