1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > spoon 勺子 kettle 4.1.3字段清理

spoon 勺子 kettle 4.1.3字段清理

时间:2024-07-27 18:52:25

相关推荐

spoon 勺子 kettle 4.1.3字段清理

4.1.3字段清理

环境配置:

安装kettle,mysql,

并将mysql-connector-java-5.1.48-bin.jar文件放到指定路径(data-integration\lib

路径)下,导入myemployees数据库。

安装版本:kettle

Mysql :mysql-connector-java-5.1.48.tar.gz,

目录:

1“拆分字段成多行”步骤

2“拆分字段”步骤和“合并字段”步骤

3“字段选择“步骤

关于字段清理概念

关于字段清理,我们这里简介四个常用步骤:“拆分字段成多行“,”拆分字段“,”合并字段“,”字段选择“。说明如下:

(1)“拆分字段成多行“的说明如下

①将一行的记录拆分成多行记录,新的记录里有一个新的字段,由拆分的子字符来填充

②拆分方式可根据分隔符进行拆分,其中分隔符支持正则表达式

③被拆分的源自段仍保留在新的记录里

(2)“拆分字段“的说明如下

①将指定的输入字段根据分割符拆成多个字段

②被拆分的字段将不复存在

③分隔符不支持正则表达式

(3)“合并字段“的说明如下

①将多个字段用分隔符连接起来输出到一个新的字段

②被合并的字段在新的记录行里被原样保留

(4)“字段选择”的说明如下

①可以对输入流的字段做选择,删除,重命名等操作,还可以根据更改字段数据类型和精度等,这些功能被组织成3个分类:“选择和修改”,“移除”,“元数据”,

②在“选择和修改”选项卡,可以选择要输出的字段,修改字段名和数据类型等

③在“移除”选项卡,选择的字段将在输出里被删除。这里要注意,因为删除字段后字段的顺序在内部发生了变化,这样会减慢运行的速度。

④在“元数据”选项卡,可以重命名输入字段,也可以将其转换为不同的数据类型,还可以更改长度和精度等。

下面来通过示例来进行讲解:

1“拆分字段成多行”步骤

(先看一下结果截图)

新建一个转换,命名为4.1.3.字段清理,同样使用“Data Grid”步骤作为输入,设计一个

其中,“城市”字段包含多个城市名,现在希望按每个城市拆分成多行,这里会用到“split filed to rows”步骤。在这里,我们设置要拆分的字段“field to split”为“城市“,新字段“”New field name “ 设置成“城市New”。这里将分隔板设置成逗号, 假设分隔符同时由中英文分号,中英文逗号,顿号,这时可以将分隔符设成如下正则表达式:[,,;;、](这个步骤的分隔符是支持正则表达式)

2“拆分字段”步骤和“合并字段”步骤

先看结果图(2个,一个拆分字段,一个合并字段)

先来看“拆分字段步骤”,该步骤将一个字段拆分成多个字段,数据行数不会发生变化。

转换依然是4131拆分字段成多行(在一个转换里,只需调整运行与否的蓝色线,灰色表示不运行),新建“Split Fields”步骤,并创建一个“Data Grid”步骤到该步骤的跳

现在开始设置“Split Fields”步骤,同样选择要拆分的字段为“城市”;分隔符设为逗号;

设置4个拆分之后新字段名为:“城市1” “城市2” “城市3” “城市4”(这个步骤的分割符不支持正则表达式)

运行转换

前面介绍了“合并字段”步骤的功能,可以看成“拆分字段”步骤的逆操作,可直接使用“Split Fieds”步骤结果作为“Concat Fields”步骤的输入,只需对“Split Files”步骤新建一个跳(Hop)到“Concat fields”步骤,数据分发方式选择复制(copy)

3“字段选择“步骤

结果图先来看一下把

在转换里 设置元数据,如图

对“Date Grid”步骤输入一组示例数据,如图

现在进行4个操作,

1删除“Age”

2将“Birth”日期格式改成“yyyy-MM-dd

3将”sex“字段名修改成”Gender“,并将”Gender“字段移到”Name“字段后面

4将“salary“字段的数据类型改成浮点型数据并保存两位小数

开始操作

1删除“Age”

2将“Birth”日期格式改成“yyyy-MM-dd

3将”sex“字段名修改成”Gender“,并将”Gender“字段移到”Name“字段后面

4将“salary“字段的数据类型改成浮点型数据并保存两位小数

结果图:

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。
相关阅读
Kettle spoon

Kettle spoon

2022-05-10

KETTLE spoon使用

KETTLE spoon使用

2023-11-13

kettle spoon 数据同步

kettle spoon 数据同步

2021-04-22

Kettle Spoon入门学习

Kettle Spoon入门学习

2019-05-03