kettle——入门操作(转换之-去除重复记录,字段选择)

两个控件，去除重复记录，Unique Rows(HashSet)，以及字段选择，如下

1、去除重复记录，要求按照去除重复列进行排序才行

　　

　　Data GRid 输入信息，按照如下，及去除重复记录的要求，按照flag去除重复记录，只会有四条记录

　　　　

　　去除重复记录设置，

　　　　

　　结果输出，只输出了四行

　　　　

2、Unique Rows(hashset)，这个空间不需要进行排序

　　　　

　　Data GRid 输入信息，按照如下，及去除重复记录的要求，按照flag去除重复记录，只会有三条记录

　　　　　　

　　
　　Unique Rows(HASHSET)设置如下

　　　　

　　 结果输出，

　　　　

 

 3、字段选择

　　　　

　　　　字段选择配置界面如下，前两个选择和修改及移除选项卡，功能差不多，一个是选择字段输出，一个是选择字段不输出。

　　　　　　元数据是对字段名称长度及类型等的规范化。

　　　　　　

 

 4、排序记录控件，功能是根据指定字段进行排序

　　　　　　　　　　　　去重

　　　　

　　Data Grid 2 输入流，

　　　　　

　　排序设置，

　　　　　

　　输出结果