Spark数据清洗demo 简单理解

ref: https://blog.csdn.net/weixin_38468167/article/details/109814909

 

整体思路：数据格式化 ---> 数据格式定义

1 数据格式化（喂数据）：把初始的数据转换成spark识别的rdd类型

2 数据格式定义（喂数据的特征）：定义特征字段

这应该很好理解，对于spark而言，要执行数据清洗工作，必须得知道要清洗的数据，同时这个数据的格式，也应该是它认识的；

同时，对于这一堆抽象的数据，如果你不指定特征字段，它怎么去识别这一堆数据中，哪些是特征字段，哪些是字段的值，这样后续的清洗工作就没办法干了

对于清洗而言，应该是要预先指定特征字段，不然机器无法执行清洗任务。