摘要: 2)编写独立应用程序实现数据去重 对于两个输入文件A和B,编写Spark独立应用程序(推荐使用Scala语言),对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的一个样例,供参考。 输入文件A的样例如下: 20170101 x 20170102 y 2017010 阅读全文
posted @ 2024-11-20 09:19 kuku睡 阅读(16) 评论(0) 推荐(0)