摘要： 今天完成了老师布置的spark实验的第二部分，将两个文件的内容合并在一起并去重，写入到一个新文件中去： 2.编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例， 阅读全文