02 2020 档案
摘要:. 编写独立应用程序实现数据去重 对于两个输入文件 A 和 B,编写 Spark 独立应用程序,对两个文件进行合并,并剔除其 中重复的内容,得到一个新文件 C。下面是输入文件和输出文件的一个样例,供参考。 输入文件 A 的样例如下: 20170101 x 20170102 y 20170103 x
阅读全文
摘要:今天还没有把安装SPARK的问题处理完毕,自己网上查教程一步一步来出现了诸多问题,正在一个个解决。 继续看B站小甲鱼python教学视频。
阅读全文
摘要:今天继续学习了Scala的基本知识,相关链接网址: https://www.runoob.com/scala/scala-tutorial.html 准备开始做老师给的实验。 看了两节B站小甲鱼python视频教学。
阅读全文
摘要:今天在如下网址中找到了Scala的安装教程。 链接: https://www.runoob.com/scala/scala-install.html 跟着上面的安装步骤,在上学期已经安装过的虚拟机上成功安装了Scala。并且在菜鸟教程上了解了Scala的最基本的知识如基本语法、数据类型、字符串等等。
阅读全文
摘要:因为家里面有点事情所以有两天进度为零 今天打开了老师给的spark实验。 然后开始安装SPARK Linux环境,安装Spark: 根据spark的下载地址进行下载 链接如下:http://spark.apache.org/downloads.html 安装总体按照林子雨老师的教程来,下面给出参考链
阅读全文