随笔分类 -  Spark

Spark 实现wordcount
摘要：配置完spark之后，使用spark实现wordcount，这一部分完全参考《深入理解Spark：核心思想与源码分析》 依然使用hadoop wordcountTest的那几个txt文件 进入spark的bin目录，打开spark-shell 在打开的scala命令行中依次输入以下几个语句： 部分w 阅读全文
posted @ 2017-07-03 21:57 银河末班车 阅读(437) 评论(0) 推荐(0)
配置Spark
摘要：参考《深入理解Spark:核心思想与源码分析》 Spark使用Scala进行编写，而Scala又是基于ＪＶＭ运行，所以需要先安装JDK，这个不再赘述。 １．安装Scala 安装获取Scala: 将下载的文件移动到自家想要放置的目录。 修改压缩文件的权限为７５５（所有者读写执行，同组成员读和执行，其他 阅读全文
posted @ 2017-07-03 16:17 银河末班车 阅读(126) 评论(0) 推荐(0)