随笔分类 -  spark学习

摘要:以下是windows环境下安装spark的过程: 1.安装JDK(version:1.8.0.152) 2.安装scala(version:2.11/2.12) 3.安装spark(version:spark-2.3.0-bin-hadoop2.6.tgz) 4.安装wintuils(设置windo 阅读全文
posted @ 2018-11-07 09:30 小鲨鱼~ 阅读(509) 评论(0) 推荐(0)
摘要:参见:https://blog.csdn.net/Dillon2015/article/details/64453852 阅读全文
posted @ 2018-10-17 21:55 小鲨鱼~ 阅读(187) 评论(0) 推荐(0)
摘要:参见:https://www.jianshu.com/p/b040ba5fc06a 阅读全文
posted @ 2018-09-06 15:57 小鲨鱼~ 阅读(203) 评论(0) 推荐(0)
摘要:参见:https://blog.csdn.net/coding01/article/details/81458523 阅读全文
posted @ 2018-09-06 15:56 小鲨鱼~ 阅读(614) 评论(0) 推荐(0)
摘要:写了很简单的一段spark代码,将结果保存为windows本地文件,执行之后总是报错NullPointerException 查询之后 发现是本地缺少hadoop需要的一个文件所致 如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决 1)下载需要的文件 winutil 阅读全文
posted @ 2018-08-13 14:02 小鲨鱼~ 阅读(3113) 评论(0) 推荐(0)