随笔分类 -  spark

摘要:在开发环境下实现第一个程序wordcount 1、下载和配置scala,注意不要下载2.13,在spark-core明确支持scala2.13前,使用2.12或者2.11比较好。 2、windows环境下的scala配置,可选 3、开发工具IDEA环境设置,全局环境添加scala的sdk,注意sca 阅读全文
posted @ 2019-10-17 10:28 我是属车的 阅读(1221) 评论(0) 推荐(0)
摘要:1、下载地址 http://spark.apache.org/downloads.html 2、解压 3、本地模式运行第一个程 参数说明: 4、进入shell编程模式 如果启动spark shell时没有指定master地址,但是也可以正常启动spark shell和执行spark shell中的程 阅读全文
posted @ 2019-09-05 11:44 我是属车的 阅读(609) 评论(0) 推荐(0)