摘要：在idea中新建工程 删除新项目的src,创建moudle 在父pom中添加spark和scala依赖,我们项目中用scala开发模型，建议scala，开发体验会更好（java、python也可以） 在我们Moudle中配置打包插件 安装scala开发插件到idea 安装后重启 设置scalasdk 阅读全文

摘要：1. 编辑spark-defaults.conf位置文件 添加spark.eventLog.enabled和spark.eventLog.dir的配置修改spark.eventLog.dir为我们之前在hdfs配置的端口hdfs配置参考hadoop(七)集群配置同步（hadoop完全分布式四）|9 阅读全文

摘要：1.官方网址 http://spark.apache.org/ image.png image.png 2.点击下载 下载最新版本目前是（2.4.3）此spark预设为hadoop2.7或者更高版本，我前面安装的是hadoop3.1.2后面试一下不知道兼容不具体地址：http://spark.apa 阅读全文

摘要：1.1 官网 https://spark.apache.org/docs/2.1.1/sql-programming-guide.html#upgrading-from-spark-sql-16-to-20 1.2 初始化sparkContext //local的位置可以用集群的url代替，写成lo 阅读全文