使用idea开发spark

一，安装idea及scala插件
1，启动idea


2，选择IDEA UITheme



3，安装IDEA





4，启动IDEA


5，安装scala插件



6，重启IDEA


,



二：导入spark源码







加入JDK    SDK



导入spark源码：







三，IDEA基本配置设置







四：创建SCALA项目





设置scala的sdk




创建scala项目：








增加spark的jar包




五：IDEA打包spark    application

第一个spark  application









删除多余的jar


设置输出路径：


打包编译；



现在/home/cyhp/tools/sparkApp/目录下会增加一个sparkApp.jar,然后再在spark主目录中：
进入spark主目录，执行命令：bin/spark-submit --jars  /home/cyhp/tools/sparkApp/sparkApp.jar













posted @ 2015-12-18 11:24  暗夜小精灵～～  阅读(584)  评论(0)    收藏  举报