使用idea开发spark

一,安装idea及scala插件
1,启动idea


2,选择IDEA UITheme



3,安装IDEA





4,启动IDEA


5,安装scala插件



6,重启IDEA


,



二:导入spark源码







加入JDK    SDK



导入spark源码:







三,IDEA基本配置设置







四:创建SCALA项目





设置scala的sdk




创建scala项目:








增加spark的jar包




五:IDEA打包spark    application

第一个spark  application









删除多余的jar


设置输出路径:


打包编译;



现在/home/cyhp/tools/sparkApp/目录下会增加一个sparkApp.jar,然后再在spark主目录中:
进入spark主目录,执行命令:bin/spark-submit --jars  /home/cyhp/tools/sparkApp/sparkApp.jar













posted @ 2015-12-18 11:24  暗夜小精灵~~  阅读(570)  评论(0编辑  收藏  举报