Spark 2.x管理与开发-Spark Core-执行Spark Demo程序（三）在IDEA、Eclipse中编写WordCount程序

Spark 2.x管理与开发-执行Spark Demo程序（三）在IDEA、Eclipse中编写WordCount程序

（1）需要的jar包：$SPARK_HOME/jars/*.jar

（2）创建Scala Project，并创建Scala Object、或者Java Class

（3）书写源代码，并打成jar包，上传到Linux

========================Scala版本========================== 

运行程序：

spark-submit --master spark://spark81:7077 --class mydemo.WordCount jars/wc.jar hdfs://192.168.88.111:9000/data/data.txt hdfs://192.168.88.111:9000/output/spark/wc1

====================Java版本（直接输出在屏幕）====================

 

运行程序：

spark-submit --master spark://spark81:7077 --class mydemo.JavaWordCount jars/wc.jar hdfs://192.168.88.111:9000/data/data.txt

Eclipse上编写的scala和Java两版程序参考：https://www.cnblogs.com/liuxinrong/articles/13234436.html

提交命令同理