1 项目部署到yarn (spark on yarn)sparkstreaming打包之前检查 2 1、checkpointval checkpointPath = args(0) 3 2、3、package 4 4、上传jar包到linux 5 5、spark on yarn : hadoop fs -ls / 检查hdfs是否正检查hdfs是否启动 yarn是否启动,启动 6 6、检查checkpiont路径是否已经存在,如果存在先把它删了hadoop fs -rm -r /checkdir 7 7、提交任务 8 ./spark-submit \ 9 --class com.aaa.foryk.SparkStreamTraffic01 \ 10 --master yarn --deploy-mode cluster \ 11 --executor-memory 1G \ 12 --executor-cores3 \ 13 /opt/12345-1.0-SNAPSHOT.jar \ 14 hdfs://hdp2:8020/checkdir 15 8、生产数据 16 9、查看数据统计结果(mysql对应的表