摘要：一、基于Standalone提交任务 1.基于Standalone-client提交任务 --deploy-mode：不写，默认就是client提交 也可以配置：--deploy-mode client ./spark-submit --master spark://node1:7077 \ --c 阅读全文

摘要：--master master的地址，提交任务到哪里执行，如：spark://host:port,yarn,local --deploy-mode client | cluster 在本地启动driver或在cluster上启动，默认是client --class 应用程序的主类，仅针对Java或S 阅读全文

摘要：Spark Spark是专为大规模数据处理而设计的快速通用的计算引擎。 Spark拥有MapReduce都具有的优点，但不同的是Spark的job中间处理结果可以保存在内存中，从而不再需要读取HDFS。 Spark能更好的适用于数据挖掘与机器学习等需要迭代的算法。 一、Spark特点 1.速度快。 阅读全文