摘要：Spark架构与作业执行流程简介 Local模式 运行Spark最简单的方法是通过Local模式（即伪分布式模式）。 运行命令为：./bin/run-example org.apache.spark.examples.SparkPi local 基于standalone的Spark架构与作业执行流程 阅读全文

摘要：Spark相关问题 Spark比MR快的原因？ 1) Spark的计算结果可以放入内存，支持基于内存的迭代，MR不支持。 2) Spark有DAG有向无环图，可以实现pipeline的计算模式。 3) 资源调度模式：Spark粗粒度资源调度，MR是细粒度资源调度。 资源复用：Spark中的task可 阅读全文