摘要：编译Spark所使用的Hadoop版本和线上Hadoop版本不一致导致的。 阅读全文

摘要：本文介绍如何编译 spark 的源码，并且用 standalone 的方式在单机上部署 spark。 步骤如下： 1. 下载 spark 并且解压 本文选择 spark 的最新版本 2.2.0 （2017/07/01 发布）下载源码和解压的命令如下： 2. 编译 编译大概需要半个小时左右时间，不同的 阅读全文

摘要：spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 如果部署 hadoop，并且启动 yarn 后，spark 提交到 yarn 执行的例 阅读全文

摘要：# Spark is a fast and general engine for large-scale data processing. # Spark libraries YARN ./bin/run-example SparkPi 10 ./bin/spark-shell --master s 阅读全文