摘要： 每一个 spark job 根据 shuffle 划分 stage，每个 stage 形成一个或者多个 taskSet，了解了每个 stage 需要运行多少个 task，有助于我们优化 spark 运行 task 数 首先需要了解以下概念： RDD，弹性分布式数据集，多个 partition； sp 阅读全文

摘要： 首先来看 MapReduce 流程图 一个 map，一个 reduce，中间靠 shuffle 连接，shuffle 左边被划分到 map，右边被划分到 reduce InputFormat input 是个文件，进入 mapper 后变成一行一行，如何实现的呢？ 在 hadoop 中实现的方法叫 阅读全文