摘要： spark 支持 shell 操作 shell 主要用于调试，所以简单介绍用法即可 支持多种语言的 shell 包括 scala shell、python shell、R shell、SQL shell 等 spark-shell 用于在 scala 的 shell 模式下操作 spark pysp 阅读全文

摘要： RDD 介绍 spark 最重要的一个概念叫 RDD，Resilient Distributed Dataset，弹性分布式数据集，它是 spark 的最基本的数据（也是计算）抽象。 代码中是一个抽象类，它代表一个 不可变、可分区、里面的元素可并行计算的数据集合。 RDD 的属性 拥有一组分区：数据 阅读全文