摘要： Spark是Berkeley大学AMP（stands forAlgorithms, Machines, and People）实验室开发的一个项目。它是一个基于RDD（Resilient Distributed Datasets）模型，能够支持计算MapReduce模式的作业，主要用于迭代计算和交互式数据计算等中间结果可重用的分布式计算框架。Spark 将数据缓存在内存中从而减少数据的访问延迟。1. RDDRDD，即可伸缩的分布式数据集合，管理数据缓存和数据重用，采用分析日志方式支持数据容错，提供了粗粒度的事务处理接口（map，filter，join）。RDD 对数据记录进行分区存储，本身是只 阅读全文