摘要：1.Spark Streaming功能介绍1）定义Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processin 阅读全文

摘要：1.Spark SQL概述1）Spark SQL是Spark核心功能的一部分，是在2014年4月份Spark1.0版本时发布的。 2）Spark SQL可以直接运行SQL或者HiveQL语句 3）BI工具通过JDBC连接SparkSQL查询数据 4）Spark SQL支持Python、Scala、J 阅读全文

摘要：1.几种运行模式介绍 Spark几种运行模式： 1）Local 2）Standalone 3）Yarn 4）Mesos 下载IDEA并安装，可以百度一下免费文档。 2.spark Standalone模式配置并测试 1）jdk1.8已经安装 2）scala2.11.8已经安装 3）Hadoop2.5 阅读全文

摘要：1.三大弹性数据集介绍 1）概念 2）优缺点对比 2.Spark RDD概述与创建方式 1）概述 在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（resilientdistributed dataset，RDD），它是逻辑集中的实体，在集群中的多台机器上进行了数据分区。RDD是Spa 阅读全文