邬家栋

摘要： Parquet是面向分析型业务得列式存储格式 编程方式加载数据 代码示例 ` 运行结果 自动分区 合并元数据 1）读取parquet文件时，将数据源的选项mergeSchema，设置为true 2）使用SQLContext.setConf()方法，将spark.sql.parquet.mergeSc 阅读全文

摘要： load操作：主要用于加载数据，创建出DataFrame save操作：主要用于将DataFrame中的数据保存到文件中 代码示例(默认为parquet数据源类型) 提交集群运行 运行后查看是否保存成功 手动指定数据源类型（进行格式转换很方便） 默认情况下不指定数据源类型的话就是parquet类型 阅读全文

摘要： 练习0（并行化创建RDD） 练习1（map，filter） 练习2（map和flatMap） 练习3（union，intersecttion，distinct） 练习4（sortBy） 练习5（groupByKey,reduceByKey,sortByKey） 练习6（join） 练习7（reduc 阅读全文

摘要： 在目录/home/hadoop/2016113012下有文件words.txt 上传该文件到hdfs 启动spark shell 在spark shell中使用Scala编写spark程序 阅读全文

摘要： 报错1 解决办法 报错2 解决办法 运行之后还是报这个错的话，原因可能是scala版本兼容，我从scala2.11到scala2.10,就可以了 阅读全文

摘要： RDD及其特点 1）RDD（Resillient Distributed Dataset）弹性分布式数据集，是spark提供的核心抽象。它代表一个不可变、可分区、里面的元素可并行计算的集合 2）RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上 阅读全文

摘要： spark采用的是主从式的架构，主节点叫master，从节点是worker Driver 我们编写的spark就在Driver上，由driver进程执行。 Driver是spark集群的节点之一，或你提交spark程序的机器 Master master是集群的资源管理者和调度者，类似yarn里面的R 阅读全文

摘要： wordcount程序 文件wordcount.txt 程序示例 运行结果 阅读全文

摘要： 第一步：启动IntelliJ IDEA，选择Create New Project，然后选择Scala，点击下一步，输入项目名称wujiadong.spark继续下一步 第二步：导入spark assembly 1.5.1 hadoop2.6.0.jar包 File——Project Structur 阅读全文

摘要： 第一步：安装spark 将官网下载好的spark 2.0.0 bin hadoop2.6.tgz上传到/usr/spark目录下。这里需注意的是spark和hadoop有对应版本关系 第二步：修改配置文件 第三步：在spark2和spark3节点上也安装spark 第四步：验证spark以及进入sp 阅读全文