2018年8月4日
Spark基础：（四）Spark 数据读取与保存
摘要： 1、文件格式Spark对很多种文件格式的读取和保存方式都很简单。 （1）文本文件 读取： 将一个文本文件读取为一个RDD时，输入的每一行都将成为RDD的一个元素。val input=sc.textFile("...")也可以将多个完整的文本文件读取为一个pa... 阅读全文
posted @ 2018-08-04 21:51 流氓小伙子 阅读(2313) 评论(0) 推荐(0)
Spark基础：（三）Spark 键值对操作
摘要： 1、pair RDD的简介 Spark为包含键值对类型的RDD提供了一些专有的操作，这些RDD就被称为pair RDD 那么如何创建pair RDD呢？ 在不同的语言中有着不同的创建方式 在python和Scala语言中创建的方式都是差不多的。 在java语言中： java用户还需要调用专门的Spa 阅读全文
posted @ 2018-08-04 14:14 流氓小伙子 阅读(341) 评论(0) 推荐(0)