摘要：
今天，我们还是在介绍spark的小练习，这次的小练习还是基于IP相关的操作，我们可以先看一下今天的需求，我们有两个文件， 第一个文件，是IP的字典，也就是我们上一篇介绍过的，就是表明了所有IP字段所属的位置，以及最大值以及最小值(例如) 例如第一行的数据， 1.0.1.0|1.0.3.255|167 阅读全文
摘要：
今天我们就来介绍，如何根据一个IP来求出这个IP所在的地址是什么，首先我们如果要做这个内容，那么我们要有一个IP地址的所在地字典，这个我们可以在网上购买，形如: 1.0.1.0|1.0.3.255|16777472|16778239|亚洲|中国|福建|福州||电信|350100|China|CN|1 阅读全文
摘要：
今天我们来介绍spark中排序的操作，spark的排序很简单，我们可以直接使用sortBy来进行，这个里面我们使用case clas，使用case class的好处是1.不用newjiukeyi 搞出实例，2.模式匹配今天我们讲的排序有两种方法，在还没开始之前，我们先说明一下需求，有一个对象Girl 阅读全文
摘要：
前面几天元旦过high了，博客也停了一两天，哈哈，今天我们重新开始，今天我们介绍的是spark的原理 首先先说一个小贴士: spark中，对于var count = 0,如果想使count自增，我们不能使用count++，而是我们要使用count = count + 1 接下来开始我们的正经事了，介 阅读全文
摘要：
自己前面的小练习一直都是在linux上面写的，可是最近由于要把他迁移到win上面，我在自己的csdn博客有对如何在win上面搭建spark环境做出说明，好了，我们还是先看看 今天的内容吧 1.假如你有一个文件，如果你想实现以前的mapReduce的操作，这个时候，如果我们使用spark则会变的非常的 阅读全文
摘要：
今天，这个是spark的高级算子的讲解的最后一个章节，今天我们来介绍几个简单的算子， countByKey val rdd1 = sc.parallelize(List(("a", 1), ("b", 2), ("b", 2), ("c", 2), ("c", 1)))rdd1.countByKey 阅读全文
摘要：
最近心情不是很好，但是需要调节自己，真的需要调节自己，还是要努力，这个世界有我喜欢的人，有我追求的人,也许真的是守的住寂寞，耐得住繁华吧。 不说别的了，今天我们来接受啊spark的高级算子的系列 1.map是对每个元素操作, mapPartitions是对其中的每个partition操作 2.map 阅读全文
摘要：
今天，我们来进入spark学习的第二章，发现有很多事都已经开始变化，生活没有简单的朝自己想去的方向，但是还是需要努力呀，不说鸡汤之类的话了， 开始我们今天的spark的旅程 一.RDD是什么 rdd的中文解释为弹性分布式数据集,全称Resilient Distributed Datases,即内存中 阅读全文
摘要：
今天我们来学习spark，spark是一种快速,通用,可扩展的大数据分析引擎，现已成为Apache顶级项目,Spark是MapReduce的替代方案，而且兼容HDFS,Hive,可融入Hadoop的生态系统,以弥补MapReduce的不足，下面我们来介绍这样的一门语言: 一.spark安装 1.上传 阅读全文
摘要：
今天我们来介绍scala的高级特性，上次已经介绍过他的一个特性:高阶函数，这次是隐式转换 1.隐式转换的例子 read的例子 解析:发现这个file没有read的方法，然后就开始在开始在这个上下文里面找看有么有隐式的， 匹配的，如果有，就可以转换，这个里面的匹配是类型的匹配，发现file匹配rich 阅读全文