摘要：
测试数据 sparkStu.text zhangxs 24 chenxy wangYr 21 teacher wangx 26 teacher sparksql { "name":"zhangxs","age":24,"job":"chengxy", "name":"li","age":21,"jo 阅读全文
posted @ 2017-03-06 23:29
卖臭豆腐喽
阅读(11435)
评论(0)
推荐(0)
摘要：
加载文件 scala> var f1=sc.textFile("/tmp/dataTest/followers.txt") scala> var f1=sc.textFile("/tmp/dataTest/followers.txt") scala> f1.flatMap(x=>x.split("- 阅读全文
posted @ 2017-03-06 23:23
卖臭豆腐喽
阅读(5020)
评论(0)
推荐(0)
摘要：
定义不带参数也不带返回值的函数（def :定义函数的关键字 printz:方法名称） scala> def printz = print("scala hello") 定义带参数也带返回值的函数（这种函数在定义时也可以不带返回值的类型，scala会自动推算出。建议还是带上） scala> def m 阅读全文
posted @ 2017-03-06 23:04
卖臭豆腐喽
阅读(14856)
评论(1)
推荐(0)
摘要：
RDD是spark抽象的基石，可以说整个spark编程就是对RDD进行的操作 RDD是弹性的分布式数据集，它是只读的，可分区的，这个数据集的全部或者部分数据可以缓存在内存中，在多次计算间重用。所谓的弹性意思是：内存不够时可以与磁盘进行交换。这是RDD另一个特性：内存计算。就是将数据保存到内存中，同时 阅读全文
posted @ 2017-03-06 22:43
卖臭豆腐喽
阅读(369)
评论(0)
推荐(0)
摘要：
代码 输出结果 阅读全文
posted @ 2017-03-06 22:36
卖臭豆腐喽
阅读(585)
评论(0)
推荐(0)
摘要：
将工程打成jar 放入到linux中 切换到[root@node4 Desktop]# cd /usr/local/development/spark-2.0-hadoop2.6/bin/ 输入命令 打印出结果 阅读全文
posted @ 2017-03-06 22:29
卖臭豆腐喽
阅读(1235)
评论(0)
推荐(0)
浙公网安备 33010602011771号