摘要: RDD及其特点 1)RDD(Resillient Distributed Dataset)弹性分布式数据集,是spark提供的核心抽象。它代表一个不可变、可分区、里面的元素可并行计算的集合 2)RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上 阅读全文
posted @ 2017-02-11 13:47 邬家栋 阅读(598) 评论(0) 推荐(0) 编辑
摘要: spark采用的是主从式的架构,主节点叫master,从节点是worker Driver 我们编写的spark就在Driver上,由driver进程执行。 Driver是spark集群的节点之一,或你提交spark程序的机器 Master master是集群的资源管理者和调度者,类似yarn里面的R 阅读全文
posted @ 2017-02-11 13:45 邬家栋 阅读(1241) 评论(0) 推荐(0) 编辑
摘要: wordcount程序 文件wordcount.txt 程序示例 运行结果 阅读全文
posted @ 2017-02-11 13:40 邬家栋 阅读(927) 评论(0) 推荐(0) 编辑