摘要：
class Student{ //公有属性 String id; String name; String classNum; String sex; int age; //创建构造方法 public Student(String id,String name,String classNum,Stri 阅读全文
posted @ 2017-10-27 21:22
reedom1991
阅读(169)
评论(0)
推荐(0)
摘要：
一：RDD介绍 二：Spark基本工作原理 三：spark开发入门，主要包括以下方面： 1：编写WordCount程序 2：使用本地模式进行测试 3：使用Spark-submit提交到集群运行（spark-submit常用参数说明） 4：Spark程序开发流程总结 5：Spark-Shell的使用（ 阅读全文
posted @ 2017-09-18 21:13
reedom1991
阅读(139)
评论(0)
推荐(0)
摘要：
Spark基础、各组件功能使用 Spark内核原理 Spark内核源码 Spark性能调优 Spark SQL原理和性能调优 Spark Streaming原理和性能调优 阅读全文
posted @ 2017-09-18 20:56
reedom1991
阅读(441)
评论(0)
推荐(0)
摘要：
在集群上运行Spark应用的详细过程： （1）用户通过spark-submit脚本提交应用 （2）spark-submit脚本启动驱动器程序，调用用户定义的main()方法 （3）驱动器程序与集群管理器通信，申请资源以启动执行器节点 （4）集群管理器为驱动器程序启动执行器节点 （5）驱动器进程执行用 阅读全文
posted @ 2017-07-04 11:57
reedom1991
阅读(235)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2017-07-04 10:19
reedom1991
阅读(89)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2017-07-04 09:57
reedom1991
阅读(95)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2017-07-04 09:54
reedom1991
阅读(116)
评论(0)
推荐(0)
摘要：
对一个数据为{1，2，3，3}的RDD进行基本的RDD行动操作： 阅读全文
posted @ 2017-07-04 09:27
reedom1991
阅读(153)
评论(0)
推荐(0)
摘要：
对数据分别为{1， 2， 3}和{3， 4， 5}的RDD进行针对两个RDD的转化操作： 1： val example1 = sc.parallelize(List(1, 2, 3)) val example2 = sc.parallelize(List(3, 4, 5)) val result = 阅读全文
posted @ 2017-07-04 08:47
reedom1991
阅读(447)
评论(0)
推荐(0)
摘要：
对一个数据为{1，2，3，4}的RDD进行基本的RDD转化操作: 下面用scala语言进行实现： 1:val example = sc.parallelize(List(1, 2, 3, 3)) val result = example.map(x => x+1) println(result.co 阅读全文
posted @ 2017-07-04 08:39
reedom1991
阅读(278)
评论(0)
推荐(0)
浙公网安备 33010602011771号