摘要： 昨晚听了王家林老师的第13课Spark内核架构解密，课堂笔记如下：executor中线程池并发执行和复用，Spark executor, backed by a threadpool to run tasks.默认一个work为一个Application只开启一个executor。一个worker里... 阅读全文

摘要： 今晚听了王家林老师的第12课Spark HA实战，课堂笔记以及作业如下：Spark HA需要安装zookeeper，推荐稳定版3.4.6.1.下载zookeeper3.4.6，2.配置环境变量3.创建data logs4.vi conf/zoo.cfg5 data目录中创建myidspark-en... 阅读全文

摘要： 今晚听了王家林老师的第11课：彻底解密WordCount运行原理，课堂笔记以及作业如下：在第一个Stage中，def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] =... 阅读全文

摘要： 今晚听了王家林老师的第10课Java开发Spark实战，课后作业是：用Java方式采用Maven开发Spark的WordCount并运行在集群中先配置pom.xml com.dt.spark SparkApps 0.0.1-SNAPSHOT jar org.apache.spark ... 阅读全文

摘要： 今晚听了王家林老师的第9课IDEA中开发Spark实战，课后作业是：在Idea中编写广告点击排名的程序并提交集群测试，IDEA社区版本就够用，Ultimate没必要还要钱程序如下：object WordCountCluster { def main(args: Array[String]){ ... 阅读全文

摘要： 今晚听了王家林老师的第8课IDE中开发Spark实战，课后作业是：在Eclipse中编写广告点击排名的程序并测试，程序如下：object WordCountCluster { def main(args: Array[String]){ /** * 第一步：创建spark的配置对象S... 阅读全文

摘要： 今晚听了王家林老师的第七课Spark运行原理及RDD解密，课后作业是：spark基本原理，我的总结如下：1spark是分布式 基于内存 特别适合于迭代计算的计算框架2mapReduce就两个阶段map和reduce，而spark是不断地迭代计算，更加灵活更加强大，容易构造复杂算法。3spark不能取... 阅读全文

摘要： 今晚听了王家林老师的第六课精通Spark集群搭建和测试，课后作业是：搭建自己的spark环境并成功运行pi，我的总结如下：1 硬件环境：至少8GB内存，推荐金士顿内存，虚拟机推荐Ubuntu kylin版本，可以安装各种办公软件包括搜狗输入法。上网方式：Nat,root权限登录，避免权限问题2.软件... 阅读全文

摘要： 今晚听了王家林老师的Spark 3000门徒系列第五课scala隐式转换和并发编程，课后作业是：分析DAGScheduler Master Worker RDD源码中隐式转换和Actor并发编程，我的见解如下：隐式函数，隐式参数最常见，隐式对象和隐式类少见RDD中方法：def distinct(nu... 阅读全文

摘要： 今晚听了王家林老师的Spark 3000门徒系列第四课scala模式匹配和类型参数，总结如下：模式匹配：def data(array:Array[String]){ array match{ case Array(a,b,c) => println(a+b+c) case Array("spar... 阅读全文