Monika@IOS

摘要： DAGScheduler Master Worker RDD源码中隐式转换和Actor并发编程def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x => (x, ... 阅读全文

摘要： 总结笔记1.scala模式匹配Scala的模式匹配，与Java的switch case的区别：不仅可以匹配值，可以匹配类型;可以匹配数组的集合实例：def bigData(data: String) {data match {case "spark"=> println("saprk")case "... 阅读全文

摘要： 作业：用scala统计一个文件夹下面所有文件的单词出现的总次数package scalaobject WordCounter {//导入jar包import scala.io.Sourceimport java.io._//存储单词和个数var map = Map.empty[String, Int... 阅读全文

摘要： spark RDD源码阅读笔记RDD在开始跳进去看RDD的方法之前，我们应该先了解一下RDD的一些基本信息。首先，我们先来看看RDD的构造方法：123456789101112131415abstract class RDD[T: ClassTag](@transient private var _s... 阅读全文

摘要： 首先非常荣幸成为王家林老师3000门徒之一，以后此博客将会记录学习王家林老师每节课程的笔记，作业。本人邮箱：852667211@qq.com电话：15737606315下面是第一天的学习笔记一：关于scala的产生背景，解决了什么技术问题（内容大部分来自网络，我只写一些个人总结，以后皆如此）scal... 阅读全文

摘要： 免费大数据视频，for free forever 阅读全文