spark streaming 对接kafka记录
摘要:spark streaming 对接kafka 有两种方式: 参考: http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-bas
阅读全文
使用sbt构建spark 程序
摘要:今日在学习scala和spark相关的知识。之前在eclipse下编写了wordcount程序。但是关于导出jar包这块还是很困惑。于是学习sbt构建scala。 关于sbt的介绍网上有很多的资料,这里就不解释了。参考:http://wiki.jikexueyuan.com/project/sbt-
阅读全文
scala 学习: 逆变和协变
摘要:scala 逆变和协变的概念网上有很多解释, 总结一句话就是 参数是逆变的或者不变的,返回值是协变的或者不变的。 但是为什么是这样的? 协变: 当s 是A的子类, 那么func(s) 是func(A)的子类。 也就是被参数化类型的泛化方向与参数类型的方向是一致的,所以称为协变。 个人理解的func(
阅读全文
spark textFile 困惑与解释
摘要:在编写spark测试应用时, 会用到sc.textFile(path, partition) 当配置为spark分布式集群时,当你读取本地文件作为输入时, 需要将文件存放在每台work节点上。 这时会有困惑,spark在读取文件时,是每台worker节点都把文件读入? 然后在进行分配? 会不会出现重
阅读全文
eclipse 配置scala开发环境
摘要:最近在学习spark相关知识。准备搭建eclipse开发环境。在安装过程中遇到的问题记录下来。 首先在scala网站上下载了scalaIDE:http://scala-ide.org/download/prev-stable.html 下载完成后,新建scala项目,在项目上右键, 选择proper
阅读全文
scala 学习: case class
摘要:case class: 1.定义为case class 的类在实例化时,可以不使用new 关键字。 2. 定义为case class 的类 默认实现了 equals 和hashcode 方法 3. 默认是可序列化的 4. 其构造函数的参数 是public 访问的。如 zhangsan.name 5.
阅读全文
scala 学习:object 和class, trait
摘要:object: Scala中没有静态修饰符,static,在object下的成员全部都是静态的,如果在类中声明了与该类相同的名字的object则该object是该类的“半生对象”, 可以理解把类中的static集中放到了object对象中,伴生对象和类文件必须是同一个源文件,可以用伴生对象做一些初始
阅读全文
scala学习:apply方法
摘要:摘抄两段话: 举个例子: 输出为: apply method called, key is: key1Hello World! update方法:
阅读全文