10 2016 档案

• spark streaming 对接kafka记录
  摘要：spark streaming 对接kafka 有两种方式： 参考： http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-bas 阅读全文
  posted @ 2016-10-27 17:41 miss_UU 阅读(2359) 评论(0) 推荐(0)
• 使用sbt构建spark 程序
  摘要：今日在学习scala和spark相关的知识。之前在eclipse下编写了wordcount程序。但是关于导出jar包这块还是很困惑。于是学习sbt构建scala。 关于sbt的介绍网上有很多的资料，这里就不解释了。参考：http://wiki.jikexueyuan.com/project/sbt- 阅读全文
  posted @ 2016-10-27 10:04 miss_UU 阅读(11701) 评论(0) 推荐(0)
• scala 学习： 逆变和协变
  摘要：scala 逆变和协变的概念网上有很多解释， 总结一句话就是 参数是逆变的或者不变的，返回值是协变的或者不变的。 但是为什么是这样的？ 协变： 当s 是A的子类， 那么func(s) 是func(A)的子类。 也就是被参数化类型的泛化方向与参数类型的方向是一致的，所以称为协变。 个人理解的func( 阅读全文
  posted @ 2016-10-26 09:54 miss_UU 阅读(5298) 评论(0) 推荐(0)
• spark textFile 困惑与解释
  摘要：在编写spark测试应用时， 会用到sc.textFile(path, partition) 当配置为spark分布式集群时，当你读取本地文件作为输入时， 需要将文件存放在每台work节点上。 这时会有困惑，spark在读取文件时，是每台worker节点都把文件读入？ 然后在进行分配？ 会不会出现重 阅读全文
  posted @ 2016-10-20 14:52 miss_UU 阅读(3251) 评论(0) 推荐(0)
• eclipse 配置scala开发环境
  摘要：最近在学习spark相关知识。准备搭建eclipse开发环境。在安装过程中遇到的问题记录下来。 首先在scala网站上下载了scalaIDE：http://scala-ide.org/download/prev-stable.html 下载完成后，新建scala项目，在项目上右键， 选择proper 阅读全文
  posted @ 2016-10-17 17:00 miss_UU 阅读(10197) 评论(0) 推荐(0)
• scala 学习： case class
  摘要：case class： 1.定义为case class 的类在实例化时，可以不使用new 关键字。 2. 定义为case class 的类 默认实现了 equals 和hashcode 方法 3. 默认是可序列化的 4. 其构造函数的参数 是public 访问的。如 zhangsan.name 5. 阅读全文
  posted @ 2016-10-12 10:16 miss_UU 阅读(2928) 评论(0) 推荐(2)
• scala 学习：object 和class， trait
  摘要：object： Scala中没有静态修饰符，static，在object下的成员全部都是静态的，如果在类中声明了与该类相同的名字的object则该object是该类的“半生对象”， 可以理解把类中的static集中放到了object对象中，伴生对象和类文件必须是同一个源文件，可以用伴生对象做一些初始 阅读全文
  posted @ 2016-10-11 15:02 miss_UU 阅读(2886) 评论(0) 推荐(0)
• scala学习：apply方法
  摘要：摘抄两段话： 举个例子： 输出为： apply method called, key is: key1Hello World! update方法： 阅读全文
  posted @ 2016-10-11 11:48 miss_UU 阅读(476) 评论(0) 推荐(0)