miss_UU - 博客园

scala 学习之：List fold， foldLeft方法

摘要：先从一道题开始看：题目的意思是，去除list中重复的元素，并且保持其相对顺序。看到这个题目，我的第一想法是，遍历list中的各个元素，将其放入到新的list中（如果新的list不包含该元素），最后返回新的list。代码如下：参考了该博客后： http://blog.thedigitalca 阅读全文

posted @ 2016-11-04 10:11 miss_UU 阅读(4326) 评论(0) 推荐(0) 编辑

scala学习之： Flatten a nested list structure

摘要：题目要求：参考：http://blog.thedigitalcatonline.com/blog/2015/04/07/99-scala-problems-07-flatten/#.WBsDFPl97IU 针对一个list，将其内部嵌套的元素拿出来，形成一个新的list。思路：使用flatM 阅读全文

posted @ 2016-11-03 17:41 miss_UU 阅读(427) 评论(0) 推荐(0) 编辑

postgres 批量更新内容

摘要：在程序中遇到这样的需求，数据库表格式如下需要把批量更新status，如name = fox 时， status = 1, name = boa 时，status = 2 .... 类似的 postgres 的写法如下：阅读全文

posted @ 2016-11-02 12:31 miss_UU 阅读(6751) 评论(0) 推荐(0) 编辑

spark streaming 对接kafka记录

摘要： spark streaming 对接kafka 有两种方式：参考： http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-bas 阅读全文

posted @ 2016-10-27 17:41 miss_UU 阅读(2345) 评论(0) 推荐(0) 编辑

使用sbt构建spark 程序

摘要：今日在学习scala和spark相关的知识。之前在eclipse下编写了wordcount程序。但是关于导出jar包这块还是很困惑。于是学习sbt构建scala。关于sbt的介绍网上有很多的资料，这里就不解释了。参考：http://wiki.jikexueyuan.com/project/sbt- 阅读全文

posted @ 2016-10-27 10:04 miss_UU 阅读(11620) 评论(0) 推荐(0) 编辑

scala 学习：逆变和协变

摘要： scala 逆变和协变的概念网上有很多解释，总结一句话就是参数是逆变的或者不变的，返回值是协变的或者不变的。但是为什么是这样的？协变：当s 是A的子类，那么func(s) 是func(A)的子类。也就是被参数化类型的泛化方向与参数类型的方向是一致的，所以称为协变。个人理解的func( 阅读全文

posted @ 2016-10-26 09:54 miss_UU 阅读(5263) 评论(0) 推荐(0) 编辑

spark textFile 困惑与解释

摘要：在编写spark测试应用时，会用到sc.textFile(path, partition) 当配置为spark分布式集群时，当你读取本地文件作为输入时，需要将文件存放在每台work节点上。这时会有困惑，spark在读取文件时，是每台worker节点都把文件读入？然后在进行分配？会不会出现重阅读全文

posted @ 2016-10-20 14:52 miss_UU 阅读(3217) 评论(0) 推荐(0) 编辑

eclipse 配置scala开发环境

摘要：最近在学习spark相关知识。准备搭建eclipse开发环境。在安装过程中遇到的问题记录下来。首先在scala网站上下载了scalaIDE：http://scala-ide.org/download/prev-stable.html 下载完成后，新建scala项目，在项目上右键，选择proper 阅读全文

posted @ 2016-10-17 17:00 miss_UU 阅读(10158) 评论(0) 推荐(0) 编辑

scala 学习： case class

摘要： case class： 1.定义为case class 的类在实例化时，可以不使用new 关键字。 2. 定义为case class 的类默认实现了 equals 和hashcode 方法 3. 默认是可序列化的 4. 其构造函数的参数是public 访问的。如 zhangsan.name 5. 阅读全文

posted @ 2016-10-12 10:16 miss_UU 阅读(2914) 评论(0) 推荐(2) 编辑

scala 学习：object 和class， trait

摘要： object： Scala中没有静态修饰符，static，在object下的成员全部都是静态的，如果在类中声明了与该类相同的名字的object则该object是该类的“半生对象”，可以理解把类中的static集中放到了object对象中，伴生对象和类文件必须是同一个源文件，可以用伴生对象做一些初始阅读全文

posted @ 2016-10-11 15:02 miss_UU 阅读(2874) 评论(0) 推荐(0) 编辑

导航

2016年11月4日

2016年11月3日

2016年11月2日

2016年10月27日

2016年10月26日

2016年10月20日

2016年10月17日

2016年10月12日

2016年10月11日