摘要：
先从一道题开始看： 题目的意思是，去除list中重复的元素， 并且保持其相对顺序。 看到这个题目，我的第一想法是，遍历list中的各个元素，将其放入到新的list中（如果新的list不包含该元素），最后返回新的list。 代码如下： 参考了该博客后： http://blog.thedigitalca
阅读全文
posted @ 2016-11-04 10:11
miss_UU
阅读(4438)
推荐(0)
摘要：
题目要求： 参考：http://blog.thedigitalcatonline.com/blog/2015/04/07/99-scala-problems-07-flatten/#.WBsDFPl97IU 针对一个list， 将其内部嵌套的元素拿出来，形成一个新的list。 思路： 使用flatM
阅读全文
posted @ 2016-11-03 17:41
miss_UU
阅读(431)
推荐(0)
摘要：
在程序中遇到这样的需求， 数据库表格式如下 需要把批量更新status， 如name = fox 时， status = 1, name = boa 时，status = 2 .... 类似的 postgres 的写法如下：
阅读全文
posted @ 2016-11-02 12:31
miss_UU
阅读(6781)
推荐(0)
摘要：
spark streaming 对接kafka 有两种方式： 参考： http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-bas
阅读全文
posted @ 2016-10-27 17:41
miss_UU
阅读(2358)
推荐(0)
摘要：
今日在学习scala和spark相关的知识。之前在eclipse下编写了wordcount程序。但是关于导出jar包这块还是很困惑。于是学习sbt构建scala。 关于sbt的介绍网上有很多的资料，这里就不解释了。参考：http://wiki.jikexueyuan.com/project/sbt-
阅读全文
posted @ 2016-10-27 10:04
miss_UU
阅读(11693)
推荐(0)
摘要：
scala 逆变和协变的概念网上有很多解释， 总结一句话就是 参数是逆变的或者不变的，返回值是协变的或者不变的。 但是为什么是这样的？ 协变： 当s 是A的子类， 那么func(s) 是func(A)的子类。 也就是被参数化类型的泛化方向与参数类型的方向是一致的，所以称为协变。 个人理解的func(
阅读全文
posted @ 2016-10-26 09:54
miss_UU
阅读(5297)
推荐(0)
摘要：
在编写spark测试应用时， 会用到sc.textFile(path, partition) 当配置为spark分布式集群时，当你读取本地文件作为输入时， 需要将文件存放在每台work节点上。 这时会有困惑，spark在读取文件时，是每台worker节点都把文件读入？ 然后在进行分配？ 会不会出现重
阅读全文
posted @ 2016-10-20 14:52
miss_UU
阅读(3250)
推荐(0)
摘要：
最近在学习spark相关知识。准备搭建eclipse开发环境。在安装过程中遇到的问题记录下来。 首先在scala网站上下载了scalaIDE：http://scala-ide.org/download/prev-stable.html 下载完成后，新建scala项目，在项目上右键， 选择proper
阅读全文
posted @ 2016-10-17 17:00
miss_UU
阅读(10194)
推荐(0)
摘要：
case class： 1.定义为case class 的类在实例化时，可以不使用new 关键字。 2. 定义为case class 的类 默认实现了 equals 和hashcode 方法 3. 默认是可序列化的 4. 其构造函数的参数 是public 访问的。如 zhangsan.name 5.
阅读全文
posted @ 2016-10-12 10:16
miss_UU
阅读(2925)
推荐(2)
摘要：
object： Scala中没有静态修饰符，static，在object下的成员全部都是静态的，如果在类中声明了与该类相同的名字的object则该object是该类的“半生对象”， 可以理解把类中的static集中放到了object对象中，伴生对象和类文件必须是同一个源文件，可以用伴生对象做一些初始
阅读全文
posted @ 2016-10-11 15:02
miss_UU
阅读(2885)
推荐(0)
浙公网安备 33010602011771号