会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
鱼儿慢慢游~~
导航
博客园
首页
新随笔
联系
订阅
管理
公告
上一页
1
2
3
4
5
6
7
···
9
下一页
2016年11月4日
scala 学习之:List fold, foldLeft方法
摘要: 先从一道题开始看: 题目的意思是,去除list中重复的元素, 并且保持其相对顺序。 看到这个题目,我的第一想法是,遍历list中的各个元素,将其放入到新的list中(如果新的list不包含该元素),最后返回新的list。 代码如下: 参考了该博客后: http://blog.thedigitalca
阅读全文
posted @ 2016-11-04 10:11 miss_UU
阅读(4348)
评论(0)
推荐(0)
编辑
2016年11月3日
scala学习之: Flatten a nested list structure
摘要: 题目要求: 参考:http://blog.thedigitalcatonline.com/blog/2015/04/07/99-scala-problems-07-flatten/#.WBsDFPl97IU 针对一个list, 将其内部嵌套的元素拿出来,形成一个新的list。 思路: 使用flatM
阅读全文
posted @ 2016-11-03 17:41 miss_UU
阅读(429)
评论(0)
推荐(0)
编辑
2016年11月2日
postgres 批量更新内容
摘要: 在程序中遇到这样的需求, 数据库表格式如下 需要把批量更新status, 如name = fox 时, status = 1, name = boa 时,status = 2 .... 类似的 postgres 的写法如下:
阅读全文
posted @ 2016-11-02 12:31 miss_UU
阅读(6757)
评论(0)
推荐(0)
编辑
2016年10月27日
spark streaming 对接kafka记录
摘要: spark streaming 对接kafka 有两种方式: 参考: http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-bas
阅读全文
posted @ 2016-10-27 17:41 miss_UU
阅读(2347)
评论(0)
推荐(0)
编辑
使用sbt构建spark 程序
摘要: 今日在学习scala和spark相关的知识。之前在eclipse下编写了wordcount程序。但是关于导出jar包这块还是很困惑。于是学习sbt构建scala。 关于sbt的介绍网上有很多的资料,这里就不解释了。参考:http://wiki.jikexueyuan.com/project/sbt-
阅读全文
posted @ 2016-10-27 10:04 miss_UU
阅读(11640)
评论(0)
推荐(0)
编辑
2016年10月26日
scala 学习: 逆变和协变
摘要: scala 逆变和协变的概念网上有很多解释, 总结一句话就是 参数是逆变的或者不变的,返回值是协变的或者不变的。 但是为什么是这样的? 协变: 当s 是A的子类, 那么func(s) 是func(A)的子类。 也就是被参数化类型的泛化方向与参数类型的方向是一致的,所以称为协变。 个人理解的func(
阅读全文
posted @ 2016-10-26 09:54 miss_UU
阅读(5270)
评论(0)
推荐(0)
编辑
2016年10月20日
spark textFile 困惑与解释
摘要: 在编写spark测试应用时, 会用到sc.textFile(path, partition) 当配置为spark分布式集群时,当你读取本地文件作为输入时, 需要将文件存放在每台work节点上。 这时会有困惑,spark在读取文件时,是每台worker节点都把文件读入? 然后在进行分配? 会不会出现重
阅读全文
posted @ 2016-10-20 14:52 miss_UU
阅读(3229)
评论(0)
推荐(0)
编辑
2016年10月17日
eclipse 配置scala开发环境
摘要: 最近在学习spark相关知识。准备搭建eclipse开发环境。在安装过程中遇到的问题记录下来。 首先在scala网站上下载了scalaIDE:http://scala-ide.org/download/prev-stable.html 下载完成后,新建scala项目,在项目上右键, 选择proper
阅读全文
posted @ 2016-10-17 17:00 miss_UU
阅读(10164)
评论(0)
推荐(0)
编辑
2016年10月12日
scala 学习: case class
摘要: case class: 1.定义为case class 的类在实例化时,可以不使用new 关键字。 2. 定义为case class 的类 默认实现了 equals 和hashcode 方法 3. 默认是可序列化的 4. 其构造函数的参数 是public 访问的。如 zhangsan.name 5.
阅读全文
posted @ 2016-10-12 10:16 miss_UU
阅读(2916)
评论(0)
推荐(2)
编辑
2016年10月11日
scala 学习:object 和class, trait
摘要: object: Scala中没有静态修饰符,static,在object下的成员全部都是静态的,如果在类中声明了与该类相同的名字的object则该object是该类的“半生对象”, 可以理解把类中的static集中放到了object对象中,伴生对象和类文件必须是同一个源文件,可以用伴生对象做一些初始
阅读全文
posted @ 2016-10-11 15:02 miss_UU
阅读(2881)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
6
7
···
9
下一页