2019年9月24日
观察者模式
摘要： 观察者模式： 当对象间存在一对多关系时，则使用观察者模式（Observer Pattern）。比如，当一个对象状态被修改时，其他依赖者都会收到通知。观察者模式属于行为型模式。 例子： 如下图所示，此例子有三个部分：气象站（获取实际气象数据的物理装置）、WeatherData对象（追踪来自气象站的数据 阅读全文
posted @ 2019-09-24 10:43 oush 阅读(285) 评论(0) 推荐(0) 编辑
2019年9月8日
IDEA常用快捷键
摘要： Mac系统IDEA常用快捷键： http://intellij.linesh.tw/ 阅读全文
posted @ 2019-09-08 23:15 oush 阅读(231) 评论(0) 推荐(0) 编辑
Spark中foreachRDD的正确使用
摘要： 常出现的使用误区： 误区一：在driver上创建连接对象（比如网络连接或数据库连接） 如果在driver上创建连接对象，然后在RDD的算子函数内使用连接对象，那么就意味着需要将连接对象序列化后从driver传递到worker上。而连接对象（比如Connection对象）通常来说是不支持序列化的，此时 阅读全文
posted @ 2019-09-08 23:07 oush 阅读(9606) 评论(0) 推荐(0) 编辑
2019年9月7日
Spark源码编译
摘要： 一、源码下载 spark源码下载：http://spark.apache.org/downloads.html 下载各个历史版本的源码包在这里下载：https://archive.apache.org/dist/spark/ 我下载的是：spark-2.1.0.tgz 二、编译源码 1、编译环境：M 阅读全文
posted @ 2019-09-07 16:59 oush 阅读(1306) 评论(0) 推荐(0) 编辑