07 2016 档案

Hadoop 技术笔记
摘要：Flume与Kafka Flume 是一个分布式，可靠的，可用的服务，有效的收集，聚合和移动海量的日志数据。它有一个简单而灵活的架构，基于流数据流。具有很好的冗余和容错性，以及可靠性和多故障转移和恢复机制。它使用一个简单的可扩展数据模型，并允许在线分析应用。简单的认为Flume是一个收集日志数据的服 阅读全文
posted @ 2016-07-29 11:39 木石头 阅读(233) 评论(0) 推荐(0)
Scala 技术笔记之 可变长参数
摘要：转自 http://www.cnblogs.com/rollenholt/p/4112833.html Scala 允许你指明函数的最后一个参数可以是重复的。这可以允许客户向函数传入可变长度参数列表。想要标注一个重复参数，在参数的类型之后放一个星号。例如： 这样定义， echo 可以被零个至多个 S 阅读全文
posted @ 2016-07-27 17:23 木石头 阅读(5220) 评论(0) 推荐(1)
[收藏] Hadoop 生态系统
摘要：http://www.cnblogs.com/smartloli/p/5640587.html 阅读全文
posted @ 2016-07-15 16:35 木石头
嵌入式 ThriftServer in Spark
摘要：我们知道在Spark中可以通过start-thriftServer.sh 来启动ThriftServer，之后并可以通过beeline或者JDBC来连接并执行Spark SQL。在一般的Spark应用中，通常并不希望另外起一个服务进程，自然就要问：可以在Spark dirver program里启一 阅读全文
posted @ 2016-07-12 17:49 木石头 阅读(2965) 评论(0) 推荐(0)
Spark 代码走读之 Cache
摘要：Spark是基于内存的计算模型，但是当compute chain非常长或者某个计算代价非常大时，能将某些计算的结果进行缓存就显得很方便了。Spark提供了两种缓存的方法 Cache 和 checkPoint。本章只关注 Cache (基于spark-core_2.10)，在后续的章节中会提到 che 阅读全文
posted @ 2016-07-07 17:28 木石头 阅读(6522) 评论(0) 推荐(0)
Scala 技术笔记之 Option Some None
摘要：避免null使用 大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？ 阅读全文
posted @ 2016-07-07 09:45 木石头 阅读(11122) 评论(1) 推荐(0)