随笔分类 -  Hadoop Ecosys

Hadoop Hive Hbase
Hadoop Mapreduce 参数 （二）
摘要：## MergeManagerImpl 类### 内存参数计算#### maxInMemCopyUse位于构造函数中``` final float maxInMemCopyUse = jobConf.getFloat(MRJobConfig.SHUFFLE_INPUT_BUFFER_... 阅读全文
posted @ 2015-08-08 14:25 卖程序的小歪 阅读(742) 评论(0) 推荐(0)
Hadoop Mapreduce 参数 （一）
摘要：# 参考 * hadoop权威指南 第六章，6.4节# 背景hadoop，mapreduce就如MVC，spring一样现在已经是烂大街了，虽然用过，但是说看过源码么，没有，调过参数么？调过，调到刚好能跑起来。现在有时间看看hadoop权威指南，感觉真是走了许多弯路。# MR流程# 参数## 共同影... 阅读全文
posted @ 2015-08-04 14:02 卖程序的小歪 阅读(1769) 评论(0) 推荐(0)
Hadoop HDFS 的 HttpFS
摘要：# 参考* Hadoop权威指南 第3章中3.4节# 背景要写一个操作HDFS的web后台(文件CRUD)，虽然可以直接使用HDFS提供的`FileSystem`类然后通过`get`方法获取到一个`DistributedFileSystem`（假设提供的文件url的模式是`hdfs://`开头）的实... 阅读全文
posted @ 2015-08-04 09:53 卖程序的小歪 阅读(6188) 评论(0) 推荐(0)
ElasticSearch 使用小结
摘要：# 写在前面要做个元数据服务，包括存储和查询。元数据除了一些基本字段外，其他格式是自由的，存储输入为一个`JSON`形式。比如下面是一个文件对象的元数据：```{ "name":"myfile", "type":"file", "user":"ubuntu" "path":"... 阅读全文
posted @ 2015-07-17 13:19 卖程序的小歪 阅读(224) 评论(0) 推荐(0)
HBASE & DB : ACID 事务 与 相关实现
摘要：# ACID 阅读全文
posted @ 2015-07-07 00:32 卖程序的小歪 阅读(174) 评论(0) 推荐(0)
Hive Metastore 连接报错
摘要：背景项目中需要通过一些自定义的组件来操控hive的元数据，于是使用了remote方式来存储hive元数据，使用一个服务后台作为gateway，由它来控制hive元数据。现象在windows上连接hive metastore的时候，无端的会报NullPointerException，非常费解。分析看了... 阅读全文
posted @ 2015-06-04 21:20 卖程序的小歪 阅读(5918) 评论(0) 推荐(0)