随笔分类 -  HDFS

Hadoop HDFS
HBase概念及表格设计
摘要：HBase概念及表格设计1. 概述（扯淡~）HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后，犹如醍醐灌顶，进而“山寨”出来的一套系统。由此可见： 1. 几乎所有的HBase中的理念，都可以从BigTable论文中得到解释。原文是英语的，而且还有不少数学概念，看了有... 阅读全文
posted @ 2015-05-22 00:30 JinJ 阅读(26986) 评论(2) 推荐(8)
C++ Thrift Client 与 Flume Thrift Source 对接
摘要：项目需要C++代码与flume对接，进而将日志写入HDFS。flume原生为java代码，原先的解决方案是通过JNI调用flume java方法。但是由于一来对jni的调用效率的担心，二来C++调用JNI需要照顾local reference和GC的问题，被搞得头痛了。一怒之下，重写代码了，使用C+... 阅读全文
posted @ 2015-04-09 17:12 JinJ 阅读(2422) 评论(2) 推荐(0)
hdfs datanode 启动失败
摘要：hadoop-root-datanode-ubuntu.log中：2015-03-12 23:52:33,671 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool ... 阅读全文
posted @ 2015-03-14 01:16 JinJ 阅读(3456) 评论(0) 推荐(0)
namenode 启动失败
摘要：启动hdfs后（start-dfs.sh）, 发现jps中namenode的进程不存在，导致hdfs连接不成功。查看log，发现其中：2015-03-11 20:23:00,986 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exce... 阅读全文
posted @ 2015-03-14 01:01 JinJ 阅读(1560) 评论(0) 推荐(0)