摘要： 在Hadoop集群硬件故障，或者操作系统升级等部分情况下，需要在不丢失数据的情况下将namenode迁移到其他服务器，特在此记录操作流程，供后续参考。 阅读全文

摘要： 日常小点滴 阅读全文

摘要： 从Java底层源码去看数据读入Map阶段的原理，追根溯源的学习输入文件是如何被过滤、读取、分片、读出“K-V对”，然后交给Mapper类来处理的。 阅读全文

摘要： 详细介绍HBase提供的一个比较高效快捷的入库方法：Bulk Loading，即HBase提供的HFileOutputFormat类。 　　1.这种方式的优点 　　2.这种方式的局限 　　3.生成HFile部分介绍 　　4.入库介绍 阅读全文

摘要： 全面深入的讲解HBase Memstore的相关知识，阅读完本文之后，相信你对HBase Memstore的理解，注意事项，相关配置项，都会有一个全面深入的认识，对于集群的维护及调优都会有指导意义，本文主要介绍： 　　1.HBase Memstore概览 　　2.HBase Memstore关注要点 　　3.配置Memstore Flushes 　　4.频繁的Memstore Flushes 问题 　　5.多CF与Memstore Flushes 问题 　　6.HLog(WAL) size 与Memstore Flushes 问题 　　7.压缩与Memstore Flushes 问题 阅读全文

摘要： 因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写Hadoop Snappy安装过程，大部分是照着Google的文档翻译了一遍，并没有列举出遇到的问题。有的博文，明明其验证提示是错误的，还说如果输出XXX，说明安装成功了。费了老大的劲，终于毫无错误的安装成功了，现将详细步骤及遇到的问题，一一列出，只希望接下来需要研究及安装的朋友，看到这篇博文，能够一气安装成功！本篇文章主要包括： 1. Snappy 压缩算法介绍及集中压缩算法比较 2. Native Snappy 安装过程及验证 3. Hadoop Snappy 源码编译过程 4. Hadoop Snappy 安装配置过程及验证 5. HBase 配置Snappy及验证 阅读全文

摘要： HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。 这里主要介绍： 1.Namenode是什么，其作用是什么？ 2.Datanode是什么，其作用是什么？ 3.简要介绍Hadoop HA. 阅读全文

摘要： HDFS Block 是HDFS很重要的一个概念，这里主要简述： 1.HDFS Block 概念 2.HDFS Size 大小设计 3.HDFS Block抽象有什么好处 阅读全文

摘要： Hadoop snappy build的几个问题。 阅读全文

摘要： 这个是因为编译的时候带了native 参数，但是没装autotool。Centos下。yum install autoconfyum install automakeyum install libtool <---这个里面有 autoreconf还是不行就 -P-cbuild 编译吧，别用native了。 阅读全文