随笔分类 -  hadoop

hadoop源码剖析--hdfs安全模式
摘要：一、什么是安全模式 hadoop安全模式是name node的一种状态，处于该状态时有种量特性： 1.namenode不接受任何对hfds文件系统的改变操作（即此时整个文件系统处于只读状态）； 2.不执行block的replica和delete动作。二、安全模式的原理 安全模式实在n... 阅读全文
posted @ 2015-05-29 17:21 JerryShao 阅读(494) 评论(1) 推荐(0)
hadoop源码剖析--RawLocalFileSystem
摘要：RawLocalFileSystem是hadoop中实现的本地文件系统，在该类中与文件元数据和目录相关的操作，都是通过适配方式适配到java.io.File的对应API来完成的，适配过程简单，代码清晰。1.文件元数据和目录相关的操作分析下面主要以mkDirs()方法为例来窥探该类的实现和一些独到之处... 阅读全文
posted @ 2015-03-13 16:42 JerryShao 阅读(1225) 评论(0) 推荐(0)
机架感知
摘要：1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保... 阅读全文
posted @ 2014-09-18 15:56 JerryShao 阅读(472) 评论(0) 推荐(0)
hadoop源码剖析--$HADOOP_HOME/bin/hadoop脚本文件分析
摘要：1. $HADOOP_HOME/bin/ hadoop#!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. S... 阅读全文
posted @ 2014-08-11 13:00 JerryShao 阅读(836) 评论(0) 推荐(0)
org.apache.hadoop.hbase.NotServingRegionException: Region is not online 错误
摘要：当遇到如下错误的时候 可能以为是regionserver 挂掉或者其他原因导致连接不上regionserver 但后面提示了Hbase 表statistic_login 具体信息Thu Jan 17 15:30:12 CST 2013, org.apache.hadoop.hbase.client.... 阅读全文
posted @ 2014-07-30 16:55 JerryShao 阅读(1524) 评论(0) 推荐(0)
hadoop部署之防火墙
摘要：在部署hadoop时，好多资料上都写了要关闭防火墙，如果不关闭可能出现节点间无法通信的情况，于是大家也都这样做了，因此集群通信正常。当然集群一般是处于局域网中的，因此关闭防火墙一般也不会存在安全隐患，但如果需要防火墙对其他的连接依旧起作用的话，就不能简单的关闭它，而是可以通过配置防火墙的过滤规则，即... 阅读全文
posted @ 2014-07-30 16:09 JerryShao 阅读(1668) 评论(0) 推荐(0)
hadoop Namenode因硬盘写满无法启动
摘要：当写元数据的分区写满，可能导致namenode挂掉从而导致及时清理出大块的空间也无法启动namenode，那此时系统namenode会报错org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException:... 阅读全文
posted @ 2014-07-16 12:38 JerryShao 阅读(356) 评论(0) 推荐(0)
hadoop2.x安装配置
摘要：1.首先准备hadoop2.2.0的安装包，从官网获取，略。2.加压安装包，进行配置。假设hadoop安装到/usr/hadoop-2.2.0目录，则进行如下配置：（1）/etc/profile配置export HADOOP_PREFIX=/usr/hadoop-2.2.0export PATH=$... 阅读全文
posted @ 2014-06-30 12:16 JerryShao 阅读(179) 评论(0) 推荐(0)
hadoop异常：Be Replicated to 0 nodes, instead of 1
摘要：Hadoop 坑爹的Be Replicated to 0 nodes, instead of 1 异常博客分类：Java 编程HadoopITeyeJSP算法Apache有段时间不写博客了，感觉自己懒惰了不少，当然也是不够努力。近一年的时间一直在开发Hadoop基础应用。 新的项目上线之后发现，有些... 阅读全文
posted @ 2014-05-10 23:26 JerryShao 阅读(323) 评论(0) 推荐(0)
为datanode配置多个数据存储地
摘要：datanode配置多个数据存储地址，涉及到以下两个配置项dfs.name.dirDetermines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a... 阅读全文
posted @ 2014-04-17 16:44 JerryShao 阅读(235) 评论(0) 推荐(0)
hadoop datanode启动失败（All directories in dfs.data.dir are invalid）
摘要：由于hadoop节点的磁盘满了，导致节点死掉，今天对其进行扩容。首先，将原节点的数据拷贝到目标节点下，从而避免数据的丢失，但是在执行hadoop_daemon.sh start datanode后没有启动datanode，查看log如下：2014-04-17 11:44:06,200 WARN or... 阅读全文
posted @ 2014-04-17 15:57 JerryShao 阅读(557) 评论(0) 推荐(0)