虚怀若谷

摘要： （转）无法启动namenode（1）hadoop集群我维护有一段时间了，今天忽然出现了一个问题，当我stop-all.sh后hadoop的web页面无法显示，分析应该是namenode没有启动，检查后果然namenode没有启动，凭借经验，我猜想应该是配置文件的问题，于是仔细检查了conf下的每一个文件，但是配置文件配置无误，namenode依旧无法启动，这个问题困扰了我一天的时间，查看log日志后，发现时pid的问题，在网上查了相关资料后才知道原来我先前的03服务器搁置了一段时间没有添加到datanode，而后我添加后会有一个PID不匹配的问题，于是我着手开始做：日志中显示的错误：2010- 阅读全文

摘要： link:http://jiajun.iteye.com/blog/809125一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。合并后更新fsimage的HDFS状态，创建一个新的edits文件来记录文件系统的变化那么问题来了，只有在名称节点（NameNode）启动的时候才会合并f 阅读全文

摘要： 第12章Shell脚本编程lShell命令行的运行l编写、修改权限和执行Shell程序的步骤l在Shell程序中使用参数和变量l表达式比较、循环结构语句和条件结构语句l在Shell程序中使用函数和调用其他Shell程序12-1Shell命令行书写规则uShell命令行的书写规则对Shell命令行基本功能的理解有助于编写更好的Shell程序，在执行Shell命令时多个命令可以在一个命令行上运行，但此时要使用分号（；）分隔命令，例如：[root@localhostroot]# ls a* -l;free;df长Shell命令行可以使用反斜线字符（\）在命令行上扩充，例如：[root@localho 阅读全文

摘要： 光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 snn，还是需要做一些工作的。hadoop的默认配置中让 snn进程默认运行在了 namenode 的那台机器上，但是这样的话，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，更好的方式是.. 阅读全文