虚怀若谷

摘要： Memcached笔记——（一）安装&常规错误&监控link:http://snowolf.iteye.com/blog/144734808年的时候接触过Memcached，当时还对它的客户端产品嗤之以鼻，毕竟手工代码没有各种ORM原生XML配置方便。尽管如此，Memcached现在已经成了服务器架构里不可或缺的一部分！ 一、下载 1.Libevent 简单的说就是一个事件触发的网络库，Memcached离不开它。 Shell代码 wget http://cloud.github.com/downloads/libevent/libevent/libevent-2.0.17-s 阅读全文

摘要： secondarynamenode异常信息2012-03-15 16:52:01,150 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Checkpoint Period :3600 secs (60 min)2012-03-15 16:52:01,151 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :67108864 bytes (65536 KB)2012-03-15 16:57:01,389 E 阅读全文

摘要： 在core-site.xml中增加如下配置，表明rm后会在trash中保留多少分钟：<property><name>fs.trash.interval</name><value>10080</value><description>Number of minutes between trash checkpoints. If zero, the trash feature is disabled</description></property>hadoop的这个默认值是0.所以需要设置。 阅读全文

摘要： Hadoop杂记namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式化，启动时自动创建同一个datanode上的每个磁盘上的块不会重复，不同datanode之间的块才可能重复一些文件的说明：1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hos 阅读全文

摘要： Hadoop添加删除节点link:http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html添加节点1.修改host和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves添加新增节点的ip或host 3.在新节点的机器上，启动服务[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktra 阅读全文

摘要： 请使用支持 JDBC 4.0 的 sqljdbc4.jar 类库2011-06-17 13:37java.lang.UnsupportedOperationException: 此驱动程序不支持 Java Runtime Environment (JRE) 1.6 版。请使用支持 JDBC 4.0 的 sqljdbc4.jar 类库。JDBC2.0驱动程序有两个jar包，分别为sqljdbc.jar和sqljdbc4.jar，只用把sqljdbc4.jar拷贝到tomcat\lib文件夹下就行了，不要sqljdbc.jar这个jar包。 阅读全文

摘要： （转） 一个从fedora7中拷贝过来的bash脚本，居然不能在ubuntu下面执行，提示错误Bad for loop variableG了一把，在TW同胞那里找到了答案～原来是bash和dash的问题解决方法：使用sudo dpkg-reconfigure dash选择NO。。世界又清静了~（经典！）感谢link:http://hi.baidu.com/yk103/blog/item/1e9831fa3fc23d8c9e5146d0.html 阅读全文

摘要： （转）无法启动namenode（1）hadoop集群我维护有一段时间了，今天忽然出现了一个问题，当我stop-all.sh后hadoop的web页面无法显示，分析应该是namenode没有启动，检查后果然namenode没有启动，凭借经验，我猜想应该是配置文件的问题，于是仔细检查了conf下的每一个文件，但是配置文件配置无误，namenode依旧无法启动，这个问题困扰了我一天的时间，查看log日志后，发现时pid的问题，在网上查了相关资料后才知道原来我先前的03服务器搁置了一段时间没有添加到datanode，而后我添加后会有一个PID不匹配的问题，于是我着手开始做：日志中显示的错误：2010- 阅读全文

摘要： link:http://jiajun.iteye.com/blog/809125一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。合并后更新fsimage的HDFS状态，创建一个新的edits文件来记录文件系统的变化那么问题来了，只有在名称节点（NameNode）启动的时候才会合并f 阅读全文

摘要： 第12章Shell脚本编程lShell命令行的运行l编写、修改权限和执行Shell程序的步骤l在Shell程序中使用参数和变量l表达式比较、循环结构语句和条件结构语句l在Shell程序中使用函数和调用其他Shell程序12-1Shell命令行书写规则uShell命令行的书写规则对Shell命令行基本功能的理解有助于编写更好的Shell程序，在执行Shell命令时多个命令可以在一个命令行上运行，但此时要使用分号（；）分隔命令，例如：[root@localhostroot]# ls a* -l;free;df长Shell命令行可以使用反斜线字符（\）在命令行上扩充，例如：[root@localho 阅读全文