摘要: Memcached笔记——(一)安装&常规错误&监控link:http://snowolf.iteye.com/blog/144734808年的时候接触过Memcached,当时还对它的客户端产品嗤之以鼻,毕竟手工代码没有各种ORM原生XML配置方便。尽管如此,Memcached现在已经成了服务器架构里不可或缺的一部分! 一、下载 1.Libevent 简单的说就是一个事件触发的网络库,Memcached离不开它。 Shell代码 wget http://cloud.github.com/downloads/libevent/libevent/libevent-2.0.17-s 阅读全文
posted @ 2012-04-13 19:08 ccmaotang 阅读(801) 评论(0) 推荐(0)
摘要: secondarynamenode异常信息2012-03-15 16:52:01,150 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Checkpoint Period :3600 secs (60 min)2012-03-15 16:52:01,151 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :67108864 bytes (65536 KB)2012-03-15 16:57:01,389 E 阅读全文
posted @ 2012-04-12 15:31 ccmaotang 阅读(948) 评论(0) 推荐(0)
摘要: 在core-site.xml中增加如下配置,表明rm后会在trash中保留多少分钟:<property><name>fs.trash.interval</name><value>10080</value><description>Number of minutes between trash checkpoints. If zero, the trash feature is disabled</description></property>hadoop的这个默认值是0.所以需要设置。 阅读全文
posted @ 2012-04-11 09:37 ccmaotang 阅读(363) 评论(0) 推荐(0)
摘要: Hadoop杂记namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式化,启动时自动创建同一个datanode上的每个磁盘上的块不会重复,不同datanode之间的块才可能重复一些文件的说明:1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hos 阅读全文
posted @ 2012-04-11 09:30 ccmaotang 阅读(2340) 评论(0) 推荐(1)
摘要: Hadoop添加删除节点link:http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html添加节点1.修改host和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves添加新增节点的ip或host 3.在新节点的机器上,启动服务[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktra 阅读全文
posted @ 2012-04-10 17:53 ccmaotang 阅读(256) 评论(0) 推荐(0)
摘要: 请使用支持 JDBC 4.0 的 sqljdbc4.jar 类库2011-06-17 13:37java.lang.UnsupportedOperationException: 此驱动程序不支持 Java Runtime Environment (JRE) 1.6 版。请使用支持 JDBC 4.0 的 sqljdbc4.jar 类库。JDBC2.0驱动程序有两个jar包,分别为sqljdbc.jar和sqljdbc4.jar,只用把sqljdbc4.jar拷贝到tomcat\lib文件夹下就行了,不要sqljdbc.jar这个jar包。 阅读全文
posted @ 2012-03-27 18:18 ccmaotang 阅读(1277) 评论(0) 推荐(0)
摘要: (转) 一个从fedora7中拷贝过来的bash脚本,居然不能在ubuntu下面执行,提示错误Bad for loop variableG了一把,在TW同胞那里找到了答案~原来是bash和dash的问题解决方法:使用sudo dpkg-reconfigure dash选择NO。。世界又清静了~(经典!)感谢link:http://hi.baidu.com/yk103/blog/item/1e9831fa3fc23d8c9e5146d0.html 阅读全文
posted @ 2012-03-23 15:44 ccmaotang 阅读(1128) 评论(0) 推荐(0)
摘要: (转)无法启动namenode(1)hadoop集群我维护有一段时间了,今天忽然出现了一个问题,当我stop-all.sh后hadoop的web页面无法显示,分析应该是namenode没有启动,检查后果然namenode没有启动,凭借经验,我猜想应该是配置文件的问题,于是仔细检查了conf下的每一个文件,但是配置文件配置无误,namenode依旧无法启动,这个问题困扰了我一天的时间,查看log日志后,发现时pid的问题,在网上查了相关资料后才知道原来我先前的03服务器搁置了一段时间没有添加到datanode,而后我添加后会有一个PID不匹配的问题,于是我着手开始做:日志中显示的错误:2010- 阅读全文
posted @ 2012-03-22 14:45 ccmaotang 阅读(3045) 评论(0) 推荐(0)
摘要: link:http://jiajun.iteye.com/blog/809125一、dits和fsimage 首先要提到两个文件edits和fsimage,下面来说说他们是做什么的。集群中的名称节点(NameNode)会把文件系统的变化以追加保存到日志文件edits中。当名称节点(NameNode)启动时,会从镜像文件 fsimage 中读取HDFS的状态,并且把edits文件中记录的操作应用到fsimage,也就是合并到fsimage中去。合并后更新fsimage的HDFS状态,创建一个新的edits文件来记录文件系统的变化那么问题来了,只有在名称节点(NameNode)启动的时候才会合并f 阅读全文
posted @ 2012-03-22 13:16 ccmaotang 阅读(333) 评论(0) 推荐(0)
摘要: 第12章Shell脚本编程lShell命令行的运行l编写、修改权限和执行Shell程序的步骤l在Shell程序中使用参数和变量l表达式比较、循环结构语句和条件结构语句l在Shell程序中使用函数和调用其他Shell程序12-1Shell命令行书写规则uShell命令行的书写规则对Shell命令行基本功能的理解有助于编写更好的Shell程序,在执行Shell命令时多个命令可以在一个命令行上运行,但此时要使用分号(;)分隔命令,例如:[root@localhostroot]# ls a* -l;free;df长Shell命令行可以使用反斜线字符(\)在命令行上扩充,例如:[root@localho 阅读全文
posted @ 2012-03-22 12:58 ccmaotang 阅读(1253) 评论(0) 推荐(0)