2012年4月11日
hadoop添加垃圾回收站 管用
摘要： 在core-site.xml中增加如下配置，表明rm后会在trash中保留多少分钟：<property><name>fs.trash.interval</name><value>10080</value><description>Number of minutes between trash checkpoints. If zero, the trash feature is disabled</description></property>hadoop的这个默认值是0.所以需要设置。 阅读全文
posted @ 2012-04-11 09:37 ccmaotang 阅读(363) 评论(0) 推荐(0)
Hadoop杂记
摘要： Hadoop杂记namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式化，启动时自动创建同一个datanode上的每个磁盘上的块不会重复，不同datanode之间的块才可能重复一些文件的说明：1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hos 阅读全文
posted @ 2012-04-11 09:30 ccmaotang 阅读(2340) 评论(0) 推荐(1)