HDFS - 随笔分类 - 山高似水深

Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers hdfs硬盘90% yarn unhealthy

摘要：1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers 1/1 local-dirs are bad: /v 阅读全文

posted @ 2016-09-28 18:03 山高似水深阅读(3277) 评论(0) 推荐(0)

HADOOP HDFS BALANCER介绍及经验总结（转）

摘要：1.集群执行balancer命令，依旧不平衡的原因是什么？该如何解决？2.尽量不在NameNode上执行start-balancer.sh的原因是什么？集群平衡介绍 Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时阅读全文

posted @ 2016-09-18 10:01 山高似水深阅读(2509) 评论(0) 推荐(0)

查看hdfs各目录分别占用多少空间

摘要：之前在网上搜索到的全部单位好像都是byte的，看起来很麻烦，然后自己看了下 hadoop fs -help hadoop fs -du -h / hadoop fs -du -h /tmp 很简单明了，前面的数字即为目录所占空间的大小，后面的因为我前期备份数为3 后期改为2 所以可能会不一样阅读全文

posted @ 2016-08-09 16:26 山高似水深阅读(70172) 评论(2) 推荐(5)

eclipse配置hadoop location的端口号

摘要：在eclipse下配置hadoop location的时候 hadoop端口号应该与conf文件夹下的core-site.xml以及mapred-site.xml保持一致前者对应dfs master，后者对应map-red master //这是mapred-site.xml mapred.job.tracker http://master.hadoop:90... 阅读全文

posted @ 2016-08-09 16:02 山高似水深阅读(1768) 评论(0) 推荐(0)

随笔分类 - HDFS