文章分类 - Hadoop
摘要：rebalance 有时候HDFS集群并不平衡，可能在一个DataNode中数据量很多，而另一个DataNode中数据量很少，这就导致整个集群使用率低，有些节点压力小，有些节点压力大，集群不稳定。加入刚加进来一个DataNode节点，压力比较轻，而别的DataNode节点负载压力中，需要平衡一下数据
阅读全文
摘要：Snapshots用于数据备份、保护数据不被破坏 基本命令 允许这个文件路径可以创建snapshots： hdfs dfsadmin -allowSnapshot /user/hadoop-twq/cmd 创建snapshots hdfs dfs -createSnapshot /user/hado
阅读全文
摘要：为了解决Federation配置的问题（访问集群的时候我们要记住每个NameNode所在节点的名称） ViewFS配置（在master节点配置）： 配置前先关闭集群 1、配置core-site.xml： 将原本的文件： <configuration > <property> <name>fs.def
阅读全文
摘要：NameNode怎样扩展？ 首先要明确为什么要扩展NameNode，因为NameNode存储在内存中，而内存容量是有限的，当一台节点NameNode内存满了，不足以存放的时候，就需要扩展，（NameNode管理了很多文件，每个文件下又有很多数据块，数据会膨胀的很厉害，当集群大到一定程度的时候，上亿，
阅读全文
摘要：创建一个321M的big_file.txt文件： 写一个脚本：vi test.sh，内容： #!/bin/bash for((i=0;i<=$1;i++)) do echo "just an example" >> big_file.txt done 执行脚本：bash test.sh 100(增加
阅读全文
摘要：Linux中，rm put.txt是恢复不出来的 hdfs中，hadoop fs -rm /user/hadoop-twq/cmd/put.txt恢复不出来 如果想要删完之后还可以找到，hdfs提供了trash机制（默认是关闭的） 需要在core-site.xml配置： <property> <na
阅读全文
摘要：在master上以hadoop-twq用户登录 cd ~、ls / 查看HDFS文件目录： hadoop fs -ls hdfs://master:9999/(当前还没有文件) 效果等同于：hadoop fs -ls / 效果也等同于：hdfs dfs -ls / 在这个根目录创建一个文件或目录：
阅读全文
摘要：5PB甚至更大的数据集怎么存储 ？ 1PB = 1024TB、1TB = 1024GB、1GB = 1024M 假设我们将数据块的大小定义成256M， 那么5PB的数据集可以划分成20971520左右的数据块， 这些数据块可以均匀分布在1000台机器节点（每个节点假设空间为10TB上 一台机器死了怎
阅读全文
摘要：参见：https://gitee.com/AntarcticPenguin/AntarcticPenguinBlogs/blob/master/BigData/HDFS/notes/001/Hadoop%E5%AE%89%E8%A3%85.md
阅读全文
摘要：参见：https://gitee.com/AntarcticPenguin/AntarcticPenguinBlogs/blob/master/BigData/HDFS/notes/001/Hadoop%E5%AE%89%E8%A3%85.md
阅读全文
浙公网安备 33010602011771号