摘要：
Secondary namenode 首先，我们假设如果存储在Namenode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断点，元数据丢失，整个集群就无法工作了！！！因此必须在磁盘中有备份，在磁盘中的备份就是fsIm 阅读全文
posted @ 2019-03-04 22:01
Transkai
阅读(351)
评论(0)
推荐(0)
摘要：
元数据目录分析 在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘： $HADOOP_HOME/bin/hdfs namenode -format 格式化完成之后，将会在$dfs.namenode.name.dir/current目录下如下的文件结构 其中的df 阅读全文
posted @ 2019-03-04 00:24
Transkai
阅读(579)
评论(0)
推荐(0)
摘要：
DataNode 目录结构 和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。 1、 在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current这个目录下查看版本号 [victor@hadoop102 curre 阅读全文
posted @ 2019-03-04 00:16
Transkai
阅读(1015)
评论(0)
推荐(0)
摘要：
HDFS 文件块大小 HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显 阅读全文
posted @ 2019-03-04 00:14
Transkai
阅读(851)
评论(0)
推荐(0)
摘要：
HDFS的shell(命令行客户端)操作实例 3.2 常用命令参数介绍 -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop 阅读全文
posted @ 2019-03-04 00:11
Transkai
阅读(347)
评论(0)
推荐(0)
摘要：
JAVA HDFS客户端操作 通过API操作HDFS org.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common${hadoop.version}org.apache.hadoophadoop-hdfs${hadoop. 阅读全文
posted @ 2019-03-04 00:07
Transkai
阅读(385)
评论(0)
推荐(0)
浙公网安备 33010602011771号