【大数据系列】HDFS安全模式
一、什么是安全模式
安全模式时HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。如果HDFS处于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基于datanode启动时的状态来判定的,启动时不会再做任何复制。
二、安全模式的相关配置
系统离开安全模式的条件:
1)可用的block占总数的比例
2)可用的数据节点数量符合要求
三、配置 hdfs-site.xml
dfs.namenode.replication.min:最小的文件block副本数量,默认为1
dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数的百分比,当实际比例超出该配置后,才能离开安全模式
dfs.namenode.safemode.min.datanodes:离开安全模式的最小可用(alive)datanode数量要求,默认是0,也就是即使所有datanode都不可用,仍然可以离开安全模式
dfs.namenode.safemode.extension:当集群可用block比例,可用datanode都达到要求之后,如果在extension配置额时间段之后依然能满足要求,此时集群才离开安全模式,单位为毫秒。默认为1,也就是当满足条件并且能够维持1毫秒之后,离开安全模式。这个配置主要是针对集群的稳定程度做进一步的确认
四、相关操作命令
hadoop dfsadmin -safemode <command>
- get 查看当前状态
- enter 进入安全模式
- leave 强制离开安全模式
- wait 一直等待直到安全模式结束
五、源码分析
import org.apache.hadoop.classification.InterfaceAudience.Private; import org.apache.hadoop.hdfs.protocol.Block; @Private public interface SafeMode { //检查进入或者退出安全模式的条件是否满足,如果满足,进入或退出安全模式 void checkSafeMode(); //系统当前是否处于安全模式 boolean isInSafeMode(); //系统启动时是否自动进入安全模式 boolean isInStartupSafeMode(); boolean isPopulatingReplQueues(); //增加达到最小副本数要求的block数 void incrementSafeBlockCount(int var1); //降低达到最小副本数要求的block数 void decrementSafeBlockCount(Block var1); } //周期性的检测是否可以离开安全模式,逻辑封装在run方法中 class SafeModeMonitor implements Runnable { //两次检测间隔的毫秒数,即1秒 private static final long recheckInterval = 1000L; SafeModeMonitor() { } public void run() { //系统运行时,循环检测 while(FSNamesystem.this.fsRunning) { FSNamesystem.this.writeLock(); try { //没有安全模式相关信息,也就是不在安全模式 if(FSNamesystem.this.safeMode == null) { //线程退出 break; } if(FSNamesystem.this.safeMode.canLeave()) { //离开安全模式 FSNamesystem.this.safeMode.leave(); FSNamesystem.this.smmthread = null; //离开安全模式之后,线程退出 break; } } finally { FSNamesystem.this.writeUnlock(); } try { //两次检测之间,线程休眠 Thread.sleep(1000L); } catch (InterruptedException var4) { ; } } //当系统不在运行的时候,线程结束退出 if(!FSNamesystem.this.fsRunning) { FSNamesystem.LOG.info("NameNode is being shutdown, exit SafeModeMonitor thread"); } } }
在FSNamesystem.class中有SafeModeInfo用于保存安全模式下的相关信息:private volatile FSNamesystem.SafeModeInfo safeMode;
这个变量的类型为volatile,也就是桌该线程对该变量的任何修改完成后,其他线程立刻可以看到变化
private SafeModeInfo(Configuration conf) { this.reached = -1L; this.reachedTimestamp = -1L; this.lastStatusReport = 0L; this.resourcesLow = false; this.shouldIncrementallyTrackBlocks = false; //这个就是之前提到过的百分比配置 this.threshold = (double)conf.getFloat("dfs.namenode.safemode.threshold-pct", 0.999F); if(this.threshold > 1.0D) { FSNamesystem.LOG.warn("The threshold value should\'t be greater than 1, threshold: " + this.threshold); } //最小可用的datanode数量配置 this.datanodeThreshold = conf.getInt("dfs.namenode.safemode.min.datanodes", 0); this.extension = conf.getInt("dfs.namenode.safemode.extension", 0); this.safeReplication = conf.getInt("dfs.namenode.replication.min", 1); FSNamesystem.LOG.info("dfs.namenode.safemode.threshold-pct = " + this.threshold); FSNamesystem.LOG.info("dfs.namenode.safemode.min.datanodes = " + this.datanodeThreshold); FSNamesystem.LOG.info("dfs.namenode.safemode.extension = " + this.extension); this.replQueueThreshold = (double)conf.getFloat("dfs.namenode.replqueue.threshold-pct", (float)this.threshold); this.blockTotal = 0; this.blockSafe = 0; }
即:SafeModeMonitor作为守护线程,在收到来自datanode的BlockReport状态报告之后,周期性检测是否达到离开安全模式的条件,如果符合,则离开安全模式。