hadoop进程理解
HDFS相关（NN,DN,SSN）
NameNode(NN)
功能：
1、接受客户端的读/写服务
因为NameNode知道数据文件与DataNode的对应关系
2、保存文件的时候会保存文件的元数据信息
a. 文件的归属
b. 文件的权限
c. 文件的大小，时间
d. Block信息，但是block的位置信息不会持久化，需要每次开启集群的时候DN向NN汇报。
3、收集Block的位置信息
3.1 系统启动
a. NN关机的时候是不会存储任何的Block与DataNode的映射信息的
b. DN启动的时候会自动将自己节点上存储的Block信息汇报给NN
c. NN接收请求之后会重新生成映射关系
File ----> Block
Block---> DN
d. 如果数据块的副本数小于设置数，那么NN会将这个副本拷贝到其他节点
3.2 集群运行中
a. NN与DN保持心跳机制，三秒钟发送一次
b. 如果客户端需要读取或者上传数据的时候，NN可以知道DN的健康情况
c. 可以让客户端读取存活的DN节点
d. 如果NN与DN三秒没有心跳则认为DN出现异常,此时不会让新的数据写到这个异常的DN中,客户端访问的时候不提供异常DN节点地址
e. 如果超过十分钟没有心跳，那么NN会将当前DN节点存储的数据转移到其他的节点
4、NameNode为了效率，将所有的操作都在内存中进行
a. 执行速度快
b. NameNode不会和磁盘进行任何的数据交换
但是会存在两个问题：
2）数据保存在内存中，断电丢失
DataNode(DN)
1、存放的是文件的数据信息(block块的信息)，以及验证文件完整性的校验信息（.meta）
2、数据会存放在硬盘上
a. 1m=1条元数据
b. 1G=1条元数据
c. NameNode非常排斥存储小文件（能存，但是不推荐！！面试必问）
一般小文件在存储之前需要进行压缩,合并成大文件等操作
3、汇报
1）启动时
汇报之前会验证Block文件是否被损坏
向NN汇报当前DN上block的信息
2）运行中
向NN保持心跳机制
4、当客户端读写数据的时候，首先会先去NN查询file与block与DN的映射，然后客户端直接与DN建立连接，然后读写数据
SecondaryNameNode（SNN）
1、传统的内存持久化方案
1）日志机制
a. 做任何操作之前先记录日志
b. 在数据改变之前先记录对应的日志，当NN停止的时候
c. 当我下次启动的时候，只需要重新按照以前的日志“重做一遍”即可
缺点：
a. log日志文件的大小不可控，随着时间的发展，集群启动的时间会越来越长
b. 有可能日志中存在大量的无效日志
优点：
a. 绝对不会丢失数据
2）拍摄快照
a. 我们可以将内存中的数据写出到硬盘上（序列化）
b. 启动时还可以将硬盘上的数据写回到内存中（反序列化）
缺点：
a. 关机时间过长
b. 如果是异常关机，数据还在内存中，没法写入到硬盘
c. 如果写出的频率过高，导致内存使用效率低
优点：
启动时间较短
2、SNN的解决方案（面试题）
1）解决思路
a. 让日志大小可控（每64M）
b. 快照需要定时保存(每隔1h)
c. 日志+快照
a.
图解
安全模式
安全模式是 HDFS 的一种工作状态，处于安全模式的状态下，只向客户端提供文件的只读视图，不接受对命名空间的修改；同时 NameNode 节点也不会进行数据块的复制或者删除， NameNode 启动时，
1）首先将镜像文件（ fsimage ）载入内存，并执行编辑日志（ edits ）中的各项操作。
2）一旦在内存中成功建立文件系统元数据的映射，则创建一个新的 fsimage 文件和一个空的编辑日志。
3）NameNode 开始监听 RPC 和 Http 请求。
4）此时 NameNode 处于安全模式，只接受客户端的读请求。
5）处于这个状态是为了保护数据的安全所以只能被客户端访问读取数据
安全模式下
a. 安全模式下，各个 DataNode 会向 NameNode 发送自身的数据块列表
b. 当 NameNode 有足够的数据块信息后，便在 30 秒后退出安全模式
c. NameNode 发现数据节点过少会启动数据块复制过程
如果 NN 收集的 Block 信息没有达到最少副本数，就会将缺失的副本 , 从有的 DN 上拷贝到其他 DN
a. dfs.replication.min=2
b. 但是默认最低副本数为 1
c. 在拷贝的过程中系统还是处于安全模式
安全模式相关命令
hadoop dfsadmin -safemode leave 强制 NameNode 退出安全模式
hadoop dfsadmin -safemode enter 进入安全模式
hadoop dfsadmin -safemode get 查看安全模式状态
