Hadoop HDFS 简单小知识

1、Hadoop几种运行模式？
Hadoop的运行模式包括：本地模式，伪分布模式，完全分布模式
本地模式：不需要任何集群配置，是在单节点上部署，仅限于调试。
伪分布模式：这种模式需要在单独的节点上进行相应的分布式设置，各个组件各自占用进程，模拟分布式各个节点。
完全分布模式：需要在多台主机上进行分布式的设置，要求主机之间能互相通信，各个组件分别部署在独立的主机上，真正的实现多节点部署。

2、SCP命令使用
scp -r 路径 user@hostname:路径
或
scp -r user1@hostname1：路径 user2@hostname2：路径

3、rsync命令使用
rsycn [-av] 路径 user@hostname:路径
或
rsycn [-av] user1@hostname1：路径 user2@hostname2：路径

4、rsync\SCP不同
（1）用rsync做文件的复制要比scp速度快
（2）rsync会对两端的文件做对比，有差异的文件会被复制过去，完全相同的会被跳过
（3）scp不做对比，直接复制，同名的文件会直接覆盖。

5、DataNode和NameNode进程同时只能工作一个，排查方案。
（1）NameNode在format初始化后会生成clusterId
（2）DataNode在启动后也会生成和NameNode一样的clusterId
（3）再次格式化NameNode，生成新的clusterId，与未删除的DataNode的clusterid不一致
（4）解决方法：格式化之前，先删除DataNode里面的信息，默认在/tmp下。

6、What is HDFS？
HDFS（Hadoop Distributed File System）,它是一个文件系统，用于存储文件，通过目录树来定位；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
7、HDFS优\劣势
优点：
（1）高容错性
（2）适合处理大数据
（3）可构建在廉价服务器上
缺点：
（1）不适合低延时数据访问
（2）无法高效的对大量小文件进行存储
（3）仅支持数据追加，不支持文件随机修改
8、Namenode主要职责
（1）管理HDFS的名称空间
（2）配置副本策略
（3）管理数据块映射信息
（4）处理客户端读写请求
9、DataNode主要职责
（1）存储实际的数据库
（2）执行数据块的读写操作
10、HDFS默认文件块大小及原因。
HDFS默认的文件块大小为128M。
按照最佳传输损耗理论，一次传输中，寻址时间占用总传输时间的1%为最佳。目前普通磁盘写的速度约为
100M/S，而块在传输时，每64KB需要校验一次，因此块的大小为2的n次方，最接近100M的就是128M。