Sun's Blog-专注于阅读

摘要： @ 概念 Job(作业) : 一个MapReduce程序称为一个Job。 MRAppMaster（MR任务的主节点）: 一个Job在运行时，会先启动一个进程，这个进程称为MRAppMaster，负责Job中执行状态的监控，容错，和RM申请资源，提交Task等。 Task(任务)： Task是一个进程 阅读全文

摘要： 从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa 阅读全文

摘要： @ 计算机网络体系架构相关概念 IS0--internet standard organzation 国际标准化组织 0SI/RM--Open System Interconnection 开放式系统互联 TCP/IP Suite 因特网事实上的国际标准 Network Protocols 数据交换 阅读全文

摘要：  阅读全文

摘要： @ 集群启动顺序： NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个 阅读全文

摘要： 1.NN的作用 保存HDFS上所有文件的元数据！ 接受客户端的请求！ 接受DN上报的信息，给DN分配任务(维护副本数)！ 2.元数据的存储 元数据存储在fsiamge文件+edits文件中！ fsimage(元数据的快照文件) edits(记录所有写操作的日志文件) NN负责处理集群中所有客户端的请 阅读全文

摘要： 1.速率 连接在计算机网络上的主机在数字信道上传送数据位数的速率，也称为data rate或bit rate 单位是单位是b/s，kb/s，Mb/s，Gb/s. 2.带宽 数据通信领域中，数字信道所传送的最高数据率 单位是b/s，kb/s，Mb/s，Gb/s. 3.吞吐量 即在单位时间内通过某个网络 阅读全文

摘要： @ 单点启动 如果集群是第一次启动，需要格式化NameNode hadoop namenode -format 在某一台机器上启动NameNode节点 hadoop-daemon.sh start namenode 在其他机器上启动DataNode节点 hadoop-daemon.sh start 阅读全文

摘要： 记住一句话： 节点距离=两个节点到达最近的共同祖先的距离总和 如图： 在同一节点上，它们之间的距离当然是0，2*0=0 在同一机架上的不同节点，它们的共同祖先就是这个机架，而这两个节点到机架的距离都是1，所以这两个节点的距离为1+1=2 在同一集群的不同机架上的节点，它们的共同祖先是集群，而这两个节 阅读全文

摘要： @ 写数据流程 ①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件 ③NN处理请求，检查客户端是否有权限上传，路径是否合法等 ④检查通过，NN响应客户端可以上传 ⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M, NN根 阅读全文