摘要：一：hdfs设计原理 负载均衡，考虑分布式计算 -->block机制 二：block默认大小为128m，【hadoop2.0版本以上】，之前都是64m。 最小块大小为1m，每512个字节做一次checksum。 原因：默认传输效率10M/s 寻址时间占传输时间的1% 寻址时间为10ms 总结：blo 阅读全文

摘要：1:namenode[守护进程]作用： -->管理文件系统名称空间；【fsimage元数据镜像文件】 -->管理客户端对文件的访问；【edits操作文件】 -->Namenode执行文件系统命名空间操作，如打开，关闭，重命名文件和目录【edits操作文件】 -->确定block到Datanode的映 阅读全文

摘要：1.克隆两个节点 2.修改静态IP 3.修改主机名 4.修改主机名和IP的映射 5.配置SSH无密登陆 6.安装jdk 7.安装hadoop 8.配置环境变量 9.修改配置文件 10.格式化分布式文件系统 11.开启分布式 1.克隆节点 前提是我们的虚拟机网络配置成功jdk安装成功，hadoop安装 阅读全文

摘要：一：搭建的种类 1）本机模式 2）伪分布式模式 3）完全分布式模式 我们先来学习下搭建伪分布式模式。 二：要求 hadoop版本2.7.3，这个版本的hadoop有些小的bug但是不影响使用，电脑要求8G内存，最好加固态硬盘，会大大提升电脑的性能，centos6.5/6.8。 三：安装步骤 1.安装 阅读全文

摘要：一：来源 雅虎 >谷歌两篇论文GFS，mapreduce。 二：组成 hadoop common：支持其他Hadoop模块的常用工具。 HDFS：分布式文件系统，提供对应用程序数据的高吞吐量访问。全称：Hadoop Distributed File System。 hadoop yarn：作业调度和 阅读全文