摘要： 一、HDFS 写数据流程 写的过程： CLIENT（客户端）：用来发起读写请求，并拆分文件成多个 Block； NAMENODE：全局的协调和把控所有的请求，提供 Block 存放在 DataNode 上的地址； DATANODE：负责数据的存储，可以有很多个； 客户端想 NameNode 发出请求 阅读全文

摘要： 所有的内容都来源与 Hadoop 官方文档 一、Hadoop 伪分布式安装步骤 1）JDK安装 解压：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系统环境变量： ~/.bash_profile export JAVA_HOME=/home/hado 阅读全文

摘要： 一、HDFS 的设计思路 1）思路 切分数据，并进行多副本存储； 2）如果文件只以多副本进行存储，而不进行切分，会有什么问题 缺点 不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能成为网络瓶颈，很难进行大数据的处理； 存储负载很难均衡，每个节点的利用率很低； 二、HD 阅读全文