摘要：
一、Hadoop版本特性 MRv1 第一代计算框架，由编程模型和运行时环境两部分组成。 编程模型是，将数据进行map操作，然后进行reduce操作，最后将计算结果存储到HDFS中。 运行时环境是，由JobTracker和TaskTracker组成，JobTracker进行资源管理和作业控制。Task 阅读全文
摘要：
YARN产生的背景 Hadoop相关概念 Hadoop 1.0 由HDFS、MapReduce组成。 Hadoop 2.0 克服1.0中HDFS和MapReduce存在的各种问题而提出的。 YARN是Hadoop中的资源管理系统。 基本架构 The Scheduler is responsible 阅读全文
摘要：
HDFS（Hadoop Distributed File System）Hadoop分布式文件系统。 一、HDFS产生的背景 随着数据量越来越大，如果大到一台主机的磁盘都存放不下，该如何解决这个问题。一种思路是将数据分片放到多台主机上。如果放到多台主机上，又该怎么去管理，如果有些主机宕机了，数据丢失 阅读全文