随笔分类 -  Hadoop

四、MapReduce
摘要：一、概念 MapReduce是一个计算模型，计算过程分两个阶段：Map、Reduce。每个阶段都是用键值对<key, value>作为输入、输出。Map表示映射，Reduce表示化简。 二、一个MapReduce的例子（著名的WordCount） 该编程模型提供给用户的接口是Map和Reduce两个 阅读全文
posted @ 2016-08-30 14:57 qq2262988 阅读(322) 评论(0) 推荐(0)
三、HDFS——Hadoop分布式文件系统
摘要：一、hdfs的设计目标 1.1、硬件错误是常态而不是异常。Hadoop的设计理念之一就是它可以运行在廉价的普通PC机上，因而硬件故障是常态。在硬件故障时，可通过容错机制保证数据的正确性、完整性，从而保证系统的正常运行。 1.2、大文件存储。hdfs存储的文件大小一般在GB~TB的级别。 1.3、流式 阅读全文
posted @ 2016-08-22 23:19 qq2262988 阅读(991) 评论(0) 推荐(0)
二、Hadoop-2.6的完全分布式安装模式
摘要：一、Hadoop的3中运行模式 1.1、单机模式。安装简单，几乎不用作任何配置，但仅限于调试用途； 1.2、伪分布式模式。在单节点上同时启动namenode、secondary namenode、datanode、JobTracker、TaskTracker 5个进程，模拟分布式运行的各个节点。 1 阅读全文
posted @ 2016-08-19 22:56 qq2262988 阅读(285) 评论(0) 推荐(0)
一、Hadoop初识
摘要：一、Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐 阅读全文
posted @ 2016-08-17 10:56 qq2262988 阅读(424) 评论(0) 推荐(0)