摘要: 1、Hadoop 是一个能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架,能够把应用程序分割成许多小的工作单元放到任何集群节点上执行。作业(job):一个准备提交执行的应用程序;任务(task):从一个作业划分出的、运行于各计算节点的工作单元;HDFS:主要负责各个节点上的数据存储,并实现高吞吐率的数据读写;2、在分布式存储和分布式计算方面,Hadoop使用主/从(Master/Slave)架构,在集群中运行一系列后台程序(1)NameNode:HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块分别被存储到哪些数据节点上。主要功能是 阅读全文
posted @ 2013-08-06 11:26 liutoutou 阅读(314) 评论(0) 推荐(1) 编辑