摘要：准备工作java JDKCywineclipsehadoop-0.20.2-eclipse-plugin.jar（Hadoop自带eclipse插件，在hadoop\contrib\eclipse-plugin中）安装和配置一、JDK安装和配置 省略二、Cywin安装和配置 可以按照默认的提示安装到自己需要存放的位置，但是在安装时需要注意下面几点： 1、　http://mirrors.sohu.com 2、安装过程中记得选择所需的包，具体请参考下面的图示：Net 下的：openssh,opensslBase 下的：sed （若需要Eclipse，必须sed）Devel ... 阅读全文

摘要：完全分布模式：正常的Hadoop集群，由多个各司其职的节点构成。安装环境操作平台:VM操作系统:CentOS6.4（关闭防火墙）软件版本:Hadoop-0.20.2、JDK7 集群架构:3个节点--一个Mater，二个Slave。准备工作JDK安装与配置详情请见：http://www.cnblogs.com/zhangwenjing/p/3580726.html安装步骤一、配置hosts文件 修改所有节点的/ect/hosts,使彼此之间都能把主机名解析为ip. vi /ect/hosts 192.168.1.53 master 192.168.1.113 node1 192.16... 阅读全文

摘要：地址：http://mirrors.hust.edu.cn/apache/ant/binaries/apache-ant-1.9.3-bin.tar.gz使用wget命令下载：wgethttp://mirrors.hust.edu.cn/apache/ant/binaries/apache-ant-... 阅读全文

摘要：伪分布式模式下，Hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序执行。hadoop的配置共有四种级别：集群、进程、作业和单独操作，前两类由集群管理员负责配置，后面的两类则属于程序员的工作范畴。hadoop的配置文件位于conf目录中，其中的core 阅读全文

摘要：单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。一、JDK安装与配置 详情请见：http://www.cnblogs.com/zhangwenjing/p/3580726.html二、Hadoop安装与配置 1、Hadoop下载与安装 地址：http://mirrors.hust.ed. 阅读全文

摘要：一、下载JDK 地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html uname -a 查看系统版本，32位操作系统下载Linux x86版本，64位操作系统下载Linux x... 阅读全文