摘要：0、前言 本文是学习hadoop后的笔记总结，由于对hadoop了解不深，正处于摸索阶段，所以分析不够透测。本文是记录我的学习过程和学习总结。环境：ubuntu 8.04.4 hadoop1.0.2（hadoop的版本不同，API略有变化）参考书籍： 《 Hadoop权威指南（中文版）》 清华出版社 《实战Hadoop－－开启通向运计算的捷径》 刘鹏主编1、Hadoop版的helloworld源码（即wordcount） 源码来自于 /usr/local/hadoop-1.0.2/src/examples/org/apache/hadoop/examples/WordCount.java... 阅读全文

摘要：摘要：该文档解决了多次格式化文件系统后，datanode无法启动的问题一、问题描述 当我多次格式化文件系统时，如 root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format 会出现datanode无法启动，查看日志，发现错误为： 2012-04-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/gqy/hado... 阅读全文

摘要：环境：ubuntu8.04.4 hadoop1.0.2 eclipse3.7.2概要：本文主要是记录HDFS中常用API的使用，如文件上传、创建文件、重命名、删除、读取文件内容等。一、实验步骤1、启动Hadoop,切换到超级用户 gqy@localhost:/usr/local/hadoop-1.0.2$ su root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format root@localhost:/usr/local/hadoop-1.0.2# bin/start-all.sh 2、打开Eclipse，新建一个.. 阅读全文

摘要：概要：在eclipse环境下配置Hadoop的开发环境环境： ubuntu8.04.4 eclipse：Release 3.7.2 Hadoop：hadoop-1.0.2参考前辈资料： http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html一、配置过程 1、先启动hadoop守护进程 root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format root@localhost:/usr/local/hadoop-1.0.2# bin/start- 阅读全文

摘要：环境：ubuntu 8.04.4 Hadoop1.0.2参考师兄的博客：http://www.cnblogs.com/guoyuanwei/archive/2011/10/17/2215769.html 快速入门：http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html1、安装软件 sudo apt-get install ssh sudo apt-get install rsync2、到hadoop-1.0.2文件夹下，找到conf文件夹，修改配置文件：a)修改conf/core-site.xml：<configur 阅读全文

摘要：环境：ubuntu 8.04.4 hadoop-1.0.2 参考网址： http://www.cnblogs.com/guoyuanwei/archive/2011/10/17/2215749.html http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/index.html一、介绍 Hadoop（官网，了解下即可） http://hadoop.apache.org/二、下载Hadoop，我下的是hadoop-1.0.2.tar.gz http://www.apache.org/dyn/closer.cgi/had... 阅读全文

摘要：一、介绍Hadoop http://hadoop.apache.org/二、下载Hadoop，我下的是hadoop-1.0.2.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/三、好的学习资料： Hadoop 快速入门： http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html 师兄的博客：http://www.cnblogs.com/guoyuanwei/archive/2011/10/17/2215749.html http://www.cnblogs. 阅读全文