摘要：英文原文：cloudera，编译：ImportNew–Royce WongHadoop从这里开始!和我一起学习下使用Hadoop的基本知识，下文将以Hadoop Tutorial为主体带大家走一遍如何使用Hadoop分析数据!这个专题将描述用户在使用Hadoop MapReduce(下文缩写成MR)... 阅读全文

摘要：分布式文件系统比较出名的有HDFS和 GFS，其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。1、三个部分: 客户端、nameserver（可理解为主控和文件索引,类似linux的inode）、datanode（存放实际数据）在这里，client的形式我所了解的有两种，通过hadoop提供的api所编写的程序可以和hdfs进行交互，另外一种就是安装了hadoop的datanode其也可以通过命令行与hdfs系统进行交互，如在datanode上上传则使用如下命令行：bin/hadoop fs -put example 阅读全文

摘要：在开发hadoop的时候去查找了一下eclipse marketplace是没有找到hadoop的插件，上网又找了一下发现原来hadoop中其实是带有这样的插件的，其实很简单只要将这个插件复制到eclipse/plugins目录下然后重启eclipse就可以了重启之后就可以看到eclipse == 》window ==》 preferences 可以看到多了一个Hadoop Map/Reduce 点击Browse按钮找到你的hadoop的解压目录如图：配置好了环境之后我们来创建一个本地连接，点击Windows==》show view ==》 other 选择MapReduce Tools =. 阅读全文

摘要：在Windows下eclipse按alt+/就可以提示，但是在Linux下eclipse的设置不是这样的alt+/为切换输入法，如果要修改于Windows下的一样就需要修改一下快捷键：点击window ==》 preference ==》输入keys搜索 找到 keys 可以看到所有的快捷键设置，我们将word Completing 修改为“ctrl+空格”来切换输入法将content Assist 的快捷键修改为alt+/就可以了 阅读全文

摘要：今天大概尝试了一下伪分布式下的hadoop部署，简单的来总结一下首先我们需要下载hadoop的压缩包文件：http://hadoop.apache.org/releases.html这里是hadoop项目的所有版本，不管你所使用的是那个版本基本的配置应该是一样的，我这里学习的版本有点低所使用的是0.20.2。如果选用了其他的版本，文件的目录可能会有所不同下载完成hadoop后我们将它拷贝到用户目录下面，我的目录是/home/admin/hadoop-0.20.2.tar.gz然后将文件解压：打开命令窗口运行命令：tar -zxvf hadoop-0.20.2.tar.gz将文件解压如图：回车之 阅读全文

摘要：今天开始简单的学习了一下在Linux下安装jdk写下来总结一下以便后来的查找和复习首先下载Linux版的jdk我这里使用的jdk1.7：http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-i586.tar.gz下载完成后在usr文件夹下新建一个文件夹文件夹名为“Java”便于和其他的程序区分，然后将下载的jdk文件拷贝到/usr/java文件夹下然后打开命令窗口 通过ls命令查看我们实在那个文件夹下cd .. 返回上一层查看有我们查找的usr文件夹没有，没有继续 cd ..到上一层找到usr后运行命令:cd u 阅读全文