我是怎么玩hadoop的(一)--运行自己的mapreduce

 单拿标题来讲,看来有点装x,但是没有恶意,知识记录自己的学习过程,希望能碰到一些志同道合的人,一起讨论。

首先,我们要理解:什么是hadoop?给人的第一感觉就一个字“云”,似乎带着点神奇的色彩,不可否认hadoop有他独特的地方,但也没那么神乎其神。他是一个开源框架,可以编写和运行分布式应用处理大规模数据,通过建立hadoop集群和运行一些mapred例子,我所感到只有就个字:“方便”、“健壮”、“可扩展”、“简单”。hadoop自身带有文件系统,可以处理大规模数据,相比较下:

会和sql数据库有什么区别呢?

1.随着数据量的增大,提高数据库配置的开销越来越大,2倍于pc机的服务器的价格远远高于2台pc机的价格,这就是hadoop的优势,增加一个电脑(节点),要比一次服务器升级划算的多。

2.用键值代替了关系表,个人感觉在大规模数据面前的数据处理,键值对跟为灵活。

如何理解hadoop的mapreduce:

这里有一篇文章 我觉得很有意思:这里提供个连接供大家学习 我是如何向老婆解释MapReduce的?

概念性的东西听着有些乏味:下面我们动手改一个自己的mapreduce程序:

我们都知道hadoop自带例子中有一个wordcount的例子,下面我们就改写这个例子,执行一个属于我们自己的mapreduce程序;

1、首先要找到wordcount的源代码,在hadoop目录下的src/examples/org/apache/hadoop/examples/WordCount.java

2、创建文件夹并且把wordcount文件拷出来:


3、在hadoop框架中编译和执行这个副本

 


4、运行你的程序,出现如下信息说明执行成功:

5、查看结果,在文件系统的my_output中

6、最后大家可以任意更改wordcount.java里面的文件,达到自己想要的效果。

posted on 2011-12-05 21:39  h2内存数据库  阅读(569)  评论(0编辑  收藏  举报

导航