摘要：1. 运行wordcount[7] Wordcount相当于helloword这样的程序，不必多说。在平台正常启动的情况下，建立input的文件夹和两个文件test1，test2，充填大量的“hello world”和“hello hadoop”。将input上传到hdfs上，命令为haoop fs –put /usr/lib/hadoop2.0.0-alpha/input/* input。然后在/share/hadoop/mapreduce下执行hadoop jar hadoop-mapreduce-examples-2.0.0-alpha.jar wordcount input outpu 阅读全文

摘要：1.Hadoop2.0简述[1]与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块，每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告，接受和处理Namenodes的命令。 YARN(新一代MapReduce)：在h.. 阅读全文

摘要：1. 安装ubuntu10.04 为了和合作公司的产品匹配，选择了ubuntu10.04操作系统。安装方法如下： （1）安装vmware8.0. （2） 新建一个虚拟机，选择“I will install the operation system later”。在Setting中的CD/DVD(IDE)选择加载ISO，然后安装。直接安装会导致进入不了图形界面。 （3）虚拟机中的安装过程很漫长，在79%的时候死机一次。后来发现拔掉网线安装比较快。在95%时，又停顿很长时间，不过也有网友提到过这个问题，耐心等待即可。2. 用root账户登录 Ubuntu是很让人纠结的系统，为了避免误操作... 阅读全文

摘要：阴差阳错，不经意间误入了IT的行当，残存的豪情与感性在冰冷的代码前黯然失色。两个多月的迷茫过后，终于意识到做程序员是我这四年的选择。因此开启这个博客，记录我从一个门外汉逐渐成长的过程。一个月以前，还不会编hello_world.java,没有在linux上操作过，还在复制文件和重命名这样的命令中挣扎。走过这段忙乱时，曾写下这样的豪言：不复迷虚空，术业有专攻，蓄养浩然气，凌云倚碧空。是的，研究的方向是hadoop，我决心在云端去撕开一片自己的天空，去重塑一个不一样的自己。这个过程的辛苦仿佛已经可以预见，将是我独自在实验室，在电脑前，透过平光的眼镜注视着光标的无尽闪烁。今年25岁，我有这个勇气.. 阅读全文