爱嘉牛LA

摘要： 1.MapReduce框架简介 要设计倒排索引这个算法，那么我们首先得知道MapReduce框架中的InputFormat类，Mapper类,Partition过程，sort过程，Combine类,Reduce类的设计原理。1.1InputFormat类 InputFormat类的作用是... 阅读全文

摘要： 1.将jdk-7u5-linux-x64.tar.gz拷贝到/usr/lib/jdk/目录下面，这里如果没有jdk文件夹，则创建该文件夹,命令:sudo mkdir jdk //创建文件夹jdksudo cp -r ~/download/jdk-7u10-linux-x64.tar.gz /usr/... 阅读全文

摘要： 第一部分，安装单机hadoop1,安装ssh sudo apt-get install ssh注意：如果执行不了这句，那就先执行：sudo apt-get update2,安装rsync sudo apt-get install rsync3,配置ssh免密码登录 ssh-keyge... 阅读全文

摘要： 1.下载mahout 下载地址:http://mahout.apache.org 我下载的最新版：mahout-distribution-0.92.把mahout解压到你想存放的文档，我是放在/Users/jia/Documents/hadoop-0.20.2，即hadoop的安装目录上。3.为ma... 阅读全文

摘要： 1.前言 学习hadoop的童鞋，倒排索引这个算法还是挺重要的。这是以后展开工作的基础。首先，我们来认识下什么是倒拍索引： 倒排索引简单地就是：根据单词，返回它在哪个文件中出现过，而且频率是多少的结果。这就像百度里的搜索，你输入一个关键字，那么百度引擎就迅速的在它的服务器里找到有该关键字... 阅读全文

摘要： 1.打开eclipse之后，建立wordcount项目package wordcount;import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configurati... 阅读全文

摘要： 1.启动hadoop守护进程 bin/start-all.sh2.在hadoop的bin目录下建立一个input文件夹JIAS-MacBook-Pro:hadoop-0.20.2 jia$ mkdir input3.进入input目录之后，在input目录下新建两个文本文件，并想其写入内容JIAS-... 阅读全文

摘要： 在mac上安装了eclipse之后，配置hadoop其实跟在linux上配置差不多，只是mac上得eclipse和界面和linux上得有点不同。一：安装eclipseeclipse得安装比较简单，就不说了。二：配置eclipse链接hadoop1.在eclipse下安装开发hadoop程序的插件ha... 阅读全文

摘要： 换了macbook pro之后，要重新安装hadoop，但是mac上的jdk跟windows上的不同，导致折腾了挺久的，现在分享出来，希望对大家有用。 一：下载jdk 选择最新版本下载，地址：http://www.oracle.com/technetwork/java/javase/download 阅读全文

摘要： #includeusing namespace std;int main(){ const int N=4; int count; count=0; for(int i=1;i<=N;i++) for(int j=0;j<=N;j++) if(j==i) continue; else for(int k=0;k<=N;k++) if(k!=j&&k!=i) { cout<<i<<j<<k<<endl; count++... 阅读全文