摘要：map: (K1, V1) → list(K2, V2)reduce: (K2, list(V2)) → list(K3, V3)(K1, V1):jobConf.setInputKeyClass(K1. class );jobConf.setInputValueClass(V1. class );list(K2, V2):job.setMapOutputKeyClass(K2.class);job.setMapOutputValueClass(V2.class); list(K3, V3):jobConf.setOutputKeyClass(K3. class );jobConf.setOu 阅读全文

摘要：1. Run on Hadoop1.1 Q:点击没有反应 A：Eclipse版本不对，或者插件不对1.2 Q: 作业在运行，但是没有输出 A：将Hadoop退出安全模式：hadoop dfsadmin -safemode leave。 代码设置：conf.set("hadoop.job.ugi", "root,06372017"); //设置hadoop server用. 阅读全文

摘要：本代码包含功能：获取DataNode名，并写入到HDFS文件系统中的文件hdfs:///copyOftest.c中。并计数文件hdfs:///copyOftest.c中的wordcount计数，有别于Hadoop的examples中的读取本地文件系统中的文件，这次读取的是HDFS中的文件。package com.fora;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSData 阅读全文

摘要：IDE：Eclipse第一个程序操作HDFS。1.创建Java工程打开eclipse，选择“File -> New -> Java Project”，新建一个“Java Project”，进入“New JavaProject”对话框，将“Project name”设置为“Demo”，选中“DFSOperator”，并单击右键，选择“New -> Class”菜单，新建“Name”为“Test”<com.fora>的class，并选中自动创建main 函数，2.配置编译参数<可选，如果已经将Hadoop插件装入Eclipse>============== 阅读全文

摘要：这里两台虚拟机Fedora192.168.233.129 兼做namenode及datanode192.168.233.133 datanode1. 安装jdk,并配置2.下载hadoop，解压:/usr/hadoop/hadoop-0.20.23. 修改/etc/hosts /etc/sysconfig/network 文件hosts：127.0.0.1 localhost 192.168.233.129 master 192.168.233.133 slave1 192.168.233.130 slave2/etc/sysconfig/network 修改机器名NETWORKING=yes 阅读全文