摘要：
1、设置job的基础属性Job job = new Job();job.setJarByClass(***.class);job.setJobName(“job name”);job.setNumReduce(2);2、设置Map与Reudce的类job.setMappgerClass(*.clas... 阅读全文
随笔分类 - 2_Hadoop
hadoop配置文件的加载机制
2015-01-21 11:29 by jediael, 553 阅读, 收藏,
摘要：
hadoop通过Configuration类来保存配置信息1、通过Configuration.addResource()来加载配置文件2、通过Configuration.get***()来获取配置属性1、创建一个新的Configuration实例时，会加载core-default.xml与core-... 阅读全文
在Eclipse中运行hadoop程序
2014-12-14 11:11 by jediael, 313 阅读, 收藏,
摘要：
1、下载hadoop-eclipse-plugin-1.2.1.jar，并将之复制到eclipse/plugins下。2、打开map-reduce视图在eclipse中，打开window——>open perspetive——>other，选择map/reduce。3、选择Map/Reduce Lo... 阅读全文
Hadoop文件的基本操作
2014-12-05 11:36 by jediael, 209 阅读, 收藏,
摘要：
Hadoop提供了大量的API对文件系统中的文件进行操作，主要包括：（1)读取文件（2)写文件（3)读取文件属性（4)列出文件（5)删除文件1､读取文件以下示例中，将hdfs中的一个文件读取出来，并输出到标准输出流中。package org.jediael.hadoopdemo.fsdemo;imp... 阅读全文
安装hadoop1.2.1集群环境
2014-08-29 15:49 by jediael, 160 阅读, 收藏,
摘要：
一、规划（一）硬件资源10.171.29.191 master10.173.54.84 slave110.171.114.223 slave2（二）基本资料用户： jediael目录：/opt/jediael/二、环境配置（一）统一用户名密码，并为jediael赋予执行所有命令的权限#passwd#... 阅读全文
使用ToolRunner运行Hadoop程序基本原理分析
2014-08-22 11:03 by jediael, 410 阅读, 收藏,
摘要：
为了简化命令行方式运行作业，Hadoop自带了一些辅助类。GenericOptionsParser是一个类，用来解释常用的Hadoop命令行选项，并根据需要，为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser，更方便的方式是：实现Tool接口，... 阅读全文
Hadoop入门经典:WordCount
2014-08-20 14:43 by jediael, 247 阅读, 收藏,
摘要：
以下程序在hadoop1.2.1上测试成功。本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。一、源代码package org.jediael.hadoopdemo.wordcount;import java.io.IOException;import java.util.S... 阅读全文
Hadoop配置文件
2014-08-19 12:48 by jediael, 186 阅读, 收藏,
摘要：
部分内容参考：http://www.linuxqq.net/archives/964.html Hadoop有三个重要的配置文件：core-site.xml,hdfs-site.xml,mapred-site.xml，但这三个文件默认情况下均为空，其默认值保存在core-default.xml,... 阅读全文
Hadoop基本原理之一：MapReduce
2014-08-17 19:26 by jediael, 182 阅读, 收藏,
摘要：
1、为什么需要Hadoop 目前，一块硬盘容量约为1TB，读取速度约为100M/S，因此完成一块硬盘的读取需时约2.5小时（写入时间更长）。若把数据放在同一硬盘上，且全部数据均需要同一个程序进行处理，此程序的处理时间将主要浪费在I/O时间上。 在过去几十年，硬盘的读取速度并未明显增长，而网络传输... 阅读全文
Hadoop1.2.1伪分布模式安装指南
2014-08-17 10:52 by jediael, 163 阅读, 收藏,
摘要：
一、前置条件1、操作系统准备（1）Linux可以用作开发平台及产品平台。（2）win32只可用作开发平台，且需要cygwin的支持。2、安装jdk 1.6或以上3、安装ssh，并配置免密码登录。$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ss... 阅读全文
何时使用hadoop fs、hadoop dfs与hdfs dfs命令
2014-07-10 09:29 by jediael, 1713 阅读, 收藏,
摘要：
hadoop fs：使用面最广，可以操作任何文件系统。hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。以下内容参考自stackoverflowFollowing are the three comma... 阅读全文
Hadoop常见异常及其解决方案
2014-07-09 15:02 by jediael, 370 阅读, 收藏,
摘要：
1、Shell$ExitCodeException现象：运行hadoop job时出现如下异常：14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED... 阅读全文
Hadoop2.4.1入门实例：MaxTemperature
2014-07-09 13:21 by jediael, 170 阅读, 收藏,
摘要：
注意：以下内容在2.x版本与1.x版本同样适用，已在2.4.1与1.2.0进行测试。一、前期准备1、创建伪分布Hadoop环境，请参考官方文档。或者http://blog.csdn.net/jediael_lu/article/details/386372772、准备数据文件如下sample.txt... 阅读全文
浙公网安备 33010602011771号