IT小不点 - 博客园

2015年11月5日

摘要： package org.lukey.hadoop.classifyBayes;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URI;i... 阅读全文

posted @ 2015-11-05 17:16 IT小不点阅读(247) 评论(0) 推荐(0)

[Java]读取文件方法大全（转）

摘要： [Java]读取文件方法大全1、按字节读取文件内容2、按字符读取文件内容3、按行读取文件内容4、随机读取文件内容publicclassReadFromFile{/***以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。*/publicstaticvoidreadFileByByte... 阅读全文

posted @ 2015-11-05 17:16 IT小不点阅读(213) 评论(0) 推荐(0)

2015年11月3日

（转)Hadoop的InputFormats和OutputFormats

摘要： Data MiningHadoop的InputFormats和OutputFormatsInputFormatInputFormat类用来产生InputSplit，并把它切分成record。public interface InputFormat { InputSplit[] getS... 阅读全文

posted @ 2015-11-03 13:02 IT小不点阅读(226) 评论(0) 推荐(0)

2015年11月2日

（转）通过input分片的大小来设置map的个数

摘要：摘要通过input分片的大小来设置map的个数mapinputsplithadoop前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。1.如何控制实际运行的map任务个数我们知... 阅读全文

posted @ 2015-11-02 22:02 IT小不点阅读(497) 评论(0) 推荐(0)

hadoop1.2.1 MultipleOutputs将结果输出到多个文件或文件夹

摘要： hadoop1.2.1 MultipleOutputs将结果输出到多个文件或文件夹博客分类：http://tydldd.iteye.com/blog/2053867hadoophadoop1.2.1中使用MultipleOutputs将结果输出到多个文件或文件夹使用步骤主要有三步：1、在reduce... 阅读全文

posted @ 2015-11-02 21:59 IT小不点阅读(604) 评论(0) 推荐(0)

（转）在Java中如何遍历Map对象

摘要：在Java中如何遍历Map对象How to Iterate Over a Map in Java在java中遍历Map有不少的方法。我们看一下最常用的方法及其优缺点。既然java中的所有map都实现了Map接口，以下方法适用于任何map实现（HashMap, TreeMap, LinkedHashM... 阅读全文

posted @ 2015-11-02 16:16 IT小不点阅读(202) 评论(0) 推荐(0)

2015年11月1日

multipleOutputs Hadoop

摘要： package org.lukey.hadoop.muloutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;impor... 阅读全文

posted @ 2015-11-01 23:09 IT小不点阅读(266) 评论(0) 推荐(0)

（转） hadoop 一个Job多个MAP与REDUCE的执行

摘要： http://blog.csdn.net/chaoping315/article/details/6221440在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理，再进行reduce，经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理，这样的Job... 阅读全文

posted @ 2015-11-01 23:06 IT小不点阅读(350) 评论(0) 推荐(0)

（转）Hadoop MapReduce链式实践--ChainReducer

摘要：版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:[plain]view plaincopyA,10A,11A,12A,13B,21B,31B,41B,51data2:[pla... 阅读全文

posted @ 2015-11-01 20:46 IT小不点阅读(300) 评论(0) 推荐(0)

（转）Permission denied: win7下面eclipse上传本地文件到DFS && 运行M/R程序时出现的同样的错误解决方法

摘要：原文地址：http://mntms.iteye.com/blog/2095651hadoopeclipse远程控制权限情景一：当在win7下面的eclipse装好插件，首次运行M/R程序的时候，想把文件从win7下面的本地文件传到HDFS文件系统上面：（点击Upload files to DFS 或... 阅读全文

posted @ 2015-11-01 17:42 IT小不点阅读(388) 评论(0) 推荐(0)