摘要：居然没有把这个目录，之前还想爆粗口的，还是算了。 上苷酸菜： 1.对于mapreduce中FileInputFormat只输入input文件根目录的方法尝试。 很简单好吧： step1： FileInputFormat.addInputPaths(job, paths); step2： String 阅读全文

摘要：目录： 1.基本工作准备 1.虚拟机准备 2.java 虚拟机-jdk环境配置 3.ssh无密码登录 2.hadoop的安装与配置 3.hbase安装与配置（集成安装zookeeper） 4.zookeeper独立安装（整合hadoop和hbase） 5.安装过程中遇到的... 阅读全文

摘要：package com.oncedq.code;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.text.SimpleDateFormat;import org.apa... 阅读全文

摘要：通过ChainMapper可以将多个map类合并成一个map任务。下面个这个例子没什么实际意思，但是很好的演示了ChainMapper的作用。源文件100 tom 90101 mary 85102 kate 60map00的结果，过滤掉100的记录101 mary 85102 kate 60map0... 阅读全文

摘要：不定时更新常用好用命令。------------------------------------------------------------------------------------------------------------------------------------------... 阅读全文

摘要：mapreduce版本：0.2.0之前说明： 该注释为之前学习时找到的一篇，现在只是在入门以后对该注释做了一些修正以及添加。 由于版本问题，该代码并没有在集群环境中运行，只将其做为理解mapreduce的参考吧。 切记，该版本是0.2.0之前的版本，请分辨清楚！正文： package o... 阅读全文

摘要：Hbase 的ImmutableBytesWritable类型一般作为RowKey的类型;但也有时候会把值读出来;故有了转化为string一说.ImmutableBytesWritable RowKey;byte[] Temp = RowKey.get();String str = Bytes.to... 阅读全文

摘要：1.没有主机的路由 1.namenode与datanode之间ping不通了 2.防火墙得关闭： ufw status ufw disabled 2. ssh localhost ssh：connect to host localhost port 22:Con... 阅读全文

摘要：问题详细: 搭建类hadoop的集群集群环境,查看hadoop dfsadmin -report 也有datanode节点.在master:50070上也有. 然而在eclipse环境上运行mapreduce的程序时,却发现每次都是直接在本地上跑,并没有在集群上运行程序!解决办法: =>map... 阅读全文

摘要：1.日志查询：用户可使用以下命令在指定路径下查看历史日志汇总$ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看$ bin/hadoop j... 阅读全文