随笔分类 -  hadoop

hadoop 状态查看端口
摘要：http://masterip:50030/jobtracker.jsp 阅读全文
posted @ 2014-04-19 00:05 老梁 阅读(755) 评论(0) 推荐(0)
Failed to set permissions of path hadoop1.0.4
摘要：解决方法：1、修改hadoop-1.0.4\src\core\org\apache\hadoop\fs\FileUtil.java，搜索Failed to set permissions of path，找到689行，把throw new IOException改为LOG.warn3、修改hadoo... 阅读全文
posted @ 2014-04-18 01:41 老梁 阅读(198) 评论(0) 推荐(0)
（转）Hadoop HDFS文件操作 Java实现类
摘要：创建HDFS目录import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path... 阅读全文
posted @ 2014-04-17 12:10 老梁 阅读(159) 评论(0) 推荐(0)
wordcount调试记录
摘要：将hadoop源码中额example复制到eclipse中，会报很多异常，尽量把包括lib文件夹在内的所有jar包都添加进来，在生成jar的时候，一定要制定主类，不然会报错在执行的时候 输入 hadoop jar /home/ldz/wordcountyesmainclass.jar /hom... 阅读全文
posted @ 2014-04-16 14:54 老梁 阅读(150) 评论(0) 推荐(0)
hbase 安装配置（多节点分布式）
摘要：如果想详细了解hbase的安装：http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/1. 快速单击安装在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/，下载HBase Releases. 点击stable目录，然后下载后缀为.tar.gz的文件; 例如hbase-0.90.4.tar.gz.后面需要安 阅读全文
posted @ 2014-03-27 22:21 老梁 阅读(1341) 评论(0) 推荐(0)
一些常用的hadoop命令
摘要：假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdfs中/user/admin/aaron目录下的文件。1. 进入HADOOP_HOME目录。2.... 阅读全文
posted @ 2014-03-27 21:26 老梁 阅读(198) 评论(0) 推荐(0)
hadoop streaming 编程
摘要：1、概述Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-*-streaming.jar \-input myInputDirs \-output myOutputDir \-mapper cat \-reducer wc本文安排如下，第二节介绍Hadoo 阅读全文
posted @ 2014-03-26 11:56 老梁 阅读(339) 评论(0) 推荐(0)