随笔分类 -  Hadoop

hadoo异常——org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException
摘要：2013-08-20 10:36:17,728 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50070 webServer.getConnectors()[0].getLocalPort() ret... 阅读全文
posted @ 2013-08-20 14:12 Alex~ 阅读(19423) 评论(0) 推荐(0)
Hadoop异常
摘要：org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://xxx:49000/user/hadoop/input at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:197) at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:208) at org.apache.hadoop... 阅读全文
posted @ 2013-08-16 17:49 Alex~ 阅读(565) 评论(0) 推荐(0)
Hadoop Ambari 安装
摘要：ambari 1.2.4 下载地址：http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz官方手册：http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/index.html安装过程一、准备1、安装包2、集群中ambari-serveer（管理节点）到客户端配置无密码登录。3、集群同步时间4、SELinux，iptables都处于关闭状态5、安装的服务器通过连接到网络6、 阅读全文
posted @ 2013-07-29 16:13 Alex~ 阅读(14430) 评论(0) 推荐(2)
使用 XMPP 构建一个基于 web 的通知工具——转
摘要：Inserting of file(使用 XMPP 构建一个基于 web 的通知工具.docx) failed. Please try again.http://www.ibm.com/developerworks/cn/xml/tutorials/x-realtimeXMPPtut/resources.html 阅读全文
posted @ 2013-07-09 14:43 Alex~ 阅读(209) 评论(0) 推荐(0)
hadoop 集群配置--增加减少新的机器不重启
摘要：增加机器不重启操作如下： 首先，把新节点的 IP或主机名 加入主节点（master）的 conf/slaves 文件。 然后登录新的从节点，执行以下命令： $ cd path/to/hadoop $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker 然后就可以在namanode机器上运行balancer，执行负载均衡 $bin/hadoop balancer删除机器 不安全的方式 由于Hadoop集群自身具备良好的容错性，可以直接... 阅读全文
posted @ 2013-07-09 14:43 Alex~ 阅读(603) 评论(0) 推荐(0)
Hadoop 1.1.2 Eclipse 插件使用——异常解决
摘要：permission denied user1、修改配置文件在conf/hdfs-site.xml文件中添加如下内容： dfs.permissions false 注意是所有节点2、修改eclipse中配置的参数，将dfs.permissions 的值修改为false3、重启hadoop后，升效 阅读全文
posted @ 2013-07-09 14:39 Alex~ 阅读(285) 评论(0) 推荐(0)
Hadoop开发环境简介(转)
摘要：1、Hadoop开发环境简介1.1 Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介Java版本：jdk-6u31-windows-i586.exeWin系统：Windows 7 旗舰版Eclipse软件：eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32.zipHadoop软件：hadoop-1.0.0.tar.gzHadoop Eclipse 插件：hadoop-e 阅读全文
posted @ 2013-07-03 11:02 Alex~ 阅读(4216) 评论(0) 推荐(0)
Hadoop构成
摘要：What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming mod 阅读全文
posted @ 2013-07-03 10:08 Alex~ 阅读(532) 评论(0) 推荐(0)
hadoop 1.2.1 eclipse 插件编译
摘要：hadoop-1.2.1 eclipse插件编译 在ubuntu上进行hadoop相关的开发，需要在eclipse上安装hadoop开发插件。最新释放出的hadoop包含源码的包，以hadoop-1.1.1为例，包含相关的eclipse插件的源码，因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件，我的eclipse的版本代号为indigo，以此为例，下... 阅读全文
posted @ 2013-06-28 12:48 Alex~ 阅读(12358) 评论(4) 推荐(1)
hadoop集群配置-2问题汇总
摘要：对集群配置后会有问题，对问题说明如下：1、测试运行 bin/hadoop jar hadoop-examples-1.1.2.jar wordcount conf/ /tmp 命令报错ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /tmp already exists重新指定输出目录,如修改为bin/hadoop jar hadoop-exam 阅读全文
posted @ 2013-06-09 14:58 Alex~ 阅读(4652) 评论(0) 推荐(0)
hadoop错误- Too many open files
摘要：http://www.cnblogs.com/wycg1984/archive/2010/04/27/1722431.html下面是Hadoop使用过程中常见错误及解决方法的汇总 （英文部分会后续转为中文）1. Too many open files错误 有時候 Map Reduce 的工作跑一跑，會發現 datanode 突然都陣亡，去看 log 會發現很多 Too many open files 的錯誤： 2008-09-11 20:20:22,836 ERROR org.apache.hadoop.dfs.DataNode: 192.168.1.34:50010:DataXceiv... 阅读全文
posted @ 2013-06-09 10:51 Alex~ 阅读(3561) 评论(0) 推荐(0)
hadoop集群搭建
摘要：hadoop 版本选定 Apache hadoop官网上的版本目前列举如下： 1.1.X - current stable version, 1.1 release 1.2.X - current beta version, 1.2 release 2.X.X - current alpha version 0.23.X - simmilar to 2.X.X b... 阅读全文
posted @ 2013-06-09 09:58 Alex~ 阅读(3232) 评论(0) 推荐(0)