05 2015 档案

Hadoop1.x目录结构及Eclipse导入Hadoop源码项目
摘要：这是解压hadoop后，hadoop-1.2.1目录各目录结构及说明：Eclipse导入Hadoop源码项目：注意：如果没有ant的包可以去网上下，不是hadoop里面的。然后如果通过以上还报错的话，可以右键点击项目，然后如下图(配置**/*)： 阅读全文
posted @ 2015-05-30 23:36 打伞的鱼 阅读(283) 评论(0) 推荐(0)
Hadoop1.2.1 出现Warning: $HADOOP_HOME is deprecated.的解决方案
摘要：通过启动或停止hadoop我们会发现会出现 “Warning:$HADOOP_HOMEisdeprecated” 这样一个警告，下面给出解决方案：不过我们一般推荐第二种，因为我们还是需要$HADOOP_HOME的，方便引用。所以我们一般在/etc/profile文件最后加上exportHADOOP_... 阅读全文
posted @ 2015-05-28 23:12 打伞的鱼 阅读(4026) 评论(0) 推荐(1)
Hadoop1.2.1 启停的Shell 脚本分析
摘要：停止shell脚本以此类推。 阅读全文
posted @ 2015-05-28 22:46 打伞的鱼 阅读(325) 评论(0) 推荐(0)
Hadoop1.2.1 配置文件详解
摘要：首先我们先回顾一下Hadoop的一些概念： Apache Hdoop 1.x 组成 NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储) TaskTrac... 阅读全文
posted @ 2015-05-28 21:43 打伞的鱼 阅读(1501) 评论(0) 推荐(0)
Hadoop1.2.1 的 “Hello world！”
摘要：下图是大概步骤：下面是详细步骤，但我的代码跟上面有点不一样，但都是一个道理：第一个程序测试wordcount先创建目录hadoopfs-mkdir/wchadoopfs-mkdir/wc/input把要统计的文件放入目录hadoopfs-put/opt/modules/hadoop-1.2.1/co... 阅读全文
posted @ 2015-05-27 23:15 打伞的鱼 阅读(748) 评论(0) 推荐(0)
Hadoop1.2.1 日志格式说明及启停方式
摘要：日志格式：日志名称解析：Hadoop启停的三种方式：、停止后面的以此类推......另外hadoop-daemons.sh表示启动多个，比如datanode跟tasktracker在真实环境都会有多个附： 阅读全文
posted @ 2015-05-27 21:59 打伞的鱼 阅读(375) 评论(0) 推荐(0)
Hadoop1.2.1 伪分布式安装
摘要：Hadoop1.2.1 单机模式安装Hadoop组件依赖图(从下往上看)安装步骤：详细步骤： 设置ssh自动登录(如下图)： 1、输入命令【ssh-keygen-trsa】，然后一直按回车就可以了 2、然后切换目录到~.ssh目录下执行命令【cpid_rsa.pubauthorized_key... 阅读全文
posted @ 2015-05-24 21:39 打伞的鱼 阅读(1343) 评论(0) 推荐(0)
Hadoop1.2.1 单机模式安装
摘要：首先安装JDK：然后安装hadoop：最后的实例测试：首先在 /opt/data 目录下创建 input目录，然后把hadoop的conf目录下的所有xml文件拷贝到上面的input目录，然后运行下面图片的第三行命令(注意此条命令我是在hadoop目录下运行的)，最后查看output目录下的文件，检... 阅读全文
posted @ 2015-05-17 00:03 打伞的鱼 阅读(654) 评论(0) 推荐(0)