随笔分类 -  Hdoop

hadoop datanode启动失败
摘要：问题导读：1、Hadoop出现问题时，该如何入手查看问题？2、datanode无法启动，我们该怎么解决？3、如何动态加入DataNode或TaskTracker？一、问题描述当我多次格式化文件系统时，如root@localhost:/usr/local/hadoop-1.0.2# bin/hadoo... 阅读全文

posted @ 2015-12-16 21:16 ilinux_one 阅读(2178) 评论(0) 推荐(0)

远程调试Hadoop
摘要：远程调试对应用程序开发十分有用，那如何调试Hadoop源码？这里介绍如何用IDE远程调试Hadoop源码。本文以IntelliJ IDEA作为IDE，以调试Jobhistory WEB UI代码为例进行说明。 第一步：在启动Hadoop历史服务器进程之前在终端加入以下环境配置：[wyp@date5... 阅读全文

posted @ 2015-12-13 18:02 ilinux_one 阅读(828) 评论(0) 推荐(1)

Hadoop2.5.2源码编译及导入Eclipse
摘要：前言：由于官网提供的64位hadoop是没有编译的，所以当我们用到64位的hadoop时，需要在自己的64位linux系统上编译hadoop源码。另外，要想在eclipse里查看hadoop源码，修改源码等，也要进行编译。现在把两者编译的方法列在下面，其中准备阶段是共同的，都必须做。环境：Ubunt... 阅读全文

posted @ 2015-12-11 23:09 ilinux_one 阅读(371) 评论(0) 推荐(0)

关于Linux动态库的加载路径
摘要：问题按如下步骤在Ubuntu上编译安装Google Protocol Buffers$ ./configure $ make $ make check $ sudo make install 运行$ protoc --version 出现找不到动态库的错误protoc: error while lo... 阅读全文

posted @ 2015-12-11 19:36 ilinux_one 阅读(911) 评论(0) 推荐(0)

Hadoop本地库介绍及相关问题解决方法汇总
摘要：1.hadoop本地库的作用是什么？2.哪两个压缩编码器必须使用hadoop本地库才能运行？3.hadoop的使用方法？4.hadoop本地库与系统版本不一致会引起什么错误？5.$ export HADOOP_ROOT_LOGGER=DEBUG,console有什么作本帖最后由 pig2 于 201... 阅读全文

posted @ 2015-12-10 21:22 ilinux_one 阅读(1684) 评论(0) 推荐(0)

hadoop（2.x）以hadoop2.2为例完全分布式最新高可靠安装文档
摘要：问题导读：1.如何配置各个节点之间无密码互通？2.启动hadoop，看不到进程的原因是什么？3.配置hadoop的步骤是什么？4.有哪些配置文件需要修改？5.如果没有配置文件，该如何找到该配置文件？6.环境变量配置了，但是不生效的原因是什么？7.如何查看hadoop2监控页面首先说一下这个安装过程需... 阅读全文

posted @ 2015-12-09 21:08 ilinux_one 阅读(229) 评论(0) 推荐(0)

hadoop详细了解5个进程的作用
摘要：1.job的本质是什么？2.任务的本质是什么？3.文件系统的Namespace由谁来管理，Namespace的作用是什么？4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？5.Namenode记录着每个文件中各个块所在的数据节点的位... 阅读全文

posted @ 2015-12-08 23:30 ilinux_one 阅读(646) 评论(0) 推荐(0)

ubuntu 12.04下如何编译hadoop2.4
摘要：问题导读：1.如果获取hadoop srcmaven包？2.编译hadoop需要装哪些软件？3.如何编译hadoop2.4?扩展：编译hadoop为何安装这些软件？一、首先下载hadoop源码包下载的方式还是比较多的1.svn的方式svn下载首先需要安装SVN，如果想尝试使用svn，可以参考源码管理... 阅读全文

posted @ 2015-12-07 22:58 ilinux_one 阅读(364) 评论(0) 推荐(0)

Centos编译Hadoop 2.x 源码
摘要：1. 前言Hadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联... 阅读全文

posted @ 2015-12-06 21:47 ilinux_one 阅读(537) 评论(0) 推荐(0)

hadoop环境搭建-完全分布式
摘要：用于测试，我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。1、安装虚拟机环境 Vmware，收费产品，占内存较大。 或 Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错... 阅读全文

posted @ 2015-12-04 21:52 ilinux_one 阅读(236) 评论(0) 推荐(0)

导航