ilinux_one

摘要： 目前磁盘存储市场上，存储分类（如下表一）根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机，AS400等服务器，开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器；开放系统的存储分为：内置存储和外挂存储；开放系统的外挂存储根据连接的方式分为：直连式存... 阅读全文

摘要： 问题导读：1、Hadoop出现问题时，该如何入手查看问题？2、datanode无法启动，我们该怎么解决？3、如何动态加入DataNode或TaskTracker？一、问题描述当我多次格式化文件系统时，如root@localhost:/usr/local/hadoop-1.0.2# bin/hadoo... 阅读全文

摘要： 远程调试对应用程序开发十分有用，那如何调试Hadoop源码？这里介绍如何用IDE远程调试Hadoop源码。本文以IntelliJ IDEA作为IDE，以调试Jobhistory WEB UI代码为例进行说明。 第一步：在启动Hadoop历史服务器进程之前在终端加入以下环境配置：[wyp@date5... 阅读全文

摘要： 在Apache官网上下载bin文件，解压到相应目录。然后配置/etc/profile即可，环境变量名为M2_HOME，如下：（配置完后注意source /etc/profile）#Mavenexport M2_HOME=/usr/local/apache-maven-3.3.1export PAT... 阅读全文

摘要： 前言：由于官网提供的64位hadoop是没有编译的，所以当我们用到64位的hadoop时，需要在自己的64位linux系统上编译hadoop源码。另外，要想在eclipse里查看hadoop源码，修改源码等，也要进行编译。现在把两者编译的方法列在下面，其中准备阶段是共同的，都必须做。环境：Ubunt... 阅读全文

摘要： 问题按如下步骤在Ubuntu上编译安装Google Protocol Buffers$ ./configure $ make $ make check $ sudo make install 运行$ protoc --version 出现找不到动态库的错误protoc: error while lo... 阅读全文

摘要： 1.hadoop本地库的作用是什么？2.哪两个压缩编码器必须使用hadoop本地库才能运行？3.hadoop的使用方法？4.hadoop本地库与系统版本不一致会引起什么错误？5.$ export HADOOP_ROOT_LOGGER=DEBUG,console有什么作本帖最后由 pig2 于 201... 阅读全文

摘要： 生成key：$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。 -f file... 阅读全文

摘要： 配置SSH无登陆验证，在很多场景下是非常方便的，尤其是在管理大型集群服务时，避免了繁琐的密码验证，在安全级别越高的服务器上，通常密码的设置更复杂，配置SSH，不仅可以用密钥保证节点间通信的安全性，同时也降低了频繁输入密码登陆的耗时，大大提高了管理效率。散仙写此篇文章，也是给准备入手Hadoop的道友... 阅读全文

摘要： 问题导读：1.如何配置各个节点之间无密码互通？2.启动hadoop，看不到进程的原因是什么？3.配置hadoop的步骤是什么？4.有哪些配置文件需要修改？5.如果没有配置文件，该如何找到该配置文件？6.环境变量配置了，但是不生效的原因是什么？7.如何查看hadoop2监控页面首先说一下这个安装过程需... 阅读全文