随笔分类 -  Hadoop

摘要：RHEL 6.2 and 6.3 include a feature called "transparent hugepage compaction" which interacts poorly with Hadoop workloads. This can cause a serious performance regression compared to other operating system versions on the same hardware.Symptom:topand other system monitoring tools show a lar 阅读全文

摘要：从yum安装hbase集群的时候，有时候主机和节点不能启动Hmaster和Hregionserver。日志提示不能正确解析从节点主机名称，主机从官网上查看，得知yum安装的hbase需要用DNS服器进行解析：于是就在主节点上设置dns服务器；（我开始是用yum安装的，最后在公司服务器部署的时候用的是rpm包安装的，区别是安装后的配置文件保存的路径不一样，yum安装会比较简单，因为不需要考虑安装包之间的依赖关系）安装包如下：bind-devel-9.3.6-16.P1.el5.i386.rpmbind-libbind-devel-9.3.6-16.P1.el5.i386.rpmbind-libs 阅读全文

摘要：之前dfs.replication值为3，运行一段时间之后我使用完了磁盘空间，所以呢，现在我想通过降低备份的个数来释放空间。那么对于之前存储的文件会自动把备份数改为1吗？还是需要手动执行命令来执行呢？dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。但是可以通过如下命令更改备份数：bin/hadoop fs -setrep -R 1 / 阅读全文

摘要：Hadoop安装时需要指定HADOOP_HOME位置。可以使用如下三种export方法：1、直接使用export命令#export HADOOP_HOME=/home/sj/hadoop-x#export JAVA_HOME=/home/sj/java.x#export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME\bin#看是否已经设好，可用命令export查看：#export注意： 直接用export命令只会对当前shell窗口起作用，重启或者重新打开shell窗口时，环境变量就会丢失。 2、修改全局profile文件（本人强烈建议安装hadoop时创建一个 阅读全文

摘要：如果你不想在mapreduce程序运行之前手动清除output目录，可以编写代码在程序运行之前清除output目录，具体做法如下：FileSystem fs =FileSystem.get(conf);Path output=new Path('/tmp/output');fs.delete(output,true);FileSystem.delete（Path f，Boolean recursive）可删除指定的HDFS文件，其中f为需要删除文件的完整路径，recuresive用来确定是否进行递归删除 阅读全文

摘要：在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目标而不是针对账号，所有在管理上最好让每个账号仅操作某一个目录，然后对目录设置配置。 设定方法有两种：Name Quotas：设置某一个目录下文件总数Space Quotas：设置某一个目录下可使用空间大小 默认情况下Hdfs没有任何配置限制，可以使用 hadoop fs -count 来查看配置情况 hadoop fs -count -q /user/seamon 以下是结果，none和inf表示没有... 阅读全文

摘要：1. 处理hadoop的namenode宕机处理措施：进入hadoop的bin目录，重启namenode服务操作命令：cd path/to/hadoop/bin./hadoop-daemon.sh start namenode2. 处理hadoop的jobtacker宕机处理措施：进入hadoop的bin目录，重启jobtacker服务操作命令：cd path/to/hadoop/bin./hadoop-daemon.sh start jobtracker3. 处理hadoop的datanode宕机处理措施：进入hadoop的bin目录，重启datanode服务操作命令：cd path/to/ 阅读全文

摘要：1.概述 Hadoop分布式文件系统（HDFS）对文件和文件夹的权限控制模型与POSIX文件系统的权限控制模型一样，每一个文件和文件夹都分配了所有者用户和所有者用户组。每个客户端访问HDFS的过程中，身份凭证由用户名和组列表两部分组成，Hadoop进行身份验证的时候，首先验证用户名，如果用户名验证不通过则验证用户组，如果用户名和用户组都验证失败则身份验证失败。 2.身份验证模式 Hadoop支持2种不同的身份验证模式，可以通过hadoop.security.authentication属性进行配置：simple 在simple身份认证模式下，用户的身份信息就是客户端的操作系统的登录... 阅读全文