liuming_1992

摘要： JavaOutOfMemoryError一般常遇到的分为两类，分别提示: "Java heap space" 和 "PermGen space"，前面的是指java的内存不够，后面异常是指加载class的内存不够，分别对应堆内存和非堆内存(JVM自用内存)。解决这两种异常分别采用不同的方式："Jav... 阅读全文

摘要： 当运行mapreduce的时候，有时候会出现异常信息，提示物理内存或者虚拟内存超出限制，默认情况下：虚拟内存是物理内存的2.1倍。异常信息类似如下：Container [pid=13026,containerID=container_1449820132317_0013_01_000012] is ... 阅读全文

摘要： 在运行mapreduce的时候，出现Error: GC overhead limit exceeded，查看log日志，发现异常信息为2015-12-11 11:48:44,716 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error runn... 阅读全文

摘要： 版本：HBase-0.98.6-cdh5.3.6HBase参数调优1. zookeeper.session.timeout: 默认90000(毫秒), 控制连接zk的timeout时间。由于hbase的集群是由zk管理的，所以当一个regionserver挂掉的时候，master是从zk集群上得到的... 阅读全文

摘要： hive中参数分为三类，第一种system环境变量信息，是系统环境变量信息；第二种是env环境变量信息，是当前用户环境变量信息；第三种是hive参数变量信息，是由hive-site.xml文件定义的以及当前hive会话定义的环境变量信息。其中第三种hive参数变量信息中又由hadoop hdfs... 阅读全文

摘要： 在Flume NG+hadoop的开发中，运行mapreduce的时候出现异常Error: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-235416765-192.168.30.244-14302219675... 阅读全文

摘要： 下载jdk的linux下版本，下载页面http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，选择jdk-7u79-linux-x64.tar.gz进行下载。这里采用tar.gz的原因是因... 阅读全文

摘要： redhat系统：linux中创建用户命令为:useradd 用户名, eg: useradd test指定密码：passwd test但是有时候我们需要使用test运行执行一些root用户才有权限执行的命令，此时有两种方式：第一种，方式使用test用户执行，采用root用户执行。第二种，使用sud... 阅读全文

摘要： 在安装hadoop之前需要进行ssh免密码登录，ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对，下面我以Redhat为例。我这里只采用一台机器A(10.2.3.10)，然后希望ssh登录到自身免密码。1、机器A生产密钥，执行命令为ssh-keygen -... 阅读全文

摘要： 一般我们采用win开发+linux hadoop集群的方式进行开发，使用插件：hadoop-***-eclipse-plugin。 运行程序的时候，我们一般采用run as application或者选择run as hadoop。按照这个字面理解，我们可以认为第一种是运行在本地，第二种是运行在ha 阅读全文