我的空中楼阁

摘要：场景，机器A 用户a,想登录机器B ,机器B上没有用户a，有用户b。 已知机器B的用户密码，可以这么做。 实验：两台机器都是linux centos的系统。 在机器A上生成a用户的密钥。 ssh-keygen –t rsa 一路回车生成密钥。 进入/home/a/.ssh 可以看到id_rsa.pub ，cat 之后复制其内容。 进入机器B,/home/b/.ssh vi aut... 阅读全文

摘要：现有的环境中Hbase集群的机器需要安装ganglia,遂采取了以下步骤。 查看机器的信息， uname –a cat /etc/issue 查看当前环境是x86的，安装的是red hat 6.4 之前有一些集群也是x86,安装的是red hat 6.2 决定从已安装的集群中直接复制过来。 步骤如下： 选中一台安装gmond的节点即可， rpm –qa | grep gangli... 阅读全文

摘要：参考http://blog.csdn.net/lalaguozhe/article/details/10912527 环境：hadoop2.3cdh5.0.2 hive 1.2.1 目标：安装lzo 测试作业运行与hive表创建使用lzo格式存储 之前安装试用snappy的时候，发现cdh解压后的native中已经包含了libsnappy之类的本地库，但是没有包含lzo. 所以lzo的使... 阅读全文

摘要：a) Update the property in relevant mapred-site.xml(from where client load the config). b) Import the mapred-site.xml configuration file in the job startup command line using "-conf mapred-site.xml"... 阅读全文

摘要：hadoop jar /home/ochadoop/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar pi -Dmapreduce.job.queuename=ochadoop 50 100 作业提交到的队列：mapreduce.job.queuename 作业优先级：mapre... 阅读全文

摘要：日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改，需要重启生效， 或者是进程自己因某种致命原因终止， 或者发现进程工作出现异常等情况下，需要进行手动进程的关闭或启动， 或者是增删节点过程中的需要， 进程的关闭与启动，使用 hadoop-daemon.sh start|stop datanode/namenode/journalnode/zkfc yarn-da... 阅读全文

摘要：hadoop内部的虚拟机群，使用Host-Only 因为我之前一直是把三台虚机配置成桥接网络，可以同时上网又可以互通，但有一段时间，网络一直不通畅，造成hadoop核心进程一直关闭。 最后为了稳定起见，我都改成了Hostonly的方式，这样hadoop通信很顺畅，但有时候需要访问网络就不方便。 添加第两块网卡，然后做以下处理，第二块网卡选择桥接网络，（NAT我没有配成功) 这里有一点... 阅读全文

摘要：context: 使用virtualbox 克隆了一个新硬盘，然后配为新建虚机的使用，但ifconfig只能发现lo，没有eth0 解决方案： 当前系统是centos6.6 cd /etc/udev/rules.d rm –f 70-persistent-net.rules reboot 即可 阅读全文

摘要：yarn rm的管理页面中显示了集群的概况，其中有一个指标叫Containers Reserved . 预留的容器，为什么会预留，集群的资源使用饱合，新的app请求的资源一般会进入pending状态，为什么需要预留， 查阅资料说是，如果app申请的资源不太容易分配，比如新的app是一个计算密集型的，一个task需要6个vcores，其他任务需要一个， 则刚释放的资源如果不预留，就会被其他任务... 阅读全文

摘要：环境：ibm jdk , cdh2.35.0.2 需求：更新mapred-site.xml 中的mapreduce.map.java.opts 和 mapreduce.reduce.java.opts 中部分jvm相关的参数。 主要是去掉原来使用的大页面参数 Xlp 和增大xms xmx参数 目标：不重启集群的nodemanager进程，修改的mapred-site.xml中的项目是否会生... 阅读全文

摘要：背景，原来在我的虚拟机集群（nn1,nn2)中安装的是cdh23502,后来做升级实验，升到cdh26550,因为生产中使用的环境是cdh23502，所以再次切换回去。 切换的过程中，遇到一些问题，特记录于此。仍然共用原来的zookeeper 1 启动nodemanager的时候，报异常如下： FATAL org.apache.hadoop.yarn.server.nodemanage... 阅读全文

摘要：datanode 的配置可以在线更新了，http://blog.cloudera.com/blog/2015/05/new-in-cdh-5-4-how-swapping-of-hdfs-datanode-drives/ 在大的hadoop生产集群中，每一台机器都会配置多块硬盘，而硬盘的损坏也是常态，如何让硬盘的损坏不影响正常的生产呢？ 如果在hdfs-site.xml中把 dfs.datan... 阅读全文

摘要：ganglia集群中mem_report不能正确显示，有的显示有些不显示。 我通过web开发工具F12,获取生成图片的路径，然后加上&debug=3 显示发现： No matching metrics detected 然后根据这个线索在官网上找到一个类似的问题。 http://sourceforge.net/p/ganglia/mailman/message/29714277/ 其实... 阅读全文

摘要：可以用sh -x strangescript来调试。 可以使用sh -n your_script来检查语法，不执行。 删除大的文件，直接使用rm可能会卡死，使用>/path/to/file ,然后 rm. xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具. 它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理. 由此这个命令也是后置引用的一个强有... 阅读全文

摘要：dfs.datanode.fsdataset.volume.choosing.policy org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy dfs.datanode.available-space-volume-choosing-policy.balanced-s... 阅读全文