01 2016 档案

ssh 无密码登录 非相同用户
摘要:场景,机器A 用户a,想登录机器B ,机器B上没有用户a,有用户b。 已知机器B的用户密码,可以这么做。 实验:两台机器都是linux centos的系统。 在机器A上生成a用户的密钥。 ssh-keygen –t rsa 一路回车生成密钥。 进入/home/a/.ssh 可以看到id_rsa.pub ,cat 之后复制其内容。 进入机器B,/home/b/.ssh vi aut... 阅读全文

posted @ 2016-01-27 07:29 tneduts 阅读(420) 评论(0) 推荐(0)

Ganglia安装扩容
摘要:现有的环境中Hbase集群的机器需要安装ganglia,遂采取了以下步骤。 查看机器的信息, uname –a cat /etc/issue 查看当前环境是x86的,安装的是red hat 6.4 之前有一些集群也是x86,安装的是red hat 6.2 决定从已安装的集群中直接复制过来。 步骤如下: 选中一台安装gmond的节点即可, rpm –qa | grep gangli... 阅读全文

posted @ 2016-01-25 21:37 tneduts 阅读(310) 评论(0) 推荐(0)

Hadoop安装lzo实验
摘要:参考http://blog.csdn.net/lalaguozhe/article/details/10912527 环境:hadoop2.3cdh5.0.2 hive 1.2.1 目标:安装lzo 测试作业运行与hive表创建使用lzo格式存储 之前安装试用snappy的时候,发现cdh解压后的native中已经包含了libsnappy之类的本地库,但是没有包含lzo. 所以lzo的使... 阅读全文

posted @ 2016-01-23 09:07 tneduts 阅读(811) 评论(0) 推荐(0)

关于mapreduce.map.java.opts
摘要:a) Update the property in relevant mapred-site.xml(from where client load the config). b) Import the mapred-site.xml configuration file in the job startup command line using "-conf mapred-site.xml"... 阅读全文

posted @ 2016-01-21 10:47 tneduts 阅读(9422) 评论(1) 推荐(0)

指定作业提交的优先级和队列
摘要:hadoop jar /home/ochadoop/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar pi -Dmapreduce.job.queuename=ochadoop 50 100 作业提交到的队列:mapreduce.job.queuename 作业优先级:mapre... 阅读全文

posted @ 2016-01-20 07:34 tneduts 阅读(3038) 评论(0) 推荐(0)

hadoop日常运维与升级总结
摘要:日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop-daemon.sh start|stop datanode/namenode/journalnode/zkfc yarn-da... 阅读全文

posted @ 2016-01-19 08:30 tneduts 阅读(5674) 评论(1) 推荐(0)

Virtualbox配置双网卡
摘要:hadoop内部的虚拟机群,使用Host-Only 因为我之前一直是把三台虚机配置成桥接网络,可以同时上网又可以互通,但有一段时间,网络一直不通畅,造成hadoop核心进程一直关闭。 最后为了稳定起见,我都改成了Hostonly的方式,这样hadoop通信很顺畅,但有时候需要访问网络就不方便。 添加第两块网卡,然后做以下处理,第二块网卡选择桥接网络,(NAT我没有配成功) 这里有一点... 阅读全文

posted @ 2016-01-17 09:31 tneduts 阅读(1904) 评论(0) 推荐(0)

Device ehth0 is not present
摘要:context: 使用virtualbox 克隆了一个新硬盘,然后配为新建虚机的使用,但ifconfig只能发现lo,没有eth0 解决方案: 当前系统是centos6.6 cd /etc/udev/rules.d rm –f 70-persistent-net.rules reboot 即可 阅读全文

posted @ 2016-01-16 09:23 tneduts 阅读(238) 评论(0) 推荐(0)

Containers Reserved yarn resourcemanager
摘要:yarn rm的管理页面中显示了集群的概况,其中有一个指标叫Containers Reserved . 预留的容器,为什么会预留,集群的资源使用饱合,新的app请求的资源一般会进入pending状态,为什么需要预留, 查阅资料说是,如果app申请的资源不太容易分配,比如新的app是一个计算密集型的,一个task需要6个vcores,其他任务需要一个, 则刚释放的资源如果不预留,就会被其他任务... 阅读全文

posted @ 2016-01-15 17:42 tneduts 阅读(553) 评论(0) 推荐(0)

mapred-site.xml 配置在线更新
摘要:环境:ibm jdk , cdh2.35.0.2 需求:更新mapred-site.xml 中的mapreduce.map.java.opts 和 mapreduce.reduce.java.opts 中部分jvm相关的参数。 主要是去掉原来使用的大页面参数 Xlp 和增大xms xmx参数 目标:不重启集群的nodemanager进程,修改的mapred-site.xml中的项目是否会生... 阅读全文

posted @ 2016-01-13 20:38 tneduts 阅读(819) 评论(0) 推荐(0)

虚拟机群安装多个hadoop集群时遇到的问题
摘要:背景,原来在我的虚拟机集群(nn1,nn2)中安装的是cdh23502,后来做升级实验,升到cdh26550,因为生产中使用的环境是cdh23502,所以再次切换回去。 切换的过程中,遇到一些问题,特记录于此。仍然共用原来的zookeeper 1 启动nodemanager的时候,报异常如下: FATAL org.apache.hadoop.yarn.server.nodemanage... 阅读全文

posted @ 2016-01-13 20:26 tneduts 阅读(1880) 评论(0) 推荐(0)

Hadoop2.6 datanode配置在线更新
摘要:datanode 的配置可以在线更新了,http://blog.cloudera.com/blog/2015/05/new-in-cdh-5-4-how-swapping-of-hdfs-datanode-drives/ 在大的hadoop生产集群中,每一台机器都会配置多块硬盘,而硬盘的损坏也是常态,如何让硬盘的损坏不影响正常的生产呢? 如果在hdfs-site.xml中把 dfs.datan... 阅读全文

posted @ 2016-01-09 11:11 tneduts 阅读(500) 评论(0) 推荐(0)

记一次ganglia的故障分析 mem_report不显示
摘要:ganglia集群中mem_report不能正确显示,有的显示有些不显示。 我通过web开发工具F12,获取生成图片的路径,然后加上&debug=3 显示发现: No matching metrics detected 然后根据这个线索在官网上找到一个类似的问题。 http://sourceforge.net/p/ganglia/mailman/message/29714277/ 其实... 阅读全文

posted @ 2016-01-06 09:54 tneduts 阅读(377) 评论(0) 推荐(0)

Linux 杂记
摘要:可以用sh -x strangescript来调试。 可以使用sh -n your_script来检查语法,不执行。 删除大的文件,直接使用rm可能会卡死,使用>/path/to/file ,然后 rm. xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具. 它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理. 由此这个命令也是后置引用的一个强有... 阅读全文

posted @ 2016-01-01 21:23 tneduts 阅读(230) 评论(1) 推荐(0)

Hadoop多硬盘配置时的注意事项
摘要:dfs.datanode.fsdataset.volume.choosing.policy org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy dfs.datanode.available-space-volume-choosing-policy.balanced-s... 阅读全文

posted @ 2016-01-01 14:20 tneduts 阅读(1414) 评论(0) 推荐(0)

导航