导航

使用Vagrant搭建Hadoop集群踩过的坑

Posted on 2014-12-09 16:41  hoory  阅读(520)  评论(0编辑  收藏  举报

最近使用Vagrant搭建了一个有3台主机的Hadoop集群,使用的是Cloudera Manager来管理,最初在我的笔记本上虚拟了4台主机,一台最为cloudera Manager Server,其他几台运行cloudera Manager Agent,在本机运行正常后,发现内存占用太厉害,我打算迁移两台运行Agent的到另外一台工作电脑,于是使用Vagant Package打包,并在另外一台机器上Vagrant Box Add和Vagrant up,启动后,登录cloudera manager管理界面查看,结果发现迁移的两台主机找不到,而不停的刷新页面的话,显示是原来运行Agent的三台机器,除vm-cluster-node1外,另外一个主机刷新一次便在node2,node3和node4之间轮流出现,而不能4台机器同时出现,初步怀疑是因为用node1进行的package,所以agent已经包含为node1的agent配置信息。

于是我运行一下脚本将node3和node4中的agent service都删除了

1 sudo /usr/sbin/service cloudera-scm-agent hard_stop_confirmed
2 sudo apt-get purge 'cloudera-manager-*'
3 sudo apt-get clean 

然后从cloudera manager管理界面重新加入node3和node4,在加入之前,我又把清理掉agent的机器又从新package,希望能以后重复利用

重新加入的过程又很漫长,得下载400多M的manager agent包,能有朋友遇到同样问题吗?如何能够不卸载包,只修改配置使迁移成功??