打赏

关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)

 

写在前面的话

  (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责、认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本)。

  (2)  大数据集群范围包括3节点和4节点。本人都尝试过。

  (3)  安装搭建包括离线和在线。本人都尝试过

  (4)  版本包括自定义指定和官方最新版本搭建。本人都尝试过。

  (5) 大数据集群节点的增加和删减。本人都尝试过。

  (6) 虚拟机和真实物理机上搭建。本人都尝试过。

 

 

 

 

 首先,以下是博主我本人,在虚拟机里搭建的ambari(基于CentOS6.5)

CentOS6.5下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

 

  以下是博主我本人,在虚拟机里搭建的cloudermanager(基于CentOS6.5)

CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

 

   以下是博主我本人,在虚拟机里搭建的cloudermanager(基于Ubuntu14.04)

Ubuntu14.04下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)(在线或离线)

 

 

   以下是博主我本人,在真实物理机器上搭建的ambari(基于ubuntu14.04)

Ubuntu14.04下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

 

 

 

 

     这里,对于企业公司里,若搭建,角色机器分配可参考

Cloudera Manager5之安装部署CDH5.X (强烈推荐)

  http://blog.csdn.net/freedomboy319/article/details/44804721

 

 

 

 

 

 

 

 

 

以下是博主我本人,在真实物理机上里搭建的cloudermanager(基于Ubuntu14.04)!!!

 

一、关于另开一个用户给真实物理机器。这一点区别于我们平常在虚拟机里搭建。

adduser与useradd的区别

 

1、虚拟机搭建

新建用户组、用户、用户密码、删除用户组、用户(适合CentOS、Ubuntu系统)

  

2、真实物理机器搭建

  不能上述虚拟机里创建用户方式了。要如下操作:

  ubuntu和windows一样,可以任意创建或者删除新的用户,windows下比较简单,ubuntu下需要使用命令,不过操作起来不是很繁琐,所以我尽量写的详细一些。

          如何创建ubuntu新用户?比如我这里创建bigdata用户(root用户执行)

    方法1:    

 首先打开终端,输入:sudo adduser bigdata,系统会提示以下信息:

           正在添加用户“bigdata”...

           正在添加新组“bigdata”(1001)...

           正在添加新用户“bigdata”(1001)到组“bigdata”...

           创建主目录“/home/bigdata”...

            正在从“/etc、skel”复制文件...

            输入新的 UNIX 口令:(我这里输入密码为bigdata)

            重新输入新的 UNIX 口令:(再次输入bigdata)

            passwd:已成功更新密码

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: (回车)
            Room Number []:(回车)
            Work Phone []:(回车)
            Home Phone []:(回车)
            Other []:(回车)
这个信息是否正确? [Y/n] y

            到了这一步,新用户已经添加成功了,此时我们可以打 ls /home查看一下,如果显示 username bigdata,侧代表用户创建成功。

 

 

   比如,我下面创建新用户oo。

 

 

 

 

 

 

 

 

 

 

首先打开终端,输入:sudo adduser username,系统会提示以下信息:

           正在添加用户“username”...

           正在添加新组“username”(1001)...

           正在添加新用户“username”(1001)到组“username”...

           创建主目录“/home/username”...

            正在从“/etc、skel”复制文件...

            输入新的 UNIX 口令:(此处大家注意,不是输入你当前用户的密码,而是输入你要创建新用户的密码)

            重新输入新的 UNIX 口令:(再输一次即可)

            passwd:已成功更新密码

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: yangyang (输入新用户的名称)
            Room Number []:
            Work Phone []:
            Home Phone []:
            Other []:
这个信息是否正确? [Y/n] y

            到了这一步,新用户已经添加成功了,此时我们可以打 ls /home查看一下,如果显示 username yang,侧代表用户创建成功。如图1所示。

 

 

 

 

 

          如何删除ubuntu用户?

          ubuntu删除用户同样是在终端下操作的,需要注意的是,如果要删除的用户当前已登陆,是删除不掉的,必须注销掉当前用户切换为另一个用户下,才能删除。举个例子,刚才我新建立了一个用户为 yang 的用户,例如我现在用用户 yang 登陆了桌面,此时如果我想删除 yang 这个用户,是删除不掉的。正确的操作方法是,我注销掉 yang,然后使用 root 登陆到桌面,再删除 yang 即可。

          删除ubuntu用户的命令比较容易记:sudo userdel username,例如我想删除 yang ,则输入:sudo userdel yang,删除成功后,系统无任何提示。

 

  后续贴图

 

 

 

 

 

 

 

 

 

 

 

  二、若大家网速还不错的话,可以在线安装。若是网速不太好,强烈建议大家离线安装。(不然网络原因导致中途各种报错,非常麻烦)

   关于各自,大家是CentOS还是Ubuntu系统,自行可以参考我上述写的在虚拟机里搭建的博客。

 

 三、常见错误

Ubuntu系统里如何正确卸载oracle-j2sdk1.6(图文详解)

ClouderManger搭建大数据集群时ERROR 2003 (HY000): Can't connect to MySQL server on 'ubuntucmbigdata1' (111)的问题解决(图文详解)

sudo apt-get install openssh-server时提示需要安装1:6.6p1-2ubuntu1的解决办法(图文详解)

安装clouderamaner时出现Failed to detect distribution错误(在ubuntu14.04版本里)

cloudermanager安装过程中出现W:GPG error错误 http://ppa.launchpad.net.trusty Release **** 4DF9B28CA252A784(图文详解)

安装cloudermanager时出现org.spingframework.web.bind.***** host[] is not present at AnnotationMethodHandlerAdapter.java line 738 ****错误(图文详解)(博主推荐)

cloudermanger安装时需要安装或彻底正确卸载再安装orcal-java7-installer、oracle-java7-set-default(ubuntu14.04版本)(图文详解)

ubuntu系统在安装好mysql后,出现ERROR 2002(HY000: Can't to local MySQL server through socket '/var/run/mysqld/mysqld.sock')(2)(图文详解)

cloudermanager安装时database connection出现Unexpected error. Unable to verify database connection(图文详解)

安装cloudermanager时出现Acquiring installation lock问题(图文详解)

cloudemanager安装时出现failed to receive heartbeat from agent问题解决方法(图文详解)

cloudemanager安装时出现ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>问题解决方法(图文详解)

cloudemanager安装时出现8475 MainThread agent ERROR Heartbeating to 192.168.30.1:7182 failed问题解决方法(图文详解)

  

 

  四、真实物理机上的一些安装技巧

  比如,我这里,是将nssa-sensor1(即192.168.30.1)下载和搭建好。

  在/opt/cloudera/下,然后,将整个cloudera目录拷贝到nssa-sensor2(192.168.30.2)、nssa-sensor3(192.168.30.3)和nssa-sensor4(192.168.30.3)

 

  即,换句话说,将master/slave1(192.168.30.1)下载和搭建好。然后,将其/opt/cloudera整个目录,拷贝给slave2(192.168.30.2)、slave3(192.168.30.3)和slave4(192.168.30.4)。

  这里,我至于为什么要搭建4节点,是因为符合中国高校的实情,需要做加速比性能分析。(这是潜规则)

 

 

  小例子:比如,现在,我还有nssa-sensor4(192.168.30.4)还没拷贝。

 

 

 

 

 

 

 

 

  对于,Ubuntu系统里搭建cloudermanager,其实,可以安装我们自行的orcal jdk。贴图为证。

 

 

  这也是我,为什么要写下面的这篇博客的原因所在,

cloudermanger安装时需要安装或彻底正确卸载再安装orcal-java7-installer、oracle-java7-set-default(ubuntu14.04版本)(图文详解)

 

 

 

 

 

总结  

  此系列的大数据搭建,为本人呕心沥血所写,经过好一段时间反复锤炼和整理修改。以此,记录我读研生涯时光的美好记忆!

  感谢所参考的博友们的精彩前辈文章!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接出处。

  大家,若在虚拟机里搭建或真实物理机器上搭建,碰到问题,都可以留言评论。欢迎指正,谢谢!

 

 

 

 

 

 

欢迎大家,加入我的微信公众号:大数据躺过的坑     免费给分享
 
 
 

同时,大家可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 

 

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

 

       以及对应本平台的QQ群:161156071(大数据躺过的坑)

 

 

 

 

 

 

 

 

 

 

 

posted @ 2017-06-29 12:30  大数据和AI躺过的坑  阅读(1089)  评论(0编辑  收藏