19.cloudera

0.注意，如果ssh面密码登录有问题，需要将每个.ssh/下的所有文件删除重新发送认证文件

1.准备三台虚拟机

master      192.168.74.128
slave-1     192.168.74.129
slave-2     192.168.74.130

2.配置好hosts文件和hostname

$ cat /etc/hosts
192.168.74.128  master
192.168.74.129  slave-1
192.168.74.130  slave-2

root@master:~$ cat /etc/hostnamecat /etc/hostname
master

root@slave-1:~$ cat /etc/hostnamecat /etc/hostname
slave-1

root@slave-2:~$ cat /etc/hostnamecat /etc/hostname
slave-2

修改host文件后reboot一下，然后互相ping，检测是否配置好

3.添加hadoop用户，并给予sudo使用权限，需要以root用户身份分别在三台虚拟机上执行

#创建了可以登陆的 hadoop 用户，用户组为hadoop，并使用 /bin/bash 作为 shell
$ useradd -g hadoop -m hadoop -s /bin/bash

#设置密码
$ passwd hadoop

#为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题
$ adduser hadoop sudo

设置sudo为不需要密码

#su - (注意有- ，这和su是不同的，在用命令"su"的时候只是切换到root，但没有把root的环境变量传过去，还是当前用乎的环境变量，用"su -"命令将环境变量也一起带过去，就象和root登录一样)
$ su -

$ vi /etc/sudoers#追加如下内容
#hadoop ALL=(ALL)   ALL#密码5分钟后会失效
hadoop ALL=(ALL) NOPASSWD: ALL#一劳永逸的做法

4.关闭防火墙，关闭selinux，关闭ipv6

#返回结果是0表示ipv6没有关闭，为1表示ipv6关闭
$cat /proc/sys/net/ipv6/conf/all/disable_ipv6

#关闭方法
$ sudo su -
$ vim  /etc/sysctl.conf
#disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

#重启
$ reboot

 

5.ssh免密码登录

#每台机器上切换到hadoop用户
$ su hadoop

#在每台机器上ssh localhost在/home/目录下会生成目录.ssh
$ ssh localhost

#master上执行
$ cd /home/hadoop/.ssh
$ ssh-keygen -t rsa    //生成其无密码密钥对，一路回车键，生成的密钥对：id_rsa和id_rsa.pub
$ cat /home/hadoop/.ssh/id_dsa.pub >> /home/hadoop/.ssh/authorized_key
$ scp authorized_keys hadoop@slave-1:/home/hadoop/.ssh/authorized_key
$ scp authorized_keys hadoop@slave-2:/home/hadoop/.ssh/authorized_key

#在master上检测是否可以无密码登录，拷贝完成之后，最好在每个slave下执行ssh localhost
$ ssh slave-1
$ ssh slave-2

 4.在master虚拟机下，下载cloudera-manager-installer.bin，

$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

$ chmod u+x cloudera-manager-installer.bin

$ sudo ./cloudera-manager-installer.bin

一路Next和OK之后安装成功之后，在浏览器中输入192.168.74.128:7180,用户名和密码都是admin

 登录Cloudrea Manager页面，选择要安装的版本，本次安装的是Cloudera Express，然后搜索集群是每行输入一个主机名master slave-1 slave-2然后就进行安装

在暗转过程中出现问题：无法安装oracal-j2sdk1.6包，解决连接如下：https://community.cloudera.com/t5/Cloudera-Manager-Installation/Unable-to-proceed-with-Cloudera-Manger-isntallation-Issue-with/m-p/45940

$ sudo apt-get install -y --force-yes debian-keyring debian-archive-keyring apt-transport-https
$ apt-key update
$ apt-get update

解决问题之后，安装成功

 

出现如下问题，解决方式------echo 10 > /proc/sys/vm/swappiness

....................................................................................................................................................................................................................................................

 

对安装的组件进行分配主机，默认就好