——本文非个人原创,为大牛同事整理,发布于此以备忘

1     CDH5.8安装(2018年4月19日)

1.1   物理服务器注意事项

(1)把raid都去掉了,每个物理盘都用raid0创建一个虚拟盘。Ctrl+r进入dell的raid设置,用F2来进行设置,注意设置完raid后,需要选中创建好的虚拟盘按F2从操作中选fast init,不初始化的话安装系统的时候找不到硬盘。

10.10.101.1-10.10.101.4这四台,每台服务器三块硬盘,一个用来装linux和CDH,一个盘给Hadoop用,最后一个盘给OpenStack使用。

10.10.101.5服务器给mitaka使用,服务器有两块硬盘,煤块2T。

(2)操作系统安装的是centos7.3,CentOS-7-x86_64-Everything-1611。分区调整的时候,把home分区留100多G,其他的给分到/分区。10.10.101.1和10.10.101.2前面的usb口可能不灵。

1.2   安装CDH5.8过程

参考地址:https://www.cmgine.com/archives/19130.html

 

实际步骤:参考CDH5.12的安装步骤

2     CDH 5.12安装(2018年3月19日)

参考地址:

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_command_line.html

Installing and Deploying CDH Using the Command Line

 

http://blog.csdn.net/watermelonbig/article/details/77102187 【重点参考】

Cloudera Manager CDH 5.12 大数据处理平台部署指南

 

http://blog.csdn.net/fengdahui/article/details/54426317

CDH-5.XX 离线安装及升级步骤及安装过程常见错误

 

http://blog.csdn.net/sunsiyuan521/article/details/77045747

离线安装Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程

 

http://archive.cloudera.com/cdh5/parcels/

离线安装需要下载的文件的路径,下载后保存到/opt/cloudera/parcel-repo

 

https://archive.cloudera.com/cm5/repo-as-tarball/5.12.0/

离线安装的yum需要的东西

 

2.1   物理服务器注意事项

(1)NameNode所在的节点一般不要同时做数据节点使用。而且NameNode所在主机的磁盘需要配置适当的RAID保护级别,以提高可靠性。

备注:这里在公司的hadoop集群用的是raid5

(2)对于DataNode所在的主机节点,建议系统盘和数据盘完全隔离开,然后系统盘使用两磁盘配置为RAID1以提高可靠性。虽然数据节点是冗余的,挂一个也不影响CDH平台运行,但修起来还是很麻烦。

备注:其他数据结点都是用的raid0,总共有3个数据结点。

注意dell服务器重启的时候按ctrl+r进入raid设置,按F2进行操作。设置完后需要选中硬盘初始化,否则安装的时候出错。

2.2   安装centos7.2及环境调整

2.2.1   环境调整

用u盘启动安装centos7.2,安装完毕后需要进行以下操作:

(1)设置IP地址。

(2)修改机器名。

hostnamectl set-hostname hadoop1(仅centos7)

 

(3)重启网络

命令:service network restart

(4)用xshell连接上已有的计算机,大部分命令可以一起操作了。

(5)禁用selinux。

getenforce

setenforce 0

vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

 

注意:按i进入编辑状态,按esc退回到命令状态,命令状态按:wq并回车保存并退出。

 

(6)禁用防火墙。

systemctl stop firewalld

systemctl disable firewalld.service

 

firewall-cmd --state   查看防火墙状态

(7)设置hosts

vi /etc/hosts

10.10.101.1 hadoop1

10.10.101.2 hadoop2

10.10.101.3 hadoop3

10.10.101.4 hadoop4

10.10.101.5 mitaka

 

(8)设置免密登录

在所有的服务器上运行ssh-keygen,然后一路回车。

用xshell给每台机器上执行

ssh-copy-id 192.168.0.100    注意拷贝的IP是要安装cdh的服务器的IP

ssh-copy-id 192.168.0.101  

ssh-copy-id 10.10.101.1   以后登录10.10.101.1就不用再输入口令了

   执行完后看 cat /root/.ssh/authorized_key 是否存在,如果不存在,则手动创建

cat   /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_key

把所有计算机上的authorized_key文件合并成一个文件,再拷贝到各个计算机上。

 

这样可以保证每个服务器之间都可以相互免密登录。

 

验证:

ssh root@hadoop1

exit

ssh root@hadoop2

exit

ssh root@hadoop3

exit

ssh root@hadoop4

exit

 

(9)设置参数优化。

命令:vi /etc/sysctl.conf  回车输入i进入编辑状态,把下面的内容粘贴到文件最后

vm.swappiness = 0 

net.ipv6.conf.all.disable_ipv6 = 1 

net.ipv6.conf.default.disable_ipv6 = 1 

net.ipv4.ip_local_port_range = 1024 65000

按esc退出编辑状态,输入:wq保存并退出。

 

命令:vi /etc/rc.local   把下面的内容追加到文件最后

echo never > /sys/kernel/mm/transparent_hugepage/defrag 

echo never > /sys/kernel/mm/transparent_hugepage/enabled

按esc退出编辑状态,输入:wq保存并退出。

 

source /etc/rc.local

 

命令:chmod +x /etc/rc.d/rc.local   这个命令不能少,否则重启后/etc/rc.local不能自动执行。

 

2.2.2   验证优化参数

(10)重启 reboot

(11)检查参数优化是否优化成功。

命令:getenforce   检查结果是否是Disabled

命令:firewall-cmd --state 检查防火墙是否关闭

命令:cat /sys/kernel/mm/transparent_hugepage/defrag 看是否是选中了never。

命令:cat /proc/sys/vm/swappiness  看结果是否是设置的0,如果设置的是10,则结果显示是10。

注意:如果centos是在vmware虚拟机安装的,这个参数可能会改不了,一直是30。物理机的centos没有问题。

 

上面命令一起执行如下:

getenforce

firewall-cmd --state

cat /sys/kernel/mm/transparent_hugepage/defrag

cat /proc/sys/vm/swappiness

 

2.3   把centos安装盘设置成本地源(离线安装mysql  wget需要)

注意:如果是在线安装也挺快,就不用设置本地源了

(1)新建用来挂载的目录。

cd /mnt/

mkdir iso cdrom

cd /mnt/iso

(2)把CentOS-7-x86_64-Everything-1511.iso文件拷贝到/mnt/iso目录下。

(3)执行挂载命令如下:

mount -o loop /mnt/iso/CentOS-7-x86_64-Everything-1511.iso /mnt/cdrom/

(mount命令 -o指定选项,loop用来把一个文件当成硬盘分区mount到目录)

需要加到/etc/rc.local文件中,作为开机执行语句,否则重启后还需要重新执行此命令

 

(4)备份原来的源文件。

cd /etc/yum.repos.d/

mkdir bak

mv *.repo ./bak

(5)设置本地源

vi /etc/yum.repos.d/iso.repo

[Centos]

name=CentOS

baseurl=file:///mnt/cdrom

gpgcheck=0

enabled=1

 

编辑好后保存并关闭文件。

 

(6)安装后面用到的工具

yum install wget -y       需要安装,否则后面安装CDH有报错

yum install deltarpm -y      需要安装,否则后面安装CDH有报错

yum install psmisc -y               需要安装,否则后面安装CDH有报错

 

yum install wget -y

yum install deltarpm -y

yum install psmisc -y

 

2.4   正式安装CDH

2.4.1   安装oracle jdk (都安装)

(1)下载rpm安装包

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

注意:下载的时候需要登录oracle的帐号。

(2)安装rpm包

rpm -ivh jdk-8u161-linux-x64.rpm

(3)编辑配置文件指定java的home目录并导出环境变量

vi /etc/profile   将下面的内容拷贝到文件最后

JAVA_HOME=/usr/java/jdk1.8.0_161

PATH=$JAVA_HOME/bin:$PATH:. 

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export JAVA_HOME 

export PATH 

export CLASSPATH

注意:编辑的时候别把PATH参数搞错了,否则可能会引起命令找不到问题。

 

执行source /etc/profile

 

(4)检查java是否安装成功

echo $JAVA_HOME     显示:/usr/java/jdk1.8.0_161

java -version   显示结果如下:

java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 1.8.0_161-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

说明:出现上面的结果,说明java已经安装成功。

 

2.4.2   安装mysql (只装1台)

有多种方法,这里centos7.2的安装iso文件搭建本地yum源,然后再安装。

(1)正式安装mysql

yum install mariadb mariadb-server -y

systemctl enable mariadb.service

systemctl start mariadb.service

mysql_secure_installation

最后一个命令,设置数据库的root的口令为admin@123

 

验证:

#mysql -u root -p

输入刚才设置的口令admin@123

如果能正常登录,说明mysql安装成功了

 

注意:如果不能安装需要先卸载冲突的包

rpm -qa | grep mariadb #查看安装信息

rpm -e mariadb-libs* --nodeps #根据查找到的软件包信息卸载

 

rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps

 

 

(2)优化数据库

 跳过:这里没有设置。

2.4.3   创建需要的数据库 (只操作1台)

        
  

Role

  
  

Database

  
  

User

  
  

Password

  

Activity Monitor

amon

amon

amon_password

Reports Manager

rman

rman

rman_password

Hive Metastore Server

metastore

hive

hive_password

Sentry Server

sentry

sentry

sentry_password

Cloudera Navigator Audit Server

nav

nav

nav_password

Cloudera Navigator Metadata Server

navms

navms

navms_password

Oozie

oozie

oozie

oozie_password

Hue

hue

hue

hue_password

 

登录数据库:mysql -u root -p

输入密码admin@123

create database amon DEFAULT CHARACTER SET utf8;

create database rman DEFAULT CHARACTER SET utf8;

create database hive DEFAULT CHARACTER SET utf8;

create database sentry DEFAULT CHARACTER SET utf8;

create database nav DEFAULT CHARACTER SET utf8;

create database navms DEFAULT CHARACTER SET utf8;

create database oozie DEFAULT CHARACTER SET utf8;

create database hue DEFAULT CHARACTER SET utf8;

 

grant all on amon.* TO amon@'%' IDENTIFIED BY 'amon_password';

grant all on rman.* TO rman@'%' IDENTIFIED BY 'rman_password';

grant all on hive.* TO hive@'%' IDENTIFIED BY 'hive_password';

grant all on sentry.* TO sentry@'%' IDENTIFIED BY 'sentry_password';

grant all on nav.* TO nav@'%' IDENTIFIED BY 'nav_password';

grant all on navms.* TO navms@'%' IDENTIFIED BY 'navms_password';

grant all on oozie.* TO oozie@'%' IDENTIFIED BY 'oozie_password';

grant all on hue.* TO hue@'%' IDENTIFIED BY 'hue_password';

1.1.1   安装时间同步服务1(OpenStack需要的时间服务器)

(1)在 时间服务器 上配置:

yum install chrony -y

vi /etc/chrony.conf

   server hadoop1 iburst

server s1a.time.edu.cn iburst    //改成这个或保持原来的都可以

allow 192.168/16                            //注意修改成合适的网段

注意:上面是控制节点的设置,其他节点的时间服务器指定为hadoop0

 

systemctl enable chronyd.service

systemctl start chronyd.service

chronyc sources

 

(2)设置时区

timedatectl set-timezone Asia/Shanghai

显示时间

date

 

 

(3)在其他机器上的配置

yum install chrony -y

vi /etc/chrony.conf

server hadoop1 iburst

注意:上面是控制节点的设置,其他节点的时间服务器指定为hadoop0

 

systemctl enable chronyd.service

systemctl start chronyd.service

chronyc sources    查看时间服务器是否能同步了。

1.1.2   安装时间服务2(这个是CDH需要的时间服务)

[root@CDH-DEV1 .ssh]# yum install ntp

 

【时间服务器服务端的设置】

修改配置文件:vi /etc/ntp.conf,修改以下部分

server time.asia.apple.com

server 127.127.1.0

fudge 127.127.1.0 stratum 11

参考:https://blog.csdn.net/chuan_day/article/details/55096426

 

【其他服务器的设置】

server 10.10.101.5 iburst

 

【设置开机启动】

[root@CDH-DEV1 .ssh]# chkconfig ntpd on

 

【服务启动】

[root@CDH-DEV1 .ssh]# service ntpd start

 

【重启服务】

[root@CDH-DEV1 .ssh]# service ntpd restart

 

 

 

 

验证命令:

CDH系统错误提示详情页面给的查看命令:ntpdc -np

一直查看同步的时间:watch ntpq -p     按ctrl+c结束查看

使用ntpstat 命令查看时间同步状态,这个一般需要5-10分钟后才能成功连接和同步。所以,服务器启动后需要稍等下。

1.1.1   安装Cloudera Manager Server 软件(都安装)

(1)新建目录,考入压缩包并解压

mkdir /opt/cloudera-manager

cd /opt/cloudera-manager

考入压缩包cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz拷贝

解压缩tar zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

 

(2)创建CM Server系统用户账号

useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

Cdh5.8.0安装:

useradd --system --home=/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

 

(3)创建CM Server的本地数据存储目录

mkdir -p /var/lib/cloudera-scm-server

chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

 

(4)配置所有节点上的Cloudera Manager Agents

sed -i 's/server_host=localhost/server_host=hadoop1/' /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

说明:上面的命令的意思是vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

vi /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini

 

将里面的server_host=localhost 修改为server_host=hadoop1   设置CM的服务器名。

 

(5)创建和初始化CM Server数据库

将mysql-connector-java-5.1.45-bin.jar 拷贝到  /opt/cloudera-manager/cm-5.12.0/share/cmf/lib

 

5.8的操作

   makedir -p /usr/share/java/

scp   mysql-connector-java-5.1.45-bin.jar root@hadoop1:/opt/cm-5.8.0/share/cmf/lib/

scp   mysql-connector-java-5.1.45-bin.jar root@hadoop1:/usr/share/java/

 

 

初始化脚本语法为:scm_prepare_database.sh database-type [options] database-name username password

命令如下:

/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -padmin@123 scm scm scm

5.8的操作如下:

/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh   mysql -hlocalhost -uroot -padmin@123 scm scm scm

 

注意:上面的数据库的口令是admin@123 最后三个scm是数据库名用户名和口令。

命令执行后的显示结果如下:

JAVA_HOME=/usr/java/jdk1.7.0_80

Verifying that we can write to   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

Creating SCM configuration file in   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

Executing:    /usr/java/jdk1.7.0_80/bin/java -cp   /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/../lib/*   com.cloudera.enterprise.dbutil.DbCommandExecutor   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties   com.cloudera.cmf.db.

[                            main] DbCommandExecutor                INFO  Successfully connected to   database.

All done, your SCM database is configured correctly!

 

登录mysql (mysql -u root -padmin@123),增加一条对CM Server主机的访问授权:

grant all on scm.* TO 'scm'@'hadoop1' IDENTIFIED BY 'scm';

 

登录hadoop1节点配置CM Server的数据库配置文件:

vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties

vi /opt/cm-5.8.0/etc/cloudera-scm-server/db.properties

 

需要根据实际情况更新以下参数。

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=hadoop1

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.setupType=EXTERNAL

com.cloudera.cmf.db.password=scm

 

(6)创建CDH Parcel资源目录

在hadoop1节点上:

mkdir -p /opt/cloudera/parcel-repo

cd /opt/cloudera/parcel-repo

 

将以下已经准备好的parcel资源文件放入该目录:

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha

manifest.json

 

设置该目录的所属用户和组:

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

 

在其它所有节点上:

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

(7)启动cloudera manager server and agents

直接使用root运行启动脚本即可,脚本中已经默认设定为会切换到cloudera-scm用户运行进程。

在所有节点上,先调整下文件属主权限:

chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

 

安装:yum install psmisc,否则提示pstree命令找不到(前面已经安装过了就不用再装了)

1.1.1.1     启动server和agent

5.8.0的操作

scp -r   /opt/cm-5.8.0/ root@hadoop2:/opt/

 

 

 

在hadoop1节点上启动CM Server:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server  start

 

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server  start

 

在所有节点上启动CM agent:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  start

 

/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent  start

 

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server   start

/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent   start

 

 

停止的操作:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

 

注:在启动上面的服务时,注意检查进程是否运行,是否因报错退出。可以检查../../log/下面的日志文件,分析错误原因。

1.1.2   登录http://10.10.101.1:7180 进行配置

登录管理站点

注意:如果上面的启动服务的命令刚执行完,等一会这个站点才能完全启动。

 

 

 

 

 

 

 

 

 

 

 

 

注意:上面选核心Hadoop可能安装不过,建议选最后面的自定义,只选择hdfs试一试。

HBase HDFS Oozie ZooKeeper

 

集群设置-自定义角色分配

 

注意:在根据情况进行选择,这边只装了一台。

 

集群设置-数据库设置

 

在安装CDH过程的分配这一步,总是遇到“主机运行状态不良”的提示,解决办法如下:

rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  restart

 

1.1   错误解决

1.1.1   网络接口速度 警告

 

 

操作:

(1)查看网卡情况:ethtool em1

(2)查看网卡情况:ifconfig | more 发现em2和em3有桥接情况

(3)查看桥接:brctl show

 

1.1.1   防止出错的预防操作

cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/

 

cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/

 

1.1.2   启动agent出错

操作:mkdir /opt/cm-5.8.0/run/cloudera-scm-agent

 

1.1.3   主机状态不良的解决办法(ok)

rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  restart

1.1.4   NFS Gateway启动失败

在要运行NFS Gateway的服务器上安装:rpcbind

yum install rpcbind

service rpcbind start

systemctl enable rpcbind

1.1.5   Oozie客户端不能访问少ext

/opt/cloudera/parcels/CDH/lib/oozie/libext

把ext-2.2.zip 解压缩后放到这个目录。

1.1.6   oozie启动失败

(1) 拷贝mysql的驱动文件。

一个是需要把java的mysql的驱动jar文件拷贝到oozie的lib目录中

/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/oozie/lib

 

(2) 在界面中点击创建oozie的表

点到oozie里面,在操作中选择创建oozie的表,然后再启动oozie就能启动了。

1.1.7   Yarn部署客户端出错

部署客户端出错:

需要yum install perl -y

 

查看日志:

 

1.1.8   Yarn启动失败

 

查看日志:

tail -f /var/log/hadoop-mapreduce/hadoop-cmf-yarn-JOBHISTORY-hadoop1.log.out

 

查看日志:不能创建目录hdfs://hadoop1:8020/user/history/

解决办法,手动创建?

su hdfs

hadoop fs -mkdir hdfs://hadoop1:8020/user/history/

点开yarn后,有命令操作可以通过CDH的界面创建。

1.1.9   Hive启动失败

(1)把mysql-connector-java-5.1.45-bin.jar 拷贝到

/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib

(2)创建hive需要的表:点Hive->操作->创建表,这个也是通过CDH的界面创建。

1.1.10      Hue启动失败

(1)还需要运行命令

yum install -y python-lxml

 

参考网址:https://www.cnblogs.com/zhangyin6985/p/7357738.html

 

(2)创建目录

mkdir -p /var/log/hue-httpd/

touch /var/log/hue-httpd/error_log

 

(3)安装服务httpd,mod_ssl

yum install httpd mod_ssl -y

 

(4)安装sasl,否则打开hue站点的时候有错误提示

yum install cyrus-sasl-devel

yum install cyrus-sasl-gssapi

重启hue

 

yum install krb5-server.x86_64  krb5-devel.x86_64  (这个不需要?)

1.2   常用操作

1.2.1   日志

Agent日志:/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-agent

Server日志:/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server

 

查看cm服务启动日志

tail -f /opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server/cloudera-scm-server.log

1.2.2   启动停止服务

在hadoop0节点上启动CM Server:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server  start

在所有节点上启动CM agent:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  start

 

停止的操作:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

 

 

1     在线安装

1.1   QuickStarts for CDH 5.12

https://www.cloudera.com/downloads/quickstart_vms/5-12.html

 

1.2   Cloudera Manager 5.14.1 (2018年2月26日)

1.2.1   安装参考(官网参考+个人注释)

安装参考网址

https://www.cloudera.com/downloads/manager/5-8-0.html

 

Automated Installation

 

Ideal for trying Cloudera enterprise data hub, the installer will download Cloudera Manager from Cloudera's website and guide you through the setup process.

 

Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt.

重做系统,把/目录增加空间,这个是给/var和/opt目录使用,/home减少了100G,给/增加了300G。

设置机器名为hadoop1       命令#vi /etc/hostname

重做系统后需要设置IP为192.168.0.100

用yum update升级后,发现centos的版本也升级了,变成centos7.4了,不能再装CDH-5.8.0了。

重装centos7.2系统,并安装wget:yum install wget

设置IP为192.168.0.100,设置机器名为hadoop1

 

chmod +x /etc/rc.d/rc.local

并在rc.local中添加

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

wget这个命名没有安装,需要先安装

yum install wget

 

 $ chmod u+x cloudera-manager-installer.bin

修改文件权限,增加可执行权限。

 

 $ sudo ./cloudera-manager-installer.bin

需要关闭防火墙

关闭selinux   

setenforce 0

vi /etc/selinux/config   修改保存后需要重启。

可以执行,安装完毕后,提示访问http://192.168.0.100:7180继续安装,用户名口令是admin

不能访问,关闭防火墙。systemctl stop   firewalld

关闭防火墙后可以正常访问。

选择安装的时候选择的有效期60天的中间的产品。

 

安装成功,提示有两个警告需要处理,警告如下:

         
   

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf,以在重启后保存该设置。您可以继续进行安装,但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响:

   

hadoop1

   

已启用透明大页面压缩,可能会导致重大性能问题。请运行“echo     never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never >     /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。以下主机将受到影响:

   

hadoop1