clouder-manager安装cdh

 

 

1--给裸机装系统centos7

2--配置静态IP：
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
ONBOOT=yes
GATEWAY=192.168.1.2
IPADDR=192.168.1.101
NETMASK=255.255.255.0
DNS1=119.29.29.29
systemctl restart network.service
ifconfig
ping www.baidu.com

3--远程连接（CRT或Xshell）

4--修改主机名：(永久修改)
hostnamectl set-hostname bigdata001

5--配置IP映射
vim /etc/hosts
192.168.1.101 bigdata001
192.168.1.102 bigdata002
192.168.1.103 bigdata003

6--关闭防火墙和selinux
systemctl stop firewalld.service
systemctl disable firewalld.service
vim /etc/selinux/config
将selinux=enforcing改成selinux=disabled

7--配置网络yum源：
mv CentOS-Base.repo CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache

8--安装需要的依赖包
所有的依赖包：
vim openssh openssh-clients rsync libaio unzip telnet ntp gcc-c++
psmisc libxml2-python autoconf krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve
libxml2-devel libxslt-devel mysql mysql-devel
openldap-devel python-devel python-simplejson sqlite-

9--修改linux性能（两项）：
sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >> /etc/sysctl.conf
vim /etc/rc.local
在文件尾部追加如下
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

10--安装JDK
1、查看本机系统是否安装了JDK并卸载
$ rpm -qa| grep -i java
如果有安装JDK，卸载
$ rpm -e –nodeps 已安装rpm包

2、安装jdk
(1)将jdk安装包上传到/opt/software
(2)解压到/opt/module $ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

3、配置jdk环境变量
$ vim /etc/profile
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
$ source /etc/profile --让修改后的文件生效
$ java -version --测试安装成功与否

11--克隆3台，修改UUID,IP,hoatname

12--3台机器SSH免密登录
ssh-keygen 生成密钥对
ssh-copy-id hadoop102 把公钥拷贝并添加到目标服务器的authorized-keys文件中

13--配置时间服务器
1、检查ntp服务是否正确安装
$ rpm -qa | grep ntp
显示如下：(表明正确安装，否则安装一下$ yum -y install ntp)
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
2、修改ntp配置文件
$ vi /etc/ntp.conf
修改内容如下
a）修改1 (授权192.168.216.0网段上的所有机器可以从这台机器上查询和同步时间)
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改2 (集群在局域网中，不使用其他的网络时间)

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

c）添加3 (当该节点丢失网络连接，依然可以作为时间服务器为集群中的其他节点提供时间同步)
server 127.127.1.0
fudge 127.127.1.0 stratum 10
3、修改/etc/sysconfig/ntpd 文件
$ vim /etc/sysconfig/ntpd
增加内容如下 SYNC_HWCLOCK=yes
4、重新启动并设置开机自启ntp服务
$ service ntpd status systemctl status ntpd.service
$ service ntpd start/restart systemctl start ntpd.service
$ chkconfig ntpd on systemctl enable ntpd.service
5、在其他机器配置10分钟与时间服务器同步一次
$ crontab -e
编写脚本
*/10 * * * * /usr/sbin/ntpdate bigdata001
6、其它机器先手动同步一次时间
$ ntpdate -u bigdata001

14--在主节点安装mysql
centos7安装mysql5.6 https://www.cnblogs.com/lunatic-cto/p/6123490.html
centos7安装mysql5.7 https://blog.csdn.net/yougoule/article/details/56680952

15--下载安装包
文件下载
Cloudera Manager
　　　　地址：http://archive.cloudera.com/cm5/cm/5/
　　　　这里下载的是5.11.0的版本，https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.11.0_x86_64.tar.gz

CDH安装包
地址：http://archive.cloudera.com/cdh5/parcels

本文基于CentOS6，下载的parcels包及manifest文件对应的版本为el6，如果centos7，就用el7：
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1
　　 manifest.json

JDBC
地址：http://download.softagency.net/MySQL/Downloads/Connector-J/
　　　　 这里用的jdbc驱动版本是：mysql-connector-java-5.1.17.jar

16--将下好的cm安装包解压到指定目录
tar xzvf cloudera-manager*.tar.gz -C /opt

17--在所有主节点创建用户cloudera-scm
在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.11.0/run/cloudera-scm-server/ --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

18--手动创建目录
/usr/share/java
/opt/cloudera/parcel-repo/

把mysql驱动放入 /usr/share/java 并改名为 mysql-connector-java.jar

把cdh安装包放入 /opt/cloudera/parcel-repo/
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1 要改名为CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha
manifest.json 要手动wget下载为同名文件

19--初始化数据库
/opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode5 -uroot
-p123456 --scm-host node5 scm scm scm

20--agent配置
修改/opt/cm-5.9/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

21--启动CM server和agent
主节点：通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-server start 启动服务端。
所有节点：通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start 启动Agent服务。
我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart

22--web页面登录访问1
http://bigdata001:7180

23--进行图形化安装cdh