CDH 离线安装 CM

CDH支持Yum包,Tar包,RPM包,Cloudera Manager(CM)四种安装方式

Cloudera Manager(CM) 用于CDH集群管理,可进行节点安装,配置,服务管理等,提供Web窗口界面以提高Hadoop配置可见度,从而降低集群参数设置的复杂度。
 
****Cloudera Manager安装(全部使用普通用户hadoop的sudo权限实现)
0.0,使用root添加hadoop用户并附加sudo权限
    adduser hadoop
    echo hadoop | passwd --stdin hadoop
    chmod u+w /etc/sudoers
    添加:hadoop ALL=(root) NOPASSWD:ALL
deployer ALL=(root) NOPASSWD:ALL
    chmod u-w /etc/sudoers
0,关闭防火墙和selinux,及配置信任关系
    service iptables status
    service iptables stop
    chkconfig --list|grep iptables
    chkconfig iptables off
    vim /etc/sysconfig/selinux
    SELINUX=disabled
1,配置主机名
    vim /etc/hosts
        192.168.1.101    cdh1
        192.168.1.102    cdh2
        192.168.1.103    cdh3
2,配置hadoop用户SSH免密码登录
    (1)ssh-keygen -t rsa
        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  或  (2)ssh-copy-id cdh1     验证 : ssh cdh1
        (3)两两节点之间的SSH免密码登陆
           ssh-copy-id -i  cdh2-*      #scp ~/.ssh/authorized_keys   cdh2:/hadoop/.ssh/ 
3,卸载jdk
    rpm -qa|grep java
    rpm -qa|grep jdk
    rpm -e ** --nodeps
4,设置本地Yum源

    4.1查看httpd是否安装并启动
        rpm -qa|grep httpd    若没安装 : sudo yum install -y httpd
        service httpd status    
        sudo service httpd start 通过 http://192.168.1.101/ 进行验证 
        设置开机启动 sudo chkconfig httpd on
    4.2.1下载cm安装包与软件包到 /opt 目录下(cm,cdh所有默认安装均在/opt下,可以将/opt更改为hadoop用户 sudo chown -R hadoop:hadoop /opt/ )
        cm installer : http://archive.cloudera.com/cm5/installer/    
        cm repo-as-tarball : http://archive.cloudera.com/cm5/repo-as-tarball/ 
    4.2.2解压 repo-as-tarball 到 /var/www/html/ 目录下
        tar xzvf ./cm5.7.0-centos6.tar.gz -C /var/www/html/
        验证查看    http://192.168.1.101/cm/    5.7.0安装包在/cm目录下
    4.2.3设置与官网相同目录结构(http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/)
        在 /var/www/html/ 下递归创建 cm5/redhat/6/x86_64 目录    sudo mkdir -p cm5/redhat/6/x86_64
                将 cm 文件夹mv到 cm5/redhat/6/x86_64 目录下    sudo mv cm cm5/redhat/6/x86_64/
                验证查看    http://192.168.1.101/cm5/redhat/6/x86_64/cm/ (查看与官网目录结构相同)
    4.2.3配置Yum源映射http://192.168.1.101/cm5/redhat/6/x86_64/cm/目录
                1.切换到 /etc/yum.repos.d 目录    cd /etc/yum.repos.d/

                2.创建repo文件写入配置    sudo vim cloudera-manager.repo              
  1. [cloudera-manager]
  2. name=cloudera-manager
  3. baseurl=http://cdh1/cm5/redhat/6/x86_64/cm/5/
  4. enabled = 1
  5. gpgcheck = 0
5,安装installer执行文件 (!notice: 1,CRT不能乱码 2,可用内存必须要>4G 3,必须使用root用户)
    5.1给予权限:chmod u+x cloudera-manager-installer.bin
    5.2一路下一步:

 

等到安装完成,可以观察日志查看安装状态:/var/log/cloudera-manager-installer/*.log

 

等待一段时间访问 http://192.168.1.101:7180 或 http://cdh1:7180 进行访问,初始用户名/密码 : admin/admin
cm日志文件目录 : /var/log/cloudera-scm-server/*.log 后期可通过日志进行
 
 
****通过Cloudera Manager实现CDH安装(比较简单,完全图形化操作)
1,主机检索步骤略
2,部署CDH使用的parcels包
    2.1下载CDH安装包 http://archive.cloudera.com/cdh5/parcels/ (!下载的CDH安装包一定要和CM包匹配,切下载与系统匹配的文件!)
    2.2上传至指定目录 cd /var/www/html;sudo mkdir parcels
    2.3修改 sudo mv CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha
    2.4查看验证 http://192.168.1.101/parcels/ 
    进入集群安装页面

 
点击更多选项,配置 远程 Parcel 存储库 URL
删除其他外网全程下载,配置本地下载库(查看http://cdh1/parcels/可以访问)

 

 

选择自定义存储库(确保CM自定义存储库可以访问)

 

选择安装JDK,继续

 

不启用单用户模式,继续
选择其他用户 hadoop,输入密码,继续
等待安装,完成继续(时间取决于机器性能及各节点间网络传输速度)
安装完成,继续
排除警告:echo 0 > /proc/sys/vm/swappiness;echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
继续进入添加部署服务页面
选择要添加的服务即可。安装mysql用来存储hive与cmmetadata
安装MySQL
通过 yum -y install mysql-server 安装mysql服务器,chkconfig mysqld on 设置开机启动并 service mysqld start 启动mysql服务,并根据提示设置root的初试密码: mysqladmin -u root password 'root' 
mysql -uroot -proot 进入mysql命令行,创建以下数据库:
  1. #hive
  2. create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  3. #activity monitor
  4. create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  5. #授权root用户在主节点拥有所有数据库的访问权限
  6. grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
  7. grant all privileges on *.* to 'root'@'cdh1' identified by 'root' with grant option;
  8. flush privileges;
若使用默认数据库,记下用户名密码
最后,部署,配置根据项目中实际需求进行配置使用
 
 
 
 
posted @ 2017-07-05 17:35  青夜yuong  阅读(3538)  评论(0编辑  收藏  举报