cloudera安装笔记

Cloudera安装教程


教程1:http://blog.csdn.net/a921122/article/details/51939692
教程2:http://www.6gdown.com/softedupage/60099.html

1. 准备机器环境

● 五台centos 6.6 机器: 安装在Vmware虚拟机上,(公司的机器做了虚拟化)。
vmware 虚拟机的服务器地址是:192.168.1.20; 用户名:wuchao;密码:Password123; root 用户密码 CDH5.7Cluster
● 五台机器的ip、用户名、密码分别是:
CDHCluster57-01 192.168.1.208/node01 bigdata Password123
CDHCluster57-02 192.168.1.206/node02 bigdata Password123
CDHCluster57-03 192.168.1.205/node03 bigdata Password123
CDHCluster57-04 192.168.1.204/node04 bigdata Password123
CDHCluster57-05 192.168.1.203/node05 bigdata Password123

2. 安装文件准备 c:\doc_sofs

● cloudera-manager-el6-cm5.7.0_x86_64.tar.gz cloudera Manager安装文件
● CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel cloudera安装文件
● CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 clouderaa安装文件完整性校验文件
● manifest.json cloudera linux源json文件
● mysql-connector-java-6.0.4.tar.gz mysql驱动

3. 配置网络

● 配置/etc/hosts, node01、node02、node03、node04、node05 【done】
● 配置 ssh 无秘钥登录 【done】
● 关闭防火墙 【done】
● 关闭SELinux 【done】 、
● ntp时间同步服务安装 , 但是如果以后,这些服务器不能连接外网,咋办?【done】

4. 配置软件

● JDK 安装目录 /usr/java,配置/etc/profile中的 JAVA_HOME 和 CLASSPATH 【done】
● 主节点node01配置安装mysql,创建初始数据库,为主节点 node01授权访问权限【done】

● node01 解压 cloudera Manager到/opt中,得到两个目录 /opt/cm-5.7.0 和 /opt/cloudera:
○ 将 jdbc-connecter 放入 /opt/cm-5.7.0 的lib目录中; 【done】
○ 将 cloudera的三个安装文件放入 /opt/cloudera中的repo仓库目录中; 【done】
○ 最后执行 scp -r /opt/cm-5.7.0 root@node(x):/opt (原来这就是安装agent); 【done】
● 所有节点建立 cloudera-scm 用户 【done】
● node01 启动scm-server + scm-agent, 其余所有节点启动agent 【done】
● 在主节点中打开浏览器,用localhost:7180启动页面,第一次可能没有结果稍微等待一下,就会看到界面;【done】

-----------------------------------------------------------
教程1,安装失败,现在改用教程2进行测试,

5. 清理教程1的环境
● 将node01、node02、node03、node04、node05 中 opt目录下的cm-5.7.0目录重命名为 cm-5.7.0.setup1.bak ,将cloudera重命名为cloudera.setup1.bak


6. rpm安装cloudera Manager
● 文件准备:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/RPMS/x86_64/

 

● node01 作为master节点,安装所有rpm,其余节点安装:cloudera-manager-agent.rpm 和 cloudera-manager-daemons.rpm;
● node02 在昨晚的online在线安装中,已经通过yum安装了 agent + daemon ,所以还是通过 yum来卸载这两个服务,再用yum进行本地安装
● 发现一个方法,通过scp无密码登录,发送 安装rpm包及安装命令,是一件非常省时省力的事情

posted @ 2017-07-21 16:27  二郎那个三郎  阅读(222)  评论(0编辑  收藏  举报