随笔分类 -  CDH

cdh中hdfs非ha环境迁移Namenode与secondaryNamenode,从uc机器到阿里；
摘要：1.停掉外部接入服务； 2 NameNode Metadata备份； 2.1 备份fsimage数据，（该操作适用HA和非HA的NameNode），使用如下命令进行备份： [root@cdh01 dfs]# mkdir nn_metadata_back [root@cdh01 dfs]# hdfs 阅读全文
posted @ 2018-10-23 13:53 gongxiucheng 阅读(1630) 评论(0) 推荐(0)
在线大数据cdh迁移，从公有云迁移到私有云
摘要：1.添加新节点 2.迁移hdfs和hbase数据； 3.迁移源节点各个服务到新节点； 4.利用HA，包括hdfs，hbase master，resourcemanager的ha实现在线迁移； 5.数据验证，可用性验证； 阅读全文
posted @ 2018-07-30 14:04 gongxiucheng 阅读(394) 评论(0) 推荐(0)
安装cloudera manager使用mysql作为元数据库
摘要：1.首次安装好mysql数据库后，会生成一个随机密码，使用如下办法找到： cat /var/log/mysqld.log |grep password 2.首次安装好mysql数据库后，第一次登陆进去，需要先修改root用户密码： grant all privileges on *.* to 'ro 阅读全文
posted @ 2018-07-17 10:05 gongxiucheng 阅读(516) 评论(0) 推荐(0)
使用postgresql作为cm的数据库时候添加报错
摘要：如下图，当postgresql安装成功，建立好数据库scm，rman，amon之后，添加cm对应服务报错hadoopNode2没有相应数据库： No database server found running on host hadoopNode2. 错误原因： 在客户端访问PostgreSQL数据 阅读全文
posted @ 2018-07-09 16:04 gongxiucheng 阅读(468) 评论(0) 推荐(0)
CDH上Cloudera Management Service 各个角色迁移至其他节点
摘要：1.首先查看Cloudera Management Service下有哪些服务，cdh版本为5.9.2： 可以看到基本上有以上6个角色； 2、停止所有角色，并执行删除； 3.找到集群中另外一个节点，添加对应角色，我这里添加到hadoopNode4上： 元数据库为mysql，在hadoopNode6上 阅读全文
posted @ 2018-07-06 14:12 gongxiucheng 阅读(7779) 评论(1) 推荐(0)
cloudera manager服务迁移（scm数据库在postgresql上，其他amon，rman,oozie，metastore等在mysql上）
摘要：公司线上大数据集群，之前用的是公有云主机，现在换成了自己idc机房机器，需要服务迁移，已下为测试： 1.备份原postgresql数据库： 2.选一个节点hadoopNode2，安装cloudea-manager-server服务： 3.hadoopNode2上安装postgresql，要做到和ha 阅读全文
posted @ 2018-07-04 17:05 gongxiucheng 阅读(1308) 评论(0) 推荐(0)
CDH-5.9.2整合spark2
摘要：1.编写目的：由于cdh-5.9.2自带spark版本是spark1.6，现需要测试spark2新特性，需要整合spark2， 且spark1.x和spark2.x可以同时存在于cdh中，无需先删除spark1.x； 2.安装包下载 2.1首先下载csd包，地址： http://archive.cl 阅读全文
posted @ 2018-05-21 11:26 gongxiucheng 阅读(610) 评论(0) 推荐(0)
Hadoop Sentry 学习
摘要：什么是Sentry？ Sentry 是Cloudera 公司发布的一个Hadoop开源组件，它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权 通过引进Sentry，Hadoop目前可在以下方面满足企业和政府用户的RBAC（role-based acess control）需求： 安全授 阅读全文
posted @ 2016-04-24 14:56 gongxiucheng 阅读(1951) 评论(0) 推荐(0)
安装和配置Sentry(收录)
摘要：安装和配置Sentry 本文主要记录安装和配置Sentry的过程，关于Sentry的介绍，请参考 Apache Sentry架构介绍 。 1. 环境说明 系统环境： 操作系统：CentOs 6.6 Hadoop版本： CDH5.4 运行用户：root 这里，我参考 使用yum安装CDH Hadoop 阅读全文
posted @ 2016-04-24 14:46 gongxiucheng 阅读(4010) 评论(0) 推荐(0)
CDH5中kerberos配置
摘要：Kerberos 服务(kerberos官网)是一种通过网络提供安全验证处理的客户机/服务器体系结构。通过验证，可保证网络事务的发送者和接收者的身份真实。该服务还可以检验来回传递的数据的有效性（完整性），并在传输过程中对数据进行加密（保密性）。使用 Kerberos 服务，可以安全登录到其他计算机、 阅读全文
posted @ 2016-04-01 10:54 gongxiucheng 阅读(3102) 评论(0) 推荐(0)
CDH,CM下载
摘要：wget -c -r -nd -np -k -L -A rpm http://archive-primary.cloudera.com/cdh5/parcels/latest/ http://archive-primary.cloudera.com/cdh5/parcels/latest/manif 阅读全文
posted @ 2016-03-28 16:31 gongxiucheng 阅读(398) 评论(0) 推荐(0)