Hadoop集群上搭建Ranger
There are two types of people in the world. I hate both of them.
Hadoop集群上搭建Ranger
在搭建Ranger工程之前，需要完成 https://www.cnblogs.com/taojietaoge/p/10803537.html 中的搭建Hadoop集群步骤。
准备到Ranger官网下载ranger的源码：http://ranger.apache.org/download.html
1、Ranger编译
Ranger编译的过程实在非虚拟机环境下完成的，下载好ranger源码后并解压，然后进入源码解压目录执行如下命令进行编译：
mvn clean compile package assembly:assembly install -Dmaven.test.skip=true
在编译过程中可能会有一些异常，比如jar包无法下载(需要手动需官网下载并放入相应的位置)、UTF-8编码无法识别或是其他报错，根据提示修改下就OK了，问题不大；初次编译时间较长20分钟这样都不夸张，直到出现如下图中的 BUILD SUCCESS 则表示编译通过了：
同时会在ranger/target目录下生成我们之后需要在虚拟机上用到的一系列安装包，如下图：
2、安装部署
在安装部署之前，还需在要部署的服务器服务器上安装下Mysql：https://www.cnblogs.com/taojietaoge/p/10692557.html
1）上传之前本地编译好的ranger-2.0.0-SNAPSHOT-admin.tar.gz文件到tjt03机器上，并解压，然后修改解压后到install.properties文件；
解压：
[root@tjt03 opt]# tar -vxf ranger-2.0.0-SNAPSHOT-admin.tar.gz
修改install.properties 文件：
[root@tjt03 opt]# cd ranger-2.0.0-SNAPSHOT-admin/
[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# vi install.properties
想要修改的地方有几处：
1. mysql-connector-java的jar包路径要能找得到：
SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar
2. 修改连接数据库的账号密码、存储的数据库账号密码：
db_root_user=root
db_root_password=TANjintao@520
db_host=localhost
db_name=ranger
db_user=rangeradmin
db_password=TANjintao@520
3. 修改为非集群：
# audit_store=solr
audit_store=
4. 修改首页显示的插件：
policymgr_supportedcomponents=hive,hbase,hdfs,kms,knox,yarn
5. 修改Linux的用户、用户组和密码：
unix_user=root
unix_user_pwd=tanjintao
unix_group=root
6. 修改hadoop_conf:
hadoop_conf=/opt/hadoop-2.7.6/etc/hadoop
2) 安装Ranger Admin
Ranger Admin的运行环境需要python，执行 yum install python 简单安装下python即可：
[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# yum install python
然后，创建ranger数据库：
mysql> create database ranger
然后，修改下ranger数据库的字符集，执行下面的命令：
mysql>alter database ranger character set latin1;
mysql>flush privileges;
然后，创建用户并授权，执行下面的命令即可：
grant all privileges on ranger.* to rangeradmin@localhost identified by 'TANjintao@520';
grant all privileges on *.* to root@localhost identified by 'TANjintao@520' with grant option;
flush privileges;
上述的准备工作都OK后，就可以进入ranger-2.0.0-SNAPSHOT-admin目录执行安装命令：
[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# ./setup.sh
安装过程大概几分钟，终端显示安装成功后，本地连接远程服务器的数据库检查下是否有相应的数据库和表：
需要在tjt03机器上授权后才可以在本地连接远程数据库，执行如下命令：
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'TANjintao@520' WITH GRANT OPTION;
看到远程数据库如下图，就说明Ranger Admin安装成功了：
3）启动Ranger Admin 服务
[root@tjt03 ~]# ranger-admin start
(停止:ranger-admin stop ,重启:ranger-admin restart)
4）验证Ranger Admin服务,在浏览器中打开：http://172.16.114.132:6080 或是 http://tjt03:6080 如果出现Ranger的登录界面,说明安装成功了. 登录的用户名/密码:admin/admin
使用http://tjt03:6080 访问需要配置下本机的host 文件，配置如下：
Taojie:~ apple$ vi /etc/hosts
5）结果测试
可以正常登录看到如下界面，则安装OK：
tjt03域名登录：admin/admin
3.2、安装hdfs-plugins
由于之前定义了NameNode的地址为 hdfs://tjt01:9000，使用hdfs-plugins插件必须安装在该主机上：
1）上传并解压ranger-2.0.0-SNAPSHOT-usersync.tar.gz 文件，然后修改install.properties；
[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-usersync.tar.gz
[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# vi install.properties
修改1:
POLICY_MGR_URL=http://tjt03:6080
logdir=/var/log/ranger/usersync
修改2:
rangerUsersync_password=enums8000
2）安装usersync Plugin
[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./setup.sh
执行结果：
3）启用usersync plugin插件
开机回自动启动，初次安装需要手动开启
[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./ranger-usersync-services.sh start
3.3.2 安装hdfs-plugin
1）上传并解压ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 文件
[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz
然后修改解压出来的 install.properties 文件：
[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# vi install.properties
修改如下：
POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hadoopdev
COMPONENT_INSTALL_DIR_NAME=/opt/hadoop-2.7.6
XAAUDIT.HDFS.HDFS_DIR=hdfs://tjt01:9000/ranger/audit
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://tjt01:9000/ranger/audit/%app-
type%/%time:yyyyMMdd%
CUSTOM_USER=root
CUSTOM_GROUP=root
2）执行启动命令
[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# ./enable-hdfs-plugin.sh
3）测试hdfs 插件
新建hdfs 服务：
测试hdfs 服务连接：
3.3 安装hive-plugin
1）上传并解压ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz；
[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz
然后修改install.properties文件；
[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# vi install.properties
修改如下：
POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hivedev
COMPONENT_INSTALL_DIR_NAME=/usr/local/hive
CUSTOM_USER=root
CUSTOM_GROUP=root
2）执行启动命令：
[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# ./enable-hive-plugin.sh
3）重启hive
3.4 安装hbase-plugin
