hadoop生态搭建（3节点）-12.rabbitmq配置

# 安装 需要相关包
# ==================================================================node1 node2 node3

yum install -y gcc gcc-c++ zlib zlin-devel perl ncurses-devel

# 安装 openssl
# ==================================================================node1

scp -r ~/openssl-1.1.0g.tar.gz node2:~/
scp -r ~/openssl-1.1.0g.tar.gz node3:~/

# ==================================================================node1 node2 node3

tar -zvxf ~/openssl-1.1.0g.tar.gz

cd openssl-1.1.0g

./config --prefix=/usr/local/openssl

# 修改Makefile
vi Makefile

#CFLAG= -DOPENSSL_THREADS
CFLAG= -fPIC -DOPENSSL_THREADS


# 执行执行
make && make install


rm -rf ~/openssl-1.1.0g.tar.gz
rm -rf ~/openssl-1.1.0g

# 安装 erlang
# ==================================================================node1

scp -r ~/otp_src_20.3.tar.gz node2:~/
scp -r ~/otp_src_20.3.tar.gz node3:~/

# ==================================================================node1 node2 node3

cd ~
tar -xf ~/otp_src_20.3.tar.gz

mkdir /usr/local/erlang

cd otp_src_20.3


# 配置安装路径编译代码
./configure --prefix=/usr/local/erlang --without-javac --with-ssl=/usr/local/openssl


# 执行编译结果
make && make install


# 完成后进入/usr/local/erlang查看执行结果
ls /usr/local/erlang


rm -rf ~/otp_src_20.3.tar.gz
rm -rf ~/otp_src_20.3


# 环境变量
vi /etc/profile

# 在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添加

export JAVA_HOME=/usr/java/jdk1.8.0_111
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export MYSQL_HOME=/usr/local/mysql
export HBASE_HOME=/usr/local/hbase-1.2.4
export HIVE_HOME=/usr/local/hive-2.1.1
export SCALA_HOME=/usr/local/scala-2.12.4
export KAFKA_HOME=/usr/local/kafka_2.12-0.10.2.1
export FLUME_HOME=/usr/local/flume-1.8.0
export SPARK_HOME=/usr/local/spark-2.3.0
export STORM_HOME=/usr/local/storm-1.1.0
export ERLANG_HOME=/usr/local/erlang

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MYSQL_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$STORM_HOME/bin:$ERLANG_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native


# 使环境变量生效
cd ~
source /etc/profile


# 查看配置结果
echo $ERLANG_HOME


cd $ERLANG_HOME

erl

# 退出
> halt().

 

# 安装 rabbitmq

# ==================================================================node1
# 解压rabbitmq，官方给的包是xz压缩包，所以需要使用xz命令

cd ~
xz -d ~/rabbitmq-server-generic-unix-3.7.5.tar.xz


#xz解压后得到.tar包，再用tar命令解压
tar -xvf rabbitmq-server-generic-unix-3.7.5.tar -C /usr/local


rm -rf ~/rabbitmq-server-generic-unix-3.7.5.tar

# 环境变量
# ==================================================================node1 node2 node3

vi /etc/profile

# 在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添加

export JAVA_HOME=/usr/java/jdk1.8.0_111
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export MYSQL_HOME=/usr/local/mysql
export HBASE_HOME=/usr/local/hbase-1.2.4
export HIVE_HOME=/usr/local/hive-2.1.1
export SCALA_HOME=/usr/local/scala-2.12.4
export KAFKA_HOME=/usr/local/kafka_2.12-0.10.2.1
export FLUME_HOME=/usr/local/flume-1.8.0
export SPARK_HOME=/usr/local/spark-2.3.0
export STORM_HOME=/usr/local/storm-1.1.0
export ERLANG_HOME=/usr/local/erlang
export RABBITMQ_HOME=/usr/local/rabbitmq_server-3.7.5

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MYSQL_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$STORM_HOME/bin:$ERLANG_HOME/bin:$RABBITMQ_HOME/ebin:$RABBITMQ_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

# ==================================================================node1

# 使环境变量生效
source /etc/profile


# 查看配置结果
echo $RABBITMQ_HOME


scp -r $RABBITMQ_HOME node2:/usr/local/
scp -r $RABBITMQ_HOME node3:/usr/local/

# ==================================================================node2 node3

# 使环境变量生效
source /etc/profile


# 查看配置结果
echo $RABBITMQ_HOME

# 高并发设置

# ==================================================================node1 node2 node3

# 调整可打开文件/文件描述符数目（高并发支持）
# 调整系统限制
vi /etc/sysctl.conf

fs.file-max = 100000


# 使设置生效
sysctl -p


# 查看系统限制
sysctl fs.file-max


# 调整用户限制
vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536

 

shutdown -h now
# 快照 rabbitmq集群前

# ==================================================================node1 node2 node3

# 在后台启动Rabbit
rabbitmq-server -detached


# 安装web插件管理界面
# ==================================================================安装 rabbitmq_management插件
rabbitmq-plugins enable rabbitmq_management


# ==================================================================安全认证
# 添加用户（用户名 admin 密码 Rabbitmq*123456 ）
rabbitmqctl add_user admin Rabbitmq*123456


# 设置用户角色（设置admin用户为管理员角色）
rabbitmqctl set_user_tags admin administrator


# 设置用户权限（设置admin用户配置、写、读的权限）
rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"


# 删除用户（删除guest用户）
rabbitmqctl delete_user guest
# 注意：rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问。


# 创建和赋角色完成后查看并确认
rabbitmqctl list_users


# 查看状态
rabbitmqctl status


# 查看 admin 用户的权限
rabbitmqctl list_user_permissions admin


# 浏览器输入地址：http://node1:15672/
# 用户名密码: admin/Rabbitmq*123456


# 浏览器输入地址：http://node2:15672/
# 用户名密码: admin/Rabbitmq*123456

 

# 集群配置

# ==================================================================node1
find / -name ".erlang.cookie"


ll /root/.erlang.cookie


chmod 600 /root/.erlang.cookie


# 读取其中一个节点的cookie, 并复制到其他节点（节点之间通过cookie确定相互是否可通信）
# 查看rabbitmq的启动日志中 home dir
echo -n "RABBITMQERLANGCOOKIE" > /root/.erlang.cookie


cat /root/.erlang.cookie
#RABBITMQERLANGCOOKIE

# ==================================================================node2 node3
chmod 600 /root/.erlang.cookie


# ==================================================================node1
scp /root/.erlang.cookie node2:/root/.erlang.cookie
scp /root/.erlang.cookie node3:/root/.erlang.cookie


# ==================================================================node1 node2 node3


reboot


rabbitmq-server -detached


# 加入集群
# 默认是磁盘节点，如果是内存节点的话，需要加--ram参数
# 其中--ram代表是内存节点，如果希望是磁盘节点则不用加--ram，在rabbitmq集群中，至少需要一个磁盘节点
# ==================================================================node1
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@node1
rabbitmqctl start_app
rabbitmqctl status


# ==================================================================node2
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@node1
rabbitmqctl start_app
rabbitmqctl status


# ==================================================================node3
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@node1
rabbitmqctl start_app
rabbitmqctl status


# ==================================================================node1
# 设置镜像策略
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'


rabbitmqctl cluster_status


# ==================================================================node1
# 创建和赋角色完成后查看并确认
rabbitmqctl list_users


# 需重新添加用户（用户名 admin 密码 Rabbitmq*123456 ）
rabbitmqctl add_user admin Rabbitmq*123456


# 设置用户角色（设置admin用户为管理员角色）
rabbitmqctl set_user_tags admin administrator


# 设置用户权限（设置admin用户配置、写、读的权限）
rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"


# 删除用户（删除guest用户）
rabbitmqctl delete_user guest
# 注意：rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问。


# ==================================================================node1 node2 node3
# 创建和赋角色完成后查看并确认
rabbitmqctl list_users


rabbitmqctl cluster_status


# 浏览器输入地址：http://node1:15672/
# 用户名密码: admin/Rabbitmq*123456


# 浏览器输入地址：http://node2:15672/
# 用户名密码: admin/Rabbitmq*123456


rabbitmqctl stop



shutdown -h now
# 快照 rabbitmq