第4次实践作业
（1）使用Docker-compose实现Tomcat+Nginx负载均衡
1.理解nginx反向代理原理；
举例一下，目前如日中天的某宝网站，每天同时连接到网站的访问人数已经爆表，单个服务器远远不能满足人民日益增长的购买欲望了，此时就出现了一个大家耳熟能详的名词：分布式部署；也就是通过部署多台服务器来解决访问人数限制的问题；某宝网站中大部分功能也是直接使用nginx进行反向代理实现的，并且通过封装nginx和其他的组件之后起了个高大上的名字：Tengine，那么反向代理具体是通过什么样的方式实现的分布式的集群操作呢，我们先看一个示意图：
通过上述的图解大家就可以看清楚了，多个客户端给服务器发送的请求，nginx服务器接收到之后，按照一定的规则分发给了后端的业务处理服务器进行处理了。此时~请求的来源也就是客户端是明确的，但是请求具体由哪台服务器处理的并不明确了，nginx扮演的就是一个反向代理角色。简而言之，反向代理就是主要用于服务器集群分布式部署的情况下，反向代理隐藏了服务器的信息。
项目场景
通常情况下，我们在实际项目操作时，正向代理和反向代理很有可能会存在在一个应用场景中，正向代理代理客户端的请求去访问目标服务器，目标服务器是一个反向单利服务器，反向代理了多台真实的业务处理服务器。具体的拓扑图如下：
2.nginx代理tomcat集群，代理2个以上tomcat；
2.1项目分支如下：
文档如下：
docker-compose.yml
default.conf
index.html
三个文件夹里头内容为tomcat1、tomcat2、tomcat3
2.2运行yml文件
2.3访问浏览器localhost
刷新后轮番出现以下界面：
神奇！
2.4查看新创建的容器状态
3.了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；
3.1轮询方式
3.1.1新建临时文档temp.py用于测试
temp.py
import requests
url="http://localhost"
for i in range(0,10):
reponse=requests.get(url)
print(reponse.text)
测试
3.2权重方式
3.2.1修改default.conf文档用于测试
upstream tomcats {
server ex4_tomcat01:8080 weight=1; #weight参数用于指定轮询几率，weight的数值与访问比率成正比
server ex4_tomcat02:8080 weight=1; #设置比重为1：1：8
server ex4_tomcat03:8080 weight=8;
}
3.2.2重启nginx容器
3.2.3新建临时文档temp1.py用于测试
import requests
url='http://localhost'
count={}
for i in range(0,100):
response=requests.get(url)
if response.text in count:
count[response.text]+=1;
else:
count[response.text]=1
print(count)
测试
3.3基于客户端IP的分配方式
- weight 权重过大代表承担的负载就越大
- max_fails 失败超过指定次数会暂停或请求转往其它服务器
- fail_timeout 失败超过指定次数后暂停时间
- 每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题
3.3.1修改default.conf文档
upstream tomcats {
ip_hash; #保证每个访客固定访问一个后端服务器
server ex4_tomcat1:8080 weight=3;
server ex4_tomcat2:8080;
server ex4_tomcat3:8080 max_fails=3 fail_timeout=20s;
}
通过temp1.py测试（记得要重启容器）
(2) 使用Docker-compose部署javaweb运行环境
参考博客：使用docker-compose部署Javaweb项目
1.建立文件结构
default.conf
upstream tomcats {
server tomcat01:8080;
server tomcat02:8080;
}
server {
listen 2020;
server_name localhost;
location / {
root /usr/share/nginx/html;
index index.html index.htm;
proxy_pass http://tomcats;
}
docker-compose
version: "3" #版本
services: #服务节点
tomcat01: #tomcat 服务
image: tomcat #镜像
hostname: hostname #容器的主机名
container_name: tomcat01 #容器名
ports: #端口
- "5050:8080"
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.15
tomcat02: #tomcat 服务
image: tomcat #镜像
hostname: hostname #容器的主机名
container_name: tomcat02 #容器名
ports: #端口
- "5055:8080"
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.16
mymysql: #mymysql服务
build: . #通过MySQL的Dockerfile文件构建MySQL
image: mymysql:test
container_name: mymysql
ports:
- "3309:3306"
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
environment:
MYSQL_ROOT_PASSWORD: "123456"
networks:
webnet:
ipv4_address: 15.22.0.6
nginx:
image: nginx
container_name: "nginx-tomcat"
ports:
- 8080:8080
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
tty: true
stdin_open: true
depends_on:
- tomcat00
- tomcat01
networks:
webnet:
ipv4_address: 15.22.0.7
networks: #网络设置
webnet:
driver: bridge #网桥模式
ipam:
config:
-
subnet: 15.22.0.0/24 #子网
docker-entrypoint.sh
#!/bin/bash
mysql -uroot -p123456 << EOF
source /usr/local/grogshop.sql;
Dockerfile
# 这个是构建MySQL的dockerfile
FROM registry.saas.hand-china.com/tools/mysql:5.7.17
# mysql的工作位置
ENV WORK_PATH /usr/local/
# 定义会被容器自动执行的目录
ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d
#复制gropshop.sql到/usr/local
COPY grogshop.sql /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下，容器会自动执行这个shell
COPY docker-entrypoint.sh $AUTO_RUN_DIR/
#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh
# 设置容器启动时执行的命令
#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]
2.部署Javaweb程序
2.1修改连接数据库的IP
vim ~/ex4_2/webapps/ssmgrogshop_war/WEB-INF/classes/jdbc.properties
2.2启动容器
docker-compose up -d
2.3浏览器访问前端页面
实现负载均衡
http://10.0.2.15:5050/ssmgrogshop_war
http://10.0.2.15:5050/ssmgrogshop_war
2.3数据库操作
（3）使用Docker搭建大数据集群环境
直接用机器搭建Hadoop集群，会因为不同机器配置等的差异，遇到各种各样的问题；也可以尝试用多个虚拟机搭建，但是这样对计算机的性能要求比较高，通常无法负载足够的节点数；使用Docker搭建Hadoop集群，将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。
1.初始化系统
1.1在Docker安装Ubuntu系统
docker pull ubuntu
个人文件下创建一个目录并运行Ubuntu系统
cd ~
mkdir build
1.2Ubuntu系统初始化
更新系统软件源
16.04系统所需的源(这里使用的是阿里源）
apt-get update
安装vim、sshd
apt-get install vim # 用于修改配置文件
apt-get install ssh # 分布式hadoop通过ssh连接
/etc/init.d/ssh start # 开启sshd服务器
vim ~/.bashrc # 在文件末尾添加/etc/init.d/ssh start，实现ssd开机自启
细节忽略
配置sshd
ssh-keygen -t rsa #一直按回车键即可
cat id_dsa.pub >> authorized_keys
至此实现免密验证
1.3安装JDK
apt-get install openjdk-8-jdk
vim ~/.bashrc # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效
保存镜像文件
docker ps
docker commit 91f51e3bb091 ubuntu/jdk8
2.Hadoop安装与配置
2.1安装Hadoop
开启保存的那份镜像ubuntu/jdk8
sudo docker commit 容器id ubuntu/jdk8 #jkd8版本的ubuntu
sudo docker run -it -v /home/caifeng/build:/root/build --name ubuntu-jdk8 ubuntu:jdk8#这一步一定别漏，我漏了，后面会出问题
安装并验证Hadoop
docker cp ./build/hadoop-3.1.3.tar.gz 容器ID：/root/build
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local
vim ~/.bashrc #添加以下三行
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效
hadoop version
2.2配置Hadoop
进入配置目录
cd /usr/local/hadoop-3.1.3/etc/hadoop
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<!--虚拟内存和物理内存比，不加这个模块程序可能跑不起来-->
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
进入脚本目录
cd /usr/local/hadoop-3.1.3/sbin
对于start-dfs.sh和stop-dfs.sh文件，添加下列参数
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
对于start-yarn.sh和stop-yarn.sh，添加下列参数
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
2.2保存镜像
另开一个终端运行以下指令：
docker commit 容器ID ubuntu/hadoop
2.3另开三个终端运行主机
# 第一个终端
docker run -it -h master --name master ubuntu/hadoop
# 第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoop
# 第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoop
运行vim /etc/hosts,根据各自ip修改为如下形式
172.17.0.4 master
172.17.0.5 slave01
172.17.0.6 slave02
2.4在master终端做结点测试
从master连接到slave各个结点
ssh slave01
ssh slave02
exit
2.5在master主机上修改workers
vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
将默认的localhost替换为
slave01
slave02
3.测试Hadoop并运行程序实例
3.1测试Hadoop集群
打开master终端
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format #首次启动Hadoop需要格式化
sbin/start-all.sh #启动所有服务
jps #分别查看三个终端
3.2运行Hadoop实例程序
bin/hdfs dfs -mkdir -p /user/hadoop/input
bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
bin/hdfs dfs -ls /user/hadoop/input
执行实例
爆卡预警
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/hadoop/input output 'dfs[a-z.]+'
查看运行结果
bin/hdfs dfs -cat output/*
（4）遇到的问题及解决方案
1.Ubuntu 16.04安全重启后处于emergency mode状态无法进入图形界面问题
- 登陆root，输入用户名和密码
- vim /etc/fstab ，检查磁盘挂载信息
- 注释掉自己增加的内容，如果确定不在使用可以删除
- 重启ok
待续
（5）小结
这次实验的量真的太大了，我大概边写博客边做花了30多个小时。真的这次实践有太多感想了。
前两个实验还好，了解了nginx的负载均衡策略，其实还挺有意思的，轮询和权重都不失为一种好方法，在nginx部署项目的时候运用一下负载均衡也是极佳的选择，这是真实能够给之后的项目提供帮助的负载均衡，至于基于客户端IP的分配方式其实挺神奇的，我至今还是对他怀着惊叹的态度。然后就是第三次实验了，第三次是使用Docker搭建大数据集群环境。不得不说第三个实验的容错率太低了，我硬生生错了6次，基本上都是从头来过，尤其到最后一次直接系统崩溃了，安全重启后又进入了emergency mode..我检查了一波磁盘挂载信息，然后发现是之前有加入了一些东西，注释过后才总算可以启动，我感觉我在玩火，至此之后我的虚拟机ubantu系统启动都需要很长的时间。
但是总体来说，还是学会了许多东西，最后看到结果正确的时候异常兴奋，这次实践也算是在坑底做了一次跳跳蛙。
