第4次实践作业
（1）使用Docker-compose实现Tomcat+Nginx负载均衡
要求：
理解nginx反向代理原理；
Nginx在做反向代理时，提供性能稳定，并且能够提供配置灵活的转发功能。Nginx可以根据不同的正则匹配，采取不同的转发策略，比如图片文件结尾的走文件服务器，动态页面走web服务器，只要你正则写的没问题，又有相对应的服务器解决方案，你就可以随心所欲的玩。并且Nginx对返回结果进行错误页跳转，异常判断等。如果被分发的服务器存在异常，他可以将请求重新转发给另外一台服务器，然后自动去除异常服务器。参考
nginx代理tomcat集群，代理2个以上tomcat；
docker-compose.yml
version: "3"
services:
nginx:
image: nginx
container_name: mytomcat
ports:
- 80:2020
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
depends_on:
- tomcat1
- tomcat2
- tomcat3
tomcat1:
image: tomcat
container_name: mytomcat1 # 容器名,与conf对应
volumes:
- ./tomcat1:/usr/local/tomcat/webapps/ROOT
tomcat2:
image: tomcat
container_name: mytomcat2
volumes:
- ./tomcat2:/usr/local/tomcat/webapps/ROOT
tomcat3:
image: tomcat
container_name: mytomcat3
volumes:
- ./tomcat3:/usr/local/tomcat/webapps/ROOT
default.conf
upstream tomcats {
server mytomcat1:8080 ; # 主机名:端口号
server mytomcat2:8080 ; # tomcat默认端口号8080
server mytomcat3:8080 ;
}
server {
listen 2020;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
错误（端口占用，删了之前忘记删除的容器）：
成功：
检查：
了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；
参考资料：
1.轮询
最基本的配置方法，是upstream模块默认的负载均衡默认策略。每个请求会按时间顺序逐一分配到不同的后端服务器。所以直接用测试看看。
testTomcat.py
import requests
url="http://localhost"
for i in range(0,10):
reponse=requests.get(url)
print(reponse.text)
从结果可以看出轮询的情况，1：1：1
2、weight
权重方式，在轮询策略的基础上指定轮询的几率。
weight参数用于指定轮询几率，weight的默认值为1,；weight的数值与访问比率成正比
default.conf
upstream tomcats {
server mytomcat1:8080 weight=1; # 主机名:端口号
server mytomcat2:8080 weight=3; # tomcat默认端口号8080
server mytomcat3:8080 weight=5; # 使用权重策略
}
server {
listen 2020;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
restart（docker restart mytomcat）一次，后可以查看。
可以看出比例与权重比例差不多
(2) 使用Docker-compose部署javaweb运行环境
要求：
分别构建tomcat、数据库等镜像服务；
成功部署Javaweb程序，包含简单的数据库操作；
为上述环境添加nginx反向代理服务，实现负载均衡。
途中出现的问题（忘记截图了）参考资料：https://www.cnblogs.com/syhshare/p/10766891.html
因为没接触过Javaweb，所以直接使用范例https://blog.csdn.net/weixin_41043145/article/details/92834784
按步骤修改本机ip：
修改文件以达到nginx反向代理服务，实现负载均衡：
default.conf
upstream tomcat123 {
server tomcat00:8080;
server tomcat01:8080;
}
server {
listen 8080;
server_name localhost;
location / {
proxy_pass http://tomcat123;
}
}
docker-compose.yml
version: "3" #版本
services: #服务节点
tomcat01: #tomcat 服务,
image: tomcat #镜像
hostname: hostname #容器的主机名
container_name: tomcat00 #容器名
ports: #端口
- "5050:8080"
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.15
tomcat02: #tomcat 服务
image: tomcat #镜像
container_name: tomcat01 #容器名
ports: #端口
- "5051:8080"
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.16
mymysql: #mymysql服务
build: . #通过MySQL的Dockerfile文件构建MySQL
image: mymysql:test
container_name: mymysql
ports:
- "3309:3306"
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
environment:
MYSQL_ROOT_PASSWORD: "123456"
networks:
webnet:
ipv4_address: 15.22.0.6
nginx:
image: nginx
container_name: "nginx-tomcat"
ports:
- 8080:8080
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
tty: true
stdin_open: true
networks:
webnet:
ipv4_address: 15.22.0.7
networks: #网络设置
webnet:
driver: bridge #网桥模式
ipam:
config:
-
subnet: 15.22.0.0/24 #子网
Dockerfile
# 这个是构建MySQL的dockerfile
FROM registry.saas.hand-china.com/tools/mysql:5.7.17
# mysql的工作位置
ENV WORK_PATH /usr/local/
# 定义会被容器自动执行的目录
ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d
#复制gropshop.sql到/usr/local
COPY grogshop.sql /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下，容器会自动执行这个shell
COPY docker-entrypoint.sh $AUTO_RUN_DIR/
#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh
# 设置容器启动时执行的命令
#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]
启动：
docker-compose up -d --build
打开网页：http://172.19.0.1:5050/ssmgrogshop_war/Login/tologin.do
账号密码sa和123
进入后：
（3）使用Docker搭建大数据集群环境
直接用机器搭建Hadoop集群，会因为不同机器配置等的差异，遇到各种各样的问题；也可以尝试用多个虚拟机搭建，但是这样对计算机的性能要求比较高，通常无法负载足够的节点数；使用Docker搭建Hadoop集群，将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。
要求：
完成hadoop分布式集群环境配置，至少包含三个节点（一个master，两个slave）；
成功运行hadoop 自带的测试实例。
ubuntu容器
拉取ubuntu镜像
输入docker pull ubuntu来拉取ubuntu镜像，创建并运行容器
sudo docker run -it -v /home/hadoop/build:/root/build --name ubuntu ubuntu
换源
cat<<EOF>/etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF
配置Ubuntu
apt-get update
apt-get install vim
apt-get install ssh
/etc/init.d/ssh start
vim ~/.bashrc # 在文件末尾添加上一行的内容，实现ssd开机自启
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
安装jdk
apt-cache search jdk
apt-get install openjdk-8-jdk
vim ~/.bashrc # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效
做完以上步骤之后另开一个终端存个档：
docker commit 容器ID ubuntu/jdk8 # 存档
docker run -it -v /home/qyanzh/h4/h4_3/build:/root/build --name ubuntu-jdk8 ubuntu/jdk8
安装Hadoop
把群里的安装包（版本为3.1.3）扔到build内安装
tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装
配置Hadoop集群
hadoop-env.sh
cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>A base for other temporary derectories.</description>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<!--使用yarn运行MapReduce程序-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--jobhistory地址host:port-->
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<!--jobhistory的web地址host:port-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<!--指定MR应用程序的类路径-->
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
cd /usr/local/hadoop-3.1.3/sbin
对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
对于start-yarn.sh和stop-yarn.sh，添加下列参数：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
运行
做完以上步骤之后另开一个终端存个档：
docker commit 容器ID ubuntu/hadoop # 存档
开启三个终端，分别运行集群中的主机
第一个终端
docker run -it -h master --name master ubuntu/hadoop
第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoop
第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoop
配置地址信息，三个终端分别修改/etc/hosts:
vim /etc/hosts # 查看各终端的IP并修改
内容修改成:
172.18.0.4 master
172.18.0.5 slave01
172.18.0.6 slave02
在master上，用ssh命令访问目标主机
exit命令断开ssh连接。
ssh slave01 # 第一次使用需要输入yes
ssh slave02
修改master上workers文件，将localhost修改为slave01 slave02
vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02
测试Hadoop集群
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format #首次启动Hadoop需要格式化
sbin/start-all.sh #启动所有服务
验证
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+' # 运行示例
bin/hdfs dfs -get output output # 获取输出结果
./bin/hdfs dfs -cat output/* # 查看输出结果
停止服务
sbin/stop-all.sh
（4）实验报告
记录实验过程的主要问题和解决方法，分享经验和感想：
第一个实验的主要问题是端口已占用，删了之前忘记删除的容器就行（具体报错在实验一的过程内）
第二个实验的主要问题是链接不上数据库，无法登录，参考了大佬的，修改了一下端口配置就好了
第三个实验的主要问题是压缩包不知道放哪里一开始，后来通过QQ群同学答疑知道了
谢谢大佬们写得非常详细让我顺顺利利的做下来，还有同学们的问题分析，都带来了很大帮助
记录完成作业所花的时间：
大约两个下午（不到）+两个晚上
