docker openvswitch网络方案

1. 测试环境

75机(10.11.150.75):Red Hat Enterprise Linux Server 7.0,无外网访问权限,已安装Docker Server

74机(10.11.150.74):Red Hat Enterprise Linux Server 7.0,无外网访问权限,已安装Docker Server

73机(10.11.150.73):Red Hat Enterprise Linux Server 7.0,无外网访问权限,已安装Docker Server

183机:OS X Yosemite 10.10.4,完全外网访问,用于下载安装包

2. 默认Docker网络情况

在73机和75机上通过下面命令启动docker服务:

sudo docker -d &

启动几个容器后,通过 brctl 工具和 ip a 查看网桥的配置情况,可以看到docker启动后默认创建了一个名为docker0的网桥,且分配了了172.17.42.1的内部IP:

技术分享

可通过如下命令安装 brctl ,后面许多关于网桥的操作需要用到:

sudo yum install bridge-utils

在73机和75机之间的网络ping情况如下图所示,可以看出73机和75机容器之间的是不能ping通的:

技术分享

下面将介绍利用Openvswitch对网络进行配置实现不同物理机间容器互连的方法。

3. 安装Openvswitch

以73机上的安装为例,先通过183机下载安装包并scp到73机上:

wget http://openvswitch.org/releases/openvswitch-2.3.0.tar.gz
scp openvswitch-2.3.0.tar.gz scs@10.11.150.73:/opt/scs/openxxs

在73机上安装必要的依赖环境,大部分依赖项Linux系统都自带了:

sudo yum -y install openssl-devel gcc make python-devel openssl-devel kernel-devel graphviz kernel-debug-devel autoconf automake rpm-build redhat-rpm-config libtool

创建系统用户ovs,并将安装包复制到ovs的主目录下:

sudo adduser ovs
sudo cp /opt/scs/openxxs/openvswitch-2.3.0.tar.gz /home/ovswitch/

切换至ovs用户,进行yum安装Openvswitch的必要准备,然后退回到原scs用户:

sudo su - ovs

tar -zxvpf openvswitch-2.3.0.tar.gz

mkdir -p ~/rpmbuild/SOURCES

sed ‘s/openvswitch-kmod, //g‘ openvswitch-2.3.0/rhel/openvswitch.spec > openvswitch-2.3.0/rhel/openvswitch_no_kmod.spec

cp openvswitch-2.3.0.tar.gz rpmbuild/SOURCES/

rpmbuild -bb --without check ~/openvswitch-2.3.0/rhel/openvswitch_no_kmod.spec

exit

安装Openvswitch:

sudo yum localinstall /home/ovs/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm

安装完之后就可以启动openswitch服务了:

sudo mkdir /etc/openvswitch

setenforce 0

sudo systemctl start openvswitch.service

sudo systemctl status openvswitch.service -l

技术分享

以相同方式在74机上安装并启动Openvswitch。

4. 网桥配置

1)73机上配置:

首先开启ip_forward(sudo编辑 /proc/sys/net/ipv4/ip_forward 将内容改为 1 );

然后通过ovs-vsctl创建ob0网桥并绑定IP:

sudo ovs-vsctl add-br ob0

sudo ovs-vsctl add-port ob0 gre0 -- set Interface gre0 type=gre options:remote_ip=10.11.150.73

通过brctl创建kbr0网桥和ob0关联,并删除docker0网桥的关联:

sudo brctl addbr kbr0

sudo brctl addif kbr0 ob0

sudo ip link set dev kbr0 up

sudo ip link set dev docker0 down

sudo ip link del dev docker0

创建 /etc/sysconfig/network-scripts/ifcfg-kbr0 文件,内容如下:

DEVICE=kbr0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.17.2.1
NETMASK=255.255.255.0
GATEWAY=172.17.2.0
USERCTL=no
TYPE=Bridge
IPV6INIT=no

创建 /etc/sysconfig/network-scripts/route-em1 文件(em1为实际网卡),内容如下:

172.17.1.0/24 via 10.11.150.74 dev em1

配置完成后,重启网络服务:

sudo systemctl restart network.service

2)74机上配置:

与73机的配置类似,首先开启ip_forward(sudo编辑 /proc/sys/net/ipv4/ip_forward 将内容改为 1 );

然后通过ovs-vsctl创建obr0网桥并绑定IP:

sudo ovs-vsctl add-br obr0

sudo ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=10.11.150.74

通过brctl创建kbr0网桥和obr0关联,并删除docker0网桥的关联:

sudo brctl addbr kbr0

sudo brctl addif kbr0 obr0

sudo ip link set dev docker0 down

sudo ip link del dev docker0

创建 /etc/sysconfig/network-scripts/ifcfg-kbr0 文件,内容如下:

DEVICE=kbr0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.17.1.1
NETMASK=255.255.255.0
GATEWAY=172.17.1.0
USERCTL=no
TYPE=Bridge
IPV6INIT=no

创建 /etc/sysconfig/network-scripts/route-em1 文件(em1为实际网卡),内容如下:

172.17.2.0/24 via 10.11.150.73 dev em1

配置完成后,重启网络服务:

sudo systemctl restart network.service

5. 配置后网络情况

重启73机和74机的docker服务,启动时指定网桥为我们创建的kbr0:

sudo killall docker

sudo docker -d -b=kbr0 &

启动几个docker容器后我们可以查看两台机子的网络环境如下:

技术分享

技术分享

进行各个设备间的ping操作之后得出下图的网络情况,可以看到两个物理机下的容器间已经可以通过IP互联了:

技术分享

 

posted @ 2016-11-10 10:52  bethal  阅读(...)  评论(...编辑  收藏