Docker--高级网络配置

Docker 高级网络配置

当 Docker 启动时，会自动在宿主机上创建一个 docker0 虚拟网桥，实际上是Linux 的一个 bridge，可以理解为一个软件交换机。它会在挂载到它的网口之间进行转发。

[root@server ~]# ifconfig 
docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 0.0.0.0

同时，Docker 随机分配一个本地未占用的私有网络（在RFC1918中定义）中的一个地址给 docker0接口。比如典型的 172.17.0.1，掩码为255.255.0.0。此后启动的容器内的网口也会自动分配一个网段（172.17.0.0/16）的地址。

当创建一个 Docker 容器的时候，同时会创建一个 veth pair 接口（当数据包发送到一个接口时，另外一个接口也可以接收相同的数据包）。这对接口一端在容器内，即 eth0；另一端在本地并被挂载到docker0 网桥，名称以veth 开头（例如 veth4c45933）。通过这种方式，主机可以跟容器通信，容器之间也可以相互通信。Docker 就创建了在主机和所有容器之间的一个虚拟共享网络。

快速配置指南

Docker 网络相关的命令列表

只有在Docker 服务启动的时候才能配置，而且不能马上生效的有：

-b  BRIDGE  or --bridge=BRIDGE        --指定容器挂载的网桥
--bip=CIDR        　　　　　　　　　　   --定制docker0的掩码
-H SOCKET... or --host=SOCKET...      --Docker服务端接收命令的通道
--icc=true|false        　　　　　　　　--是否支持容器之间进行通信
--ip-forward=true|false        　　　　--请看下文容器之间的通信
--iptables=true|false        　　　　  --是否允许Docker添加iptables规则
--mtu=BYTES        　　　　　　　　     --容器网络中的MTU

既可以在启动服务时指定，也可以 Docker容器启动（docker run）时候指定。在Docker 服务启动的时候指定则会成为默认值，后面执行 docker run 时可以覆盖设置的默认值：

--dns=IP_ADDRESS...        　　--使用指定的DNS服务器
--dns-search=DOMAIN...        --指定DNS搜索域
    

只有在 docker run 执行时使用，因为它是针对容器的特性内容：

-h  HOSTNAME  or  --hostname=HOSTNAME        --配置容器主机名
--link=CONTAINER_NAME:ALIAS        　　　　　　--添加到另一个容器的连接
--net=bridge|none|container:NAME_or_ID|host  --配置容器的桥接模式
-p  SPEC  or  --publish=SPEC        　　　　　 --映射容器端口到宿主主机
-P  or  --publish-all=true|false        　　　--映射容器所有端口到宿主主机

配置 DNS

Docker 没有为每个容器专门定制镜像，那么怎么自定义配置容器的主机名和DNS配置？秘诀就是它利用虚拟文件来挂载到容器的3个相关的配置文件。

在容器中使用mount命令可以看到挂载信息：

[root@server ~]# docker run --rm --name myCentos -it centos /bin/bash 　　#创建一个执行完命令自动终止的容器
[root@fb589b253bba /]# mount
...
/dev/mapper/cl-root on /etc/resolv.conf type xfs (rw,relatime,attr2,inode64,noquota)
/dev/mapper/cl-root on /etc/hostname type xfs (rw,relatime,attr2,inode64,noquota)
/dev/mapper/cl-root on /etc/hosts type xfs (rw,relatime,attr2,inode64,noquota)
...

这种机制可以让宿主机DNS信息发生更新后，所有Docker容器的 dns 配置通过 /etc/resolv.conf 文件立刻得到更新。

如果想要手动指定容器的配置，可以利用下面的选项。

-h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名，它会被写到容器的/etc/hostname 和 /etc/hosts。
但它在容器外部看不到，既不会在docker ps中显示，也不会在其它容器的 /etc/hosts看到

[root@server ~]# docker run --rm -h mydocker_test --name myCentos -it centos /bin/bash 　　#创建一个指定 HOSTNAME的容器
[root@mydocker_test /]# cat /etc/hostname　　#查看hostname文件信息
mydocker_test
[root@mydocker_test /]# cat /etc/hosts　　#查看hosts文件信息
...
172.17.0.5    mydocker_test

--link=CONTAINER_NAME:ALIAS   选项会在创建容器的时候，添加一个其他容器 的主机名到/etc/hosts 文件中，让新容器的进程可以使用主机名 ALIAS 就可以 连接它。

实例参考：https://www.cnblogs.com/yanjieli/p/10218842.html#autoid-7-6-1

--dns=IP_ADDRESS 添加DNS服务器到容器的 /etc/resolv.conf中，让容器利用这个服务器来解析所有不在 /etc/hosts 中的主机名

[root@server ~]# docker run --rm --dns=114.114.114.114 --name myCentos -it centos /bin/bash 　　#创建一个容器，并指定dns为114.114.114.114
[root@aa199cd14e2a /]# cat /etc/resolv.conf 
nameserver 114.114.114.114

--dns-search=DOMAIN 设定容器的搜索域，当设定搜索域为 .example.com时，再搜索一个名为 host的主机时，DNS不仅搜索host，还会搜索host.example.com。

注意：如果没有--dns 和--dns-search选项时，Docker会默认用宿主机上的 /etc/resolv.conf 来配置容器。

容器访问控制

容器的访问控制，主要通过Linux上的 iptables 防火墙来进行管理和实现。 

容器访问外部网络

容器要想访问外部网络，需要本地系统的转发支持，在linux系统中，检查转发是否打开

[root@server ~]# sysctl net.ipv4.ip_forward
net.ipv4.ip_forward = 1

如果为0，说明没有开启转发，则需要手动打开

[root@server ~]# sysctl -w net.ipv4.ip_forward=1

如果在启动Docker服务的时候指定 --ip-forward=true，Docker就会自动设定系统的 ip_forward 参数为1。

[root@server ~]# docker run --rm --name myCentos -it centos /bin/bash 　　#启动一个容器
[root@2bdfb90cb3e0 /]# ping qq.com　　#测试是否能够访问外部网络
PING qq.com (180.163.26.39) 56(84) bytes of data.
64 bytes from 180.163.26.39 (180.163.26.39): icmp_seq=1 ttl=52 time=29.6 ms
64 bytes from 180.163.26.39 (180.163.26.39): icmp_seq=2 ttl=52 time=29.3 ms

容器之间访问

容器之间互相访问，需要两方面的支持。

• 容器的网络拓扑是否已经互联。默认情况下，所有容器都会被连接到 docker0 网桥上
• 本地系统的 iptables 是否允许通过

默认情况下，容器之间是可以相互通信的

访问所有的端口

当启动Docker 服务时，默认会添加一条转发策略到iptables 的FORWARD链上。策略为通过（ACCEPT）还是禁止（DROP）取决于配置 --icc=true 还是 --icc=false。如果手动指定 --iptables=false 则不会添加iptables 规则。

可见，默认情况下，不同容器之间是允许网络互通的。如果是为了安全考虑，可以在/etc/default/docker 文件中配置 DOCKER_OPTS=--icc=false 来禁止它。

容器访问外部网络

容器所有到外部网络的连接，源地址都会被NAT成本地系统的IP地址，这是使用iptables 的源地址伪装操作实现的。

查看主机的NAT规则

[root@server ~]# iptables -t nat -nL　　#查看防火墙nat表的规则
...
Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination         
MASQUERADE  all  --  172.17.0.0/16        0.0.0.0/0 
...

其中，上述规则将所有源地址在 172.17.0.0/16 网段，目标地址为其它网络（外部网络）的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统的 SNAT的好处就是它能动态从网卡获取地址。

外部网络访问容器

容器允许外部访问，可以在docker run 时候通过 -p 或 -P 参数来启用。不论用哪种，其实也是在本地的 iptables 的nat表中添加相应的规则。使用 -P 时：

[root@server ~]# iptables -t nat -nL　　#查看防火墙nat表的规则
...
Chain DOCKER (2 references)
target     prot opt source               destination                  
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:32770 to:172.17.0.3:443
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:32771 to:172.17.0.3:80
...

使用 -p 88:80 时：

[root@server ~]# iptables -t nat -nL　　#查看防火墙规则
Chain DOCKER (2 references)
target     prot opt source               destination         
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:88 to:172.17.0.5:80

注意：这里规则映射了 0.0.0.0，意味着将接收主机来自所有的接口的流量。

配置 docker0 网桥

Docker 服务默认会创建一个 docker0 网桥（其实有一个 docker0 内部接口），它在内核层连通了其它的物理网卡或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。

Docker 默认指定了 docker0 接口的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信，它还给出了MTU（接口允许接收的最大传输单元），通常是1500Bytes，或宿主机网络路由上支持的默认值，这些值都可以在服务启动的时候进行配置。

--bip=CIDR   --IP地址加掩码格式，例如 192.168.1.2/24
--mtu=BYTES  --覆盖默认的 Docker mtu配置

也可以在配置文件中配置 DOCKER_OPTS， 然后重启服务，由于目前Docker网桥是Linux网桥，可以使用 brctl show 来查看网桥和端口连接信息

[root@server ~]# brctl show　　#查看网桥和端口信息
bridge name    bridge id        STP enabled    interfaces
docker0        8000.0242d8da46c0    no        veth07c5f5c
                            　　　　　　　　　　 veth0bed0f7

每次创建一个新容器的时候，Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的 eth0 端口。使用本地主机上 docker0 接口的IP 作为所有容器的默认网关

[root@server ~]# docker run -it --rm --name myCentos centos /bin/bash
[root@4636797a8e7c /]# ifconfig 
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.17.0.6  netmask 255.255.0.0  broadcast 172.17.255.255
...

[root@4636797a8e7c /]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.17.0.1      0.0.0.0         UG    0      0        0 eth0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 eth0

自定义网桥

除了默认的 docker0 网桥，也可以指定网桥来连接各个容器

在启动Docker 服务的时候， 使用 -b BRIDGE 或 --bridge=BRIDGE 来指定使用的网桥

（1）先创建网桥

[root@server ~]# systemctl stop docker　　#停止docker服务
[root@server ~]# ip link set dev docker0 down　　#停止docker0网桥
[root@server ~]# brctl delbr docker0　　#删除docker0网桥

[root@server ~]# brctl addbr bridge0　　#新建bridge0网桥
[root@server ~]# ip addr add 192.168.2.1/24 dev bridge0　　#绑定ip给bridge0网桥
[root@server ~]# ip link set dev bridge0 up　　#启动bridge0网桥
[root@server ~]# brctl show 　　#查看网桥信息
bridge name    bridge id        STP enabled    interfaces
bridge0        8000.000000000000    no        
virbr0        8000.525400caf93e    yes        virbr0-nic
[root@server ~]# ifconfig bridge0　　#查看bridge0网桥信息
bridge0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.2.1  netmask 255.255.255.0  broadcast 0.0.0.0

（2）配置Docker 服务

[root@server ~]# vim /lib/systemd/system/docker.service　　#由于新版本的没有/etc/default/docker配置文件，so 需要自己添加。
ExecStart=/usr/bin/dockerd -H unix:// $DOCKER_OPTS　　#在ExecStart末尾添加 $DOCKER_OPTS
EnvironmentFile=-/etc/default/docker　　　　#指定配置文件的路径

[root@server ~]# vim /etc/default/docker　　#自定义编辑配置文件，写入启动指定网桥的网桥信息
DOCKER_OPTS="-b=bridge0"

[root@server ~]# systemctl start docker　　#启动docker服务
[root@server ~]# docker run --rm -ti --name Mycentos centos /bin/bash　　#创建一个容器

[root@0a13bd05faae /]# ifconfig　　#查看容器的ip地址，检查是否桥接到birdge0上面
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.2.2  netmask 255.255.255.0  broadcast 192.168.2.255

[root@0a13bd05faae /]# ping 192.168.2.1　　#测试和网桥是否通
PING 192.168.2.1 (192.168.2.1) 56(84) bytes of data.
64 bytes from 192.168.2.1: icmp_seq=1 ttl=64 time=0.094 ms

说明：在老版本docker上面默认就有/etc/default/docker配置文件，直接编辑即可， 在新版本上面没有，所以需要自己指定。

创建一个点到点的连接

默认情况下，Docker 会将所有的容器连接到由 docker0 提供的虚拟子网中。

如果我们需要两个容器之间可以通信，而不通过宿主机网桥进行桥接。

解决办法：创建一对 peer 接口，分别放到两个容器中，配置成点对点链路类型即可。

（1）首先启动2个容器：

[root@server ~]# docker run -i -t --rm --name myCentos01 --net=none centos /bin/bash　　#在第一个终端启动第一个容器

[root@server ~]# docker run -i -t --rm --name myCentos02 --net=none centos /bin/bash　　#在第二个终端启动第二个容器

（2）找到进程号，然后创建网络命名空间的跟踪文件（在第三个终端操作）

[root@server ~]# docker inspect -f '{{.State.Pid}}' myCentos01　　#找到myCentos01的进程号
16614
[root@server ~]# docker inspect -f '{{.State.Pid}}' myCentos02　　#找到myCentos02的进程号
16713
[root@server ~]# mkdir -p /var/run/netns
[root@server ~]# ln -s /proc/16614/ns/net /var/run/netns/16614
[root@server ~]# ln -s /proc/16713/ns/net /var/run/netns/16713

（3）创建一对 peer 接口，然后配置路由（在第三个终端操作）

[root@server ~]# ip link add A type veth peer name B
[root@server ~]# 
[root@server ~]# ip link set A netns 16614
[root@server ~]# ip netns exec 16614 ip addr add 10.1.1.1/32 dev A
[root@server ~]# ip netns exec 16614 ip link set A up
[root@server ~]# ip netns exec 16614 ip route add 10.1.1.2/32 dev A
[root@server ~]# 
[root@server ~]# ip link set B netns 16713
[root@server ~]# ip netns exec 16713 ip addr add 10.1.1.2/32 dev B
[root@server ~]# ip netns exec 16713 ip link set B up
[root@server ~]# ip netns exec 16713 ip route add 10.1.1.1/32 dev B

（4）测试两个容器之间的通信

[root@90709b31ef86 /]# ping 10.1.1.2　　#在myCentos01上面测试与myCentos02之间的通信
PING 10.1.1.2 (10.1.1.2) 56(84) bytes of data.
64 bytes from 10.1.1.2: icmp_seq=1 ttl=64 time=0.075 ms

[root@96af03d9ad15 /]# ping 10.1.1.1　　#在myCentos02上面测试与myCentos01之间的通信
PING 10.1.1.1 (10.1.1.1) 56(84) bytes of data.
64 bytes from 10.1.1.1: icmp_seq=1 ttl=64 time=0.075 ms

通过测试，这两个容器可以互相ping通，并成功建立连接。点到点链路不需要子网和子网掩码。

此外，也可以不指定 --net=none 来创建点到点链路。这样容器还可以通过原先的网络来通信。