一只大尾巴狼的博客Linux服务器集群代理配置
因为之前本科参与开发的一个互联网新闻采集系统需要爬取几个国外的新闻站点，通过FQ才能访问，而我们的服务器是阿里云服务器，没有操作界面，而且抽取任务是定时执行，必须要实现程序控制VPN的连接与断开。所以就学习如何在linux上利用命令行和脚本操作建立VPN连接，单纯探索的过程没少走弯路，所以把经验分享出来供大家学习。
一、L2TP简介
LinuxFQ一般利用L2TP协议进行VPN的连接操作，建立连接需要拥有L2TP的服务器IP，用户名,密码和共享秘钥，这是合作方清华大学提供的代理信息（为了保密，密码什么的做了隐藏）
IP:xxx.xxx.xxx.xxx
Type:L2TP
用户名 linode
密码 sharedPasswd
共享密钥 sharedKey
我搭建的时候参考的这个链接：https://www.elastichosts.com/blog/linux-l2tpipsec-vpn-client/
想了解L2TP的可以参考这个链接：https://baike.so.com/doc/3372814-3550913.html
二、单台linux主机连接vpn配置
1.安装软件
更新linux系统自带的软件资源库
$ sudo apt-get update
安装软件
$ sudo apt-get install openswan xl2tpd
2.修改IPsec配置文件
$ sudo vi /etc/ipsec.conf
在ipsec.conf里添加以下内容：（注意：conn顶格写，authby前面空8格）
conn L2TP-PSK
authby=secret
pfs=no
auto=add
keyingtries=3
dpddelay=30
dpdtimeout=120
dpdaction=clear
rekey=yes
ikelifetime=8h
keylife=1h
type=transport
left=%defaultroute
leftnexthop=%defaultroute
leftprotoport=17/1701
right=xxx.xxx.xxx.xxx <— ip修改为代理服务器的ip
rightprotoport=17/1701
实际操作截图：
3.配置用户认证，添加共享密码
$ sudo vi /etc/ipsec.secrets
添加如下内容
0.0.0.0 xxx.xxx.xxx.xxx: "sharedKey"
4.验证配置
$ sudo /etc/init.d/ipsec start
$ sudo ipsec auto --up L2TP-PSK
如果看到一些输出，代表没有问题
$ sudo /etc/init.d/ipsec stop
5.修改xl2tpd配置文件
$ sudo vi /etc/xl2tpd/xl2tpd.conf 添加如下内容
[lac vpn-connection]
lns =xxx.xxx.xxx.xxx <— ip修改为代理服务器的ip
refuse chap = yes
refuse pap = yes
require authentication = yes
name = vpn-server
ppp debug = yes
pppoptfile = /etc/ppp/options.l2tpd.client
length bit = yes
实际操作截图
注：文件以;开头的行，是注释该行的意思
6.修改options.l2tpd.client配置文件
$ sudo vi /etc/ppp/options.l2tpd.client
添加如下内容
ipcp-accept-local
ipcp-accept-remote
refuse-eap
require-mschap-v2
noccp
noauth
idle 1800
mtu 1410
mru 1410
defaultroute
usepeerdns
debug
lock
connect-delay 5000
name linode <— 用户名
password sharedPasswd <— 密码
实际操作截图：
7.连接到VPN
开启ipsec服务
$ sudo /etc/init.d/ipsec start
开启xl2tpd服务
$ sudo /etc/init.d/xl2tpd start
$ sudo ipsec auto --up L2TP-PSK
更改xl2tpd文件夹的权限
$ sudo chown -R hadoop:hadoop /var/run/xl2tpd/
建立ppp0点对点链接
$ sudo echo "c vpn-connection" > /var/run/xl2tpd/l2tp-control
可以通过ifconfig命令看到已经建立了ppp0点对点连接
而此前是没有ppp0的点对点连接的,如图所示：
8.设置所有流量走VPN
到这个步骤只是连接上了L2TP服务器，加入了VPN的网络，但是还不能访问国外网站，需要进一步设置流量走VPN
注：下面是设置此项所用到的参数信息
xxx.xxx.xxx.xxx为代理服务器的ip，
114.215.83.247是服务器的外网网关，
114.215.82.131是服务器的外网ip，
eth0为外网的连接名,下面的命令中也用到了这些ip
使用ip route show命令来查看当前上网所使用的网关 注:为了安全起见，进行了隐藏处理，红色部分为网关，蓝色部分为外网IP
继续执行下面的命令：
$ sudo ip route replace xxx.xxx.xxx.xxx via 114.215.83.247 dev eth1 src 114.215.82.131
$ sudo ip route replace default dev ppp0
再使用ip route show 命令看到网关已经改成了vpn服务器的ip，如图：
9.测试vpn的使用是否成功
以facebook和百度为例,进行ping测试
$ ping www.facebook.com
可以看到可以ping通facebook
$ ping www.baidu.com 注：由于流量走vpn导致国内网站延迟变高
10.断开vpn连接
$ sudo ip route del xxx.xxx.xxx.xxx via 114.215.83.247 dev eth1 src 114.215.82.131
$ sudo ip route del default dev ppp0
$ sudo ip route add default via 114.215.83.247
$ sudo /etc/init.d/xl2tpd stop
$ sudo /etc/init.d/ipsec stop
到此已经关闭了vpn，恢复了正常的上网状态，ping百度测试,如图所示：
三、linux集群统一连接vpn
1.仿照第二步对集群每台机器配置好vpn连接
2.利用脚本控制每台机器的vpn连接（以阿里云2为例）
登录阿里云2
$ ssh hadoop2
$ vi startVpn.sh
在脚本startVpn.sh中添加如下内容，xxx.xxx.xxx.xxx为VPN服务器ip
#! / bin/sh
echo "服务器密码" | sudo -S ip route replace xxx.xxx.xxx.xxx via 121.42.139.247 dev eth1 src 121.42.137.47
sleep 1s
echo "服务器密码" | sudo -S chown -R hadoop:hadoop /var/run/xl2tpd/
echo "c vpn-connection" > /var/run/xl2tpd/l2tp-control
sleep 10s
echo "服务器密码" | sudo -S ip route replace default dev ppp0
:wq!保存退出
注：echo "密码" | sudo –S 命令 这种写法可以使sudo的脚本自动输入密码
$ vi closeVpn.sh
在脚本closeVpn.sh中添加如下内容：
#! / bin/sh
echo "服务器密码" | sudo -S ip route del xxx.xxx.xxx.xxx via 121.42.139.247 dev eth1 src 121.42.137.47
echo "服务器密码" | sudo -S ip route del default dev ppp0
echo "服务器密码" | sudo -S ip route add default via 121.42.139.247
echo "服务器密码" | sudo -S /etc/init.d/xl2tpd restart
:wq!保存退出
对各台机器重复此操作,保证每台机器上都有startVpn.sh和closeVpn.sh脚本
3.在主节点上实现对集群的vpn控制（阿里云1）
$ vi startAllVpn.sh
添加以下内容
#! / bin/sh
sh startVpn.sh
ssh -p 22 hadoop@hadoop2 'sh startVpn.sh'
ssh -p 22 hadoop@hadoop3 'sh startVpn.sh'
ssh -p 22 hadoop@hadoop4 'sh startVpn.sh'
ssh -p 22 hadoop@hadoop5 'sh startVpn.sh'
sleep 7500s
sh closeVpn.sh
ssh -p 22 hadoop@hadoop2 'sh closeVpn.sh'
ssh -p 22 hadoop@hadoop3 'sh closeVpn.sh'
ssh -p 22 hadoop@hadoop4 'sh closeVpn.sh'
ssh -p 22 hadoop@hadoop5 'sh closeVpn.sh'
:wq!保存退出
注：sleep 7500秒后，脚本自动关闭vpn连接，是我们定义的一种安全机制
$ vi closeAllVpn.sh 该脚本会由java程序执行完抽取任务后自动调用关闭vpn
添加以下内容:
#! / bin/sh
sh closeVpn.sh
ssh -p 22 hadoop@hadoop2 'sh closeVpn.sh'
ssh -p 22 hadoop@hadoop3 'sh closeVpn.sh'
ssh -p 22 hadoop@hadoop4 'sh closeVpn.sh'
ssh -p 22 hadoop@hadoop5 'sh closeVpn.sh'
:wq!保存退出
4.开启集群vpn连接
$ sh startAllVpn.sh
5.关闭集群vpn连接
$ sh closeAllVpn.sh
