9.python 系统批量运维管理器之Fabric模块

 

前面介绍了paramiko,pexpect模块,今天来说比较适合大型应用自动化部署的模块,或者执行系统命令的模块Fabric。

Fabric 是一个 Python 的库,同时它也是一个命令行工具。它提供了丰富的同 SSH 交互的接口,可以用来在本地或远程机器上自动化、流水化地执行 Shell 命令。使用 fabric 提供的命令行工具,可以很方便地执行应用部署和系统管理等操作。因此它非常适合用来做应用的远程部署及系统维护。其上手也极其简单,你需要的只是懂得基本的 Shell 命令。

fabric 依赖于 paramiko 进行 ssh 交互,fabric 的设计思路是通过几个 API 接口来完成所有的部署,因此 fabric 对系统管理操作进行了简单的封装,比如执行命令,上传文件,并行操作和异常处理等。

paramiko 是一个用于做远程控制的模块,使用该模块可以对远程服务器进行命令或文件操作,fabric ansible 内部的远程管理就是使用的paramiko来现实

安装模块

Fabric的官网是 http://www.fabfile.org,源码托管在github上,可以把源码包clone到本地,使用 python3 setup.py  develop 安装。

我这里使用 pip install fabric3 安装,不过 fab 命令默认安装在python目录下,需要创建软连接:ln -s 默认安装路径  /usr/bin/fab  添加到环境变量即可

Fabric简介和各个版本差异比较:http://www.mamicode.com/info-detail-2337088.html

安装成功

fab常用参数

fab作为Fabric程序的命令行入口,提供了丰富的参数调用,命令的格式如下:

fab [options] <command>[:arg1,arg2-val2,host=foo,host='h1;h2'...]...

参数详解:

  • -l:显示定义好的任务函数名,
  • -f:指定fab入口文件,默认入口文件名为fabric.py,
  • -g:指定网关(中转)设备,比如堡垒机环境,填写堡垒机IP即可,
  • -H:指定目标主机,多台用 "," 分割,
  • -P:以异步并行的方式运行多主机任务,默认为串行运行,
  • -R:指定role(角色),以角色名区分不同业务组设备,
  • -t:设置设备连接超时时间,
  • -T:设置远程主机命令执行超时时间(秒),
  • -w:当命令执行失败,发出警告,而非默认中止任务。

有时候我们甚至不需要写代码就可以执行远程操作,直接使用命令行形式:

fab -p 12580(密码) -H 192.168.0.132 -- 'uname -a'

运行结果:

不少人反映命令执行总有paramiko的cryptography爆错

应为paramiko2.4.2依赖cryptography,而最新的cryptography==2.5里有一些弃用的API。

只需卸载cryptography的2.5版本,并且安装2.4.2即可

pip uninstall cryptography==2.5
pip install cryptography==2.4.2

fabfile的编写以及全局属性设定

fabfile的主体由多个自定义的任务函数组成,不同任务实现不同的操作逻辑。

env对象的作用是定义fabfile的全局设定,支持多个属性,包括目标主机,用户,密码,角色,各属性说明如下:

  • env.host:定义目标主机,可以用IP或者主机名表示,以python的列表形式定义,如env.hosts=['192.168.0.131','192.168.0.132']。
  • env.exclude_hosts:排除指定主机,如env.exlcue_hosts=['192.168.0.132']。
  • env.user:定义用户名,如env.user='root'。
  • env.port:定义目标主机端口,默认为22,如env.port='22'。
  • env.password:定义密码,如env.password='123456'。
  • env.passwords:与password功能一样,区别在于不同主机不同密码的应用场景,需要注意的是,配置passwords时需配置用户,主机,端口等信息,如 env.passwords = {

          'root@192.168.0.122:22':'123456'

          }

  • env.gateway:定义网关(中转,堡垒机)IP,如env.gateway='192.168.0.132'。
  • env.deploy_release_dir:自定义全局变量,格式:env.+"变量名称",如env.deploy_release_dir,env.age,env.sex等。
  • env.roledefs:定义角色分组,比如web组与db组主机区分开来,定义如下:

         env.roledefs = {

          'webservers':['192.168.0.1','192.168.0.2'],

          'dbservers':['192.168.0.3']

         }

引用时使用python修饰符的形式进行,角色修饰符下面的任务函数为其作用域,举个例子:

@roles('webservers')
def webtask():
    run('/etc/init.d/nginx start')

@roles('dbservers')
def dbtask():
    run('/etc/init.d/mysql start')

@roles('webservers','dbservers')
def pubclitask():
    run('uptime')
def deploy():
execute(webtask)
execute(dbtask)
execute(pubclitask)

在命令执行 fab -f deploy 就可以实现不同角色执行不同的任务函数了。

常用API

Fabric提供了一组简单但功能强大的fabric.api命令集,简单的调用这些API就能完成大部分应用场景需求。Fabric支持常用的方法及说明如下:

  • local:执行本地命令,如 local('uname -a')
  • lcd:切换本地目录,如 lcd('/home')
  • cd:切换远程目录,如 cd('/data/logs')
  • run:执行远程命令,如 run('free -m')
  • sudo:sudo方式执行 远程命令,如 sudo('/etc/init.d/httpd start')
  • put:上传本地文件到远程主机,如 put('/home/user.info','/data/user.info')
  • get:从远程主机下载文件到本地,如 get('/data/user.info','/home/user.info')
  • prompt:获得用户输入信息,如 prompt('请输入密码:')
  • confirm:获得提示信息确认,如 confirm('tests failed,Continue[Y/N]?')
  • reboot:重启远程主机,如 reboot()
  • @task:函数修饰符,标识的函数为 fab 可调用的,非标记的对 fab 不可见,纯业务逻辑
  • @runs_once:函数修饰符,标识的函数只会执行一次,不受多台主机影响。

下面结合一些示例来理解上面API

异常处理

fabric 当执行返回码出现非0的命令时, 直接抛出异常退出的。这种异常不是Exception异常, 而是一个SystemExit异常。如果需要捕捉异常处理, 只需要

:::python
try:
    fab_execute(publish_ccms_pd_root, host=self.host, info=self.info, functions=self.functions)
except SystemExit:
    self.write_error()

或者:

:::python 
try:
    run('''ls -al ''')
except SystemExit:
    event()

但不建议这样做, 如果你仅仅是碰到错误还是要继续执行, 而不做异常的操作。可以使用官方的  settings.warn_only = True , 这样的话碰到不正常返回码仅仅会抛出Warning 信息。

:::python
from fabric.state import env
env.warn_only = True

或者:

:::python
from fabric.api import settings
with settings(warn_only=True):
    run('ls -al')

一些示例

示例一   查看本地与远程主机信息

通过调用local()方法执行本地(主控端)命令,添加 "@runs_once" 修饰符保证该任务只执行一次,调用run()方法执行远程命令。

#coding=utf-8

from fabric.api import *

env.user = "root"
env.password = "12580"
env.hosts = ['192.168.0.132']

#查看本地系统信息,当有多台主机时只运行一次 @runs_once def local_task(): #本地任务函数 local(
"uname -a") def remote_task():
#with的作用是让后面的表达式的语句继承当前状态,实现cd /root && ls -l 的效果 with cd(
"/root"): run("ls -l")

运行结果:

示例二   动态获取远程目录列表

使用 "@task" 修饰符标志入口函数go()对外部可见,配合 "@runs_once" 修饰符接收用户输入,最后调用worktask()任务函数实现远程命令执行。

#coding=utf-8

from fabric.api import *

env.user = 'root'
env.password = '12580'
env.hosts = ['192.168.0.132']

#主机遍历过程中,只有第一台触发此函数 @runs_once def input_raw():
return prompt("Please input directory name: ",default = "/home") def worktask(dirname): run("ls -l "+dirname)
#限定只有go函数对fab命令可见 @task def go(): getdirname
= input_raw() worktask(getdirname)

运行结果:

示例三  网关模式文件上传与执行

通过Fabric的env对象定义网关模式,即中转请求,堡垒机环境。定义格式为"env.gateway='192.168.0.132'",其中IP "192.168.0.132"为堡垒机IP,再结合任务函数实现目标主机文件上传与执行的操作。

#coding=utf-8

from fabric.api import *
from fabric.context_managers import *
from fabric.contrib.console import confirm

env.user = 'root'
env.password = '12580'
env.hosts = ['192.168.0.132']
#定义堡垒机IP,作为文件上传,执行的中转设备 env.gateway
= '192.168.0.149'

#假如所有主机密码都不一样,可以通过env.passwords字典变量一一指定
env.passwords = { 'root@192.168.0.132:22':'12580' 'root@192.168.0.133:22':'toor' #堡垒机账号信息 } lpackpath = '/home/joker/test.tar.gz' #本地安装包路径 rpackpath = '/tmp/install/' #远程安装包路径 @task def put_task(): run('mkdir -p /tmp/install') with settings(warn_only=True): result = put(lpackpath,rpackpath) if result.failed and not confirm('put file failed,Continue[Y/N]?'): abort('Aborting file put task!') @task def run_task(): with cd('/tmp/install'): run('tar -zxvf test.tar.gz') #使用with继续继承/tmp/install目录位置状态
with cd(
'test/'): run('./bash.sh'
) @task def go(): put_task() run_task()

运行结果:

Fabric应用示例

示例一  部署LNMP业务服务环境

业务上线之前最关键的一项任务是环境部署,往往一个业务涉及多种应用环境,比如WEB,DB,PROXY,CACHE等,本示例通过env.roledefs定义不同主机角色,再使用 "@roles('webservers')" 修饰符绑定到对应的任务函数,实现不同角色主机的部署差异。

#coding=utf-8 
from fabric.colors import *
from fabric.api import *

env.user = 'root'
env.roledefs = {
'webservers':['192.168.56.11','192.168.56.12'],
'dbservers':['192.168.56.13'] } env.passwords = {
'root@192.168.56.11:22':'1234567',
'root@192.168.56.12:22':'1234567',
'root@192.168.56.13:22':'1234567', } @roles('webservers') #使用webtask任务函数引用'webservers'角色修复符 def webtask(): print(yellow('Install nginx php php-fpm...')) with settings(warn_only=True): run("yum -y install nginx") run("yum -y install php-fpm php-mysql php-mbstring php-xml php-mcrypt php-gd") run("chkconfig --levels 235 php-fpm on") run("chkconfig --levels 235 nginx on") @roles('dbservers') #dbtask任务函数引用'dbservers'角色修复符 def dbtask(): print(yellow("Install Mysql...")) with settings(warn_only=True): run("yum -y install mysql mysql-server") run("chkconfig --levels 235 mysqld on") @roles('webservers','dbservers') #publictask任务函数同时引用两个角色修复符 def publictask(): #部署公共类环境,如epel、ntp等 print(yellow("Install epel ntp....")) with settings(warn_only=True): run("wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo") run("yum -y install ntp"
) def deploy(): execute(publictask) execute(webtask) execute(dbtask)

代码执行结果:

devops@devops-virtual-machine:~/devops$ fab -Pf simple6.py deploy
[192.168.56.11] Executing task 'publictask'[192.168.56.12] Executing task 'publictask'[192.168.56.13] Executing task 'publictask'Install epel ntp....
[192.168.56.13] run: wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repoInstall epel ntp....
[192.168.56.12] run: wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repoInstall epel ntp....
[192.168.56.11] run: wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo[192.168.56.12] out: --2018-06-23 20:32:30--  http://mirrors.aliyun.com/repo/epel-7.repo[192.168.56.11] out: --2018-06-23 20:32:30--  http://mirrors.aliyun.com/repo/epel-7.repo[192.168.56.13] out: --2018-06-23 20:32:30--  http://mirrors.aliyun.com/repo/epel-7.repo....
[192.168.56.13] run: yum -y install ntp
[192.168.56.12] run: yum -y install ntp
[192.168.56.11] run: yum -y install ntp
....
....
....
[192.168.56.11] Executing task 'webtask'[192.168.56.12] Executing task 'webtask'Install nginx php php-fpm...
[192.168.56.11] run: yum -y install nginx
Install nginx php php-fpm...
[192.168.56.12] run: yum -y install nginx
....
....
....
[192.168.56.13] Executing task 'dbtask'Install Mysql...
[192.168.56.13] run: rpm -ivh http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpm.....
.....
.....
[192.168.56.13] run: chkconfig --levels 235 mysqld on

Done.

 

示例二  生产环境代码包发布管理

程序生产环境的发布是业务上线最后一个环节,要求具备源码打包,发布,切换,回滚,版本管理等功能。

生产环境代码包发布管理流程图:

#coding=utf-8
from fabric.api import *
from fabric.colors import *
from fabric.context_managers import *
from fabric.contrib.console import confirm import time env.user = 'root'
env.host = ['192.168.56.12','192.168.56.13'] env.passwords = {
'root@192.168.56.12:22':'1234567',
'root@192.168.56.13:22':'1234567', } env.project_dev_source = '/data/dev/Lwebadmin/' #开发服务器项目主目录 env.project_tar_source = '/data/dev/releases/' #开发服务器项目压缩包存储目录 env.project_pack_name = 'release' #项目压缩包前缀,文件名为release.tar.gz env.deploy_project_root = '/data/www/Lwebadmin/' #项目生产环境主目录 env.deploy_release_dir = 'releases' #项目发布目录,位于主目录下面 env.deploy_current_dir = 'current' #对外服务的当前版本软链接 env.deploy_version = time.strftime("%Y%m%d")+"v2" #版本号 @runs_once def input_versionid(): #获得用户输入的版本号,以便做版本回滚操作
return prompt("Please input project rollback version ID:",default="") @task @runs_once def tar_source(): #打包本地项目主目录,并将压缩包存储到本地压缩包目录 prompt(yellow("Creating source package....")) with lcd(env.project_dev_source): local("tar -zcf %s.tar.gz ." %(env.project_tar_source + env.project_pack_name)) prompt(green("Creating source package success!")) @task def put_package(): #上传任务函数 prompt(yellow("Start put package....")) with settings(warn_only=True): with cd(env.deploy_project_root + env.deploy_release_dir): run("mkdir %s" %(env.deploy_version)) #创建版本目录 env.deploy_full_path = env.deploy_project_root + env.deploy_release_dir + "/" + env.deploy_version with settings(warn_only=True): #上传项目压缩包至此目录 result = put(env.project_tar_source + env.project_pack_name + ".tar.gz",env.deploy_full_path)
if result.failed and not ("put file failed,Continue[Y/N]?"): abort("Aborting file put task!") with cd(env.deploy_full_path): #成功解压后删除压缩包 run("tar -zxvf %s.tar.gz" %(env.project_pack_name)) run("rm -rf %s.tar.gz" %(env.project_pack_name)) print(green("Put & untar package success!")) @task def make_symlink(): #为当前版本目录做软链接 print(yellow("update current symlink")) env.deploy_full_path = env.deploy_project_root + env.deploy_release_dir + "/" + env.deploy_version with settings(warn_only=True): #删除软链接,重新创建并指定软链接源目录,新版本生效 run("rm -rf %s" %(env.deploy_project_root + env.deploy_current_dir)) run("ln -s %s %s" %(env.deploy_full_path,env.deploy_project_root + env.deploy_current_dir)) print(green("make symlink success!")) @task def rollback(): #版本回滚任务函数 print(yellow("rollback project version")) versionid = input_versionid() #获取用户输入的回滚版本号
if versionid == '': abort("Project version ID error,abort!") env.deploy_full_path = env.deploy_project_root + env.deploy_release_dir + "/" + versionid run("rm -r %s" %(env.deploy_project_root + env.deploy_current_dir)) run("ln -s %s %s" %(env.deploy_full_path,env.deploy_project_root + env.deploy_current_dir)) #删除软链接,重新创建并指定软链接源目录,新版本生效 print(green("rollback sucess!")) @task def go(): #自动化程序版本发布入口函数 tar_source() put_package() make_symlink()

在生产环境中将站点的根目录指向"/data/www/Lwebadmin/current",由于使用Linux软链接做切换,管理员的版本发布、回滚操作用户无感知。

 

参考链接:

https://blog.csdn.net/freeking101/article/details/81103945

Fabric API及实例讲解

fabric 官网英文文档:http://www.fabfile.org/

fabric 中文站点:http://fabric-chs.readthedocs.io/zh_CN/chs/

python三大神器之一fabric使用:https://www.cnblogs.com/rufus-hua/p/5144210.html

如何用Fabric实现无密码输入提示的远程自动部署:https://blog.csdn.net/slvher/article/details/50414675

fabric实现远程操作和部署:http://python.jobbole.com/83716/

自动化运维管理 fabric:http://www.ttlsa.com/python/automation-operation-and-maintenance-tool-fabric/

Python3自动化运维之Fabric模版详解:https://www.imooc.com/article/38448

《Python自动化运维技术与最佳实践》

posted @ 2019-03-31 21:47  bmjoker  阅读(...)  评论(... 编辑 收藏