CMDB实现方案及运维自动化

1. 对于IT运维的分类

指的是对已经搭建好的网络，软件，硬件进行维护。运维领域也是细分的，有硬件运维和软件运维

• 硬件运维主要包括对基础设施的运维，比如机房的设备，主机的硬盘，内存这些物理设备的维护
• 软件运维主要包括系统运维和应用运维，系统运维主要包括对OS，数据库，中间件的监控和维护，这些系统介于设备和应用之间，应用运维主要是对线上业务系统的运维

2. 为什么要有自动化运维

# 日常工作繁琐
日常运维工作是比较繁琐的，研发同学会经常需要到服务器上查日志，重启应用，或者是说今天上线某个产品，需要部署下环境。这些琐事是传统运维的大部分工作

# 应用运行环境不统一
在部署某应用后，应用不能访问，就会听到开发人员说，在我的环境运行很好的，怎么部署到测试环境后，就不能用了，因为各类环境的类库不统一
还有一种极端情况，运维人员习惯不同，可能凭自己的习惯来安装部署软件，每种服务器上运行软件的目录不统一

# 运维及部署效率低下
想想运维人员需要登陆到服务器上执行命令，部署程序，不仅效率很低，并且非常容易出现人为的错误，一旦手工出错，追溯问题将会非常不容易

# 无用报警信息过多
经常会收到很多报警信息，多数是无用的报警信息，造成运维人员经常屏蔽报警信
另外如果应用的访问速度出了问题，总是需要从系统、网络、应用、数据库等一步步的查找原因

# 资产管理和应用管理混乱
资产管理，服务管理经常记录在excel、文本文件或者wiki中，不便于管理，老员工因为比较熟，不注重这些文档的维护，只有靠每次有新员工入职时，资产才能够更正一次

3. 自动化平台要解决什么问题

运维自动化最重要的就是标准化一切

OS的选择统一化，同一个项目使用同样的OS系统部署其所需要的各类软件
软件安装标准化，例如JAVA虚拟机，php，nginx，mysql等各类应用需要的软件版本，安装目录，数据存放目录，日志存放目录等
应用包目录统一标准化，及应用命名标准化
启动脚本统一目录和名字，需要变化的部分通过参数传递
配置文件标准化，需要变化的部分通过参数传递
日志输出，日志目录，日志名字标准化
应用生成的数据要实现统一的目录存放
主机/虚拟机命名标准化，虚拟机管理使用标准化模板
使用docker比较容易实现软件运行环境的标准化

资产管理系统（CMDB）

CMDB是所有运维工具的数据基础

用户管理，记录测试，开发，运维人员的用户表
业务线管理，需要记录业务的详情
项目管理，指定此项目用属于哪条业务线，以及项目详情
应用管理，指定此应用的开发人员，属于哪个项目，和代码地址，部署目录，部署集群，依赖的应用，软件等信息
主机管理，包括云主机，物理机，主机属于哪个集群，运行着哪些软件，主机管理员，连接哪些网络设备，云主机的资源池，存储等相关信息
主机变更管理，主机的一些信息变更，例如管理员，所属集群等信息更改，连接的网络变更等
网络设备管理，主要记录网络设备的详细信息，及网络设备连接的上级设备
IP管理，IP属于哪个主机，哪个网段, 是否被占用等

CMDB的四种实现方式

对于CMDB的实现我们可以分为三大部分：资产信息的获取(获取服务器的信息)，数据提交给API，Web展示

四种实现方式在后两部分中并无差异，只是获取数据的方式不同，因此适用的场景也不同

1. Agent方式

其整体流程为：

在每个目标服务器上都布置一个agent(python脚本用于获取服务器的ip,hostname,磁盘信息等...subprocess.getoutput())，使用Crontab来定时执行脚本，数据返回给API，API将数据存入数据库，用户通过Web查看

流程图为

该方案的

优点：速度快，对于服务器可以并发的向API推送数据

缺点：对于每个目标服务器来说都需要部署一个Agent程序，即在新增服务器之后，也同样需要为其部署agent脚本

使用场景：服务器多的情况下

2. ssh类(通过paramiko模块，也可以使用ansible)

其整体流程为：

需要在目标服务器和API之间添加一个中控机服务器，用于登录各个目标服务器获取硬件信息，中控机通过requests模块将数据返回给API

流程图：

 

该方案的

优点：无需在每个目标服务器上部署agent

缺点：依赖网络

适合场景：服务器较少的情况下

import paramiko


# 创建SSH对象
ssh = paramiko.SSHClient()
# 允许连接不在know_hosts文件中的主机
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
# 连接服务器
ssh.connect(hostname='c1.salt.com', port=22, username='root', password='123')
   
# 执行命令
stdin, stdout, stderr = ssh.exec_command('df')
# 获取命令结果
result = stdout.read()
   
# 关闭连接
ssh.close()

3. saltstack方式

第三种方式的流程和ssh方式类似，中控机将命令放入队列中，目标服务器取出命令，将执行后的结果放入另一个队列中，中控机获取信息发送到API，并录入数据库

流程图为：

 

此方案的

优点：开发成本低，快

缺点：依赖第三方工具

适应场景：已经装有saltstack情况下

saltstack的安装和配置

1.安装及配置

master端：
"""
1. 安装salt-master
    yum install salt-master
2. 修改配置文件：/etc/salt/master
    interface: 0.0.0.0    # 表示Master的IP 
3. 启动
    service salt-master start
"""
slave端：
"""
1. 安装salt-minion
    yum install salt-minion
2. 修改配置文件 /etc/salt/minion
    master: 10.211.55.4           # master的地址
    或
    master:
        - 10.211.55.4
        - 10.211.55.5
    random_master: True
    id: c2.salt.com                    # 客户端在salt-master中显示的唯一ID
3. 启动
    service salt-minion start
"""

2. 授权

"""
salt-key -L                    # 查看已授权和未授权的slave
salt-key -a  salve_id      # 接受指定id的salve
salt-key -r  salve_id      # 拒绝指定id的salve
salt-key -d  salve_id      # 删除指定id的salve
"""

3. 执行命令

在master服务器上对salve进行远程操作

salt 'c2.salt.com' cmd.run  'ifconfig'

基于API的方式

import salt.client
local = salt.client.LocalClient()
result = local.cmd('c2.salt.com', 'cmd.run', ['ifconfig'])

参考安装：

http://www.cnblogs.com/tim1blog/p/9987313.html
https://www.jianshu.com/p/84de3e012753

4. Puppet（ruby语言开发）