Prometheus监控系统

普罗米修斯概述

Prometheus(由go语言(golang)开发)是一套开源的监控&报警&时间序列数据库的组合。适合监控docker容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。

https://prometheus.io/docs/introduction/overview/

时间序列数据

什么是序列数据

时间序列数据(TimeSeries Data) : 按照时间顺序记录系统、设备状态变化的数据被称为时序数据。

应用的场景很多, 如：

无人驾驶车辆运行中要记录的经度，纬度，速度，方向，旁边物体的距离等等。每时每刻都要将数据记录下来做分析。
某一个地区的各车辆的行驶轨迹数据
传统证券行业实时交易数据
实时运维监控数据等

时间序列数据特点

性能好

关系型数据库对于大规模数据的处理性能糟糕。NOSQL可以比较好的处理大规模数据，让依然比不上时间序列数据库。

存储成本低

高效的压缩算法，节省存储空间，有效降低IO

Prometheus有着非常高效的时间序列数据存储方法，每个采样数据仅仅占用3.5byte左右空间，上百万条时间序列，30秒间隔，保留60天，大概花了200多G（来自官方数据)

Prometheus的主要特征

多维度数据模型
灵活的查询语言
不依赖分布式存储，单个服务器节点是自主的
以HTTP方式，通过pull模型拉去时间序列数据
也可以通过中间网关支持push模型
通过服务发现或者静态配置，来发现目标服务对象
支持多种多样的图表和界面展示

原理架构图

环境准备

三台机器，被监控服务器、Prometheus服务器、grafana服务器

1.能上外网

2.主机名

各自配置好主机名 
# hostnamectl set-hostname --static server.cluster.com 
三台都互相绑定IP与主机名 
# vim /etc/hosts 
10.1.1.13 server.cluster.com 
10.1.1.14 agent1.cluster.com 
10.1.1.15 grafana.cluster.com

3.时间同步

4.关闭防火墙，selinux

# systemctl stop firewalld 
# systemctl disable firewalld 
# iptables -F

安装prometheus

第一步：从 https://prometheus.io/download/ 下载相应版本，上传到服务器上

第二步：官网提供的是二进制版，解压就能用，不需要编译

[root@server ~]# tar xf prometheus-2.5.0.linux- amd64.tar.gz -C /usr/local/ [root@server ~]# mv /usr/local/prometheus-2.5.0.linux- amd64/ /usr/local/prometheus

第三步：启动普罗米修斯

[root@server ~]# /usr/local/prometheus/prometheus -- config.file="/usr/local/prometheus/prometheus.yml" & 
注:
& 连接符代表后台运行，不占用终端窗口

第四步：测试端口占用情况（判断是否真正的启动了）

确认端口(9090) 
[root@server ~]# lsof -i:9090
[root@server ~]# ss -naltp |grep 9090

prometheus界面

通过浏览器访问http://服务器IP:9090就可以访问到prometheus的主界面

默认只监控了本机一台，点Status --》点Targets --》可以看到只监控了本机

主机数据展示

通过http://服务器IP:9090/metrics可以查看到监控的数据

在web主界面可以通过关键字查询监控项

监控远程Linux主机

在远程linux主机(被监控端agent1)上安装node_exporter组件

下载地址: https://prometheus.io/download/

[root@agent1 ~]# tar xf node_exporter-0.16.0.linux- amd64.tar.gz -C /usr/local/ [root@agent1 ~]# mv /usr/local/node_exporter-0.16.0.linux- amd64/ /usr/local/node_exporter 

里面就一个启动命令node_exporter,可以直接使用此命令启动 
[root@agent1 ~]# ls /usr/local/node_exporter/ 
LICENSE node_exporter NOTICE 
[root@agent1 ~]# nohup /usr/local/node_exporter/node_exporter &

确认端口(9100) 
[root@agent1 ~]# lsof -i:9100

通过浏览器访问http://被监控端IP:9100/metrics就可以查看到node_exporter在被监控端收集的监控信息

回到prometheus服务器的配置文件里添加被监控机器的配置段

在主配置文件最后加上下面三行 
[root@server ~]# vim /usr/local/prometheus/prometheus.yml - job_name: 'agent1' 
# 取一个job名称来代 表被监控的机器 
static_configs: - targets: ['10.1.1.14:9100'] # 这里改成被监控机器 的IP，后面端口接9100 

改完配置文件后,重启服务 [root@server ~]# pkill prometheus 
[root@server ~]# lsof -i:9090 

# 确认端口没有进程占用
[root@server ~]# /usr/local/prometheus/prometheus -- config.file="/usr/local/prometheus/prometheus.yml" & 
[root@server ~]# lsof -i:9090 # 确认端口被占用，说明重启成功

监控远程MySQL

在被管理机agent1上安装mysqld_exporter组件

下载地址: https://prometheus.io/download/

安装mysqld_exporter组件 
[root@agent1 ~]# tar xf mysqld_exporter-0.11.0.linux- amd64.tar.gz -C /usr/local/ [root@agent1 ~]# mv /usr/local/mysqld_exporter- 0.11.0.linux-amd64/ /usr/local/mysqld_exporter 
[root@agent1 ~]# ls /usr/local/mysqld_exporter/ LICENSE mysqld_exporter NOTICE 

安装mariadb数据库,并授权 
[root@agent1 ~]# yum install mariadb\* -y 
[root@agent1 ~]# systemctl restart mariadb 
[root@agent1 ~]# systemctl enable mariadb 
[root@agent1 ~]# mysql MariaDB [(none)]> grant select,replication client,process ON *.* to 'mysql_monitor'@'localhost' identified by '123'; 
(注意:授权ip为localhost，因为不是prometheus服务器来直接找mariadb 获取数据，而是prometheus服务器找mysql_exporter,mysql_exporter 再找mariadb。所以这个localhost是指的mysql_exporter的IP)

MariaDB [(none)]> flush privileges; 
MariaDB [(none)]> quit 

创建一个mariadb配置文件，写上连接的用户名与密码(和上面的授权的用户名 和密码要对应) 
[root@agent1 ~]# vim /usr/local/mysqld_exporter/.my.cnf 
[client] 
user=mysql_monitor 
password=123 

启动mysqld_exporter 
[root@agent1 ~]# nohup /usr/local/mysqld_exporter/mysqld_exporter --config.my- cnf=/usr/local/mysqld_exporter/.my.cnf & 

确认端口(9104) 
[root@agent1 ~]# lsof -i:9104

回到prometheus服务器的配置文件里添加被监控的mariadb的配置段

在主配置文件最后再加上下面三行 
[root@server ~]# vim /usr/local/prometheus/prometheus.yml 
- job_name: 'agent1_mariadb' # 取一个job 名称来代表被监控的mariadb 
  static_configs: 
  - targets: ['10.1.1.14:9104'] # 这里改成 被监控机器的IP，后面端口接9104 
  
改完配置文件后,重启服务 
[root@server ~]# pkill prometheus 
[root@server ~]# lsof -i:9090 
[root@server ~]# /usr/local/prometheus/prometheus -- config.file="/usr/local/prometheus/prometheus.yml" & 
[root@server ~]# lsof -i:9090

Grafana可视化图形工具

什么是Grafana

Grafana是一个开源的度量分析和可视化工具，可以通过将采集的数据分析，查询，然后进行可视化的展示,并能实现报警。

网址: https://grafana.com/

使用Grafana连接Prometheus

在grafana服务器上安装grafana

下载地址:https://grafana.com/grafana/download

我这里选择的rpm包，下载后直接rpm -ivh安装就OK 
[root@grafana ~]# rpm -ivh /root/Desktop/grafana-5.3.4- 1.x86_64.rpm 启动服务 
这里会提示需要依赖，无法用rpm安装。改成 yum
[root@grafana ~]# yum install grafana-5.3.4- 1.x86_64.rpm -y
[root@grafana ~]# systemctl start grafana-server 
[root@grafana ~]# systemctl enable grafana-server 

确认端口(3000) [root@grafana ~]# lsof -i:3000

通过浏览器访问 http:// grafana服务器IP:3000就到了登录界面,使用默认的admin用户,admin密码就可以登陆了

下面我们把prometheus服务器收集的数据做为一个数据源添加到grafana,让grafana可以得到prometheus的数据。

然后为添加好的数据源做图形显示

最后在dashboard可以查看到

匹配条件显示

Grafana图形显示MySQL监控数据

在grafana上修改配置文件,并下载安装mysql监控的dashboard（包含相关json文件，这些json文件可以看作是开发人员开发的一个监控模板)

参考网址: https://github.com/percona/grafana-dashboards

在grafana配置文件里最后加上以下三行 
[root@grafana ~]# vim /etc/grafana/grafana.ini 
[dashboards.json] 
enabled = true 
path = /var/lib/grafana/dashboards

[root@grafana ~]# cd /var/lib/grafana/ 
[root@grafana grafana]# git clone https://github.com/percona/grafana-dashboards.git [root@grafana grafana]# cp -r grafana- dashboards/dashboards/ /var/lib/grafana/ 

重启grafana服务 
[root@grafana grafana]# systemctl restart grafana-server

在grafana图形界面导入相关json文件