5分钟了解Prometheus

Prometheus（译：普罗米修斯）用领先的开源监控解决方案为你的指标和警报提供动力（赋能）。

1. 概述

1.1. Prometheus是什么？

Prometheus是一个开源的系统监控和警报工具包。自2012年启动以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。它现在是一个独立的开源项目，独立于任何公司进行维护。Prometheus于2016年加入云原生计算基金会，成为继Kubernetes之后的第二个托管项目。

1.1.1. Prometheus的主要特性：

一个多维数据模型，包含由指标名称和键/值对（Tag）标识的时间序列数据
PromQL是一种灵活的查询语音，用于查询并利用这些维度数据
不依赖分布式存储，单个服务器节点是自治的
时间序列收集是通过HTTP上的pull模型进行的（支持Pull）
推送时间序列是通过一个中间网关来支持的（也支持Push）
目标是通过服务发现或静态配置发现的
多种模式的图形和仪表盘支持

总结一下，就是多维数据模型、PromQL查询语言、节点自治、HTTP主动拉取或者网关主动推送的方式获取时间序列数据、自动发现目标、多种仪表盘支持

1.1.2. 组件：

Prometheus server，它负责抓取和存储时间序列数据，是最主要的组件
client libraries，用于检测应用程序代码的客户端库
push gateway，用于支持短期的jobs
exporters，用于支持HAProxy等第三方
alertmanager，用于处理告警
各种支持工具

大多数Prometheus组件都是用Go编写的，这使得它们易于作为静态二进制文件构建和部署

1.1.3. 架构：

这张图展示了架构及其生态系统的一些组成部分：

Prometheus从工具化的作业中获取指标，要么直接获取，要么通过中介推送网关获取短期作业。它在本地存储所有抓取的样本，并对这些数据应用规则将这些数据进行聚合，并记录新的时间序列，或者生成警报。可以用Grafana或其他API来可视化收集的数据。

1.2. 什么时候用它合适

Prometheus可以很好地记录任何纯数字时间序列。它既适合以机器为中心的监视，也适合高度动态的面向服务的体系结构的监视。在微服务的世界中，它对多维数据收集和查询的支持是一个特别的优势。

Prometheus是为可靠性而设计的，在你的服务宕机的时候，你可以快速诊断问题。每台Prometheus服务器都是独立的，不依赖于网络存储或其他远程服务。

1.3. 什么时候用它不合适

Prometheus的值的可靠性。你总是可以查看有关系统的统计信息，即使在出现故障的情况下也是如此。如果你需要100%的准确性，例如按请求计费，Prometheus不是一个好的选择，因为收集的数据可能不够详细和完整。在这种情况下，最好使用其他系统来收集和分析用于计费的数据，并使用Prometheus来完成剩下的监视工作。

1.4. Prometheus VS InfluxDB

InfluxDB是一个开源的时间序列数据库，具有扩展和集群的商业选项。InfluxDB项目是在Prometheus开发开始将近一年后发布的，所以当时无法考虑将其作为替代方案。尽管如此，Prometheus和fluxdb之间仍然存在显著的差异。二者有许多相似之处。两者都有标签(在InfluxDB中称为tags)来有效地支持多维度度量。它们基本上使用相同的数据压缩算法。两者都具有广泛的集成，包括彼此之间的集成。两者都有挂钩，允许进一步扩展它们，例如在统计工具中分析数据或执行自动化操作。

下列情况，用InfluxDB更好：

如果你正在进行事件日志记录
商业选项为InfluxDB提供集群，这对于长期数据存储也更好
最终实现副本之间数据的一致性

下列情况，用Prometheus更好：

如果你主要做的是度量
如果你需要更强大的查询语言、警报和通知功能
更高的可用性和正常运行时间，用于绘图和报警

InfluxDB由一家遵循开放核心模型的商业公司维护，提供高级特性，如闭源集群、托管和支持。

Prometheus是一个完全开源和独立的项目，由许多公司和个人维护，其中一些还提供商业服务和支持。

2. 基本概念

2.1. 数据模型

Prometheus基本上将所有数据存储为时间序列：属于同一指标和同一组标记维度的时间戳值流。除了存储时间序列外，Prometheus还可以根据查询结果生成临时派生的时间序列。

（PS：这里对时间序列的解释是这样的，

time series: streams of timestamped values belonging to the same metric and the same set of labeled dimensions

）

2.1.1. Metric names and labels

Every time series is uniquely identified by its metric name and optional key-value pairs called labels.

（每个时间序列都由其指标名称和称为标签的可选键值对唯一标识）

指标名称指定要度量的系统的一般特性（例如，http_requests_total表示接收的HTTP请求的总数）。它可能包含ASCII字母和数字，以及下划线和冒号。它必须匹配正则表达式[a-zA-Z_:][a-zA-Z0-9_:]*

标签名称可以包含ASCII字母、数字和下划线。它们必须匹配正则表达式[a-zA-Z_][a-zA-Z0-9_]*。以__开头的标签名称保留内部使用。

标签值可以包含任何Unicode字符。

2.1.2. Sample（样本）

样本构成实际的时间序列数据。每个样本包括：

a float64 value
a millisecond-precision timestamp

2.1.3. notation（记法）

给定一个度量名称和一组标签，时间序列通常使用以下符号标识：

<metric name>{<label name>=<label value>,...}

例如，有这样一个时间序列，指标名称是api_http_requests_total，有两个标签method="POST"和handler="/messages"，那么这个时间序列可以这样写：

api_http_requests_total{method="POST", handler="/messages"}

2.2. metric types（指标类型）

2.2.1. Counter（计数器）

计数器是一个累积指标，它表示一个单调递增的计数器，其值只能在重启时递增或重置为零。例如，可以使用计数器来表示已服务的请求数、已完成的任务数或错误数。不要使用计数器来反映一个可能会减小的值。例如，不要使用计数器表示当前正在运行的进程的数量，这种情况下，你应该用gauge。

2.2.2. Gauge（计量器）

计量器表示一个可以任意上下移动的数值。

计量器通常用于测量温度或当前内存使用量等，也用于“计数”，比如并发请求的数量。

2.2.3. Histogram（直方图、柱状图）

直方图对观察结果（通常是请求持续时间或响应大小之类的东西）进行采样，并在可配置的桶中计数。它还提供了所有观测值的和。

直方图用一个基本的指标名<basename>暴露在一个抓取期间的多个时间序列：

观察桶的累积计数器，格式为<basename>_bucket{le="<upper inclusive bound>"}
所有观测值的总和，格式为<basename>_sum
已观察到的事件的计数，格式为<basename>_count

2.2.4. Summary（摘要）

与柱状图类似，摘要样例观察结果（通常是请求持续时间和响应大小之类的内容）。虽然它还提供了观测值的总数和所有观测值的总和，但它计算了一个滑动时间窗口上的可配置分位数。

2.3. Jobs AND Instances（作业与实例）

在Prometheus的术语中，可以抓取的端点称为实例，通常对应于单个进程。具有相同目的的实例集合称为作业。

例如，一个API Server job 有4个副本instances：

job: api-server

instance 1: 1.2.3.4:5670
instance 2: 1.2.3.4:5671
instance 3: 5.6.7.8:5670
instance 4: 5.6.7.8:5671

2.3.1. 自动生成标签和时间序列

当Prometheus抓取目标时，它会自动在抓取的时间序列上附加一些标签，用来识别被抓取的目标：

job：目标所属的已配置作业名称
instance：<host>:<port>是被抓取的目标URL的一部分

3. 快速开始

Prometheus是一个开源的系统监控和警报工具包，具有活跃的生态系统。

3.1. 下载与安装

Prometheus是一个监控平台，它通过抓取这些目标上的HTTP端点来收集被监控目标的指标。

需要下载、安装并运行Prometheus。还需要下载并安装一个exporter，它是将主机和服务上的时间序列数据导出的工具。

https://prometheus.io/download/

在运行Prometheus之前，我们先配置一下

3.1.1. 配置Prometheus监视它自己

Prometheus通过抓取目标上的HTTP端点数据来从被监控的目标收集数据。由于Prometheus也以同样的方式公开自己的数据，因此它还可以抓取和监测自己的健康状况。

虽然Prometheus服务器在实践中只收集关于自己的数据不是很有用，但是它是一个很好的开始示例。将以下基本的Prometheus配置保存为一个名为Prometheus.yml的文件：

 1 global:
 2   scrape_interval:     15s # By default, scrape targets every 15 seconds.
 3 
 4   # Attach these labels to any time series or alerts when communicating with
 5   # external systems (federation, remote storage, Alertmanager).
 6   external_labels:
 7     monitor: 'codelab-monitor'
 8 
 9 # A scrape configuration containing exactly one endpoint to scrape:
10 # Here it's Prometheus itself.
11 scrape_configs:
12   # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
13   - job_name: 'prometheus'
14 
15     # Override the global default and scrape targets from this job every 5 seconds.
16     scrape_interval: 5s
17 
18     static_configs:
19       - targets: ['localhost:9090']

3.1.2. 启动Prometheus

1 # Start Prometheus.
2 # By default, Prometheus stores its database in ./data (flag --storage.tsdb.path).
3 ./prometheus --config.file=prometheus.yml

3.2. 配置

Prometheus可以通过命令行和配置文件进行配置。配置文件定义了与抓取作业及其实例相关的所有内容，以及要加载哪些规则文件。

运行./prometheus -h可以查看所有支持的命令

为了指定要加载哪个配置文件，请使用--config选项

配置文件是YAML格式的

配置项太多，不一一列举，自行查看

https://prometheus.io/docs/prometheus/latest/configuration/configuration/

 global:
   # How frequently to scrape targets by default.
   [ scrape_interval: <duration> | default = 1m ]
 
   # How long until a scrape request times out.
   [ scrape_timeout: <duration> | default = 10s ]
 
   # How frequently to evaluate rules.
   [ evaluation_interval: <duration> | default = 1m ]
 
   # The labels to add to any time series or alerts when communicating with
   # external systems (federation, remote storage, Alertmanager).
   external_labels:
     [ <labelname>: <labelvalue> ... ]
 
 # Rule files specifies a list of globs. Rules and alerts are read from
 # all matching files.
 rule_files:
   [ - <filepath_glob> ... ]
 
 # A list of scrape configurations.
 scrape_configs:
   [ - <scrape_config> ... ]
 
 # Alerting specifies settings related to the Alertmanager.
 alerting:
   alert_relabel_configs:
     [ - <relabel_config> ... ]
   alertmanagers:
     [ - <alertmanager_config> ... ]
 
 # Settings related to the remote write feature.
 remote_write:
   [ - <remote_write> ... ]
 
 # Settings related to the remote read feature.
 remote_read:
   [ - <remote_read> ... ]

这里有一个有效的示例配置文件

3.3. 查询

Prometheus提供了一种名为PromQL（Prometheus查询语言）的函数式查询语言，允许用户实时选择和聚合时间序列数据。表达式的结果既可以显示为图形，也可以在Prometheus的表达式浏览器中作为表格数据查看，或者通过HTTP API由外部系统使用。

3.3.1. 表达式数据类型

在Prometheus的表达式语言中，表达式或子表达式可以计算为以下四种类型之一：

Instant vector（瞬时向量）：一组时间序列，每个时间序列包含一个样本，所有样本共享相同的时间戳
Range vector（范围向量）：一组时间序列，其中包含每个时间序列随时间变化的数据点范围
Scalar（标量）：一个简单的数值浮点值
String（字符串）：一个简单的字符串值，目前未使用

3.3.2. 字面值

字符串字面值

字符串可以指定为单引号、双引号或反引号中的文字。例如：

1 "this is a string"
2 'these are unescaped: \n \\ \t'
3 `these are not unescaped: \n ' " \t`

浮点数字面值

例如：-2.34

3.3.3. 时间序列选择器

瞬时向量选择器

瞬时向量选择器允许在给定的时间戳（瞬时）上为每个时间序列选择一组时间序列和一个样本值：在最简单的形式中，只指定一个度量名称。这样一个向量就会包含这个度量名称的所有时间序列元素。

下面的例子，选择指标名称是http_requests_total的所有时间序列：

 http_requests_total

通过在花括号({ })中添加一组匹配的标签，可以进一步过滤这些时间序列。

下面的例子，选择指标名称是http_requests_total，并且有job标签值是prometheus，并且group标签值是canary的时间序列：

 http_requests_total{job="prometheus",group="canary"}

标签匹配操作符：

= ：选择与提供的字符串完全相同的标签（等于）
!= ：选择不等于提供的字符串的标签（不等于）
=~ ：正则匹配
!~ ：非正则匹配

下面的例子，选择所有staging, testing, development环境，并且HTTP请求方式不是GET的http_requests_total时间序列

 http_requests_total{environment=~"staging|testing|development",method!="GET"}

不要匹配空标签

 {job=~".+"}              # Good!
 {job=~".*",method="get"} # Good!

3.3.4. 范围向量选择器

范围向量字面量的工作原理与瞬时向量字面量类似，只是它们从当前瞬时量中选择一个样本范围。从语法上讲，范围持续时间被添加到向量选择器末尾的方括号([ ])中，以指定应该为每个结果范围向量元素获取多少时间值。

时间期限指定为一个数字，紧接其后的是下列单位之一：s（秒）、m（分钟）、h（小时）、d（天）、w（周）、y（年）

下面的例子，选择指标名是http_requests_total，且job标签值是prometheus的已经记录的最近5分钟内的时间序列：

 http_requests_total{job="prometheus"}[5m]

Offset修饰符

下面的表达式返回http_requests_total在过去5分钟相对于当前查询计算时间的值：

 http_requests_total offset 5m

注意，offset总是紧跟在选择器后面的

 sum(http_requests_total{method="GET"} offset 5m)

下面的例子，返回一周前的最近5分钟http_requests_total的时间序列

 rate(http_requests_total[5m] offset 1w)

3.3.5. 子查询

 Syntax: <instant_query> '[' <range> ':' [<resolution>] ']' [ offset <duration> ]

3.3.5. 运算符

Prometheus的查询语言支持基本的逻辑运算符和算术运算符。

算术二元运算符

+（加）、-（减）、*（乘）、/（除）、%（余数）、^（指数）

二进制算术运算符定义在标量/标量、向量/标量和向量/向量值对之间

比较二元运算符

== 、!= 、> 、< 、>= 、<=

逻辑运算符

and 、or 、unless

聚合运算符

sum（求和）、min（最小值）、max（最大值）、avg（求平均）、stddev（标准偏差）、stdvar（方差）、count（个数）、count_values（相同值的元素个数）、bottomk（样本值的最小元素）、topk（样本值的最大元素）、quantile（0 ≤ φ ≤ 1）

这些操作符既可以用于聚合所有标签维度，也可以通过包含without子句或by子句来保存不同的维度。

1 <aggr-op>([parameter,] <vector expression>) [without|by (<label list>)]

例如，假设http_requests_total有application 、 instance 、 group三个标签，那么下面两个是等价的：

1 sum(http_requests_total) without (instance)
2 sum(http_requests_total) by (application, group)

3.3.6. 函数

https://prometheus.io/docs/prometheus/latest/querying/functions/

3.3.7. 示例

 1 # 返回http_requests_total的所有时间序列
 2 http_requests_total
 3 
 4 # 返回http_requests_total的且限定了job和handler标签的时间序列
 5 http_requests_total{job="apiserver", handler="/api/comments"}
 6 http_requests_total{job="apiserver", handler="/api/comments"}[5m]
 7 
 8 # 正则表达式
 9 http_requests_total{job=~".*server"}
10 http_requests_total{status!~"4.."}
11 
12 # 过去的5分钟内每秒HTTP请求速率
13 rate(http_requests_total{job="api-server"}[5m])
14 # 过去的30分钟内每5分钟
15 rate(http_requests_total[5m])[30m:1m]
16 # 过去5分钟的所有请求速率求和，保留job维度
17 sum(rate(http_requests_total[5m])) by (job)
18 # cpu使用率最高的前3个
19 topk(3, sum(rate(instance_cpu_time_ns[5m])) by (app, proc))