prometheus基础
1、下载prometheus
cd /usr/local/src
wget https://github.com/prometheus/prometheus/releases/download/v2.31.1/prometheus-2.31.1.linux-amd64.tar.gz tar xf prometheus-2.31.1.linux-amd64.tar.gz
mv prometheus-2.31.1.linux-amd64 /usr/local/prometheus-2.31.1
2、创建基础配置文件
cd /usr/local/prometheus-2.31.1 vim prometheus.yml
# 全局配置
global: scrape_interval: 15s # 默认，每隔15秒钟抓取一次数据
# 在与外部系统（比如federation，远程存储系统，Altermanager）通信时，以下标签会贴到时间序列或者告警的后面 external_labels: monitor: 'codelab-monitor' # 抓取配置
# 在这里配置要抓取的地址 scrape_configs: # 任务名会被添加时间序列数据中，稍后会在后面的示例中看到任务名的位置 - job_name: 'prometheus' # 针对prometheus任务，我们设置5s抓取一次数据，覆盖了全局的15s scrape_interval: 5s
# 静态配置，在这里填写所有目标地址的信息，协议默认是http，路径默认是/metrics
# 即抓取数据时，其实是访问 http://localhost:9090/metrics static_configs: - targets: ['localhost:9090']
3、启动prometheus
./prometheus --config.file=prometheus.yml
prometheus默认将数据存储在当前目录的data目录下，即：
如果要指定其他存储路径（比如存储到/data/prometheus_data），则添加参数：
./prometheus --config.file=prometheus.yml --storage.tsdb.path=/data/prometheus_data
4、访问prometheus的状态页
浏览器访问：http://localhost:9090/，页面如下所示
如果是远程地址，则访问：http://ip:9090/
5、使用表达式浏览器
prometheus会从http://localhost:9090/metrics地址读取数据，然后存储起来，之后就可以在状态页面上查询这些数据。
切换到graph标签，然后在表达式浏览器中输入prometheus_target_interval_length_seconds，该度量名
表示每次抓取数据的间隔时间，比如第一次抓取是10:15:05，第二次抓取是10:15:10，则间隔时间是5s。
上面是5个时间序列，同时，这5个时间序列都记录了一个值，反映在上面的图中。
在上面的图中，每个时间点，都有5个值。
每个时间序列的组成：度量名 + 标签。
其中prometheus_target_interval_length_seconds是度量名，{}代表的就是标签。由于标签内的quantile不同，因此这是5个不同的标签。
其中quantile代表分位数。
这些标签通过quantile指定了不同的延迟百分比。
如果只对99%延迟感兴趣，则执行表达式：prometheus_target_interval_length_seconds{quantile="0.99"}
此时图中只有一条线。
如果要计算返回的时间序列的数量，则执行表达式：count(prometheus_target_interval_length_seconds)
更详细的表达式语法在：https://prometheus.io/docs/prometheus/latest/querying/basics/
6、使用目标样例
下载node_exporter并启动：
wget https://github.com/prometheus/node_exporter/releases/download/v*/node_exporter-*.*-amd64.tar.gz tar xvfz node_exporter-*.*-amd64.tar.gz cd node_exporter-*.*-amd64 # 在不同的终端中启动这2个node_exporter ./node_exporter --web.listen-address 127.0.0.1:8080 ./node_exporter --web.listen-address 127.0.0.1:8081
./node_exporter --web.listen-address 127.0.0.1:8082
然后修改prometheus的配置文件，从而让prometheus监控这3个目标：
scrape_configs:
# 这是针对prometheus任务的配置
- job_name: 'prometheus'
scrape_interval: 5s
static_configs:
- targets: ['localhost:9090']
# 这是针对node任务的配置
- job_name: 'node'
scrape_interval: 5s
static_configs:
- targets: ['localhost:8080', 'localhost:8081']
# 给8080和8081绑定标签 group: 'production'，以表示这两个目标是生产服务器
labels:
group: 'production'
- targets: ['localhost:8082']
# 给8082绑定标签 group: 'canary'，以表示这个目标是候选服务器
labels:
group: 'canary'
http://localhost:8080/metrics
http://localhost:8081/metrics
http://localhost:8082/metrics
之后，prometheus就会从上述三个地址抓取数据。
验证是否抓取到数据：
node_cpu_seconds_total
展示node任务下，所有目标的cpu总秒数：
这是目标 8080 上的cpu0的情况，总共有8个mode，因此有8个时间序列，所以在单个时间点，会有8个数据。（每个时间序列携带一个数据）
这是目标 8080 上的cpu1的情况，总共有8个mode，因此有8个时间序列，所以在单个时间点，会有8个数据。（每个时间序列携带一个数据）
7、配置规则，将已抓取的数据聚合成新时间序列
如果执行一个查询，该查询需要聚合上千个时间序列来计算，可能会很慢。
执行一个常规的聚合查询：avg by (job, instance, mode) (rate(node_cpu_seconds_total[5m]))
现在创建一个规则文件：
vim prometheus.rules.yml
groups:
- name: cpu-node
rules:
# 创建的新时间序列（从其他表达式聚合而来）
- record: job_instance_mode:node_cpu_seconds:avg_rate5m
expr: avg by (job, instance, mode) (rate(node_cpu_seconds_total[5m]))
修改prometheus.yml文件，以加载规则文件：
global:
scrape_interval: 15s
evaluation_interval: 15s # 每隔15s评估一次规则
external_labels:
monitor: 'codelab-monitor'
rule_files:
- 'prometheus.rules.yml'
scrape_configs:
- job_name: 'prometheus'
scrape_interval: 5s
static_configs:
- targets: ['localhost:9090']
- job_name: 'node'
scrape_interval: 5s
static_configs:
- targets: ['localhost:8080', 'localhost:8081']
labels:
group: 'production'
- targets: ['localhost:8082']
labels:
group: 'canary'
重新启动prometheus，然后执行新表达式：
job_instance_mode:node_cpu_seconds:avg_rate5m
重启之后：
