prometheus查询

指标查询（瞬时向量查询）

通过指标名称和标签进行查询，可以查询该指标下的所有时间序列距离当前系统时间最新的值，无时间概念，所以查询的结果称为瞬时向量（instant vector）

 

 

 

 

Grafana默认调用的api是query_range api，可通过【Query Inspector】按钮展开查询请求和结果

所以Graph中不能直接使用区间向量查询，而应该使用瞬时向量，然后调用区间数据查询API来查询指定时间范围的值（时间范围是Grafana面板右上角选择的时间范围，步长默认15秒，可通过Min step设置）

 

node_memory_MemFree（主机当前空闲的内容大小）、node_memory_MemAvailable（可用内存大小）都是Gauge类型的监控指标

 

 

cpu
curl http://IP:9100/metrics | grep cpu | grep -Ev “^$|#”

node_cpu_seconds_total{cpu="0",mode="idle"} 513260.82  表示节点的 CPU 第0核 的空闲时间共计 513260.82 秒，数值从系统开机时算起，重启归零
node_cpu_seconds_total{cpu="0",mode="iowait"} 172.83
node_cpu_seconds_total{cpu="0",mode="irq"} 0
node_cpu_seconds_total{cpu="0",mode="nice"} 0.35
node_cpu_seconds_total{cpu="0",mode="softirq"} 29.62
node_cpu_seconds_total{cpu="0",mode="steal"} 0
node_cpu_seconds_total{cpu="0",mode="system"} 731.93
node_cpu_seconds_total{cpu="0",mode="user"} 869.46

increase(node_cpu_seconds_total{mode=“idle”}[1m])  获取1m中内的数据变化通过increase()
sum(increase(node_cpu_seconds_total{mode=“idle”}[1m]))  获取1m中内的数据变化和
sum(increase(node_cpu_seconds_total{job=“manager.rancher”,mode=“idle”}[1m]))  获取1m中内指定job的数据变化和
sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance)或者
(sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance) )
获取空闲cpu 1m的百分比

(1- (sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100
获取非空闲cpu 1m的百分比

(sum(increase(node_cpu_seconds_total{mode=“user”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance))*100或者
((sum(increase(node_cpu_seconds_total{mode=“user”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100
获取 user 1m内cpu使用率

(sum(increase(node_cpu_seconds_total{mode=“system”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance))*100
或者((sum(increase(node_cpu_seconds_total{mode=“system”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100
获取sys 1m内cpu使用率


disk
命令行curl http://IP:9100/metrics | grep disk | grep -Ev “^$|#”
node_disk_io_now{device="dm-0"} 0
node_disk_io_now{device="dm-1"} 0
node_disk_io_now{device="sda"} 0
node_disk_io_now{device="sr0"} 0
node_disk_io_time_seconds_total{device="dm-0"} 3995.319
node_disk_io_time_seconds_total{device="dm-1"} 1.667
node_disk_io_time_seconds_total{device="sda"} 4007.9010000000003
node_disk_io_time_seconds_total{device="sr0"} 0.221
node_disk_io_time_weighted_seconds_total{device="dm-0"} 32524.68
node_disk_io_time_weighted_seconds_total{device="dm-1"} 1.825
node_disk_io_time_weighted_seconds_total{device="sda"} 31310.613
node_disk_io_time_weighted_seconds_total{device="sr0"} 0.289


irate(node_disk_reads_completed_total[1m])  磁盘 1m 读取速率

irate(node_disk_writes_completed_total[1m])  磁盘 1m 写入速率
irate(node_disk_read_time_seconds_total[1m])  磁盘 1m 读延迟(ms)
irate(node_disk_write_time_seconds_total[1m])  磁盘 1m 写延迟(ms)

MEMORY
curl http://IP:9100/metrics | grep memory | grep -Ev “^$|#”
node_memory_Active_bytes 2.446708736e+09
node_memory_Active_file_bytes 1.618874368e+09
node_memory_AnonHugePages_bytes 3.69098752e+08
node_memory_AnonPages_bytes 8.2724864e+08
node_memory_Bounce_bytes 0
node_memory_Buffers_bytes 1.019904e+07
node_memory_Cached_bytes 4.11009024e+09
node_memory_CommitLimit_bytes 8.412565504e+09
node_memory_Committed_AS_bytes 3.562274816e+09
node_memory_DirectMap1G_bytes 1.2884901888e+10
node_memory_DirectMap2M_bytes 6.209667072e+09
node_memory_DirectMap4k_bytes 2.326528e+08
node_memory_Dirty_bytes 77824


(1 - (node_memory_MemAvailable_bytes / (node_memory_MemTotal_bytes)))* 100  内存使用率


NETWORK
curl http://IP:9100/metrics | grep network | grep -Ev “^$|#”

node_network_transmit_bytes_total{device="eth0"} 2.3566998e+08
node_network_transmit_bytes_total{device="lo"} 0
node_network_transmit_carrier_total{device="eth0"} 0
node_network_transmit_carrier_total{device="lo"} 0
node_network_transmit_colls_total{device="eth0"} 0
node_network_transmit_colls_total{device="lo"} 0
node_network_transmit_compressed_total{device="eth0"} 0
node_network_transmit_compressed_total{device="lo"} 0
node_network_transmit_drop_total{device="eth0"} 0
node_network_transmit_drop_total{device="lo"} 0
node_network_transmit_errs_total{device="eth0"} 0
node_network_transmit_errs_total{device="lo"} 0
node_network_transmit_fifo_total{device="eth0"} 0
node_network_transmit_fifo_total{device="lo"} 0
node_network_transmit_packets_total{device="eth0"} 68543
node_network_transmit_packets_total{device="lo"} 0
node_network_transmit_queue_length{device="eth0"} 0
node_network_transmit_queue_length{device="lo"} 1


irate(node_network_receive_bytes_total[5m])  平均入网（5分钟内）
irate(node_network_transmit_bytes_total[5m])  平均出网（5分钟内）