[TSDB] Prometheus:CNCF 毕业级 pull 式监控系统与本地块存储 TSDB、云原生指标事实标准
1 概述:Promethus
产品介绍
-
产品定位:开源系统监控与告警工具链,内置时序数据库;官方描述为 "The Prometheus monitoring system and time series database"【已查证:GitHub API repo description】。核心是拉取(pull)模型采集指标 + PromQL 查询 + Alertmanager 告警,本地 TSDB 仅保留近期数据,长期存储与横向扩展交由 remote write 生态(Thanos/Mimir/VictoriaMetrics 等)。
-
诞生背景与原因:2012 年在 SoundCloud 内部启动,受 Google Borgmon 启发,针对当时缺乏面向容器/微服务、带多维标签数据模型与强大查询语言的监控系统而设计【已查证:CNCF 项目页与官方 Overview】。
-
解决的核心问题:多维度标签指标模型、服务发现自动抓取、PromQL 即席聚合、告警管理;本地 TSDB 解决"近期监控数据快速查询",而非通用长周期数据仓库。
-
URLs:
发展历程
- 2012-05-19:首次提交(First commit)
【已查证:CNCF 项目页 https://www.cncf.io/projects/prometheus/ 】。
- 2012 年:在 SoundCloud 创建,Apache-2.0 许可【已查证:CNCF 博客《Prometheus 1.0 is here》】。
- 2013 年:逐步在 SoundCloud 生产环境投入监控使用【已查证:同上 CNCF 博客】。
- 2015 年:正式向外界公开发布【已查证:CNCF 博客《Inside Prometheus》】。
- 2016-05-09:加入 CNCF,成为继 Kubernetes 之后第二个托管项目【已查证:CNCF 项目页】。
- 2016-07:Prometheus 1.0 发布【已查证:CNCF 博客】。
- 2017-11:Prometheus 2.0 发布,重写本地 TSDB(2 小时 block + WAL 架构)【已查证:KubeCon 2025 Japan Maintainer Session 历史页】。
- 2018-08-09:CNCF 毕业(第二个毕业项目)【已查证:Linux Foundation 官方新闻稿】。
- 2024-11:Prometheus 3.0 发布(新 UI、native histogram 增强、remote write 2.0 等)【已查证:官方 3.0 migration 文档】。
- 2026-09-24:最新版 3.15.0 发布【已查证:prometheus.io/download 官方下载页】。
基本信息
| 项 | 值 |
|---|---|
| 开源/闭源 | 完全开源(Apache-2.0),CNCF 毕业项目,无单一公司控制 |
| 开发语言 | Go【已查证:GitHub API language 字段】 |
| 当前最新版本(2026-10 口径) | 3.15.0(2026-09-24)【已查证:prometheus.io/download】;2.x 维护线仍并行(2.55.x 文档在线) |
| License | Apache License 2.0【已查证:GitHub API license 字段】 |
| GitHub Star | 59,708 stars / 9,684 forks(抓取日期 2026-10-09,信源:https://api.github.com/repos/prometheus/prometheus;注:本次 API 响应 updated_at 为 2025-07-31,疑为缓存快照,Star 数以本次抓取值为准) |
| 维护组织 | Prometheus 开发社区(独立治理),初始由 SoundCloud 赞助【已查证:官网 Community 页】 |
| 官网 URL | https://prometheus.io/ |
| GitHub URL | https://github.com/prometheus/prometheus |
主要功能
- 多维数据模型:指标名 + 键值标签(labels),支持任意维度组合聚合。
- PromQL:即时向量/范围向量查询语言,含聚合、rate、histogram quantile、
info()标签富化函数等【已查证:官方文档】。 - pull 采集:通过 HTTP 从 target 拉取 /metrics 文本 exposition 格式;支持服务发现(Kubernetes、Consul、DNS、file_sd 等数十种 SD)。
- 本地 TSDB:WAL + 2 小时 head block + 后台 compaction + 可配置 retention。
- Recording Rules / Alerting Rules:预计算聚合与告警判定;Alertmanager 负责分组、抑制、静默、路由。
- Remote Write/Read 2.0:把样本推给远端长期存储(Snappy 压缩的 protobuf over HTTP)【已查证:官方 storage/remote write 文档】。
- 联邦(Federation):一个 Prometheus 抓取另一个 Prometheus 的部分时序,实现分层聚合。
- Agent 模式:关闭查询/告警/本地存储,仅做 WAL + remote write 转发【已查证:官方 Agent 文档】。
- Native Histograms、Exemplars(关联 trace)、OTLP receiver(接收 OpenTelemetry 指标)。
核心优势
- 云原生事实标准:Kubernetes 原生监控默认选项,CNCF 毕业项目,生态(Grafana、Alertmanager、各种 exporter)极其成熟【已查证:CNCF】。
- pull 模型 + 服务发现天然适配动态伸缩的容器环境。
- PromQL 的多维度聚合表达力在监控领域公认强于传统单机 TSDB。
- 本地 TSDB 压缩高效:Gorilla/XOR 浮点编码,WAL 压缩后体积约减半(CPU 开销极小)【已查证:官方 storage 文档】。
- 架构简单、单二进制、资源占用低,"近期数据本地查"体验好。
主要短板
- 单机本地存储,不原生水平扩展:官方明确长期存储/高可用依赖 remote write 外接 Thanos/Cortex/Mimir/VictoriaMetrics,部署复杂度转移到生态。
- pull 模型的局限:跨网络/防火墙、大量短生命周期任务时不如 push 灵活;label 基数爆炸会直接打爆内存与索引。
- 本地 TSDB 不擅长长周期(月级以上)原始数据留存与重分析型查询(非 OLAP 列存)。
- 无原生降采样/连续聚合写入主链路(recording rules 可近似,但需自行维护)。
潜在风险与局限性
- 高基数风险:label 中放入 user_id、URL 等会导致时序数爆炸,官方文档反复警告。
- 本地 retention 到期即删,误删不可恢复;长期方案选型(Thanos vs Mimir vs VictoriaMetrics)带来二次架构决策成本。
- remote write 链路在大规模下需调优 queue/shard,存在背压与丢样本风险【一方称:官方 remote write tuning 文档】。
适用场景
- Kubernetes/微服务环境指标监控与告警(主战场)。
- 基础设施与应用性能指标的近期可观测性(小时~天级 retention)。
- 作为指标采集前端 + remote write 到长期存储(Thanos/Mimir/VictoriaMetrics)的分层架构。
- 不适用:长周期 IoT 海量传感器数据仓库、金融高频 tick 存储、日志主存。
同类竞品
- InfluxDB(多模型时序库)、VictoriaMetrics(Prometheus 兼容、自带长期存储与集群)、Thanos/Mimir/Cortex(Prometheus 远端扩展层)、TimescaleDB、Datadog/New Relic(商业 SaaS)、OpenTelemetry + 其他后端。
发展趋势
- 趋势依据:版本节奏密集——3.0(2024-11)→ 3.11.2(2026-04,安全修复)→ 3.15.0(2026-09-24),约每 2~3 个月一个小版本【已查证:官方下载页与 changelog 记录】;方向为 native histogram、Remote Write 2.0、OpenMetrics 2.0、XOR2 编码、uncached I/O(v3.5 引入)等【已查证:官方博客 2026-02/03】。Star 59.7k(本次抓取)居时序/监控类项目前列,但增量主要由生态项目(Thanos、VM、OTel)承接扩展需求。
- 一句话总结:Prometheus 本身保持"轻量单机采集+查询内核"定位持续小步快跑,规模与长期存储问题整体外包给 CNCF/开源生态扩展层,成为指标领域的"Linux 内核式"标准底座。
2 工作原理与核心架构
概念术语
- Metric family / Time series:
<metric name>{label1=v1,label2=v2}唯一确定一条时序。 - Exposition format:被采集端暴露的
/metrics文本格式(OpenMetrics 演进中)。 - Head block:内存中最近样本块,受 WAL 保护。
- WAL(Write-Ahead Log):崩溃恢复日志,启用压缩后约减半体积【已查证】。
- Block:不可变磁盘段,初始 2 小时;后台 compaction 合并为更大块(跨度至多 retention 的 10% 或 31 天,取小)【已查证:官方 storage 文档】。
- Chunk encoding:Gorilla/XOR 浮点编码(XOR2 为新一代可选编码)【已查证】。
- PromQL:即时向量(瞬时点)与范围向量(区间序列)两种主类型。
- Recording Rule / Alerting Rule:预计算规则 / 告警规则。
- Remote Write/Read:与外部长期存储的双向协议(Snappy+protobuf over HTTP)。
- Federation:跨 Prometheus 实例的时序抓取聚合。
架构与运行原理
- 写入路径:Scheduler 按 scrape_interval pull target → 样本入内存 head block → 同步写 WAL → 每 2 小时 head 冻结为磁盘 block → 后台 compaction 合并。
- 存储引擎:本地 TSDB = head(内存)+ WAL + 不可变 block 目录(chunks/ + index + meta),Gorilla/XOR 压缩;不修改已落盘样本(append-only,retention 到期整块删除)。
- 查询路径:PromQL 查询器同时扫内存 head 与匹配时间范围的磁盘 block,合并返回;recording rules 在查询前预物化常用聚合。
- 集群拓扑:原生无集群——单实例本地存储;高可用/长期化靠:① remote write 到 Thanos/Mimir/VictoriaMetrics;② federation 分层;③ Agent 模式只转发。
写入与查询特性:
- 写入模式:pull 为主(默认),样本按 scrape 间隔到达;append-only,落盘块不可变;乱序样本(scrape 抖动)接受但影响效率;remote write 为 push 出向。
- 查询特性:原生时间窗口聚合(
rate()、histogram_quantile())、recording rules 预聚合(近似连续聚合)、retention TTL 自动过期;无原生降采样写路径与 SQL;插值对齐由 PromQL 函数(如increase)近似,不做通用连续聚合物化。
写入与查询性能特点
- 压缩:Gorilla/XOR 浮点编码(官方 storage 文档确认算法存在;具体"每样本 X 字节"的官方量化口径本次未抓取到原文,不臆造)。
- WAL 压缩:官方称视数据而定 WAL 体积约减半,CPU 开销很小【已查证:官方 storage 文档】。
- Compaction 块大小:合并后块跨度至多为 retention 的 10% 或 31 天,取较小者【已查证:官方 storage 文档】。
- 写入吞吐/查询延迟的官方基准与第三方评测数字本次未取得可引用出处,按要求不罗列。
支持的部署方式
- 单机二进制(Linux/macOS/Windows 均提供,Windows 以 exe 发布)、Docker、Kubernetes(官方 Helm chart / kube-prometheus-stack)、系统包;无官方集群发行版,集群能力由 Thanos/Mimir/VictoriaMetrics 等生态提供;托管等价物为 Grafana Cloud / Amazon Managed Service for Prometheus 等。
重要依赖
- Go 编译单二进制,无外部运行时依赖;本地文件系统即可运行;系统依赖极少(v3.5 起 uncached I/O 仅支持 Linux)【已查证:官方博客 2026-03】。
生态与集成
- 可视化:Grafana 原生数据源(事实标准组合)。
- 采集端:数百个 exporter(Node Exporter、黑盒 exporter 等)、OpenTelemetry collector(OTLP receiver 接收)。
- 告警:Alertmanager(独立组件)。
- 扩展层:Thanos、Cortex、Mimir、VictoriaMetrics、Kube-Prometheus-Stack、Prometheus Operator。
- 协议生态:OpenMetrics、Remote Write 2.0、PromQL 被 VictoriaMetrics 等广泛兼容实现。
3 使用指南(精简)
- Linux 安装:下载对应版本 tarball,解压后
./prometheus --config.file=prometheus.yml启动;文档 https://prometheus.io/docs/prometheus/latest/getting_started/ - Windows:官方提供 Windows amd64 zip,解压后直接运行
prometheus.exe(生产推荐 Linux/Docker)。 - 关键操作示例:
# prometheus.yml:抓自身 + 查询
global:
scrape_interval: 15s
scrape_configs:
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9090"]
# 查询过去 5 分钟 CPU 使用率(每实例)
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
# 过去 1 小时 HTTP 请求 P99 延迟
histogram_quantile(0.99, rate(http_request_duration_seconds_bucket[1h]))
Z FAQ for Prometheus
Q: Prometheus 能当长期时序数据库用吗?
A:不建议。本地 TSDB 只服务近期数据(默认 retention 可配但磁盘成本高),官方长期方案是 remote write 到 Thanos/Mimir/VictoriaMetrics【已查证:官方 storage 与 comparison 文档】。
Q: Prometheus 为什么是 pull 而不是 push?
A:pull 模型便于服务发现自动纳管 target、健康检查与抓取间隔统一控制;push 场景(短生命周期任务、跨网络)由 Pushgateway 或 remote write/OTLP 补充【已查证:官方 FAQ/架构文档】。
Q: 高基数 label 为什么危险?
A:每条 <metric>{label组合} 都是独立时序并占用索引与内存,label 基数失控会导致内存暴涨、OOM 与查询变慢——这是 Prometheus 运维最常见事故之一【一方称:官方最佳实践文档反复强调】。
Q: Prometheus 3.x 和 2.x 兼容吗?
A:配置与数据模型大体兼容,但 3.0 含若干不向后兼容变更(部分特性 flag 默认化、新 UI),升级前需读官方 3.0 migration guide【已查证:官方 migration 文档】。
Y 推荐文献
- Prometheus 官方 Overview 文档
- Prometheus Storage 官方文档(WAL/block/compaction/retention)
- Prometheus 1.0 发布与历史 - CNCF Blog, 2016-07
- CNCF Announces Prometheus Graduation - Linux Foundation, 2018-08-09
X 参考文献
- prometheus/prometheus - GitHub API(Star/Fork/License 抓取于 2026-10-09)
- Prometheus 官网下载页(最新版 3.15.0 / 2026-09-24)
- Prometheus 官方 Overview
- Prometheus Storage 文档
- Prometheus Federation 文档
- Prometheus Agent Mode 文档
- Prometheus Comparison to Alternatives
- Remote Write Tuning 文档
- Prometheus 3.0 Migration Guide
- Prometheus CNCF Project Page
- CNCF Prometheus Graduation Press Release, 2018-08-09
- Prometheus Uncached I/O Blog, 2026-03-05
- KubeCon 2025 Japan Prometheus Maintainer Session (历史时间线)
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!

浙公网安备 33010602011771号