[TSDB] Prometheus:CNCF 毕业级 pull 式监控系统与本地块存储 TSDB、云原生指标事实标准

1 概述:Promethus

产品介绍

  • 产品定位:开源系统监控与告警工具链,内置时序数据库;官方描述为 "The Prometheus monitoring system and time series database"【已查证:GitHub API repo description】。核心是拉取(pull)模型采集指标 + PromQL 查询 + Alertmanager 告警,本地 TSDB 仅保留近期数据,长期存储与横向扩展交由 remote write 生态(Thanos/Mimir/VictoriaMetrics 等)。

  • 诞生背景与原因:2012 年在 SoundCloud 内部启动,受 Google Borgmon 启发,针对当时缺乏面向容器/微服务、带多维标签数据模型与强大查询语言的监控系统而设计【已查证:CNCF 项目页与官方 Overview】。

  • 解决的核心问题:多维度标签指标模型、服务发现自动抓取、PromQL 即席聚合、告警管理;本地 TSDB 解决"近期监控数据快速查询",而非通用长周期数据仓库。

  • URLs:

发展历程

  • 2012-05-19:首次提交(First commit)

【已查证:CNCF 项目页 https://www.cncf.io/projects/prometheus/ 】。

  • 2012 年:在 SoundCloud 创建,Apache-2.0 许可【已查证:CNCF 博客《Prometheus 1.0 is here》】。
  • 2013 年:逐步在 SoundCloud 生产环境投入监控使用【已查证:同上 CNCF 博客】。
  • 2015 年:正式向外界公开发布【已查证:CNCF 博客《Inside Prometheus》】。
  • 2016-05-09:加入 CNCF,成为继 Kubernetes 之后第二个托管项目【已查证:CNCF 项目页】。
  • 2016-07:Prometheus 1.0 发布【已查证:CNCF 博客】。
  • 2017-11:Prometheus 2.0 发布,重写本地 TSDB(2 小时 block + WAL 架构)【已查证:KubeCon 2025 Japan Maintainer Session 历史页】。
  • 2018-08-09:CNCF 毕业(第二个毕业项目)【已查证:Linux Foundation 官方新闻稿】。
  • 2024-11:Prometheus 3.0 发布(新 UI、native histogram 增强、remote write 2.0 等)【已查证:官方 3.0 migration 文档】。
  • 2026-09-24:最新版 3.15.0 发布【已查证:prometheus.io/download 官方下载页】。

基本信息

项 值
开源/闭源 完全开源(Apache-2.0),CNCF 毕业项目,无单一公司控制
开发语言 Go【已查证:GitHub API language 字段】
当前最新版本(2026-10 口径) 3.15.0(2026-09-24)【已查证:prometheus.io/download】;2.x 维护线仍并行(2.55.x 文档在线)
License Apache License 2.0【已查证:GitHub API license 字段】
GitHub Star 59,708 stars / 9,684 forks(抓取日期 2026-10-09,信源:https://api.github.com/repos/prometheus/prometheus;注:本次 API 响应 updated_at 为 2025-07-31,疑为缓存快照,Star 数以本次抓取值为准)
维护组织 Prometheus 开发社区(独立治理),初始由 SoundCloud 赞助【已查证:官网 Community 页】
官网 URL https://prometheus.io/
GitHub URL https://github.com/prometheus/prometheus

主要功能

  • 多维数据模型:指标名 + 键值标签(labels),支持任意维度组合聚合。
  • PromQL:即时向量/范围向量查询语言,含聚合、rate、histogram quantile、info() 标签富化函数等【已查证:官方文档】。
  • pull 采集:通过 HTTP 从 target 拉取 /metrics 文本 exposition 格式;支持服务发现(Kubernetes、Consul、DNS、file_sd 等数十种 SD)。
  • 本地 TSDB:WAL + 2 小时 head block + 后台 compaction + 可配置 retention。
  • Recording Rules / Alerting Rules:预计算聚合与告警判定;Alertmanager 负责分组、抑制、静默、路由。
  • Remote Write/Read 2.0:把样本推给远端长期存储(Snappy 压缩的 protobuf over HTTP)【已查证:官方 storage/remote write 文档】。
  • 联邦(Federation):一个 Prometheus 抓取另一个 Prometheus 的部分时序,实现分层聚合。
  • Agent 模式:关闭查询/告警/本地存储,仅做 WAL + remote write 转发【已查证:官方 Agent 文档】。
  • Native Histograms、Exemplars(关联 trace)、OTLP receiver(接收 OpenTelemetry 指标)。

核心优势

  • 云原生事实标准:Kubernetes 原生监控默认选项,CNCF 毕业项目,生态(Grafana、Alertmanager、各种 exporter)极其成熟【已查证:CNCF】。
  • pull 模型 + 服务发现天然适配动态伸缩的容器环境。
  • PromQL 的多维度聚合表达力在监控领域公认强于传统单机 TSDB。
  • 本地 TSDB 压缩高效:Gorilla/XOR 浮点编码,WAL 压缩后体积约减半(CPU 开销极小)【已查证:官方 storage 文档】。
  • 架构简单、单二进制、资源占用低,"近期数据本地查"体验好。

主要短板

  • 单机本地存储,不原生水平扩展:官方明确长期存储/高可用依赖 remote write 外接 Thanos/Cortex/Mimir/VictoriaMetrics,部署复杂度转移到生态。
  • pull 模型的局限:跨网络/防火墙、大量短生命周期任务时不如 push 灵活;label 基数爆炸会直接打爆内存与索引。
  • 本地 TSDB 不擅长长周期(月级以上)原始数据留存与重分析型查询(非 OLAP 列存)。
  • 无原生降采样/连续聚合写入主链路(recording rules 可近似,但需自行维护)。

潜在风险与局限性

  • 高基数风险:label 中放入 user_id、URL 等会导致时序数爆炸,官方文档反复警告。
  • 本地 retention 到期即删,误删不可恢复;长期方案选型(Thanos vs Mimir vs VictoriaMetrics)带来二次架构决策成本。
  • remote write 链路在大规模下需调优 queue/shard,存在背压与丢样本风险【一方称:官方 remote write tuning 文档】。

适用场景

  • Kubernetes/微服务环境指标监控与告警(主战场)。
  • 基础设施与应用性能指标的近期可观测性(小时~天级 retention)。
  • 作为指标采集前端 + remote write 到长期存储(Thanos/Mimir/VictoriaMetrics)的分层架构。
  • 不适用:长周期 IoT 海量传感器数据仓库、金融高频 tick 存储、日志主存。

同类竞品

  • InfluxDB(多模型时序库)、VictoriaMetrics(Prometheus 兼容、自带长期存储与集群)、Thanos/Mimir/Cortex(Prometheus 远端扩展层)、TimescaleDB、Datadog/New Relic(商业 SaaS)、OpenTelemetry + 其他后端。

发展趋势

  • 趋势依据:版本节奏密集——3.0(2024-11)→ 3.11.2(2026-04,安全修复)→ 3.15.0(2026-09-24),约每 2~3 个月一个小版本【已查证:官方下载页与 changelog 记录】;方向为 native histogram、Remote Write 2.0、OpenMetrics 2.0、XOR2 编码、uncached I/O(v3.5 引入)等【已查证:官方博客 2026-02/03】。Star 59.7k(本次抓取)居时序/监控类项目前列,但增量主要由生态项目(Thanos、VM、OTel)承接扩展需求。
  • 一句话总结:Prometheus 本身保持"轻量单机采集+查询内核"定位持续小步快跑,规模与长期存储问题整体外包给 CNCF/开源生态扩展层,成为指标领域的"Linux 内核式"标准底座。

2 工作原理与核心架构

概念术语

  • Metric family / Time series:<metric name>{label1=v1,label2=v2} 唯一确定一条时序。
  • Exposition format:被采集端暴露的 /metrics 文本格式(OpenMetrics 演进中)。
  • Head block:内存中最近样本块,受 WAL 保护。
  • WAL(Write-Ahead Log):崩溃恢复日志,启用压缩后约减半体积【已查证】。
  • Block:不可变磁盘段,初始 2 小时;后台 compaction 合并为更大块(跨度至多 retention 的 10% 或 31 天,取小)【已查证:官方 storage 文档】。
  • Chunk encoding:Gorilla/XOR 浮点编码(XOR2 为新一代可选编码)【已查证】。
  • PromQL:即时向量(瞬时点)与范围向量(区间序列)两种主类型。
  • Recording Rule / Alerting Rule:预计算规则 / 告警规则。
  • Remote Write/Read:与外部长期存储的双向协议(Snappy+protobuf over HTTP)。
  • Federation:跨 Prometheus 实例的时序抓取聚合。

架构与运行原理

  • 写入路径:Scheduler 按 scrape_interval pull target → 样本入内存 head block → 同步写 WAL → 每 2 小时 head 冻结为磁盘 block → 后台 compaction 合并。
  • 存储引擎:本地 TSDB = head(内存)+ WAL + 不可变 block 目录(chunks/ + index + meta),Gorilla/XOR 压缩;不修改已落盘样本(append-only,retention 到期整块删除)。
  • 查询路径:PromQL 查询器同时扫内存 head 与匹配时间范围的磁盘 block,合并返回;recording rules 在查询前预物化常用聚合。
  • 集群拓扑:原生无集群——单实例本地存储;高可用/长期化靠:① remote write 到 Thanos/Mimir/VictoriaMetrics;② federation 分层;③ Agent 模式只转发。
flowchart TD subgraph Scrape["采集层 (pull)"] SD["服务发现 (K8s/Consul/DNS...)"] --> SCH["Scrape Scheduler"] SCH --> T1["Target /metrics"] T1 -->|HTTP pull| ING["样本摄入"] end subgraph TSDB["本地 TSDB"] ING --> HEAD["Head Block (内存)"] HEAD --> WAL["WAL (可压缩)"] HEAD -->|每2小时冻结| BLOCK["不可变磁盘 Block (chunks+index)"] BLOCK -->|后台 Compaction| BIG["更大 Block (≤retention 10%/31天)"] end subgraph Query["查询与告警"] PQ["PromQL 查询器"] --> HEAD PQ --> BLOCK RR["Recording / Alerting Rules"] --> PQ RR --> AM["Alertmanager (分组/抑制/路由)"] end subgraph Remote["外部扩展"] RW["Remote Write 2.0"] --> REMOTE["Thanos / Mimir / VictoriaMetrics / 远端 TSDB"] FED["Federation 抓取"] --> REMOTE end HEAD --> RW BLOCK --> RW subgraph UI["接入层"] GRA["Grafana"] --> PQ end

写入与查询特性:

  • 写入模式:pull 为主(默认),样本按 scrape 间隔到达;append-only,落盘块不可变;乱序样本(scrape 抖动)接受但影响效率;remote write 为 push 出向。
  • 查询特性:原生时间窗口聚合(rate()、histogram_quantile())、recording rules 预聚合(近似连续聚合)、retention TTL 自动过期;无原生降采样写路径与 SQL;插值对齐由 PromQL 函数(如 increase)近似,不做通用连续聚合物化。

写入与查询性能特点

  • 压缩:Gorilla/XOR 浮点编码(官方 storage 文档确认算法存在;具体"每样本 X 字节"的官方量化口径本次未抓取到原文,不臆造)。
  • WAL 压缩:官方称视数据而定 WAL 体积约减半,CPU 开销很小【已查证:官方 storage 文档】。
  • Compaction 块大小:合并后块跨度至多为 retention 的 10% 或 31 天,取较小者【已查证:官方 storage 文档】。
  • 写入吞吐/查询延迟的官方基准与第三方评测数字本次未取得可引用出处,按要求不罗列。

支持的部署方式

  • 单机二进制(Linux/macOS/Windows 均提供,Windows 以 exe 发布)、Docker、Kubernetes(官方 Helm chart / kube-prometheus-stack)、系统包;无官方集群发行版,集群能力由 Thanos/Mimir/VictoriaMetrics 等生态提供;托管等价物为 Grafana Cloud / Amazon Managed Service for Prometheus 等。

重要依赖

  • Go 编译单二进制,无外部运行时依赖;本地文件系统即可运行;系统依赖极少(v3.5 起 uncached I/O 仅支持 Linux)【已查证:官方博客 2026-03】。

生态与集成

  • 可视化:Grafana 原生数据源(事实标准组合)。
  • 采集端:数百个 exporter(Node Exporter、黑盒 exporter 等)、OpenTelemetry collector(OTLP receiver 接收)。
  • 告警:Alertmanager(独立组件)。
  • 扩展层:Thanos、Cortex、Mimir、VictoriaMetrics、Kube-Prometheus-Stack、Prometheus Operator。
  • 协议生态:OpenMetrics、Remote Write 2.0、PromQL 被 VictoriaMetrics 等广泛兼容实现。

3 使用指南(精简)

  • Linux 安装:下载对应版本 tarball,解压后 ./prometheus --config.file=prometheus.yml 启动;文档 https://prometheus.io/docs/prometheus/latest/getting_started/
  • Windows:官方提供 Windows amd64 zip,解压后直接运行 prometheus.exe(生产推荐 Linux/Docker)。
  • 关键操作示例:
# prometheus.yml:抓自身 + 查询
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]
# 查询过去 5 分钟 CPU 使用率(每实例)
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

# 过去 1 小时 HTTP 请求 P99 延迟
histogram_quantile(0.99, rate(http_request_duration_seconds_bucket[1h]))

Z FAQ for Prometheus

Q: Prometheus 能当长期时序数据库用吗?

A:不建议。本地 TSDB 只服务近期数据(默认 retention 可配但磁盘成本高),官方长期方案是 remote write 到 Thanos/Mimir/VictoriaMetrics【已查证:官方 storage 与 comparison 文档】。

Q: Prometheus 为什么是 pull 而不是 push?

A:pull 模型便于服务发现自动纳管 target、健康检查与抓取间隔统一控制;push 场景(短生命周期任务、跨网络)由 Pushgateway 或 remote write/OTLP 补充【已查证:官方 FAQ/架构文档】。

Q: 高基数 label 为什么危险?

A:每条 <metric>{label组合} 都是独立时序并占用索引与内存,label 基数失控会导致内存暴涨、OOM 与查询变慢——这是 Prometheus 运维最常见事故之一【一方称:官方最佳实践文档反复强调】。

Q: Prometheus 3.x 和 2.x 兼容吗?

A:配置与数据模型大体兼容,但 3.0 含若干不向后兼容变更(部分特性 flag 默认化、新 UI),升级前需读官方 3.0 migration guide【已查证:官方 migration 文档】。

Y 推荐文献

X 参考文献

posted @ 2026-10-12 23:30  千千寰宇  阅读(37)  评论(0)    收藏  举报