[时序数据库] Apache IoTDB :面向工业物联网的、端边云协同的高吞吐、高压缩开源时序数据库

0 序

  • 调研方式: 人工 + AI

  • 调研时间: 2026.10.12

  • 调研对象: Apache IoTDB ( https://github.com/apache/iotdb )

  • 概览

    • 产品定位:端边云协同的工业物联网时序数据库,低成本、高性能、物联网原生,Apache 顶级项目。

    • 发展历程:2011 清华 863 课题 → 2016 TsFile → 2018.11 进入 Apache 孵化器 → 2020 毕业为 TLP → 2021 天谋科技成立 → 2022 1.0 分布式发布 → 2026 迭代至 2.0 系列。

    • 三大组件:IoTDB 时序数据库 + Apache TsFile 存储格式 + IoTDB AINode(DB+AI 训推一体)。

    • 核心优势:端边云一体化、10 倍压缩比、百万级设备吞吐、多协议兼容(InfluxDB/Prometheus/KairosDB)、极简运维。

    • 主要短板:依赖 Java/JVM、TsFile 生态偏封闭、开源版缺商业运维、监控可观测场景生态薄弱(无 PromQL)。

    • 竞品:InfluxDB、TDengine、TimescaleDB、Prometheus、VictoriaMetrics、OpenTSDB 等。

    • 社区趋势:约 6.4k Stars / 1.1k Forks,版本迭代快,正向「DB + AI」工业数据底座演进。

    • 已落地场景:能源电力、航空航天、钢铁冶金、核电、车联网、智能制造,服务超 1000 家企业(金风科技、中国商飞、长安汽车、国家电网等

1 概述

产品介绍

Apache IoTDB 是一款低成本、高性能、物联网原生的时序数据库管理系统,采用端边云协同的轻量化架构,支持一体化的物联网时序数据收集、存储、管理与分析。它由中国清华大学发起、现为 Apache 顶级项目(TLP),也是 Apache 基金会旗下唯一的开源时序数据库项目。

它重点解决企业组建物联网大数据平台时遇到的核心难题:

  • 应用场景复杂、数据体量大
  • 采样频率高、数据乱序到达
  • 数据处理耗时长、分析需求多样
  • 存储与运维成本高

image

URLs

产品体系(三大组件)

  1. 时序数据库(Apache IoTDB):核心存储与查询组件,提供高压缩存储、丰富时序查询、实时流处理、数据高可用与集群高扩展、全方位安全保障。
  2. 时序数据标准文件格式(Apache TsFile):专为时序数据设计的列式存储格式,可在采集、管理、应用&分析阶段统一使用,简化从采集到分析的全流程。
  3. 时序模型训推一体化引擎(IoTDB AINode):面向智能分析场景,提供时序数据分析工具与模型训练引擎,支撑机器学习/深度学习与 DB + AI 融合。

发展历程

timeline title Apache IoTDB 发展历程 2011 : 清华大学团队参与国家 863 计划课题<br>在三一重工实践海量机器数据管理 2015 : 启动自研“清华 IOTDB” 2016 : 提出时序数据列式紧致文件格式 TsFile<br>发布 0.7.0 版本,进入产品化 2018 : 11 月成为 Apache 孵化器项目<br>(我国高校唯一主导的 Apache 项目) 2020 : 9 月毕业成为 Apache 顶级项目(TLP) 2021 : 10 月核心团队成立天谋科技 Timecho<br>提供企业版与技术服务 2022 : 获红杉领投近亿元天使轮融资<br>IoTDB 1.0 分布式版本正式发布 2026 : 迭代至 2.0 系列<br>(2.0.8 / 2.0.10 / 2.0.11 等)
时间 里程碑 意义
2011 863 计划课题实践 在三一重工等场景验证传统技术鸿沟
2016 提出 TsFile 格式 奠定自研列式时序存储基础
2018.11 进入 Apache 孵化器 成为我国高校唯一主导的 Apache 项目
2020.09 毕业成为顶级项目 TLP 建成全球认可的国际开源社区
2021.10 天谋科技成立 开源 + 企业版双轨商业化
2022 1.0 分布式版发布 打通分布式集群能力
2026 2.0 系列持续迭代 引入边缘版、AINode 大模型、表模型等

主要功能

  • 高通量读写:支持百万级设备接入、乱序/多频采集等复杂工业读写场景。
  • 超高压缩比存储:支持高压缩比磁盘存储,无需区分历史库与实时库,数据统一管理。
  • 层级化测点组织:按设备实际层级建模,与工业测点管理结构对齐,支持目录查看与检索。
  • 丰富时序查询语义:原生时序计算引擎,查询时时间戳对齐,提供近百种内置聚合与函数,支持时序特征分析与 AI 能力。
  • 端边云一体化:文件格式、数据库、数据仓库贯穿端-边-云,避免重复计算与 ETL 开销。
  • AI 能力:AINode 时序模型训推一体化引擎,支持时序大模型(如 Chronos-2)与并发推理。
  • 多协议兼容:兼容 InfluxDB、Prometheus、KairosDB 等 TSDB 接口,降低迁移成本。
  • 多语言 API 与生态集成:支持 Java、Python、C/C++、Go/C#/Rest 等;对接 Grafana、Flink、Spark、Hadoop、Thingsboard、DBeaver 等。
  • 数据管理与运维工具:数据同步、流处理框架、权限管理、可视化控制台、集群部署与监控工具。

核心优势

  • 端边云协同一体化方案:一种 TsFile 文件格式贯穿端、边、云,简化数据流转、避免重复计算。
  • 低成本高性能:千万点级写入吞吐、10 倍压缩比、TB 级数据毫秒级响应(官网称存 1GB 数据成本 < $0.23)。
  • 极简运维:只依赖 JDK/JRE,开箱即用;不依赖第三方系统与外部组件。
  • 工业级稳定高可用:支持 7×24 不间断服务,节点故障不影响系统运行,支持异构服务器组建集群并自动负载均衡。
  • 便捷迁移:兼容多种 TSDB 接口,降低从 InfluxDB/Prometheus 等迁移成本。
  • 丰富生态:与 Hadoop、Spark 等大数据系统无缝集成,具备触发器、UDF、连续查询等高级功能。

主要短板

  • Java 技术栈依赖:底层基于 Java/JVM 实现,早期版本需管理 JVM 与 ZooKeeper,对运维团队技术要求较高,JVM 内存调优门槛较高。
  • TsFile 生态相对封闭:TsFile 格式目前以 Java 实现为主,尚未被 IoTDB 生态之外广泛采用,跨语言工具链有限。
  • 开源版运维支持有限:开源版本依赖社区支持,故障排查周期较长,生产级运维需依赖企业版(TimechoDB)。
  • 轻量边缘设备资源占用偏高:在资源受限的终端/设备侧,JVM 与完整功能带来一定资源开销。
  • 监控可观测场景支持不足:缺乏 PromQL 与 OpenTelemetry 集成,在纯监控/可观测性场景中不如 Prometheus、VictoriaMetrics 顺手。
  • 版本升级与兼容成本:1.x→2.x 及表模型引入带来建模迁移与学习成本。

局限性

  • 主要面向工业物联网/IIoT场景设计,在通用监控、APM、可观测性等场景生态相对薄弱。
  • 依赖外部大数据生态(Hadoop/Spark)时才充分发挥分析价值,独立使用分析能力有限。
  • 开源版缺少企业级商业化运维保障、PB 级集群管理与可视化运维平台(需企业版 TimechoDB)。
  • 早期单机版无法满足云端海量设备接入的高可用需求(需集群版/分布式部署)。

适用场景

IoTDB 已服务规模以上中央骨干与工业龙头企业超 1000 家,覆盖“天、空、地、海”场景:

  • 能源电力:电网智慧调控、用电终端监测、新能源(风电)数据管理、智慧电厂。
  • 航空航天:国产大飞机(中国商飞)多地试飞端边云协同、卫星(北邮一号)边缘侧部署。
  • 钢铁冶金 / 石油化工 / 核电:工艺过程监控、设备故障预测与数字孪生。
  • 智慧车辆:车联网传感器数据存储、远程诊断、百万级车辆实时采集(长安汽车、蔚来等)。
  • 智能制造:设备状态监控与异常处理、生产工艺控制与改进。
  • 金融(扩展):期货、基金等行业的时序行情数据处理。

典型用户:金风科技、国家电网、中国石化、中国商飞、中核集团、中广核、中国船舶、长安汽车、潍柴动力、中国中车、华为生态伙伴等。

同类竞品

竞品 底层语言 数据模型 核心特点 与 IoTDB 差异
InfluxDB Go Tag-Field 监控/可观测生态成熟,被广泛采用 IoTDB 更贴合工业层级建模;InfluxDB 监控部署更主流
TDengine C 超级表(表模型) 国产、单表模型、高性能 IoTDB 支持树/表孪生模型与端边云协同
TimescaleDB C(基于 PostgreSQL) 关系表继承 兼容标准 SQL,生态成熟 基于 PG 改造,存储压缩率偏低
Prometheus Go 指标(Metrics) 监控告警标准、PromQL 仅适合轻量监控,缺复杂分析
VictoriaMetrics Go Metrics 边缘监控、高压缩 强于监控指标,弱于工业分析
OpenTSDB Java 指标 基于 HBase 的老牌 TSDB 架构较重,性能弱于 IoTDB
KairosDB Java 指标 基于 Cassandra 功能较简单
QuestDB / GreptimeDB Java/Rust 表模型 高性能新锐 侧重金融/可观测,工业生态不及 IoTDB

选型结论(官网 TSDB-Comparison 观点):IoT 与 IIoT 场景往往受益于 IoTDB 的层级 schema;监控平台部署则 InfluxDB 仍是常见方案。

发展趋势

  • 开源社区活跃:Apache 顶级项目,版本迭代迅速(2026 年内发布 2.0.8→2.0.11 多版本),持续增强查询、AI、边缘能力。
  • GitHub 指标:约 6.4k Stars / 1.1k Forks,开放 issue 数百个,Apache 社区治理成熟。
  • DB + AI 融合:AINode 集成时序大模型(Chronos-2 等)与并发推理,是 2.0 系列重点方向。
  • 商业化双轨:天谋科技(红杉领投)支撑企业版 TimechoDB 与可视化运维,反哺开源社区。
  • 行业规模化落地:在能源、航空、汽车等关键工业领域持续扩大应用面。

总结:Apache IoTDB 正从「国产工业时序数据库标杆」向「DB + AI 的端边云一体化工业数据底座」演进。

典型行业的架构案例 (必读)

摘自官网( https://iotdb.apache.org/zh/ # 应用场景 )。

物联网通用

物联网通过海量设备互联与智能数据分析重构行业运营,驱动高效实时、稳定可扩展的数据管理系统,支撑设备监测与故障诊断等核心应用。IoTDB作为原生时序数据库,提供边缘到云端的全链路数据同步及分析能力,高并发处理特性适配大规模设备接入,为企业挖掘数据价值、提升运营效率提供灵活解决方案,推动物联网业务全面发展
image

航空航天

科技进步驱动航空航天数字化智能化转型,企业通过全周期数据管理整合实时遥测与试飞数据,实现关键系统精准监测,推动设计优化与安全管控。IoTDB以国产自研技术优势,通过高效低流量同步、离线迁移、灵活部署及低资源占用特性,为行业构建可靠数据底座,支撑技术创新与可持续发展。

image

交通运输(车辆数采)

交通运输行业依托实时车辆数据采集分析,驱动铁路、地铁等核心场景的智能调度与高效运维,满足高实时、高可靠管理需求,实现提效降本。IoTDB凭借高效时序数据处理及低延迟查询能力,应对数据爆发增长,支撑多源异构数据流转,为构建稳定可靠的智能交通系统提供技术底座,助力行业智能化与自动化升级。
image

钢铁冶炼(工厂制造)

钢铁冶炼行业加速数字化转型,依托工业物联网平台实现生产全流程实时数据采集与分析,助力产能提升、质量优化与能耗降低。IoTDB凭借高效数据存储、计算能力及灵活部署特性,提供跨平台支持与低资源占用的解决方案,并通过丰富接口实现系统高效集成,推动智慧工厂建设,赋能传统工业新质生产力发展。
image

能源电力

全球能源变革驱动电力行业数字化转型,企业依托物联网与时序数据库技术升级智慧能源系统,通过全环节数据实时采集分析提升能效、保障电网安全。IoTDB以高可用集群、低流量同步、跨网闸支持及高性能优势,提供自主可控的时序数据管理方案,支撑企业应对海量数据挑战,推动传统能源与可再生能源高效整合。

image

2 工作原理与架构

概念术语

术语 说明
时间序列(Time Series) 一条时间序列由设备测点(Measurement)+ 时间戳 + 数值组成,是 IoTDB 基本数据单元
测点(Measurement) 采集的物理量字段,通过 . 分割形成树形目录结构
设备(Device) 承载测点的物理/逻辑实体
TsFile IoTDB 自研的时序列式存储文件格式(类似 Parquet/ORC 但专为时序优化)
LSM(Log-Structured Merge Tree) 底层采用 LSM 结构以提升写入吞吐
ConfigNode 集群“大脑”,管理元数据、监控节点状态、执行数据分区策略,通过 Raft 一致性协议通信
DataNode 集群“肌肉”,负责存储时序数据、执行读写请求
SchemaRegion 元数据分区,管理一部分设备和测点的元数据
DataRegion 数据分区,管理一部分设备一段时间的数据
树表孪生模型 同时支持树模型(测点层级)与表模型(每类设备一张表)

架构与运行原理

总体架构 (必读)

  • 完整覆盖「客户端 → 接入 → 集群管控 → DataNode(查询 + LSM 写入)→ 磁盘存储」全链路
flowchart TB subgraph Client["① 客户端层"] C1["CLI / SQL Shell"] C2["Java · Python · C/C++ · Go 客户端 API"] C3["Grafana · Flink · Spark · Thingsboard 集成"] end subgraph Gateway["② 接入层"] SQL["SQL 语法解析与校验"] PROTO["多协议兼容<br/>InfluxDB / Prometheus / KairosDB"] AUTH["权限控制"] end subgraph Config["③ ConfigNode 集群管控(Raft 共识)"] META["元数据管理 · SchemaRegion 分区"] SCHED["节点监控 · 负载均衡 · 数据分区"] end subgraph DataNode["④ DataNode 核心"] subgraph QueryEng["查询引擎"] OPT["查询优化器"] MPP["分布式 MPP 执行器"] FUNC["聚合 · 时序函数 · UDF · 降采样"] end subgraph WritePath["写入引擎(LSM-Tree 写入路径)"] WAL["WAL 预写日志"] MUT["Mutable MemTable(可变更内存表)"] IMM["Immutable MemTable(冻结/不可变内存表)"] FLUSH["Flush 刷盘"] end subgraph Compact["Compaction 后台合并"] SPACE["Space Compaction(空间/跨文件合并)"] SERIES["Series Compaction(乱序序列合并)"] end end subgraph Store["⑤ 存储层(磁盘)"] TSF["TsFile 有序文件(Sorted Run)"] DELAY["Delayed TsFile(乱序文件)"] TOMB["Tombstone(墓碑/删除标记文件)"] INDEX["元数据索引 · Bloom Filter"] end %% 客户端 → 接入 C1 --> SQL C2 --> PROTO C3 --> SQL %% 接入 → 查询引擎 / 集群 SQL --> OPT PROTO --> MPP AUTH -.校验.-> SQL %% ConfigNode 管控 SCHED -.元数据/分区下发.-> DataNode META -.schema 读.-> OPT %% 查询引擎内部 OPT --> MPP MPP --> FUNC FUNC --> INDEX %% 查询读路径(读内存 + 磁盘) MPP -.读 MemTable.-> MUT MPP -.读已落盘.-> TSF MPP -.读乱序.-> DELAY %% LSM 写入路径 WAL --> MUT MUT --> IMM IMM --> FLUSH FLUSH -->|生成有序文件| TSF %% Compaction TSF --> SPACE DELAY --> SERIES TOMB --> SPACE SPACE -->|合并为新文件| TSF SERIES -->|合并为新文件| TSF
  • 关键要素说明
要素 图中位置 作用
WAL 预写日志 写入引擎入口 先落日志保证崩溃恢复,再写内存
MemTable(Mutable → Immutable) 写入引擎中段 【内存】中维护有序数据,写盘前冻结
Flush 刷盘 写入引擎出口 将【内存表】刷成【磁盘】上的有序 TsFile(Sorted Run)
Compaction(Space / Series) 后台合并模块 将多个有序/乱序文件合并重写,控制文件数与 LSM 深度
Delayed TsFile(乱序文件) 存储层 承接【乱序/迟到数据】的独立文件,避免阻塞写入
Tombstone(墓碑文件) 存储层 记录删除标记,延迟物理删除
Bloom Filter / 索引 存储层 快速判断序列是否存在,加速点查、减少无效读盘
查询与写入分离 查询引擎 / 写入引擎 读路径直查内存+磁盘,写路径走 LSM,互不阻塞

整条 LSM 写入链路为:WAL → Mutable MemTable → Immutable MemTable → Flush → TsFile(有序)→ Compaction 合并;查询则按「SQL 解析 → 优化 → MPP 执行 → 内存/磁盘多路读」完成。

集群整体架构(以 3C3D 为例)

flowchart TB subgraph Client["客户端"] C1[客户端] --- C2[客户端] --- C3[客户端] end subgraph DNs["DataNode 层(数据存储与读写)"] DN1["DataNode-1<br/>SchemaRegion-1 / DataRegion-2 / DataRegion-3"] DN2["DataNode-2<br/>SchemaRegion-1 / DataRegion-2 / DataRegion-4"] DN3["DataNode-3<br/>SchemaRegion-1 / DataRegion-3 / DataRegion-4"] end subgraph CNs["ConfigNode 层(元数据与集群管理,Raft)"] CN1[ConfigNode-1] --- CN2[ConfigNode-2] --- CN3[ConfigNode-3] end C1 --> DN1 C2 --> DN2 C3 --> DN3 CN1 -->|操作调度| DN1 CN2 -->|负载均衡| DN2 CN3 -->|集群管理| DN3
  • ConfigNode:集群的“大脑”,负责元数据管理与集群协调;多个 ConfigNode 通过 Raft 一致性协议通信,实现元数据服务无单点故障。
  • DataNode:集群的“肌肉”,负责存储与读写;数据被切分为多个分区(SchemaRegion / DataRegion)均匀分布到各 DataNode。
  • 高可用与扩展:3C3D 集群中部分节点故障仍可对外服务;可通过增加 DataNode 线性扩容,系统自动负载均衡,支持异构服务器。

产品分层体系

flowchart LR subgraph 上层["上层 API 与集成"] API["IoTDB API<br/>Java / Python / C-C++ / Go / C# / Rest"] INT["应用集成<br/>Grafana / Flink / Thingsboard / DBeaver"] AI["IoTDB AINode<br/>(时序训练 + 推理 AI 引擎)"] end subgraph 核心["Apache IoTDB 核心层"] Q[丰富时序查询] --- S[实时流式处理] --- E[高可扩展] C[高压缩存储] --- HA[数据高可用] --- SEC[安全保障] end subgraph 底层["存储层"] SDK[TsFile-SDK] --- TF[TsFile 时序文件格式] end API --- 核心 INT --- 核心 AI --- 核心 核心 --- SDK TF --- SDK

存储引擎(TsFile + LSM)

  • TsFile 列式存储:数据按时间序列(Series)组织,同一序列数据连续存储,提高查询效率与压缩率;结构含 Chunk、Page 与索引。
  • LSM 组织:采用 Log-Structured Merge Tree 提升写入吞吐,写入先入内存(MemTable),再刷盘、后台 Compaction 合并。
  • 编码与压缩:支持多种无损/有损编码(如 RLE、Delta、Gorilla 等),按数据类型优化存储效率,实现超高压缩比。
  • 乱序处理:通过延迟文件(Delayed TsFile)、墓碑文件(Tombstone)与 Compaction 机制,高效处理乱序、覆盖、删除的工业写入场景。
  • 双维度分区:按时间与设备双维度设计数据分区策略与负载均衡算法,提升集群可用性与性能。

查询引擎

  • 时间戳对齐:查询时自动对齐多设备/多测点的时间戳。
  • 预聚合与索引:通过预聚合、时序索引支持快速过滤、聚合查询、降采样查询。
  • 丰富函数:近百种内置聚合与时序计算函数,支持触发器、UDF、连续查询、查询结果写回。
  • SQL 兼容:提供类 SQL(类标准 SQL)接口,支持多维度联合查询、聚合、趋势分析;2.0 引入窗口函数、RPR、ASOF JOIN 等高级能力。
  • 分布式 MPP:面向分布式读写采用 MPP(大规模并行处理)框架。

数据模型:采用「树/表孪生」双数据模型

IoTDB 采用「树表孪生」双数据模型,既能用层级树结构贴合工业测点,又能用关系表贴合批量设备。

一、树模型(Tree Model)— 经典模型

以时间序列(Time Series)为基本单元,测点用 . 分层,从 root 出发构成一棵树,与物理设备结构一一对应:

flowchart TB root[root] --> a["root.工厂A"] root --> b["root.工厂B"] a --> a1["设备1"] a --> a2["设备2"] a1 --> a1t["温度(temperature)"] a1 --> a1h["湿度(humidity)"] a1t --> v1["(时间戳, 数值)..."]
  • 每条时间序列 = 设备路径 + 测点,即一条完整的测点名(如 root.工厂A.设备1.温度)。
  • 序列上的每个数据点是 (时间戳, 数值) 二元组,时间戳为毫秒精度。
  • 序列(Series)按是否对齐分为:对齐序列、非对齐序列。

二、表模型(Table Model)— 2.0 新增

面向同类设备批量采集,每类设备建一张表,更接近传统关系型建模:

CREATE TABLE vehicle.device (
    device_id STRING ID,        -- 标识字段(ID)
    ts        TIMESTAMP TIME,   -- 时间字段(TIME)
    temperature FLOAT FIELD,    -- 物理量字段/传感器字段(FIELD)
    ...
);
  • 字段(Column)分3类:

    • ID(设备/标签标识)
    • TIME(时间戳)
    • FIELD(测量值)
  • 表模型的 FIELD(物理量)字段除了 FLOAT,还支持以下类型:

类型 说明
BOOLEAN 布尔值(true/false)
INT32 32 位有符号整数
INT64 64 位有符号整数
FLOAT 单精度浮点数(32 位)
DOUBLE 双精度浮点数(64 位)
STRING 可变长字符串(等价树模型的 TEXT)
DATE 日期
TIMESTAMP 时间戳(可与 TIME 列类型一致)
BLOB 二进制大对象

补充说明:

  • INT32 vs INT64 / FLOAT vs DOUBLE:按精度与存储开销权衡,整数大值用 INT64,高精度小数用 DOUBLE。
  • STRING:表模型中的字符串类型(树模型中叫 TEXT),可用于设备描述、状态文本等。
  • BLOB:用于存图片、文件等二进制内容,配合 2.0 的多模态数据管理能力。
  • ID(标识)字段也支持 STRING / INT32 / INT64 / FLOAT / DOUBLE / TIMESTAMP / DATE / BLOB 等,其中 STRING 必须可用。
  • TIME 字段固定为 TIMESTAMP 类型。

说明:以上是表模型(Table Model)的字段类型;树模型(Tree Model)的测点类型为 BOOLEAN / INT32 / INT64 / FLOAT / DOUBLE / TEXT,不含 DATE/TIMESTAMP/BLOB。

三、对比: 树模型 vs. 表模型

  • IoTDB 1.x(1.0~1.3)原生只有「树模型」;「表模型」是在 2.0.x(beta) 才正式引入的,二者合称树表孪生模型。

多角度对比

维度 树模型(Tree) 表模型(Table)
管理对象 以测点为中心,每个测点=一条时间序列 以设备类型为中心,一张表=一类设备
结构 路径按 . 分割成树形目录,如 root.ln.wf02.wt02.status 关系表,标准 SQL(SELECT/JOIN/GROUP BY…)
适用场景 工业监控、SCADA/DCS 点位读写 数据分析、从其他 DB 迁移、数据治理
语法 简洁灵活,非标准 SQL 标准 SQL,分析能力强
切换方式 SET SQL_DIALECT=TREE(默认) SET SQL_DIALECT=TABLE

同一集群内两种模型空间默认互不可见,还支持「树转表」视图——写入用树模型、分析用表模型查同一份数据。

测点(Timeseries / Measurement)到底是什么

测点是 IoTDB 里最核心的概念——一个测点 = 一条时间序列,即某设备采集的某个物理量(温度、电压、状态…)随时间变化的值序列。

树模型里的测点:

  • 完整路径示例:root.ln.wf02.wt02.status
    • root.ln → 数据库(Storage Group)
    • wf02.wt02 → 设备(路径倒数第二层)
    • status → 测点(叶子节点)
  • 每个测点有独立数据类型(INT32/DOUBLE/BOOLEAN/TEXT/FLOAT…)
  • 工程建议:路径倒数第二层(设备层)节点数 ≥1000 以发挥并发优势;设备少但测点极多时,末尾加 .value 拆层

表模型里的测点:
一张时序表有4类列:

列类别 说明
时间列 TIME 列名固定为 time,类型 TIMESTAMP,必选
标签列 TAG 设备唯一标识(联合主键),不可改删、可增
测点列 FIELD 随时间变化的物理量,可多至数十万列
属性列 ATTRIBUTE 不随时间变的【设备静态描述】,可更新

筛选效率:时间列 = 标签列 > 属性列 > 测点列。

2 种表模型能同时共存

  • 同一集群实例里,树模型和表模型的空间可以同时存在,官方称为「树表孪生模型」。但 "共存" 有三个关键约束:可以共存,但要注意边界

结论:同一集群实例里,树模型和表模型的空间可以同时存在,官方称为「树表孪生模型」。但"共存"有三个关键约束:

1) 默认互不可见,按连接隔离

两种模型的语法、数据库命名方式完全不同,同一个【连接】在【同一时刻】只能用一种【模型】,通过 sql_dialect 切换:

SET SQL_DIALECT=TREE;   -- 切到树模型空间
SET SQL_DIALECT=TABLE;  -- 切到表模型空间
  • CLI 连接时也要指定:start-cli.sh -sql_dialect tree|table。JDBC URL 里加 ?sql_dialect=table。
2) 不是"同一份数据自动双写"

两种模型是两套独立的元数据空间:

  • 树模型写的数据 → 树模型空间可见
  • 表模型写的数据 → 表模型空间可见
  • 互不自动同步,不能在【树模型】里直接 SELECT 【表模型】的表,反之亦然
3) 真正的"协同"靠「树转表的视图」

如果想让同一份数据既能用【树模型写入】、又能用【表模型分析】,IoTDB 提供了 Tree-to-Table 视图:在表模型下基于已有【树模型数据】创建一个【表视图】,之后用【标准 SQL】(JOIN/GROUP BY 等)查这个视图即可。

写入侧:树模型 INSERT root.ln.wf02.wt02.status  → 灵活接入
分析侧:表模型 CREATE VIEW ... AS ...            → 标准 SQL 复杂分析

注意:建视图的 SQL 只能在表模型下执行,视图本身是只读映射,不复制数据。

小结:共存2种模型

两个模型能在同一集群里"并存",但一个连接同一时间只连一种;要打通同一份数据的树写表查,用树转表视图,而不是指望它们自动互通。

总结

  • 1.x:只有树模型,测点就是 root.数据库.设备.测点名 这种点分路径的叶子节点。
  • 2.0+:树表孪生,表模型下测点变成表里的 FIELD 列,用标准 SQL 分析。

四、核心概念速览

概念 说明
Database(数据库/存储组) 顶层逻辑容器,按数据库隔离管理与分区(旧版称 Storage Group)
Device(设备) 采集数据的实体,树模型中是一段路径前缀,表模型中是一行行设备记录
Measurement(测点) 单个物理量字段;
树模型中是序列的叶子,表模型中是 FIELD 列
Time Series(时间序列) 树模型的基本单元 = 设备 + 测点 + 全部时间点
Timestamp(时间戳) 每点的毫秒级时间标记,支持时间对齐查询
数据类型 BOOLEAN / INT32 / INT64 / FLOAT / DOUBLE / TEXT
Tag(标签)/ Attribute(属性) 测点的附加元信息:Tag 可索引检索,Attribute 仅描述不索引
SchemaRegion / DataRegion 分布式下的元数据分区 / 数据分区单元
TsFile 底层自研的时序列式存储文件格式

五、如何选

  • 工业测点层级管理、点位多且关系固定 → 用树模型(直观、贴合物理层级、查询简单)。
  • 同类设备量大、字段相对规整、偏 SQL 分析 → 用表模型(建模简单、批量读写高效)。

两者可共存(树表孪生),根据场景混用。

3 使用指南

Z FAQ for Apache IoTDB

Q: 如何降低 ConfigNode / DataNode 的内存占用?

在 conf/confignode-env.sh、conf/datanode-env.sh 中调整 ON_HEAP_MEMORY、OFF_HEAP_MEMORY 等选项可调整最大堆内、堆外内存;修改后重启服务生效。

Q: 部署时提示端口被占用 / 节点起不来怎么办?

先检查默认端口(ConfigNode 10710/10720;DataNode 6667、10730、10740、10750、10760、9090、9190、3000)是否被占用;可通过健康检查工具或 lsof(Linux)/netstat 排查并释放端口,或修改配置。

Q: 为什么 DataNode 停止不掉 / 启动报 JDK 相关错误?

老版本 JDK 部分场景性能有问题且 DataNode 无法正常停止。请升级并部署 JDK 17,并确保已设置 JAVA_HOME 环境变量。

Q: 为什么选择树模型还是表模型?

树模型按测点层级组织,与物理世界一一对应,适合工业测点管理;表模型为每类设备建表,适合批量/共性物理量采集。IoTDB 2.0 支持树表孪生模型,可按需选择或混用。

Q: IoTDB 能兼容 InfluxDB / Prometheus 数据吗?

能。IoTDB 提供多协议兼容能力,兼容 InfluxDB、Prometheus、KairosDB 等 TSDB 接口,可降低迁移成本;同时支持 CSV、TsFile 等数据导入导出。

Q: AINode 启动报错“找不到 venv 模块”怎么办?

需在系统安装 Python3 的 venv 模块,如 Ubuntu 执行 apt-get install python3.10-venv,或安装自带 venv 的 Python 版本。

Q: IoTDB 测点的标签、属性的区别?适用场景? (必读)

缘起

-- 创建【带标签/属性】的测点
CREATE TIMESERIES root.turbine.d1.s1
  WITH DATATYPE=FLOAT, ENCODING=RLE, COMPRESSOR=SNAPPY
  TAGS(tag1=v1, tag2=v2)
  ATTRIBUTES(attr1=v1);

-- 查看测点  
IoTDB> SHOW TIMESERIES;
+-----------------------------------------+-----+------------+---------+--------+-----------+-------------------------+--------------+--------+------------------+--------+
|                               Timeseries|Alias|    Database| DataType|Encoding|Compression|                     Tags|    Attributes|Deadband|DeadbandParameters|ViewType|
+-----------------------------------------+-----+------------+---------+--------+-----------+-------------------------+--------------+--------+------------------+--------+
|                       root.turbine.d1.s1| null|root.turbine|    FLOAT|     RLE|     SNAPPY|{"tag1":"v1","tag2":"v2"}|{"attr1":"v1"}|    null|              null|    BASE|
|                 root.ln.wf02.wt02.status| null|     root.ln|  BOOLEAN|     RLE|        LZ4|                     null|          null|    null|              null|    BASE|
|               root.ln.wf02.wt02.hardware| null|     root.ln|     TEXT|   PLAIN|        LZ4|                     null|          null|    null|              null|    BASE|
|                           root.sg1.d1.s1| null|    root.sg1|   DOUBLE| GORILLA|        LZ4|                     null|          null|    null|              null|    BASE|
|                           root.sg1.d1.s2| null|    root.sg1|   DOUBLE| GORILLA|        LZ4|                     null|          null|    null|              null|    BASE|
|root.factory.device_monitor.total_runtime| null|root.factory|    INT64|TS_2DIFF|        LZ4|                     null|          null|    null|              null|    BASE|
|  root.factory.device_monitor.temperature| null|root.factory|    FLOAT| GORILLA|        LZ4|                     null|          null|    null|              null|    BASE|
|     root.factory.device_monitor.humidity| null|root.factory|   DOUBLE| GORILLA|        LZ4|                     null|          null|    null|              null|    BASE|
| root.factory.device_monitor.firmware_bin| null|root.factory|     BLOB|   PLAIN|        LZ4|                     null|          null|    null|              null|    BASE|
|  root.factory.device_monitor.deploy_time| null|root.factory|TIMESTAMP|TS_2DIFF|        LZ4|                     null|          null|    null|              null|    BASE|
|   root.factory.device_monitor.alarm_flag| null|root.factory|  BOOLEAN|     RLE|        LZ4|                     null|          null|    null|              null|    BASE|
|     root.factory.device_monitor.firmware| null|root.factory|     TEXT|   PLAIN|        LZ4|                     null|          null|    null|              null|    BASE|
|          root.factory.device_monitor.rpm| null|root.factory|    INT32|TS_2DIFF|        LZ4|                     null|          null|    null|              null|    BASE|
|  root.factory.device_monitor.report_date| null|root.factory|     DATE|TS_2DIFF|        LZ4|                     null|          null|    null|              null|    BASE|
+-----------------------------------------+-----+------------+---------+--------+-----------+-------------------------+--------------+--------+------------------+--------+
Total line number = 14
It costs 0.009s
  • IoTDB(时间序列数据库)的测点元数据。两者都是写在序列创建语句 tag/attributes 字段里的键值对,但定位完全不同。

核心区别

维度 Tags(标签) Attributes(属性)
本质 索引键,参与查询定位 描述信息,纯存储
能否用于查询过滤 ✅ 可作为筛选/分组条件(WHERE timeseries.tag.xxx = ...) ❌ 不可作查询条件
索引能力 参与构建 Tag 索引,支撑倒排/哈希检索 无索引
语义定位 标识"这个测点是谁/属于哪个维度" 描述"这个测点是什么样子"
更新频率 一般稳定、低频 更稳定,偶尔补充
典型内容 设备ID、传感器类型、区域、型号 安装位置、生产厂家、量程、精度、安装日期
存储开销 参与索引,占用更多 相对轻量

适用场景

Tags —— 用于"检索与聚合"

  • 从海量序列中快速筛选出目标测点,如"所有区域=华东 且 设备ID=A01 的温度测点"。
  • 按标签分组做聚合统计(同一 tag 值的测点归为一组)。
  • 适合做维度建模、设备画像、按业务维度动态发现序列。

Attributes —— 用于"查证与展示"

  • 记录测点的非查询类元信息,如量程范围、精度、生产厂商、备注说明。
  • 适合做序列登记台账、文档化、工单追溯,写入后按需读取展示。

总结

Tag 是给系统"检索用的钥匙",Attribute 是给人"查阅用的备注"。
需要被筛选、分组、聚合的维度 → 放 Tags;只做说明、不参与检索的描述 → 放 Attributes。

实践建议:两者都是【静态属性】,一旦写入后【修改成本高】(改 tag 会变更【序列】,历史数据索引需【重建】),所以建库前要先想清楚哪些维度会成为查询入口,再决定放哪一类。

若不确定,宁可多放 tags 少放 attributes——tags 的多余【检索维度成本】远低于事后把 attributes 迁移成 tags。

Q: IoTDB (2.x)树模型下,有哪些性能限制、最佳实践是怎样的?

IoTDB (2.x)树模型下,有哪些性能限制、最佳实践是怎样的?例如:一个设备最大可以创建多少个量级的测点?百毫秒级的读写性能要求下,允许的数据量是多少?

一、核心结论:官方对"测点数量"的定位

【树模型】以"测点"为【对象】管理,官方文档明确"任一层级的子节点数量没有限制"——即单个【设备】下能建多少测点没有【硬性上限】,真正受约束的是【集群的总时间序列量】(与内存相关),以及建模结构对【并发性能】的影响。

相关硬约束/配置:

  • 集群的总序列数上限由 cluster_timeseries_limit_threshold 控制,默认 -1(不设限),另有 cluster_device_limit_threshold(设备数阈值),均重启生效。真正决定上限的是【内存预算】。

  • 资源规划官方建议(采集频率 ≤1Hz 口径):

总序列数 单机CPU 单机内存
10万以内 2–4核 2–4G
30万以内 4–8核 6–12G
50万以内 8–16核 12–24G
100万以内 16–32核 24–48G
200万以内 32–48核 48–96G
1000万以内 48核 128G

存储/网络另算:磁盘按 测点数×采样频率×每点字节×时长×副本/压缩比 估算;写入吞吐超 1000 万点/秒需配万兆网卡。

二、"一个设备最多多少测点"的正确打开方式

没有绝对值,但有结构性最佳实践,比追问硬上限更有用:

  • 设备数量(Path 倒数第二层节点)建议 ≥1000。【设备数】是【并发读写能力的锚点】,【设备充足】时【并发效率】更高。
  • 遇到"设备少、单设备测点多"(如 3 台设备各 1 万个测点)时,官方明确推荐在最后层级加一层 .value:root.db.device01.metric.value,以此抬高倒数第二层节点数、改善并发。这是对"【测点爆炸】"场景的官方解法。
  • 【单设备的测点】越多,【写放大】与【内存占用】越高(每个测点都有独立时间序列元数据);

所以,【测点超量】时应优先"【拆设备维度】"或"【加 value 层】",而不是硬塞进一个【设备】。

三、百毫秒级读写下允许的数据量

分写入和查询两个维度看:

写入吞吐(高吞吐、低延迟)

  • 官方宣传:单节点每秒千万级,宣传口径最高 2000 万点/秒;
  • TPCx-IoT 基准实测约 363 万点/秒(同期 InfluxDB 开源版约 52 万点/秒);
  • 单机常规可达数百万点/秒。即百毫秒窗口内写入数十万~上百万点是可行的,瓶颈通常在网络与批量大小,而非测点数。

查询延迟(100ms 是一个常见 SLA)

  • SIGMOD 论文(Apache IoTDB: A Time Series Database for IoT Applications)给出的基线:10 万点/天的数据选择、以及 1000 万点的 3 年聚合,可在 100ms 内完成;
  • 工业界案例(蔚来支撑百万级车辆实时采集)的实测查询响应 <100ms。

注意:100ms 延迟 SLA 主要取决于单次查询涉及的数据量、时间跨度与聚合方式,测点数本身不是主要瓶颈。测点越多、时序越"宽",写入内存占用和元数据开销越高,这才是需要靠建模结构规避的点。

四、树模型最佳实践清单

  1. 路径层级 ≤10 层,把低基数字段放前面,便于公共前缀压缩。
  2. 设备(倒数第二层)≥1000,测点密集时加 .value 层抬高设备数。
  3. 数据库(root 下一级)无需为性能多建,一个库即可充分利用资源;数量上限与内存相关。
  4. 测点层级命名含特殊字符时,所有层级统一用反引号封装,避免注册失败/写入中断。
  5. 设备维度与测点维度在树模型下没有物理硬上限,一切以内存预算和并发结构为准,优先用官方"资源规划表"倒推总序列数是否在单机能力内。

Q: Apache IoTDB (2.x) 的 树模型和表模型 2种模型下,其底层数据结构、读写性能有什么差异吗?

  • 结论:两者共享同一套底层存储引擎(LSM-Tree + TsFile),官方文档对比的"性能"维度结论是"相同";真正的差异在逻辑建模层和 SQL 执行层——树模型短查询略优、表模型【复杂分析】更强。依据官方《建模方案设计》和天谋工程师的《双模型架构详解》,详细对比如下。

底层数据结构:同一个底座,两种逻辑组织

维度 树模型 表模型
逻辑单位 测点路径 root.db.风机组1.风机1.电流,叶子=测点 表 = 时间列 + 标签列(TAG) + 属性列 + 测点列(FIELD)
设备定义 路径倒数第二层节点 全部 TAG 列取值的组合(联合主键,与 TIME 列共同构成行主键)
元数据 PBTree 管理,支持亿级时间序列 表/列级 Schema,测点列数无上限(数十万+)
物理存储 树写 → TsFile 表写 → TsFile(同一列式文件格式)
公共底座 WAL → MemTable → TsFile → Compaction,完全共用 同左

官方"树转表"示意图明确画出:树写和表写最终都落为 TsFile,这也是"性能相同"的物理基础。

读写性能:引擎相同,开销差异在解析/寻址层

  • 写入:基本一致(同引擎)。表模型多一层"TAG 组合 → 设备 ID"映射和模式/类型校验;【树模型】支持无模式自动建表(动态Schema),写入【更"轻"】。

  • 读取:

    • 官方对比表:性能对比:相同。
    • 天谋官方分享补充:树模型语法简洁,简单查询/短查询目前性能仍略优于表模型;表模型则在【复杂分析】上更强——子查询、JOIN(含时序特色的 ASOF JOIN)、窗口函数、distinct 等,覆盖树模型难以实现的场景。
    • 表模型筛选效率排序:时间列 = 标签列 > 属性列 > 测点列(时间/标签列建有稀疏索引,测点列只有文件内 block 级索引)——这是表模型建模时把设备标识设计成 TAG 的原因之一。

选型:实时监控、按点位短查询 → 树模型;设备台账 + 多属性关联分析、标准 SQL 团队 → 表模型。两者可在同一集群共存、互不可见,树数据还可建"树转表视图"用表语法查询。

下图给出两者的架构关系与性能定位(示意):

image

Q: Apache IoTDB支持实时订阅来消费吗?

它不仅支持实时订阅,而且做得相当完整。

Apache IoTDB 的实时订阅能力

能力 说明
数据订阅模块 V1.3.3 之后引入,参考 Kafka 设计,有 Topic + Consumer Group + offset/commit 概念
两种消费模式 SubscriptionPullConsumer(主动 poll)和 SubscriptionPushConsumer(事件回调推送)
Pipe 管道 另有一套跨集群/跨目录的实时同步机制(Realtime Pipe),支持历史回灌 + 实时增量
内置 MQTT Broker 服务端自带 MQTT v3.1,设备可直接通过 MQTT 写入,无需第三方中间件

主流"时序库自带订阅能力"对照表:

时序库 实时订阅 备注
TDengine ✅ subscribe 消费组、offset
Apache IoTDB ✅ Pull/Push 两种 V1.3.3+,另有 Pipe 同步通道
InfluxDB (OSS) ⚠️ Kapacitor/CQ 2.x 后 OSS 版订阅能力弱化
OSIsoft PI ✅ PI Web API Stream / Event Frames 商业库
TimescaleDB ❌ 无原生推送 需 WAL 逻辑复制或触发器
OpenGemini ⚠️ 类 InfluxDB 订阅 能力相对基础

Y 推荐文献

X 参考文献


posted @ 2026-10-12 15:23  千千寰宇  阅读(36)  评论(0)    收藏  举报