[时序数据库] TDengine:面向物联网/工业互联网的高性能云原生时序数据库

0 序

  • TD-Engine
  • 产品定位:开源、高性能、云原生时序数据库(TSDB),专为物联网 / 工业互联网 / 车联网 / 电力 / IT 运维等场景设计,内建缓存、流式计算、数据订阅,目标成为 "极简时序数据处理平台"。
  • 发展历程:2016 年 12 月启动研发 → 2019 年 7 月单机版开源 → 2020 年 8 月集群版开源 → 2022 年 8 月 3.0 云原生版开源(存算分离)→ 2025/2026 年持续迭代并战略升级为 "AI 原生工业数据管理平台"(TSDB + IDMP 双线)。
  • 核心优势:写入性能约为 InfluxDB 的 1.8~16 倍、磁盘占用最高省至其约 1/25;100% 核心开源(AGPL);全球 100 万 + 部署实例、约 25K GitHub Stars、4.8K Forks、2 万 + 社区开发者。
  • 短板 / 局限:国际化生态不如 InfluxDB 成熟、2.x→3.x 升级有语法兼容成本、免费版与企业版存在功能差异。
  • 竞品:InfluxDB、TimescaleDB、Apache IoTDB、QuestDB、OpenTSDB、DolphinDB、Prometheus 等。
  • 趋势:正处于从 "时序数据库" 向 "AI 原生工业数据基础设施" 升级、规模高速增长期。

1 概述:TDengine

产品介绍

产品定位:TDengine 是一款开源、高性能、云原生的时序数据库(Time Series Database, TSDB),专为物联网(IoT)、车联网、工业互联网、电力、金融、IT 运维等场景设计优化。其核心亮点是内建缓存、流式计算、数据订阅等系统功能,目标是成为一款"极简的时序数据处理平台",把采集、存储、实时分析、可视化、事件管理、根因分析、AI 洞察做成全栈方案,让"每一条工业数据流 AI 起来"。

诞生的背景与原因:传统通用数据库与国外时序数据库(如 InfluxDB)在处理海量物联网时序数据时存在写入吞吐低、存储占用高、查询聚合慢、高基数(high-cardinality)场景支撑差等痛点。创始人陶建辉(Jeff Tao)于 2016 年 12 月启动研发,希望打造一款专为 IoT/IIoT 场景设计、性能大幅领先且能实现"简单、开放、低 TCO"的国产时序数据库。

解决的核心问题:

  • 海量时序数据的高性能写入与压缩存储(写入速度、磁盘占用显著优于通用库与多数竞品)
  • 高基数场景(数十亿采集点)下的高效查询聚合
  • 通过内建缓存/流计算/订阅,简化系统架构、降低研发与运维成本
  • 云原生弹性伸缩、存算分离,适应公有/私有/混合云部署

URLs:

发展历程

时间 里程碑
2016 年 12 月 陶建辉启动 TDengine 研发
2019 年 7 月 单机版开源,迅速登顶 GitHub 全球趋势榜
2020 年 8 月 集群版开源
2022 年 8 月 3.0 云原生版开源:实现计算与存储分离,重构流计算、数据订阅,成为真正的云原生时序数据库
2023 年 3.x 系列持续迭代,完善高基数、分布式元数据(vnodes 分布式存储替代 mnode 集中式)等能力
2025 年 相继发布 3.3.5.0、3.3.6.0、3.3.7.0、3.3.8.0 等版本,围绕数据接入、时序分析、存储优化、安全可控四大方向推进
2026 年 3.4.x 版本推进(如 3.4.1.x 支持 License Server 授权、订阅 Topic 等),并战略升级为 AI 原生工业数据管理平台(TSDB + IDMP 双产品线)

主要功能

  • 高性能时序存储与查询:专为时序数据优化,写入/查询/压缩效率行业领先。
  • 超级表(Super Table)机制:用于表达同一类数据采集点,实现高效的多表聚合查询。
  • 高基数支持:分布式设计元数据存储,支撑数十亿数据点。
  • 内建流式计算:在数据库内完成实时流处理。
  • 内建缓存:为最新/常用数据提供高速访问。
  • 数据订阅:类消息队列能力,支持时序数据的分发订阅。
  • TDgpt 高级分析模块:内置 AI/高级分析能力(异常检测、预测等)。
  • 完整生态连接器:支持 JDBC、C/C++、Python、Go、Rust、C#、Node.js 等,及 Kafka、Grafana、Prometheus、Tableau、Excel 等生态集成。

核心优势

  • 性能领先:在 TSBS 等标准数据集测试中,写入性能约为 InfluxDB 的 1.8~16 倍、TimescaleDB 的数倍至十几倍;磁盘占用最高可省至 InfluxDB 的约 1/25。
  • 极致压缩:高效列式存储与压缩,显著降低存储成本(TCO)。
  • 极简架构:内建缓存/流计算/订阅,减少系统组件、降低研发与运维复杂度。
  • 云原生:分布式设计、分片分区、存算分离、RAFT 协议、K8s 部署、完整可观测性。
  • 100% 核心开源:核心模块含集群功能均开源(AGPL),中小企业核心功能永久免费;全球 100 万+ 部署实例、25K GitHub Stars、2 万+ 社区开发者,社区活跃度在时序数据库品类中居首。

主要短板

  • 生态成熟度相对国外主流(InfluxDB 等)仍有差距:国际化生态、第三方工具链与运维生态不如 InfluxDB 丰富。
  • 国内化运营依赖:大量文档与支持以中文为主,部分能力面向国内合规场景。
  • 版本兼容性:大版本(2.x → 3.x)存在语法与接口变更,升级迁移有一定成本(如 SQL 语法差异、伪列 _ROWTS 等变化)。
  • 免费版与企业版差异:集群高级能力、官方商业支持、License 管理多集中在企业版/云版本(TSDB-EE / TDengine Cloud)。

局限性

  • 定位为时序场景专用库,不适合通用关系型业务、复杂 ACID 事务、高并发随机更新的 OLTP 场景。
  • 生态类库对部分小众语言/框架覆盖不足。
  • 在开源社区治理与全球参与度上仍以中英文社区为主,部分国际经验积累仍需时间。

适用场景

  • 物联网 / 工业互联网(IIoT)设备数据采集与监控
  • 车联网(Connected Cars)
  • 电力 / 新能源监测与预测性维护
  • 金融量化行情、交易流水时序分析
  • IT 运维监控(Metrics、日志时序化)、可观测性
  • 智慧能源、智慧工厂、环保、交通等大数据平台底座

同类竞品

竞品 特点
InfluxDB 国际主流时序数据库,生态成熟,InfluxDB 3.0 转向存储/查询分离与 Parquet
TimescaleDB 基于 PostgreSQL 的时序扩展,兼容 SQL、社区广泛
Apache IoTDB 清华发起、Apache 顶级项目,国产开源,写性能突出、树表双模型
QuestDB 高性能时序/流数据库,主打金融与低延迟
OpenTSDB / KairosDB 基于 NoSQL(HBase/Cassandra)的早期时序方案
DolphinDB 国产高性能分布式时序/分析型数据库,偏量化金融
Prometheus 云原生监控指标库,偏告警与短时存储

发展趋势

  • 开源社区活跃趋势:GitHub Stars 从 2019 年开源后的快速增长,到当前 24K~25K;Forks 约 4.8K;全球部署实例从 56 万(2024 年)增长到 100 万+(2026 年),多次位居 GitHub 全球趋势排行榜首位,社区开发者 2 万+。
  • 产品演进方向:从"高性能时序数据库"升级为"AI 原生工业数据管理平台",形成 TSDB(时序数据库)+ IDMP(工业数据管理平台,含工业本体建模、工业智能体运行时)双产品线。
  • 技术路线:持续强化云原生、存算分离、高基数、可观测性与 AI 分析(TDgpt)。
  • 总结:TDengine 正处于从"时序数据库"向"AI 原生工业数据基础设施"战略升级、社区规模与部署量持续高速增长的发展期。

2 工作原理与架构

概念术语

术语 含义
TSDB Time Series Database,时序数据库
Super Table(超级表) 代表一种特定类型数据采集点的表集合,各子表 schema 一致、带各自静态标签(Tags),支持高效多表聚合
IDMP Industrial Data Management Platform,AI 原生的工业数据管理平台
TDgpt TDengine 内置的高级分析 / AI 分析模块(异常检测、预测等)
mnode / vnode 管理节点 / 虚拟数据节点;3.0 起元数据由各 vnode 分布式存储,而非集中式 mnode
存算分离 计算与存储资源解耦,支持动态扩缩容
RAFT 协议 分布式共识协议,用于副本一致性
高基数(High Cardinality) 大量不同采集点/标签组合的数据规模问题

架构与运行原理

  • 双产品整体架构:TDengine 由 TDengine TSDB(高性能分布式时序数据库,内置数据汇聚、存储、查询计算引擎与 TDgpt)和 TDengine IDMP(AI 原生工业数据管理平台,含工业本体、原子应用、模型训练管理、工业智能体运行时)组成,两者衔接构成 AI 原生工业数据平台。
  • 分布式架构:原生分布式设计,通过数据分片(分片/分区)与数据复制(RAFT)实现扩展与高可用。
  • 元数据分布式化:3.0 起元数据存储在 vnode 中而非集中式 mnode。多表聚合查询时,过滤条件同时下发到各 vnode 并行计算,再由查询节点/驱动汇总合并,从而支撑高基数与高并发聚合。
  • 存算分离:计算与存储资源解耦,可独立弹性伸缩,适配 Kubernetes 容器化部署与公有/私有/混合云。
  • 流计算与订阅:数据库内建流式计算引擎与类消息队列的数据订阅能力,实现边写边算、实时分发。
  • 三层工业 AI 架构(官网 2026 年提出):存储层 → IDMP 语义/上下文层(解决同一数值"220"在不同设备/工况下语义不同导致的 AI 幻觉问题)→ 工业智能体层。

架构示意图(官方图源):TDengine 整体架构(详见官网整体架构图)。

数据模型:普通表(不推荐) vs 超级表+子表(推荐)

  • 以"表 + 超级表"组织时序数据;每条记录带时间戳主键(_ROWTS/_C0 伪列)。
  • 支持 BINARY/VARCHAR、TIMESTAMP 字面量、标签列、状态窗口表达式等 SQL 能力。

TD-Engine 的普通表 与 超级表的本质区别、各自的核心优势/关键短板/适用场景?(必读)

本质区别

维度 普通表 超级表
本质定位 独立的一张数据表,直接对应某个采集点/测点的数据流 一个"【表模板】"(结构定义 + 标签TAGS),本身不存储数据
数据存放 数据直接写入【普通表】自身 数据存放在其下的子表中,【超级表】只是【逻辑容器/逻辑视图】
表结构 每张表独立定义,相互无关联 所有子表共享同一套【schema】,用TAGS区分不同设备/测点
标签机制 无标签概念 【有标签】,用于标识设备属性、并支持【过滤查询】
建表方式 直接 CREATE TABLE,简单直接 先建超级表,再 CREATE TABLE USING … TAGS(…) 批量建子表
表数量 一设备一表,靠人工/脚本各自维护 一个【超级表】下可挂【百万级子表】,统一管理
结构变更 需【逐表修改】 改【超级表一处】,全部子表【自动继承】
查询范围 只针对【单张表】 可【跨全部子表】,按 【TAGS 过滤】、按【设备分组聚合】

优势 / 短板 / 适用场景

类型 核心优势 关键短板 适用场景
普通表 ① 建表与写入最简单,无标签设计成本
② 单表数据独立、管理直观
① 测点一多即表数量爆炸、难以维护
② 无法按设备属性统一检索
③ 难以跨设备做聚合统计
④ 结构变更需逐表处理
单一或少量独立数据流、小规模或测试场景、无需跨设备聚合的分析
超级表 ① 统一 schema 管理海量测点
② 按 TAGS 高效过滤检索
③ 天然支持跨设备/分组聚合
④ 批量建表、结构变更一处生效
① 建表流程更复杂,需先设计 TAGS
② 查询必须善用标签过滤,否则退化为全子表扫描
③ TAGS 数量/设计不当会影响检索效率
④ 子表创建与维护有一定成本
物联网/工业互联网海量设备测点、按设备分组统计、按标签条件检索历史或聚合分析

结论:

  • 数据量小、设备少、无需跨设备分析 → 用普通表;
  • 需要统一管理海量测点、按设备属性过滤和跨设备聚合 → 用超级表。
  • 生产级物联网/时序场景:几乎都该用【超级表 + 子表模型】。

3 使用指南

安装部署(Windows / Linux / Docker)

方式一:Docker(推荐快速体验)

docker run -d \
  -v ~/data/taos/dnode/data:/var/lib/taos \
  -v ~/data/taos/dnode/log:/var/log/taos \
  -p 6030:6030 -p 6041:6041 -p 6043:6043 \
  tdengine/tdengine

(旧版通用命令:docker run -d -p 6030-6049:6030-6049 -p 6030-6049:6030-6049/udp tdengine/tdengine)

方式二:安装包 / 源码

  • 从官网下载对应平台安装包(支持 Linux、Windows、macOS)。
  • Linux 安装后通过 systemctl 启动服务:systemctl start taosd、taosadapter、taoskeeper、taos-explorer,或直接运行 start-all.sh 启动全部服务。

常用端口:6030(taosd 原生协议)、6041(RESTful API)、6043(taoskeeper)。

关键操作(命令行 CLI)

进入 CLI:在 Linux 或 Windows 终端执行 taos(或 Windows 下 C:\TDengine\taos.exe)。

-- 查看数据库
show databases;

-- 创建数据库
CREATE DATABASE test KEEP 365 DURATION 10;

-- 创建超级表
CREATE STABLE test.meters (ts TIMESTAMP, current FLOAT, voltage INT)
  TAGS (location BINARY(64), groupId INT);

-- 创建普通子表并写入
CREATE TABLE test.d1001 USING test.meters TAGS ('Beijing', 1);
INSERT INTO test.d1001 VALUES (now, 10.5, 220);

-- 多表聚合查询
SELECT AVG(current) FROM test.meters WHERE location='Beijing' INTERVAL(1m);

以上为演示性典型用法,具体语法请以官方文档为准:https://docs.taosdata.com


Z FAQ for TDengine

Q: TDengine 与 InfluxDB 如何选择?

  • InfluxDB 国际主流、生态成熟、社区规模大;TDengine 在压缩效率、写入性能、社区支持与国内合规/本地化方面有优势。面向国内 IoT/工业互联网、追求低存储成本与高性能写入、需要本地化支持的企业,TDengine 更合适。

Q: TDengine 的开源许可与收费模式?

  • 核心(含集群功能)采用 AGPL 协议 100% 开源,中小企业核心功能永久免费;企业版(TDengine Enterprise / TSDB-EE)与云版(TDengine Cloud)提供高级能力与商业支持,并提供 License Server 授权管理。

Q: 2.x 升级到 3.x 需要注意什么?

  • 3.x 为云原生重构(存算分离、元数据分布式化),存在 SQL 语法与接口差异(如新增 VARCHAR、TIMESTAMP 字面量、_ROWTS 伪列等)。升级前需评估语法兼容性、连接器版本与迁移成本。

Q: 如何快速上手?

  • 最快路径是使用 Docker 一键启动镜像,进入 taos CLI 执行 show databases,再按官方"立即开始/快速体验"文档创建库表并写入查询。

Q: 是否支持高基数(数十亿采集点)?

  • 支持。3.0 采用分布式元数据设计,多表聚合时并行下发到 vnode 处理,是行业内较早有效解决高基数问题的时序数据库之一。

Q: 有哪些连接器/生态集成?

  • 官方提供 JDBC、C/C++、Python、Go、Rust、C#、Node.js 等连接器,并集成 Kafka、Grafana、Prometheus、Tableau、Excel 等生态。

Q: TD-Engine 是否支持【子表】单独加字段?(必读)

  • 结论:不支持。子表不能单独加字段(列),只能改自己的【标签值】

设计原则: 超级表 / 子表 / 普通表

  • 官方文档明确表述:

"无法针对某个【特定子表】修改表结构。【标签结构】的修改需要对【超级表】下发,TDengine 会【自动作用】于此超级表的【所有子表】。"——修改超级表的结构会对其下的所有子表生效。
"对于不是通过【超级表】创建的表(【普通表】),可以直接修改表结构。"

也就是说:

表类型 能否单独加字段 说明
超级表 ✅ 可以 ALTER STABLE stb ADD COLUMN ...,但会同时作用于所有子表
子表(隶属超级表) ❌ 不能 【列结构】完全由【超级表】统一定义,【子表】无法单独加列;只能修改自己的标签值
普通表(不隶属超级表) ✅ 可以 ALTER TABLE tb ADD COLUMN ... 直接生效

为什么这样设计(设计意图)

  • TDengine 的模型核心就是"一超级表 = 一类对象,结构统一"。如果允许子表各加各的列,超级表就失去了"结构统一、跨子表聚合"的意义——列式存储、跨子表 SQL 聚合、预聚合(SMA)都依赖所有子表结构一致。

所以它把"结构差异"交给 标签(Tags) 承担:标签可以有值差异,甚至可以从超级表层面加标签列(作用于全部子表),但数据列的结构差异不被允许。

对应的变通方案(若业务场景需要"某些对象多一些字段")

  1. 用【标签】表达差异性(推荐,官方机制):把"可能有/可能没有"的属性放进超级表标签列;子表可各自设置标签值,没该属性的子表留 NULL。标签总量上限 128 个,总长 ≤16 KB。
  2. 拆【超级表】:把字段不同的对象拆到不同超级表(如按对象类型/信号组),每张超级表结构自洽——这就是前面设计里"按车型/按域拆分"的思路。
  3. 【宽表】预留 + 稀疏写入:在【超级表】预建较多列,不需要的子表对应列不写入即可(【列式存储】下空列不占空间)。注意单表列+标签总数上限 4096(普通超级表)/虚拟表数据列 32767。
  4. 【Schemaless 无模式写入】:官方 schemaless 机制下,若【数据行】里出现【超级表】没有的列,会在超级表上新增该列(作用于全部子表),仍是"加在【超级表层面】",不是【子表】独立加列。

小结:【子表】的"字段集合"必须与所属【超级表】一致,唯一可差异化的是【标签值】。需要【结构差异】时,应在【超级表/对象类型】层面规划(【拆表】或用【标签】)。


Y 推荐文献


X 参考文献

posted @ 2026-10-12 21:00  千千寰宇  阅读(29)  评论(0)    收藏  举报