[TSDB/物联网/本体/车辆] 基于 Apache IoTDB 的时序方案-行业分析
0 序
1 CASE 智能网联汽车:车企的车联网云平台-车辆信号的时序数据存储与查询
本节仅讨论思路,未项目实测。
需求描述
如果做车企的车联网云平台-车辆信号的时序数据存储与查询,可以如何设计?
1、多品牌-多车系-多车型-多车辆[5-100W级]-多域控制器/零部件-多传感器信号[单车型合计:500-5000个];
即:每个车型有相对固定的数百、数千个传感器信号时序数据。
2、采集频率:每秒采集。
3、数据的消费上,需支持:
1)单车多个信号的时序数据查询
2)单车的降采样的时序数据查询
3)单车的信号聚合分析;
3)单车的多个信号最新值的查询;
此时,如何基于 Apache lotDB 进行表模型的选择、设计?集群与服务器的资源规划?有哪些利弊?
结论核心
- 核心判断:
- 选用 IoTDB 表模型(Table Model),每个车型/车系建一张时序表(而非【树模型】按车辆建路径)。
- 理由:
- 【表模型】元数据规模是 O(车型×信号),而不是【树模型】的 O(车辆×信号),这让 100 万车辆在元数据上可承受;
- 同时它自带【标准 SQL】 与【丰富分析函数】,正好覆盖所需的【降采样】、【聚合】、【最新值】4类查询。
- 长安汽车正是用 IoTDB 把"单车时间范围查询 + 单车全时间序列最新点查询"做到【毫秒级】返回。
如何理解 长安汽车"一套引擎替代两套查询方案"?
长安汽车用的是 IoTDB 【树模型】(Tree Model)的单机版高 IO 引擎;"一套引擎替代两套查询方案"指的是用 IoTDB 一套数据库,同时顶掉原来 HBase(时间范围/实时查询)+ Redis(最新点/最新车况) 两套存储方案。
- 原来2套:HBase 扛"单车时间范围查询"(实时回放),Redis 扛"单车全时间序列最新点查询"(最新车况)。两套系统数据双写、一致性、运维成本高。
- 现在1套:IoTDB 单引擎同时支撑这两类查询,且都达到毫秒级返回 → 架构复杂度明显下降。
长安用的引擎与规模
| 项 | 内容 |
|---|---|
| 数据模型 | 树模型(树状结构),单机版高 IO 引擎机型 |
| 车辆规模 | 接入约 57 万车辆,测点约 8000 万,托管序列约 1.5 亿 |
| 写入 | 约 150 万条/秒(官方称单节点可达 2000 万点/秒) |
| 效果 | 诊断查询从分钟级 → 毫秒级 |
官方原文:"长安汽车采用了 IoTDB 一套单机版、高 IO 的引擎机型,同时实现了单车时间范围的查询和单车全时间序列最新点的查询,目前均达到毫秒级返回";架构从 HBase+Redis 两套收敛为一套。
两点提醒:
① 长安是【单机】树模型,你的 100 万车高并发场景需要分布式 + 表模型,规模与模型都不同,不能直接照搬;
② 这正是"表模型元数据不随车数增长"观点的对照例——树模型单机在 57 万车/1.5 亿序列已是其【内存与性能边界】。
为什么会出现两个答案——场景不同?
| 维度 | 长安(树模型,已验证) | 本问题的需求(推荐表模型) |
|---|---|---|
| 车辆数 | 约 57 万 | 5–100 万 |
| 时间序列量 | 约 1.5 亿条 | 按每车1000信号≈100万车=10亿~50亿条 |
| 每车型信号 | 相对少 | 500–5000 个/车型 |
| 部署 | 单机高 IO | 需要分布式集群 |
| 查询 | 单车时间范围 + 单车全序列最新点 | 时序 + 降采样 + 聚合 + 最新值(分析型) |
- 实践序列量:
- 1.5亿条
天谋 / Timecho 官网原文:"接入车辆设备约 57 万,测点数约 8000 万(单车的信号数量约 150个),托管时间序列约 1.5 亿"。
- 10 亿(100 万 ×1000)~ 50 亿(100 万 ×5000)
单车的信号数量: 1000 ~ 5000
- 核心矛盾: 在元数据量:
官方文档明确,树模型"集群可管理的时间序列总量和总内存相关",即每条序列的 schema 【常驻内存】、随【Series数】线性增长。
长安 1.5 亿条序列已是单机树模型内存的合理上限附近;本问题的场景是 10 亿级序列,用【树模型】会先撞【内存墙】。
Apache loTDB 官方对2种数据模型的定位
- 官方对两种模型的定位也印证了这一点:
- 【树模型】:面向"测点管理/监控场景"、【短查询】更优;
- 【表模型】:面向"设备管理/分析场景"、元数据 O(表×列) 不随设备数增长**。
- 短查询 = 单次请求只取少量序列 + 有限时间范围 + 无复杂计算,即 "点查 / 小范围直查",耗时毫秒级。
- 例(树模型):
select s1 from root.db.d1 where time >= ... and time < ...—— 指定一条路径直接取数,无聚合、无 join。- 反例(长 / 分析查询):跨大量序列的全量扫描、聚合、降采样、窗口函数、多表关联 —— 这是表模型的强项。
-
本问题的四类查询里含降采样、聚合分析,正落在【表模型侧】。
-
要诚实承认的几点(不吹牛)
- 【树模型】更成熟:长安是真实落地、公开验证过的;表模型是 2.x 新增,在 10 亿序列这种规模的工业大集群公开案例远少于树模型,我不能保证它一定最优。
- 【树模型】不是不能缓解:官方提供 Schema Template(模板)让同类型设备共享元数据降内存,若你实际活跃信号远低于假设,树模型+模板+分库也可能是可行方案。
- 所以【表模型】推荐是"逻辑上更优 + 需要 POC 验证",不是"已验证的确定结论"。
- 务实建议(按真实规模分档)
- 序列量 ≤ 数千万条、单机可扛、短查询为主 → 走树模型 + 模板,长安已验证,风险最低。
- 序列量 10 亿级以上、需聚合分析、集群部署 → 表模型是正确方向,但必须先做小规模 POC,压测真实压缩比、吞吐和四类查询 P50/P99。
- 两个模型可在同一集群共存,可按业务逐步迁移,不必一次赌对。
模型选型:表模型 vs 树模型
| 维度 | 表模型(推荐) | 树模型 |
|---|---|---|
| 元数据规模 | O(车型×信号),与车辆数无关 | O(车辆×信号),百万车=数亿Series,元数据爆炸 |
| 建模方式 | 每车型1张表,Field列=该车型信号集 | 每车1条路径 root.vin.signal |
| 查询能力 | 标准 SQL + 窗口函数/ASOF JOIN/行模式识别/HOP | 【短查询】更快,但【分析函数】弱 |
| 动态演进 | 写入【自动建表】、【自动扩列】,【车型演进灵活】 | 需【手动建路径】 |
| 适用 | 【海量设备同构信号】、【分析型】 | 【设备少】、【结构异构】、【极短查询】 |
- 两者在同一集群可共存,【树模型】还可用
CREATE VIEW映射成表视图平滑迁移。
表结构设计
1)列设计(每车型一张表)
CREATE TABLE vehicle_model_A (
time TIMESTAMP, -- 时间列(必须有)
brand TAG, -- 品牌(从大到小)
series TAG, -- 车系
model TAG, -- 车型
vin TAG, -- 车辆VIN(主键核心)
domain TAG, -- 域控/零部件
battery_soc FLOAT, -- FIELD:传感器信号
battery_volt FLOAT,
engine_rpm FLOAT,
...(该车型全部信号,数百~数千列)
)
关键点:
-
TAG 列 = 设备唯一标识(联合主键),按粒度从粗到细排(品牌→车系→车型→VIN→域控)。TAG 列建稀疏索引,按 VIN 过滤最优先。属性列(ATTRIBUTE)用于颜色、固件版本等不参与定位的元信息,不建稀疏索引。
-
FIELD 列数无上限(官方称支持数十万列),与传统关系库 1024 列上限不同,承载 500–5000 信号没问题。
-
筛选效率:TAG(稀疏索引) > ATTRIBUTE > FIELD(仅文件内 block 级索引),所以把"定位设备"的维度都放 TAG,别放 FIELD。这正好支撑"单车查询"优先定位到 VIN。
2)分表策略(权衡稀疏与宽表开销)
-
主方案:每车型一张表。因为"每个车型有固定的数百~数千信号",列就是该车型信号集,不稀疏。
-
可选优化:把高频信号(1Hz)与低频/事件信号拆成两张表(如
model_A_hf/model_A_lf)。因为实际只有少数信号需要秒级,多数(电压、温度、SOC)变化慢。
这是压存储的第一杠杆。
- 车型若几十个,建几十张表即可,元数据完全可控。
3)分区、编码、压缩、TTL
- 时间分区 + 按 TAG 哈希的数据分区,保证单车主键数据落在有限 region,查询不必全集群扫描。
- 编码:浮点信号用 GORILLA,慢变/整形信号用 TS_2DIFF 或 RLE;压缩建议 ZSTD(压缩比优先,降存储)或 LZ4(平衡)。
- TTL 按表/库设置:热库原始数据 7–30 天,冷库降采样数据 1–5 年。
四类查询的适配
表模型已原生覆盖
| 需求 | 实现方式(示意,语法按版本确认) | 机制 |
|---|---|---|
| ① 单车多信号时序查询 | SELECT speed, rpm, soc FROM model_A WHERE vin=? AND time BETWEEN ... |
VIN 稀疏索引 + 列式读取,毫秒级(长安已验证) |
| ② 单车降采样查询 | SELECT time_bucket(10s,time), avg(speed) FROM model_A WHERE vin=? GROUP BY ... |
表模型时序聚合函数 AVG/MIN/MAX/SUM/LAST/COUNT,无需自写 |
| ③ 单车信号聚合分析 | 窗口函数、ASOF JOIN(信号对齐)、行模式识别、HOP 分窗 | 表模型高阶分析函数原生支持 |
| ④ 单车多信号最新值 | SELECT last(speed), last(rpm) ... GROUP BY id(vin) |
IoTDB 最新点查询优化,单车主键内高效定位 |
长安案例正是"单车时间范围查询 + 单车全时间序列最新点查询"双场景毫秒级返回;中车四方管理每日 4140 亿数据点,月数据量压缩减少 95%,说明此路线在车机规模下已验证。
集群与资源规划(估算框架,需 POC 标定、必读)
写入压力由 在线并发车辆 V × 每车活跃 1Hz 信号数 P 决定。以下为估算值(假设:压缩后单点约 5B、ZSTD;单 DataNode 持续写按约 100 万点/s 计),务必用你真实的 V、P、信号频次做压测校准:
| 在线车辆 V | 每车1Hz信号 P | 点位速率 | 日增原始 | 30天热存 | 估算 DataNode |
|---|---|---|---|---|---|
| 5 万 | 500 | 2500万/s | ~10.8 TB | ~324 TB | ~25 |
| 20 万 | 500 | 1亿/s | ~43 TB | ~1.3 PB | ~100 |
| 100 万 | 500 | 5亿/s | ~216 TB | ~6.5 PB | ~500 |
这是上限压力;实际绝大多数信号不该持续 1Hz。强烈建议:
-
信号分频:1Hz 只留给转速/车速等动态量,其余降到 0.1Hz 或【事件型】 → P 可降一个数量级;
-
热冷分层:原始秒级数据短 TTL,靠定时降采样任务写入分钟/小时汇总表做长保留;
-
集群拓扑:
ConfigNode 3 节点做 HA(raft),DataNode 按写入吞吐【横向扩展】,数据多副本跨机架/可用区;
单节点建议 32C / 128–256GB / NVMe SSD;
- 压缩与编码 是降本大头,务必压测真实压缩比后再定节点数。
利弊总结
优点
-
【元数据】不随车辆数爆炸,支撑 100 万车规模;
-
【标准 SQL】 + 【分析函数】,四类查询一站式覆盖,架构复杂度低(长安"一套引擎替代两套查询方案");
-
写入【自动建表/扩列】,车型演进与新增信号成本低;
-
【高压缩】 + 【列式存储】,存储成本可控。
代价与局限
- 【跨车型/全量聚合】需多表 JOIN 或视图,不如树模型单路径直观;
- 【数千列宽表】对单行【写入与压缩效率】有影响,需靠分表/信号分组缓解;
- 【表模型】的【短查询】性能略逊于树模型,若纯秒级点查极多需实测权衡;
- 【大集群】(百节点级)对运维、资源成本要求高,需压测与容量管理。
落地前必做 POC:用你的真实信号数、频次、压缩比压测单节点吞吐与四类查询 P50/P99 延迟,再据此定集群规模——上面的节点数是规划起点,不是结论。
下面用一张图把"业务层级→表列映射、存储分层、查询适配"串起来。

示意:容量/节点数均为规划估算,需按真实信号频次与压缩比 POC 标定。长安汽车:单车时间范围 + 全序列最新点查询毫秒级;中车四方:每日 4140 亿点、压缩减 95%。
2 CASE 本体建模: 图数据库TypeDB(知识图谱) + 时序数据库Apache loTDB 与 本体论时序建模的融合方案
- 假定另有图数据库 TypeDB 存储图谱数据等,Apache loTDB 与 本体建模的融合解决方案,尤其是需要考虑Palantir官网中提及时序建模的2种方式(方法1:加TSP列;方法2:加传感器对象类型+SensorLink外键)。这种情况下,树模型和表模型又如何取舍?
Y 推荐文献
X 参考文献
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!

浙公网安备 33010602011771号