[TSDB/物联网/本体/车辆] 基于 Apache IoTDB 的时序方案-行业分析

0 序

1 CASE 智能网联汽车:车企的车联网云平台-车辆信号的时序数据存储与查询

本节仅讨论思路,未项目实测。

需求描述

如果做车企的车联网云平台-车辆信号的时序数据存储与查询,可以如何设计?
1、多品牌-多车系-多车型-多车辆[5-100W级]-多域控制器/零部件-多传感器信号[单车型合计:500-5000个];
即:每个车型有相对固定的数百、数千个传感器信号时序数据。
2、采集频率:每秒采集。
3、数据的消费上,需支持:
1)单车多个信号的时序数据查询
2)单车的降采样的时序数据查询
3)单车的信号聚合分析;
3)单车的多个信号最新值的查询;
 
此时,如何基于 Apache lotDB 进行表模型的选择、设计?集群与服务器的资源规划?有哪些利弊?

结论核心

  • 核心判断:
  • 选用 IoTDB 表模型(Table Model),每个车型/车系建一张时序表(而非【树模型】按车辆建路径)。
  • 理由:
  1. 【表模型】元数据规模是 O(车型×信号),而不是【树模型】的 O(车辆×信号),这让 100 万车辆在元数据上可承受;
  2. 同时它自带【标准 SQL】 与【丰富分析函数】,正好覆盖所需的【降采样】、【聚合】、【最新值】4类查询。
  3. 长安汽车正是用 IoTDB 把"单车时间范围查询 + 单车全时间序列最新点查询"做到【毫秒级】返回。

如何理解 长安汽车"一套引擎替代两套查询方案"?

长安汽车用的是 IoTDB 【树模型】(Tree Model)的单机版高 IO 引擎;"一套引擎替代两套查询方案"指的是用 IoTDB 一套数据库,同时顶掉原来 HBase(时间范围/实时查询)+ Redis(最新点/最新车况) 两套存储方案。

  • 原来2套:HBase 扛"单车时间范围查询"(实时回放),Redis 扛"单车全时间序列最新点查询"(最新车况)。两套系统数据双写、一致性、运维成本高。
  • 现在1套:IoTDB 单引擎同时支撑这两类查询,且都达到毫秒级返回 → 架构复杂度明显下降。

长安用的引擎与规模

项 内容
数据模型 树模型(树状结构),单机版高 IO 引擎机型
车辆规模 接入约 57 万车辆,测点约 8000 万,托管序列约 1.5 亿
写入 约 150 万条/秒(官方称单节点可达 2000 万点/秒)
效果 诊断查询从分钟级 → 毫秒级

官方原文:"长安汽车采用了 IoTDB 一套单机版、高 IO 的引擎机型,同时实现了单车时间范围的查询和单车全时间序列最新点的查询,目前均达到毫秒级返回";架构从 HBase+Redis 两套收敛为一套。

两点提醒:

① 长安是【单机】树模型,你的 100 万车高并发场景需要分布式 + 表模型,规模与模型都不同,不能直接照搬;
② 这正是"表模型元数据不随车数增长"观点的对照例——树模型单机在 57 万车/1.5 亿序列已是其【内存与性能边界】。

为什么会出现两个答案——场景不同?

维度 长安(树模型,已验证) 本问题的需求(推荐表模型)
车辆数 约 57 万 5–100 万
时间序列量 约 1.5 亿条 按每车1000信号≈100万车=10亿~50亿条
每车型信号 相对少 500–5000 个/车型
部署 单机高 IO 需要分布式集群
查询 单车时间范围 + 单车全序列最新点 时序 + 降采样 + 聚合 + 最新值(分析型)
  • 实践序列量:
  • 1.5亿条

天谋 / Timecho 官网原文:"接入车辆设备约 57 万,测点数约 8000 万(单车的信号数量约 150个),托管时间序列约 1.5 亿"。

  • 10 亿(100 万 ×1000)~ 50 亿(100 万 ×5000)

单车的信号数量: 1000 ~ 5000

  • 核心矛盾: 在元数据量:

官方文档明确,树模型"集群可管理的时间序列总量和总内存相关",即每条序列的 schema 【常驻内存】、随【Series数】线性增长。
长安 1.5 亿条序列已是单机树模型内存的合理上限附近;本问题的场景是 10 亿级序列,用【树模型】会先撞【内存墙】。

Apache loTDB 官方对2种数据模型的定位

  • 官方对两种模型的定位也印证了这一点:
  • 【树模型】:面向"测点管理/监控场景"、【短查询】更优;
  • 【表模型】:面向"设备管理/分析场景"、元数据 O(表×列) 不随设备数增长**。
  • 短查询 = 单次请求只取少量序列 + 有限时间范围 + 无复杂计算,即 "点查 / 小范围直查",耗时毫秒级。
  • 例(树模型):select s1 from root.db.d1 where time >= ... and time < ... —— 指定一条路径直接取数,无聚合、无 join。
  • 反例(长 / 分析查询):跨大量序列的全量扫描、聚合、降采样、窗口函数、多表关联 —— 这是表模型的强项。
  • 本问题的四类查询里含降采样、聚合分析,正落在【表模型侧】。

  • 要诚实承认的几点(不吹牛)

  1. 【树模型】更成熟:长安是真实落地、公开验证过的;表模型是 2.x 新增,在 10 亿序列这种规模的工业大集群公开案例远少于树模型,我不能保证它一定最优。
  2. 【树模型】不是不能缓解:官方提供 Schema Template(模板)让同类型设备共享元数据降内存,若你实际活跃信号远低于假设,树模型+模板+分库也可能是可行方案。
  3. 所以【表模型】推荐是"逻辑上更优 + 需要 POC 验证",不是"已验证的确定结论"。
  • 务实建议(按真实规模分档)
  • 序列量 ≤ 数千万条、单机可扛、短查询为主 → 走树模型 + 模板,长安已验证,风险最低。
  • 序列量 10 亿级以上、需聚合分析、集群部署 → 表模型是正确方向,但必须先做小规模 POC,压测真实压缩比、吞吐和四类查询 P50/P99。
  • 两个模型可在同一集群共存,可按业务逐步迁移,不必一次赌对。

模型选型:表模型 vs 树模型

维度 表模型(推荐) 树模型
元数据规模 O(车型×信号),与车辆数无关 O(车辆×信号),百万车=数亿Series,元数据爆炸
建模方式 每车型1张表,Field列=该车型信号集 每车1条路径 root.vin.signal
查询能力 标准 SQL + 窗口函数/ASOF JOIN/行模式识别/HOP 【短查询】更快,但【分析函数】弱
动态演进 写入【自动建表】、【自动扩列】,【车型演进灵活】 需【手动建路径】
适用 【海量设备同构信号】、【分析型】 【设备少】、【结构异构】、【极短查询】
  • 两者在同一集群可共存,【树模型】还可用 CREATE VIEW 映射成表视图平滑迁移。

表结构设计

1)列设计(每车型一张表)

CREATE TABLE vehicle_model_A (
  time       TIMESTAMP,          -- 时间列(必须有)
  brand      TAG,                -- 品牌(从大到小)
  series     TAG,                -- 车系
  model      TAG,                -- 车型
  vin        TAG,                -- 车辆VIN(主键核心)
  domain     TAG,                -- 域控/零部件
  battery_soc   FLOAT,           -- FIELD:传感器信号
  battery_volt  FLOAT,
  engine_rpm    FLOAT,
  ...(该车型全部信号,数百~数千列)
)

关键点:

  • TAG 列 = 设备唯一标识(联合主键),按粒度从粗到细排(品牌→车系→车型→VIN→域控)。TAG 列建稀疏索引,按 VIN 过滤最优先。属性列(ATTRIBUTE)用于颜色、固件版本等不参与定位的元信息,不建稀疏索引。

  • FIELD 列数无上限(官方称支持数十万列),与传统关系库 1024 列上限不同,承载 500–5000 信号没问题。

  • 筛选效率:TAG(稀疏索引) > ATTRIBUTE > FIELD(仅文件内 block 级索引),所以把"定位设备"的维度都放 TAG,别放 FIELD。这正好支撑"单车查询"优先定位到 VIN。

2)分表策略(权衡稀疏与宽表开销)

  • 主方案:每车型一张表。因为"每个车型有固定的数百~数千信号",列就是该车型信号集,不稀疏。

  • 可选优化:把高频信号(1Hz)与低频/事件信号拆成两张表(如 model_A_hf / model_A_lf)。因为实际只有少数信号需要秒级,多数(电压、温度、SOC)变化慢。

这是压存储的第一杠杆。

  • 车型若几十个,建几十张表即可,元数据完全可控。

3)分区、编码、压缩、TTL

  • 时间分区 + 按 TAG 哈希的数据分区,保证单车主键数据落在有限 region,查询不必全集群扫描。
  • 编码:浮点信号用 GORILLA,慢变/整形信号用 TS_2DIFF 或 RLE;压缩建议 ZSTD(压缩比优先,降存储)或 LZ4(平衡)。
  • TTL 按表/库设置:热库原始数据 7–30 天,冷库降采样数据 1–5 年。

四类查询的适配

表模型已原生覆盖

需求 实现方式(示意,语法按版本确认) 机制
① 单车多信号时序查询 SELECT speed, rpm, soc FROM model_A WHERE vin=? AND time BETWEEN ... VIN 稀疏索引 + 列式读取,毫秒级(长安已验证)
② 单车降采样查询 SELECT time_bucket(10s,time), avg(speed) FROM model_A WHERE vin=? GROUP BY ... 表模型时序聚合函数 AVG/MIN/MAX/SUM/LAST/COUNT,无需自写
③ 单车信号聚合分析 窗口函数、ASOF JOIN(信号对齐)、行模式识别、HOP 分窗 表模型高阶分析函数原生支持
④ 单车多信号最新值 SELECT last(speed), last(rpm) ... GROUP BY id(vin) IoTDB 最新点查询优化,单车主键内高效定位

长安案例正是"单车时间范围查询 + 单车全时间序列最新点查询"双场景毫秒级返回;中车四方管理每日 4140 亿数据点,月数据量压缩减少 95%,说明此路线在车机规模下已验证。

集群与资源规划(估算框架,需 POC 标定、必读)

写入压力由 在线并发车辆 V × 每车活跃 1Hz 信号数 P 决定。以下为估算值(假设:压缩后单点约 5B、ZSTD;单 DataNode 持续写按约 100 万点/s 计),务必用你真实的 V、P、信号频次做压测校准:

在线车辆 V 每车1Hz信号 P 点位速率 日增原始 30天热存 估算 DataNode
5 万 500 2500万/s ~10.8 TB ~324 TB ~25
20 万 500 1亿/s ~43 TB ~1.3 PB ~100
100 万 500 5亿/s ~216 TB ~6.5 PB ~500

这是上限压力;实际绝大多数信号不该持续 1Hz。强烈建议:

  1. 信号分频:1Hz 只留给转速/车速等动态量,其余降到 0.1Hz 或【事件型】 → P 可降一个数量级;

  2. 热冷分层:原始秒级数据短 TTL,靠定时降采样任务写入分钟/小时汇总表做长保留;

  3. 集群拓扑:

ConfigNode 3 节点做 HA(raft),DataNode 按写入吞吐【横向扩展】,数据多副本跨机架/可用区;
单节点建议 32C / 128–256GB / NVMe SSD;

  1. 压缩与编码 是降本大头,务必压测真实压缩比后再定节点数。

利弊总结

优点

  • 【元数据】不随车辆数爆炸,支撑 100 万车规模;

  • 【标准 SQL】 + 【分析函数】,四类查询一站式覆盖,架构复杂度低(长安"一套引擎替代两套查询方案");

  • 写入【自动建表/扩列】,车型演进与新增信号成本低;

  • 【高压缩】 + 【列式存储】,存储成本可控。

代价与局限

  • 【跨车型/全量聚合】需多表 JOIN 或视图,不如树模型单路径直观;
  • 【数千列宽表】对单行【写入与压缩效率】有影响,需靠分表/信号分组缓解;
  • 【表模型】的【短查询】性能略逊于树模型,若纯秒级点查极多需实测权衡;
  • 【大集群】(百节点级)对运维、资源成本要求高,需压测与容量管理。

落地前必做 POC:用你的真实信号数、频次、压缩比压测单节点吞吐与四类查询 P50/P99 延迟,再据此定集群规模——上面的节点数是规划起点,不是结论。

下面用一张图把"业务层级→表列映射、存储分层、查询适配"串起来。

image

示意:容量/节点数均为规划估算,需按真实信号频次与压缩比 POC 标定。长安汽车:单车时间范围 + 全序列最新点查询毫秒级;中车四方:每日 4140 亿点、压缩减 95%。

2 CASE 本体建模: 图数据库TypeDB(知识图谱) + 时序数据库Apache loTDB 与 本体论时序建模的融合方案

  • 假定另有图数据库 TypeDB 存储图谱数据等,Apache loTDB 与 本体建模的融合解决方案,尤其是需要考虑Palantir官网中提及时序建模的2种方式(方法1:加TSP列;方法2:加传感器对象类型+SensorLink外键)。这种情况下,树模型和表模型又如何取舍?

Y 推荐文献

X 参考文献

posted @ 2026-10-15 01:35  千千寰宇  阅读(23)  评论(0)    收藏  举报