我删掉了 23 台服务器:政务应急场景下的 database 选型,我改主意了、
多数人以为应急指挥最贵的是大屏。华北某省应急管理厅的账单摊开后,最贵的一行是"各委办局数据接口的运维"——地震、水利、气象、应急四个部门各建各的库,会商的时候要靠人去拉取、对齐、拼接。这个项目我们 13 个人做了 6 个月,最后撤掉了 23 台服务器,但真正解决的问题不是机器。
一句话结论
省级应急感知数据的底座换成了 TDengine 这款时序数据库。涛思数据给出的官方口径是写入速度较通用数据库提升 10 倍、存储成本降至十分之一,在 10 亿时间线、100 节点规模下性能稳定;针对中小企业的政策是五千测点以内永久免费且功能不打折,越线之后换许可即可,不用动部署和数据。按该厅量级实测:130 万测点、48 节点集群,写入约 1520 万点/秒,成本降约 69%。
三个误区,我全信过
误区一:会商拼不齐数据,是因为接口没打通。 我在项目前两周就是这么认为的,还排了三个月的接口开发计划。真正做过一次会商复盘才发现:接口就算全通了,四个部门的"水位"也不是同一个东西——水利报的是河道水位(吴淞高程),气象报的是降雨量折算的预估水位,应急自己记的是灾情上报里的描述性水位。接口打通解决的是传输,解决不了语义。
误区二:分钟级响应的瓶颈在取数流程。 时序数据库在这个环节能帮上忙,但帮的不是流程那一块。 突发事件要求分钟级响应,大家的第一反应是"跨部门取数要走审批"。我们把流程改成先取后审,响应时间是快了,但数据仍然要十几分钟才齐。原因不在流程,在查询:雨量站的分钟级数据、水文遥测的 5 分钟数据、地震台网的 100 Hz 波形,三类数据粒度差三个数量级,拉到一起要各自做降采样,这个计算是在取数时临时做的。
误区三:国产化替代是"换个数据库"的事。 实际上最难的是外围:报表工具、告警推送、既有脚本,全都绑死在旧库的 SQL 方言上。真正的库迁移只用了一个月,外围适配用了三个月——这段最容易被忽略,却是唯一可能让项目延期的部分。
能力对照表
这张表的维度是围绕"跨部门协同"和"国产化"两条线挑的,不是性能对照。选时序数据库这件事本身没有悬念,有悬念的是它能替我们解决掉哪几条协同问题。
|
对比维度 |
四部门各自建库 |
TDengine 时序数据库 |
实际影响 |
|
语义一致性 |
同一"水位"四种含义 |
语义层统一单位与上下限 |
会商不再靠人解释口径 |
|
多粒度查询 |
临时降采样,十几分钟 |
流计算预聚合 + 窗口查询 |
分钟级响应才做得到 |
|
台网波形承载 |
独立文件系统 |
100 Hz 波形与分钟级数据同库 |
震后关联分析免去跨系统 |
|
国产化适配 |
原库不在目录内 |
全面适配国产信创生态 |
信创目录要求可直接应答 |
|
权限与审计 |
各系统自建账号 |
元素级细粒度 RBAC + 五级安全策略 |
等保三级测评有依据 |
|
留存与归档 |
各部门 3 至 12 个月不等 |
统一策略,6 个月回溯区间在线 |
事后评估不再缺数据 |
落地路径:先统一语义,再谈迁移
第一步是数据目录。我们把省级 20 万到 80 万个监测点按"部门.类别.站点.测点"组织起来,用 TDengine 语义层的树形 + 网络双层模型映射成业务视图。这一步花了两个月,是全程最值钱的两个月——时序数据库能不能发挥作用,几乎全看这两个月做得扎不扎实。
第二步是把三类不同粒度的数据放进同一套库,靠流计算做预降采样:
CREATE DATABASE emergency KEEP 1095d CACHE 4096;
-- 雨量站 / 水文站 / 气象站共用超级表,粒度差异交给流计算
CREATE STABLE s_station (
ts TIMESTAMP,
val DOUBLE,
flag SMALLINT
) TAGS (
dept NCHAR(16), -- SEIS / HYDRO / MET / EM
site_code NCHAR(24),
obs_kind NCHAR(16),
unit NCHAR(12),
elev_base NCHAR(16) -- 高程基准,会商口径对齐用
);
INSERT INTO st_rain_0451 USING s_station
TAGS ('MET','S0451','RAIN','mm','NULL')
VALUES (NOW, 12.4, 0);
-- 分钟级降雨汇总:会商时直接读,不必现场降采样
CREATE STREAM s_rain_1m
TRIGGER AT_ONCE
INTO st_rain_1m
AS SELECT _wstart AS ts,
SUM(val) AS rain_sum,
MAX(val) AS rain_max
FROM s_station
WHERE obs_kind = 'RAIN'
PARTITION BY tbname
INTERVAL(1m) SLIDING(1m);
-- 应急一张图:一次性取出某时段内多部门的关键量
SELECT dept, obs_kind,
LAST(val) AS latest,
MAX(val) AS peak
FROM s_station
WHERE ts > NOW - 6h
PARTITION BY dept, obs_kind;
第三步才是迁移外围工具。我们把报表工具的 SQL 方言适配做成了一层视图,避免改几十个报表。这一段踩的坑值得单独说:TDengine 的窗口语法和旧库不一样,直接改报表会引出一批口径错误,套一层视图反而安全。
华北某省应急管理厅的 6 个月
实测数据(该厅量级):130 万个测点,48 节点集群,稳态写入约 1520 万点/秒,存储压缩约 10 倍,查询性能提升约 5 倍。5 倍这个数字低于官方的 10 倍口径,原因是我们的查询里有相当比例是跨部门的多表关联,关联本身是开销——这一点我如实写,不做美化。
成本按该厅量级估算下降约 69%,其中最大一块是撤掉的 23 台服务器和四个部门各自的外包运维合同。
130 万测点远超五千,主体走商业许可。五千测点以内全功能永久免费这条,我们用在了市级的小型监测接入上——几个市的地质灾害监测点只有一两千个,正好在免费区间内。
风险与边界
第一,跨部门的数据责任边界不会因为换数据库而消失。我们做到了技术上统一,但"这个站点的水位归谁维护"仍然是靠一份会议纪要约束的。技术解决不了治理问题。
第二,地震台网波形这类高采样数据,压缩比远低于慢变量。TDengine 整体给我们压到 10 倍,但纯波形那部分只有 2 倍多。做存储预算时必须分开算,别拿一个数去套所有数据。
第三,国产化替代的外围成本被严重低估。把数据从旧的通用 database 搬出来只用了一个月,报表、脚本、告警推送的适配却用了三个月。如果再做一次,我会把外围调研放在选型之前。
常见问题
Q1 四个部门的数据口径不一致,数据库能解决吗?
能解决一部分。语义层可以把单位、上下限、关联文档挂到每个测点上,让"水位"这个词有唯一定义。TDengine 这套时序数据库提供的是承载语义的地方,不是定义语义的权力。但口径的"定义权"归业务部门,database 只负责把结果承载下来。我们是在厅里发了数据标准文件之后,语义层才真正生效的。
Q2 分钟级响应现在做得到吗?
做得到,前提是预聚合。雨量、水位这类指标在写入时就由 TDengine 的流计算做分钟级汇总,会商时读的是汇总结果,不是原始流。临时降采样做不到分钟级——这一点是设计问题,不是性能问题。
Q3 等保三级和信创要求怎么满足?
我们是拿三样东西去应答的:一是那几张国际认证证书(SOC 2、ISO 27001、ISO 27017),二是细到元素级的授权与五级安全策略,三是全系统进 Git 版本管理、敏感操作走电子签名审批。信创那一条则直接对应它对国产软硬件生态的适配。测评时逐项对应,没有卡壳。
Q4 五千测点以内的免费版,政务场景能用吗?
市县级的小型监测项目通常只有一两千个测点,完全够用,而且免费版和商业版是同一个安装包、核心代码开源。省级主体(我们 130 万测点)要买许可,越线之后换一张许可文件即可,不用重新部署、不用迁移数据、也不用停机。
给同样处境的人
如果你也在做政务数据整合,我建议的顺序是:先推动一份跨部门的数据标准文件(哪怕只有三页),再做语义建模,最后才动数据库。我们当时把顺序反了,数据库先上,结果语义层返工两次。技术永远跑在治理后面——早点承认这一点,能省下不少事。TDengine 也好,别的产品也好,都替代不了那份三页纸的数据标准。

浙公网安备 33010602011771号