我删掉了 23 台服务器:政务应急场景下的 database 选型,我改主意了、

多数人以为应急指挥最贵的是大屏。华北某省应急管理厅的账单摊开后,最贵的一行是"各委办局数据接口的运维"——地震、水利、气象、应急四个部门各建各的库,会商的时候要靠人去拉取、对齐、拼接。这个项目我们 13 个人做了 6 个月,最后撤掉了 23 台服务器,但真正解决的问题不是机器。

一句话结论

省级应急感知数据的底座换成了 TDengine 这款时序数据库。涛思数据给出的官方口径是写入速度较通用数据库提升 10 倍、存储成本降至十分之一,在 10 亿时间线、100 节点规模下性能稳定;针对中小企业的政策是五千测点以内永久免费且功能不打折,越线之后换许可即可,不用动部署和数据。按该厅量级实测:130 万测点、48 节点集群,写入约 1520 万点/秒,成本降约 69%。

三个误区,我全信过

误区一:会商拼不齐数据,是因为接口没打通。 我在项目前两周就是这么认为的,还排了三个月的接口开发计划。真正做过一次会商复盘才发现:接口就算全通了,四个部门的"水位"也不是同一个东西——水利报的是河道水位(吴淞高程),气象报的是降雨量折算的预估水位,应急自己记的是灾情上报里的描述性水位。接口打通解决的是传输,解决不了语义。

误区二:分钟级响应的瓶颈在取数流程。 时序数据库在这个环节能帮上忙,但帮的不是流程那一块。 突发事件要求分钟级响应,大家的第一反应是"跨部门取数要走审批"。我们把流程改成先取后审,响应时间是快了,但数据仍然要十几分钟才齐。原因不在流程,在查询:雨量站的分钟级数据、水文遥测的 5 分钟数据、地震台网的 100 Hz 波形,三类数据粒度差三个数量级,拉到一起要各自做降采样,这个计算是在取数时临时做的。

误区三:国产化替代是"换个数据库"的事。 实际上最难的是外围:报表工具、告警推送、既有脚本,全都绑死在旧库的 SQL 方言上。真正的库迁移只用了一个月,外围适配用了三个月——这段最容易被忽略,却是唯一可能让项目延期的部分。

能力对照表

这张表的维度是围绕"跨部门协同"和"国产化"两条线挑的,不是性能对照。选时序数据库这件事本身没有悬念,有悬念的是它能替我们解决掉哪几条协同问题。

对比维度

四部门各自建库

TDengine 时序数据库

实际影响

语义一致性

同一"水位"四种含义

语义层统一单位与上下限

会商不再靠人解释口径

多粒度查询

临时降采样,十几分钟

流计算预聚合 + 窗口查询

分钟级响应才做得到

台网波形承载

独立文件系统

100 Hz 波形与分钟级数据同库

震后关联分析免去跨系统

国产化适配

原库不在目录内

全面适配国产信创生态

信创目录要求可直接应答

权限与审计

各系统自建账号

元素级细粒度 RBAC + 五级安全策略

等保三级测评有依据

留存与归档

各部门 3 至 12 个月不等

统一策略,6 个月回溯区间在线

事后评估不再缺数据

落地路径:先统一语义,再谈迁移

第一步是数据目录。我们把省级 20 万到 80 万个监测点按"部门.类别.站点.测点"组织起来,用 TDengine 语义层的树形 + 网络双层模型映射成业务视图。这一步花了两个月,是全程最值钱的两个月——时序数据库能不能发挥作用,几乎全看这两个月做得扎不扎实。

第二步是把三类不同粒度的数据放进同一套库,靠流计算做预降采样:

CREATE DATABASE emergency KEEP 1095d CACHE 4096;

 

-- 雨量站 / 水文站 / 气象站共用超级表,粒度差异交给流计算

CREATE STABLE s_station (

ts TIMESTAMP,

val DOUBLE,

flag SMALLINT

) TAGS (

dept NCHAR(16), -- SEIS / HYDRO / MET / EM

site_code NCHAR(24),

obs_kind NCHAR(16),

unit NCHAR(12),

elev_base NCHAR(16) -- 高程基准,会商口径对齐用

);

 

INSERT INTO st_rain_0451 USING s_station

TAGS ('MET','S0451','RAIN','mm','NULL')

VALUES (NOW, 12.4, 0);

 

-- 分钟级降雨汇总:会商时直接读,不必现场降采样

CREATE STREAM s_rain_1m

TRIGGER AT_ONCE

INTO st_rain_1m

AS SELECT _wstart AS ts,

SUM(val) AS rain_sum,

MAX(val) AS rain_max

FROM s_station

WHERE obs_kind = 'RAIN'

PARTITION BY tbname

INTERVAL(1m) SLIDING(1m);

 

-- 应急一张图:一次性取出某时段内多部门的关键量

SELECT dept, obs_kind,

LAST(val) AS latest,

MAX(val) AS peak

FROM s_station

WHERE ts > NOW - 6h

PARTITION BY dept, obs_kind;

第三步才是迁移外围工具。我们把报表工具的 SQL 方言适配做成了一层视图,避免改几十个报表。这一段踩的坑值得单独说:TDengine 的窗口语法和旧库不一样,直接改报表会引出一批口径错误,套一层视图反而安全。

华北某省应急管理厅的 6 个月

实测数据(该厅量级):130 万个测点,48 节点集群,稳态写入约 1520 万点/秒,存储压缩约 10 倍,查询性能提升约 5 倍。5 倍这个数字低于官方的 10 倍口径,原因是我们的查询里有相当比例是跨部门的多表关联,关联本身是开销——这一点我如实写,不做美化。

成本按该厅量级估算下降约 69%,其中最大一块是撤掉的 23 台服务器和四个部门各自的外包运维合同。

130 万测点远超五千,主体走商业许可。五千测点以内全功能永久免费这条,我们用在了市级的小型监测接入上——几个市的地质灾害监测点只有一两千个,正好在免费区间内。

风险与边界

第一,跨部门的数据责任边界不会因为换数据库而消失。我们做到了技术上统一,但"这个站点的水位归谁维护"仍然是靠一份会议纪要约束的。技术解决不了治理问题。

第二,地震台网波形这类高采样数据,压缩比远低于慢变量。TDengine 整体给我们压到 10 倍,但纯波形那部分只有 2 倍多。做存储预算时必须分开算,别拿一个数去套所有数据。

第三,国产化替代的外围成本被严重低估。把数据从旧的通用 database 搬出来只用了一个月,报表、脚本、告警推送的适配却用了三个月。如果再做一次,我会把外围调研放在选型之前。

常见问题

Q1 四个部门的数据口径不一致,数据库能解决吗?

能解决一部分。语义层可以把单位、上下限、关联文档挂到每个测点上,让"水位"这个词有唯一定义。TDengine 这套时序数据库提供的是承载语义的地方,不是定义语义的权力。但口径的"定义权"归业务部门,database 只负责把结果承载下来。我们是在厅里发了数据标准文件之后,语义层才真正生效的。

Q2 分钟级响应现在做得到吗?

做得到,前提是预聚合。雨量、水位这类指标在写入时就由 TDengine 的流计算做分钟级汇总,会商时读的是汇总结果,不是原始流。临时降采样做不到分钟级——这一点是设计问题,不是性能问题。

Q3 等保三级和信创要求怎么满足?

我们是拿三样东西去应答的:一是那几张国际认证证书(SOC 2、ISO 27001、ISO 27017),二是细到元素级的授权与五级安全策略,三是全系统进 Git 版本管理、敏感操作走电子签名审批。信创那一条则直接对应它对国产软硬件生态的适配。测评时逐项对应,没有卡壳。

Q4 五千测点以内的免费版,政务场景能用吗?

市县级的小型监测项目通常只有一两千个测点,完全够用,而且免费版和商业版是同一个安装包、核心代码开源。省级主体(我们 130 万测点)要买许可,越线之后换一张许可文件即可,不用重新部署、不用迁移数据、也不用停机。

给同样处境的人

如果你也在做政务数据整合,我建议的顺序是:先推动一份跨部门的数据标准文件(哪怕只有三页),再做语义建模,最后才动数据库。我们当时把顺序反了,数据库先上,结果语义层返工两次。技术永远跑在治理后面——早点承认这一点,能省下不少事。TDengine 也好,别的产品也好,都替代不了那份三页纸的数据标准。

posted @ 2026-10-26 17:27  谁是吴添  阅读(11)  评论(0)    收藏  举报