TDengine TSDB 3.3.8.0 上线:SMA、TLS、TDgpt、taosX、taosgen 一次全进化 - 详解
在高并发、长周期的时序数据场景中,查询性能、安全性与生态兼容性,始终是平台演进的关键。
近日,TDengine TSDB(时序数据库)3.3.8.0 版本正式上线,本次更新带来了 Rollup SMA 多层级预计算、TimeRange-Wise SMA 时间范围预计算、TLS 加密传输、TDgpt 数据补全、MySQL 函数增强、taosX 逻辑备份与 ORC 数据源接入等多项功能升级,全面提升系统的性能、可扩展性与数据安全。
本文为你整理了该版本九大核心更新亮点,来看看哪些能力能帮你把系统跑得更快、用得更稳、管得更省心。
重要更新亮点
一、Rollup SMA 与 TimeRange-Wise SMA:多层级自动降采样与时间范围预计算
SMA(预计算)机制是TDengineTSDB 提升查询性能的核心技术,其核心思想是“空间换时间”。凭借预先计算并存储聚合结果,在查询时直接使用这些结果,避免全量扫描原始数据,从而大幅降低 I/O 开销和计算延迟,尤其适用于海量时序数据的聚合分析场景。
在 3.3.8.0 中,TDengineTSDB 增强了 SMA 机制,带来以下两项重要更新:
Rollup SMA(多层级滚动预计算)(企业版)
承受最多三级存储层级(Level 1–3),原始数据与聚合数据分层存储,并为每层指定聚合周期和保存时长;
可自动触发降采样计算并删除原材料,搭建数据生命周期管理,平衡查询性能与存储成本;
拥护 AVG、SUM、MIN、MAX、FIRST、LAST 等聚合函数;
常适用于 DevOps、监控看板等关注长期数据趋势而非单一精确点的场景。
TimeRange-Wise SMA(时间范围预计算)
专为高频使用 INTERVAL 的查询优化;
采用流式计算逻辑,提升高频时间窗聚合的响应速度;
适用于对特定列频繁聚合、分组统计及时间范围查询的场景。
除此之外,TDengineTSDB 还支持 Block-Wise SMA (素材块预计算),该机制在数据落盘时自动完成聚合计算,并在查询阶段智能使用预计算结果,无需额外安装即可加速常见聚合查询,是 SMA 家族的重点组成部分。
本次 SMA 机制的增强,使用户能够建立自动降采样与多层级数据管理,在兼顾性能与成本的同时,进一步强化TDengineTSDB 在大规模历史数据查询中的优势。
二、MySQL 聚合与条件函数支持
为增强 SQL 兼容性,3.3.8.0 新增对部分 MySQL 聚合与条件函数的支撑,包括:
聚合函数:
std,variance,stddev_samp,var_samp,group_concat条件函数:
if,ifnull,nvl,nullif,nvl2比较运算符:
isnull,isnotnull,coalesce
这一增强显著提升了 SQL 迁移与跨平台开发的便利性,用户可更轻松地在TDengineTSDB 中运行 MySQL 语法查询。
三、TLS 证书加密传输:通信更安全(企业版)
TLS 是一种用于保障网络通信安全及数据完整性的加密协议,通过在传输层对网络连接进行加密,为通信应用程序之间提供保密性和数据完整性。为进一步保障数据传输安全,3.3.8.0 在原生接口层面全面支持 TLS 加密:
对传输层通信进行加密,防止窃听与截取;
帮助身份认证与数据完整性校验;
各原生连接接口现已支持 SSL 加密(WebSocket 早已拥护)。
这项更新大幅提升了TDengineTSDB 在关键行业与跨网络部署中的安全合规能力。
四、TDgpt 数据补全:时序智能增强
TDgpt 新增缺失材料补齐功能,基于 moment 时序模型自动检测并补全时间序列中的缺失点:
要求输入数据的时间戳严格等间隔;
对于时间间隔不均的序列,建议先进行窗口聚合后再补齐缺失区间;
示例:
SELECT imputation(i01, 'algo=moment,freq=s') FROM foo;
该能力协助用户在分析和建模前快速修复时序数据,提高预测与分析结果的准确性。
五、taosX:支持逻辑备份/恢复与 ORC 数据源(企业版)
TDengineTSDB 企业版核心组件 taosX 本次迎来两项关键增强:
逻辑备份与恢复
支持数据库、超级表、查询结果及元数据备份;
可用于数据迁移、审计、分享与修复;
命令行使用示例:
taosx run --from "taos://IP:PORT/db_name" --to "local:/path/to/backup"
ORC 文件数据源
支持读取 ORC 文件材料并导入 TDengine TSDB;
兼容 Hadoop/Hive 等生态,协助列投影、批量读取及映射配置。
这使 TDengineTSDB 能更高效地与大内容生态协同,搭建从数据采集到分析的全链路贯通。
六、taosgen:新增特性与性能优化
taosgen 是时序材料领域产品的性能基准测试工具,承受数据生成、写入性能测试等能力。本次也带来多项功能增强与性能改进:
支持应用函数表达式生成数据,可灵活构造周期性或随机特征值;
支持将生成数据输出至 MQTT Broker,
topic支持使用{table}占位符动态指定主题;新增数据缓存生成机制并默认启用,较即时生成模式写入性能提升约 10%;
优化写入引擎,整体写入TDengineTSDB 的速度较 taosBenchmark 提升约 10%。
本次升级让 taosgen 在数据仿真、性能测试及多源验证等场景下更高效、更灵活。
七、taosAdapter:拥护记录 SQL 到 CSV 文件
TDengineTSDB 适配组件 taosAdapter 本次新增 SQL 记录功能,可自动捕获并导出查询请求:
支持自动启停与定时抓取指定时间段内的 SQL 请求;
将抓取结果结构化存储为 CSV 资料,包含时间、QID、用户、IP、接收时间、返回时间、执行时长及 SQL 语句等字段;
文件支持按大小与时间切割、保留数量限制、压缩存储及磁盘空间保留策略;
提供 HTTP 接口,协助动态开启、关闭抓取功能及查询运行状态。
该功能辅助用户轻松搭建 SQL 审计、性能分析与问题追踪,为系统运维与优化供应更丰富的数据依据。
八、生态与连接器能力增强
JDBC WebSocket:支持多端点负载均衡与 failover,提升可用性与容灾能力;
C WebSocket Connector:自动重连与任务续传,性能提升约 15%;
ODBC Connector:拥护微软 ADO 接口,可用 VB、C#、Python 等语言访问 TDengine TSDB;
新版连接器持续完善构建体验与生态兼容,为企业部署提供更高效率与可靠性。
九、引擎层优化与增强
流计算性能优化与资源效率提升
高并发场景下 Last 查询的优化与加速
分离信息查询和元数据查询处理线程
拥护依据 scan 命令扫描时序数据文件的完整性
调整 Balance Vgroup Leader 命令的执行逻辑,使 VGroup 的 Leader 分布更加均匀
支持对双副本数据库使用 REDISTRIBUTE命令
改造 S3 素材迁移的状态控制机制,提升精确性与效率
增加 show ssmigrate 命令用于查看共享存储迁移进度
STMT2 支持 Blob 和 Decimal
协助凭借函数 find_in_set、like_in_set、regexp_in_set 实现多值标签
支撑 date 函数
partition by tag 支撑字符串运算
TDgpt 支持 PROPHET 算法
协助状态窗口起止点配置
浮点数承受 BSS(Byte-Stream-Split)字节流分割编码
除此之外,每个版本都会做很多其他的工作,比如 bug 修复、能力优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/TDengine/releases/tag/ver-3.3.8.1 查看发布说明。
欢迎大家下载使用,也欢迎在评论区提出建议和意见,如有任何问题请及时联系我们获得支持。
浙公网安备 33010602011771号