[TSDB] DolphinDB:国产分布式时序 + 流计算 + 库内编程一体化的实时计算平台 (浙江智臾科技)

1 DolphinDB

产品介绍

  • 产品定位:DolphinDB 是浙江智臾科技有限公司自主研发的以高性能时序数据库为核心、集分布式存储、流计算与内置编程语言于一体的实时计算平台,内存与磁盘混合、列式存储,主打金融量化与工业 IoT【已查证:dolphindb.cn 官网/公司简介】。

  • 诞生背景与原因:创始人周小华博士曾在华尔街从事量化交易系统研发;2016 年公司在杭州成立,2018 年初发布 DolphinDB,初衷是解决金融高频行情"存储 + 计算 + 回测"割裂于多套系统(kdb+、Python、数据库)的痛点,做一站式国产替代【已查证:dolphindb.cn/blogs/38 官方自述】。

  • 解决的核心问题:海量时序(尤其金融 tick、电力高频量测)的高吞吐写入、低延迟实时聚合、以及库内直接跑因子计算/回测,避免数据在数据库、消息队列、计算引擎间来回搬运。

  • URLs:

发展历程

  • 2016 年:浙江智臾科技有限公司成立,总部杭州【已查证:dolphindb.cn/about-us/company-profile】。
  • 2018 年初:DolphinDB 首次公开发布(OLAP 纯列存引擎)【已查证:dolphindb.cn/blogs/38】。
  • 2020 年前后:推出分布式集群、流计算引擎、金融插件生态【一方称:官方版本历史页】。
  • 2022 年(V2.00):推出基于 LSM 树自研的 TSDB 存储引擎(行列混存),弥补 OLAP 引擎在高频写入、 updates/deletes、乱序场景的短板【已查证:docs.dolphindb.com TSDB engine 文档】。
  • 2025 年(V3.00.0):3.00 大版本线发布(与 2.00.12 同期)【已查证:dolphindb.cn/news/detail/259】。
  • 2026-03-06(3.00.5):流引擎低延迟模式增强【已查证:docs.dolphindb.com】。
  • 2026-05-28(3.00.3 / 2.00.16):企业级实时智能方向【一方称:dolphindb.com/blogs/19】。
  • 2026-07-09(V3.00.6):最新稳定版;2026-07-13 发布 V3.00.6 & V2.00.19,并推出企业级 Agent 开发治理平台 DolphinX【已查证:dolphindb.com/blogs/48】。
  • 当前最新版本(2026-10 口径):V3.00.6.2(2026-07-09,官方历史版本页标注"最新版",维护到期 2027-07-08)【已查证:dolphindb.cn/history-versions】。

基本信息卡

项 值
开源/闭源 闭源商业软件(社区版可免费用于单机/小规模生产,企业版按节点授权)【已查证:官网下载页】
开发语言 C++(服务端);内置 DolphinScript(类 Python + SQL)【一方称:官方文档】
当前最新版本(2026-10 口径) V3.00.6.2(2026-07-09)【已查证:dolphindb.cn/history-versions】
License 商业专有许可(社区免费版 + 企业授权,非 OSI 开源)【已查证】
GitHub Star --(产品无公开源码仓库);官方 github.com/dolphindb 组织仅含部署工具/插件示例,非产品源码,故 Star 数对本产品不具代表性
维护组织 浙江智臾科技有限公司(杭州)【已查证】
官网 URL https://www.dolphindb.cn 【已查证】
GitHub URL(工具链,非源码) https://github.com/dolphindb 【已查证】

主要功能

  • 双存储引擎:OLAP(纯列存,高压缩、批量分析)与 TSDB(基于 LSM 树的行列混存,支持高频写入、更新删除、乱序、块索引)【已查证:官方文档】。
  • 分布式架构:控制节点管元数据与二阶段提交,数据节点存分区副本,存算分离可扩展【已查证:官方白皮书/文档】。
  • 流计算引擎:低延迟流表、时间窗口聚合、流高可用(HA)、增量计算流式 SQL【已查证:docs.dolphindb.com】。
  • 内置编程语言:DolphinScript(SQL + 向量函数 + 控制流),库内直接做因子计算与回测。
  • 金融生态:内置大量金融函数(复权、因子、K 线、tick 处理)、行情插件、回测框架【一方称:官网金融方案页】。
  • 多资产统一数据模型(V3.00.04 起)、MCP Server(对接 AI Agent)【已查证:dolphindb.cn/news/detail/400】。

核心优势

  • 一站式:时序存储 + 流计算 + 库内编程在同一进程/集群,避免 ETL 搬运【一方称:官方定位】。
  • 高写入吞吐:官方 4 节点集群实测约 1450 万条/秒(1.25 GB/s)(开启 dataSync)【一方称:docs.dolphindb.cn 集群扩展压测】。
  • 金融高频数据压缩:官方称行情数据压缩比可达 10:1 以上,存储成本降约 80%【一方称:dolphindb.cn 金融方案页】。
  • 国产替代:通过国家安全可靠测评,中文文档/社区完善,常被国内头部券商用作 kdb+ 替代【已查证:官方迁移文档】。
  • 流批一体:流引擎与库表共用 SQL 语义,实时结果可直接落盘为历史表。

主要短板

  • 闭源:服务端源码不开放,可审计性与定制深度受限【已查证】。
  • 学习成本:需要掌握 DolphinScript 与集群运维,非标准 ANSI SQL【一方称:社区反馈】。
  • 国际生态弱于 InfluxDB/TimescaleDB:云托管、第三方 BI 连接器、ORM 适配较少【一方称】。
  • 免费版功能边界:集群与高级流/HA 功能多在企业版,需授权【已查证:官方版本说明】。

潜在风险与局限性

  • 商业授权与商务条款驱动,预算敏感场景受限。
  • 双引擎(OLAP/TSDB)选型与调优(分区大小建议 400MB–1GB)需要经验,误用会导致并行度下降或元数据膨胀【已查证:官方 TSDB 文档】。
  • 作为较新国产产品,超长周期(10 年以上)生产验证案例仍在积累。

适用场景

  • 量化金融:tick/L1/L2 行情存储、实时风控、因子计算、回测、投研数据底座。
  • 电力/能源:新型电力系统高频量测(PMU、智能电表)、实时监控。
  • 工业 IoT:设备高频数据接入、边缘到云同步【已查证:官方 IoT 方案】。
  • 不适合:纯开源、零授权成本、强 ANSI SQL/标准 BI 生态的通用监控场景。

同类竞品

  • kdb+(直接对标,官方提供迁移文档)、TimescaleDB、InfluxDB、TDengine(同为国产时序)、Apache IoTDB、ClickHouse(分析向)。

发展趋势

  • 闭源产品无公开 Star 趋势;产品演进方向为流批一体 + AI Agent(MCP Server、DolphinX 企业 Agent 平台)+ 多资产统一数据模型,向"实时智能平台"延伸【已查证:dolphindb.com/blogs/48、news/detail/400】。
  • 总结:DolphinDB 以"时序库 + 流计算 + 库内金融编程"一体化巩固国内金融/电力高频市场,并开始向 AI Agent 实时数据底座扩张。

2 工作原理与核心架构

概念术语

  • OLAP 引擎:纯列存,每分区每列一个文件,批量分析压缩比高。
  • TSDB 引擎:基于 LSM 树的行列混存,分区内按排序列建块索引,支持高频写入与更新删除【已查证】。
  • 控制节点(Controller):管理分区元数据、版本链、副本、二阶段提交。
  • 数据节点(Data Node):实际存储分区副本、执行查询与写入。
  • 分区(chunk):分布式存储最小单位,建议压缩前 400MB–1GB【已查证】。
  • 流引擎(Stream Engine):订阅式实时计算,支持窗口聚合与高可用。
  • DolphinScript:内置 SQL + 向量过程式语言。
  • 存算分离:计算节点与存储节点可独立水平扩展【一方称:白皮书】。

架构与运行原理

  • 写入路径:客户端(C++/Java/Python/WebSocket)→ 任一数据节点 → 控制节点分配分区 → 多副本写入(OLAP 列文件 或 TSDB LSM level file)→ 同步刷盘可选 dataSync。
  • 存储引擎:OLAP 纯列存;TSDB 为 LSM 行列混存 + 块索引;数据同时可驻内存(内存表)。
  • 查询路径:任意数据节点接收 SQL → 控制节点定位分区 → 并行扫描各节点对应分区 → 结果合并(MPP)。
  • 集群拓扑:对等分布式(无固定主查询节点),控制节点 + 多数据节点,多副本容灾。
flowchart TD CL[客户端 API<br/>C++/Java/Python/WebSocket] --> DN1[数据节点 1] CL --> DN2[数据节点 2] CN[控制节点 Controller<br/>分区元数据/二阶段提交] --- DN1 CN --- DN2 DN1 --> OLAP[OLAP 引擎<br/>纯列存文件] DN1 --> TSDB[TSDB 引擎<br/>LSM 行列混存] DN2 --> OLAP DN2 --> TSDB ST[流计算引擎<br/>窗口聚合/HA] --> DN1 ST --> DN2 DN1 --> MEM[内存表<br/>实时查询]

写入模式与查询特性

  • 写入:批量 append 为主(OLAP 高吞吐);TSDB 引擎支持高频小批量、更新删除、乱序写入(LSM 合并);原生 TCP/WebSocket 二进制协议。
  • 查询特性:时间窗口聚合 ✓(window/moving)、连续/增量聚合(流引擎物化)✓、降采样 ✓、TTL(dropPartition)✓、插值对齐(官方有 aj/区间函数,对标 kdb+ as-of join)— 内建支持【已查证:官方文档】。

写入与查询性能特点

  • 写入吞吐:官方文档实测——4 节点集群开启 dataSync 约 1450 万条/秒、1.25 GB/s,关闭 dataSync 随节点近线性扩展【一方称:docs.dolphindb.cn 集群水平扩展压测页】。
  • 第三方对比(厂商自测):1000 万设备规模 IoT 场景,DolphinDB sustained 409,000 行/秒,对比 InfluxDB 24,000、TimescaleDB 192,000【一方称:dolphindb.com/blogs/54,厂商自测,未经第三方复核】。
  • 压缩比:官方称金融行情 ≥10:1(存储成本降约 80%)【一方称:dolphindb.cn 金融方案页】。
  • 查询:官方示例称读性能较 pickle 文件高 10 倍以上【一方称:docs.dolphindb.cn pickle 对比教程】。
  • 所有性能数字均为官方/厂商自测口径,截至 2026-10 未查到独立第三方基准,引用时须标注。

支持的部署方式

  • 单机(Linux 服务器版;社区免费)【已查证:官网下载】。
  • 分布式集群(多节点,企业授权)。
  • Docker(官方镜像 dolphindb/dolphindb)【已查证】。
  • Docker Compose(多容器高可用集群示例)【已查证】。
  • Kubernetes:官方 dolphindb/dolphindb-k8s Helm/编排示例【已查证】。
  • Windows:主要作为客户端/开发端,服务端官方推荐 Linux【一方称】。

重要依赖

  • 运行时:自包含 C++ 二进制,无外部数据库依赖;服务端官方支持 Linux(x86/ARM)【已查证】。
  • 客户端:Java/Python/C++/C#/JavaScript(WebSocket) API。

生态与集成

  • 客户端驱动:C++、Java、Python、C#、JavaScript、R【已查证:官方 API 文档】。
  • 消息生态:MQTT 插件、Kafka 插件、WebSocket 流式推送【已查证:官方插件文档】。
  • 大数据:可对接 HDFS、S3 兼容对象存储、边缘-云同步【一方称:官方 edge_to_cloud 文档】。
  • AI:内置 MCP Server(V3.00.04 起),可被 AI Agent 直接调用【已查证】。
  • 可视化:官方 Web 控制台;第三方通过 JDBC/REST 接入 BI。

3 使用指南(精简)

  • 安装(Linux):官网下载 Linux 压缩包,解压后运行 dolphindb(单机模式读取 dolphindb.cfg);详见 https://docs.dolphindb.com/ 【已查证】。
  • Windows:可下载 Windows 版客户端/单机开发包体验,生产集群推荐 Linux【一方称】。
  • 关键操作示例:
// 1) 建库(按日期分区的 TSDB 库)
db = database("dfs://tickDB", RANGE, [date(2026.01.01)..date(2026.12.31)])
schema = table(1000:0, `ts`sym`price`vol, [TIMESTAMP,SYMBOL,DOUBLE,INT])
t = db.createPartitionedTable(schema, "trade", `ts)

// 2) 写入
t.append!(table(now() 2026.10.09T09:30:00.000 09:30:00.125 as ts,
               `AAPL`MSFT as sym, 189.2 428.5 as price, 100 500 as vol))

// 3) 按分钟窗口聚合 + as-of 对齐
select avg(price), sum(vol) from t group by sym, minute(ts)
aj(exec sym, lastPrice from snapshot, t, `sym`ts)

Z FAQ for DolphinDB

Q: DolphinDB 和 kdb+ 是什么关系?

A:直接对标与国产替代。官方维护《从 kdb+ 迁移到 DolphinDB》中文文档,语法与架构(流表、内存库、as-of join)刻意对齐,国内多家券商已用其替换 kdb+【已查证:docs.dolphindb.com/zh/tutorials/kdb_to_dolphindb.html】。

Q: DolphinDB 是开源软件吗?GitHub 上的项目是源码吗?

A:服务端闭源。GitHub 上的 dolphindb 组织只放 K8s 部署、插件、示例等工具链,产品核心源码不公开;社区版可免费用于生产但功能/集群规模受限【已查证】。

Q: OLAP 引擎和 TSDB 引擎怎么选?

A:纯批量分析、写入后很少修改选 OLAP(压缩比最高);高频小批量写入、需要更新删除、乱序到达、高并发实时写入选 TSDB(LSM 行列混存)【已查证:官方 TSDB 引擎文档】。

Q: 它真能替代专门的流计算框架(Flink)吗?

A:在金融/IoT 实时窗口聚合、风控、因子计算这类场景,其内置流引擎与库表共用 SQL 语义,可省去 Kafka+Flink+库的拼接;但复杂 CEP、超大状态后端等通用流计算场景,生态成熟度仍不及 Flink【一方称:基于其功能边界判断】。

Y 推荐文献

  • DolphinDB

X 参考文献

posted @ 2026-10-12 23:19  千千寰宇  阅读(36)  评论(0)    收藏  举报