[TSDB] kdb+(Kx):金融级内存列存时序数据库,以 q 语言驱动的超高性能 tick 数据平台
1 概述:kdb+(Kx)
产品介绍
-
产品定位:kdb+ 是 KX 公司(原 Kx Systems)推出的面向时序数据的高性能内存列式数据库,内置数组编程语言 q(底层为 K 语言),长期主导全球投行/对冲基金的高频行情(tick)数据存储与实时分析市场【已查证:code.kx.com 官方文档】。
-
诞生背景与原因:1990 年代,Arthur Whitney 在 Morgan Stanley 期间用 APL/A+ 处理金融数据;1993 年他离开该行创立 Kx Systems,将数组编程思想压缩为极简的 K 语言,目标是在单机内存中装下一整天的逐笔行情并以向量计算做极速分析【已查证:handwiki.org、code.kx.com 官方文档】。
-
解决的核心问题:金融 tick 数据量级极大(每秒数万至数十万笔)、要求亚秒级历史回测与实时风控查询;关系型数据库当时无法在单机内存里承载当日全量行情并保持交互级查询速度。
-
URLs:
- 官网/文档:https://code.kx.com/ 【已查证】
- GitHub:无公开源码仓库(闭源商业产品,二进制授权分发)
发展历程
- 1993 年:Arthur Whitney 与 Janet Lustgarten 创立 Kx Systems,并发布 K 语言【已查证:handwiki.org / codearchaeology.dev】。
- 1998 年:推出内存列式数据库 kdb(32 位)【已查证:ODBMS.org Bloor 报告 PDF、timestored 编年】。
- 2001 年:推出 kdb-tick(经典 tick 架构雏形)【已查证:ODBMS.org 报告】。
- 2003 年:发布 64 位 kdb+ 及可读层语言 q(qSQL 兼容 ANSI SQL 子集)【已查证:code.kx.com 官方文档、tutorialspoint】。
- 2009 年 10 月:First Derivatives(FD)将所持 Kx Systems 股份增至 22%【已查证:FD 2011 年报 PDF】。
- 2014 年 10 月:First Derivatives 收购 Kx Systems 控股权【一方称:timestored.com 编年整理】。
- 2018–2019 年:FD 收购剩余少数股权,2019 年完成 100% 控股(对价约 5380 万美元)【一方称:timestored.com 编年;FD Technologies 官网现称 Kx 为其下属事业部】。
- 2024-02-13:kdb+ 4.1 正式生产发布【已查证:code.kx.com/q/releases/ChangesIn4.1/】。
- 2026-01-23:kdb+ 4.1 分支最新二进制版本(4.1 2026.01.23),随 kdb Insights Core 4.1.19(2026-02-25)发布【已查证:code.kx.com/insights/1.18/core/release-notes/latest.html】。
基本信息
| 项 | 值 |
|---|---|
| 开源/闭源 | 闭源商业软件(按进程/核数授权收费)【已查证:code.kx.com/licensing/】 |
| 开发语言 | C(kdb+ 引擎)+ q/K 语言(内置 DSL)【一方称:官方文档】 |
| 当前最新版本(2026-10 口径) | kdb+ 4.1(生产版 2024-02-13;最新二进制 4.1 2026.01.23)【已查证】 |
| License | 商业专有许可(非开源);另有免费 32 位个人/评估版【已查证:code.kx.com/licensing/】 |
| GitHub Star | --(无公开源码仓库;产品不开放源码) |
| 维护组织 | KX(FD Technologies plc 旗下事业部)【已查证:fdtechnologies.com】 |
| 官网 URL | https://code.kx.com/ 【已查证】 |
| GitHub URL | 无公开源码仓库 |
主要功能
- 内存优先的列式存储,磁盘历史库为按日期分区的列存文件(splayed/segmented)。
- 内置 q 语言:向量/数组运算、qSQL 类 SQL 查询、函数式编程,库内直接做因子计算与回测。
- Tick 架构:feedhandler → tickerplant(发布订阅+持久化日志)→ RDB(当日内存实时库)→ HDB(历史库)。
- 流订阅(pub/sub IPC)、实时风控/告警、跨日数据归并(日终 rollup)。
- 配套 KDB-X / kdb Insights 平台:时序 + 向量(KDB.AI)+ 流处理的企业级扩展【已查证:code.kx.com】。
核心优势
- 极致查询性能:当日全量行情驻留内存,列存 + 向量计算使多年历史聚合查询在秒级返回【一方称:厂商/社区普遍口径】。
- 单机可承载当日全量 tick:设计目标即"一台机器装下一天 tick 并跑向量数学"【一方称:questdb.com 对比文转述其设计目标】。
- 写入与分析解耦的成熟 tick 范式:tickerplant 单线程发布订阅,分析负载不冲击实时行情链路【已查证:code.kx.com 官方架构文档】。
- 金融生态事实标准:高盛、摩根大通、摩根士丹利、花旗等头部机构长期使用【一方称:quantt.co.uk 教程文】。
主要短板
- 价格昂贵:商业授权按进程/核数计费,中小团队难以承受【一方称:QuestDB 等竞品对比文普遍指出】。
- 语言门槛高:q/K 语法极简但逆向,人才稀缺、培训成本高【一方称:社区共识】。
- 生态封闭:无开源社区、无标准 SQL 协议之外的通用连接器,绑定 q 生态。
- 横向扩展靠手工架构:本身不提供透明分布式集群,需自行用 tick 架构 + 多节点拼装。
潜在风险与局限性
- 厂商为 FD Technologies 事业部,2024 年 3 月集团公告曾提及"评估 KX 与 First Derivative 的分拆",存在战略变动可能【已查证:FD Technologies 2024-03 公告 PDF】。
- 无公开源码,安全审计与可维护性依赖厂商;技术栈锁定 q 语言。
- 对非金融时序场景(如高基数标签/普罗米修斯式指标)适配性差,非通用时序数据库。
适用场景
- 证券/期货/外汇逐笔行情(tick)存储、实时风控、高频回测、做市/量化因子计算。
- 低延迟实时事件流处理(金融、电信、物联网高频数据)。
- 不适合:中小团队轻量监控指标、需要标准 SQL + 开源生态的通用时序场景。
同类竞品
- 开源/商用替代:DolphinDB(国内券商常作为 kdb+ 国产替代,官方有《从 kdb+ 迁移到 DolphinDB》文档【已查证:docs.dolphindb.com】)、QuestDB、kdb 系如 Q(kdb 开源平替讨论)、以及 InfluxDB/TDengine 等通用时序库。
发展趋势
- 闭源产品无公开 Star/Fork 趋势数据;产品演进方向为 KDB-X 平台化(融合向量库 KDB.AI、流处理、云参考架构 GCP/Azure)【已查证:code.kx.com/kdb-x/】。
- 一句话总结:kdb+ 是金融 tick 时序领域的"老字号事实标准",正从单一数据库向"时序+AI/向量"企业平台演进,但闭源高价与 q 语言门槛决定其难以向通用时序市场扩张。
2 工作原理与核心架构
概念术语
- q/K:数组导向编程语言,表(table)为一等公民,类 SQL 的 qSQL。
- Tick 架构:以逐笔行情为中心的经典数据管线(feedhandler/tickerplant/RDB/HDB 四件套)。
- Tickerplant (TP):单线程发布订阅中枢,接收行情、写日志、向订阅者广播。
- RDB(Real-time Database):驻留内存的当日实时库,订阅 TP 数据。
- HDB(Historical Database):磁盘历史库,按交易日(或其他分区列)分目录的列存文件。
- Feedhandler:对接交易所/行情网关,把外部行情转成 kdb 表推给 TP。
- IPC:kdb+ 进程间二进制通信协议,跨语言客户端(Java/Python/C#)通过它读写。
- Sym file / attribute:列存符号字典与列属性(
g#分组、p#分区),用于加速过滤。
架构与运行原理
- 写入路径:行情网关 → feedhandler →(IPC)tickerplant 写日志并 pub/sub → RDB 内存表即时可查;日终脚本把当日数据归并落盘为 HDB 按日分区目录。
- 存储引擎:RDB 为纯内存列存;HDB 为磁盘列存(splayed 表,每列一个文件,符号列独立字典)。
- 查询路径:查询进程可同时挂接 RDB(当日)与 HDB(历史),q 自动跨分区合并;向量遍历 + 属性索引过滤。
- 集群拓扑:无原生分布式,通过多 TP 镜像、多 HDB 按业务域分片、负载均衡网关手工拼装;官方提供 GCP/Azure 参考架构【已查证:code.kx.com/q/cloud/】。
flowchart LR
FH[Feedhandler<br/>行情网关接入] -->|IPC| TP[Tickerplant<br/>单线程 pub/sub + 日志]
TP --> RDB[RDB 实时库<br/>当日数据 内存列存]
TP --> SUB[实时订阅客户端<br/>风控/告警]
RDB -->|日终归并| HDB[HDB 历史库<br/>按日分区 磁盘列存]
HDB --> Q[查询/回测进程<br/>qSQL 向量计算]
RDB --> Q
写入模式与查询特性
- 写入:以 append-only 为主(tick 数据只追加);批量 IPC 写入;实时数据乱序容忍度低(行情本身按时序到达);落盘靠日终批处理。
- 查询特性:原生按时间窗口聚合(
select by time)、列属性加速、as-of join(aj/wj区间连接,金融对齐利器);无内建 TTL/自动降采样/连续聚合,需用 q 脚本与日终作业自行实现【一方称:基于其架构文档的功能边界】。
写入与查询性能特点
- 官方/厂商口径:当日全量 tick 驻内存、向量运算,聚合查询可达毫秒~秒级;但截至 2026-10 未查到官方公开的可复现基准数字(如每秒写入条数),此处不杜撰【已查证:官方文档未公开统一 benchmark】。
- 第三方对比方(QuestDB)称 kdb+ 设计目标为"单机内存装一天 tick",性能口碑来自金融机构多年生产验证【一方称:questdb.com 对比文】。
- 压缩:磁盘 HDB 列存 + 符号字典去重,金融行情压缩比通常较高,但官方未公布统一压缩比数字,不写。
支持的部署方式
- 单机(Linux 为主,亦提供 Windows/macOS 二进制)【已查证:code.kx.com/q/learn/install/】。
- 自建分布式集群(tick 架构手工拼装)。
- 容器/K8s:KX 官方提供 kdb Insights 的 Helm/K8s 参考部署【已查证:code.kx.com/insights/.../kubernetes/】。
- 云参考架构:GCP、Azure 官方文档【已查证】。
重要依赖
- 运行时:自包含二进制(自带 q 运行时),无外部数据库依赖;操作系统 Linux x86/ARM 为主,新版已支持 macOS ARM64【已查证:kdb Insights Core 4.1.10 起支持】。
- 语言客户端依赖:Java/Python/PyKX 等通过 IPC 套接字对接。
生态与集成
- 客户端:q/C API、Java、Python(PyKX)、C#、WebSocket 网关。
- 可视化:KX 自带 Insights/前端;第三方如 KXI、自有 BI 通过 ODBC/JDBC。
- 大数据生态:可与 Kafka、Spark 对接(feedhandler 模式);KDB.AI 提供向量检索扩展【已查证:code.kx.com/kdbai/】。
3 使用指南(精简)
- 安装(Linux):从 KX 官网下载 tar 包解压,设置
QHOME与许可证后运行q;Windows 解压后运行q.exe(32 位免费版可直接跑)。详见 https://code.kx.com/q/learn/install/ 【已查证】。 - 关键操作示例(建库→写→查):
// 1) 定义行情表并插入数据(内存 RDB 模式)
trade:([]time:09:30:00.000 09:30:00.125;sym:`AAPL`MSFT;price:189.2 428.5;size:100 500);
// 2) 按符号统计每分钟均价(时间窗口聚合)
select avg price, sum size by sym, minute time from trade;
// 3) 日终将当日数据落盘为按日分区 HDB
. Q.d[`:./hdb/2026.10.09;`trade];
Z FAQ for kdb+
Q: kdb+ 为什么在投行圈流行了二十年?
A:核心是"内存列存 + q 向量语言 + tick 架构"三位一体——当日全量行情在内存里用向量遍历做秒级聚合,且实时写入与分析负载解耦,这在 1990s–2000s 没有其他开源方案能达到同等性能【一方称:社区与厂商共识】。
Q: kdb+ 是开源软件吗?个人/学生能用吗?
A:核心是闭源商业授权;KX 提供免费的 32 位个人评估版(内存有上限),可学习 q 与搭 tick 原型【已查证:code.kx.com 下载页说明】。
Q: kdb+ 和 DolphinDB 是什么关系?
A:DolphinDB 官方明确将 kdb+ 作为对标与迁移对象,提供中文《从 kdb+ 迁移到 DolphinDB》文档,主打"国产、开源工具链更开放、中文生态"替代【已查证:docs.dolphindb.com/zh/tutorials/kdb_to_dolphindb.html】。
Y 推荐文献
- Architecture of KDB-X Systems - KX 官方文档
- kdb+ History and Evolution - CosmicLearn
- QuestDB vs kdb+(第三方对比视角)
X 参考文献
- KDB-X 官方架构文档 - code.kx.com
- Tickerplant tick.q 参考 - code.kx.com
- Changes in kdb+ 4.1(生产发布 2024.02.13)- code.kx.com
- kdb Insights Core 4.1.19 Release Notes(kdb+ 4.1 2026.01.23)- code.kx.com
- K (programming language) - HandWiki
- Kdb+ and the Internet of Things/Big Data(Bloor 报告 PDF,含版本编年)- ODBMS.org
- kdb+ Category 编年(FD 收购历程)- TimeStored
- FD Technologies 年报(2009 年持股 22%)PDF
- FD Technologies 结构评估公告(2024-03)PDF
- Installing kdb+ - code.kx.com
本文作者:
千千寰宇
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!

浙公网安备 33010602011771号