小得盈满

摘要： 由于项目中选型 OLAP 数据仓库，并且涉及到比较大量的数据更新，经过筛选后比较适合的两款选型是 Doris 和 StarRocks。所以考虑对这两款数仓进行性能测试，从其中选择一款比较适合的来使用。 选型测试的时间为 2025 年 7 月份，比当前发布文章的时间要早将近半年，所以版本是依据当时的稳 阅读全文

摘要： 我们可能经常会遇到 ClickHouse 磁盘写满的情况，这个时候除了删数据之外还可以考虑添加一块新的磁盘，让 ClickHouse 可以往新的磁盘那写入数据。ClickHouse 本身就支持配置各类存储策略，可以实现条带化、冷热分离、多存储卷顺序写入等不同的存储策略。 当前我们只针对于多个对等磁盘 阅读全文

摘要： 目前最新的 Elasticsearch 集群采用部署包的方式安装配置的过程还是比较复杂的，除了基本的配置外还涉及到 SSL 证书相关的配置，所以采用容器的方式部署就显得更加方便。 官方直接提供了容器化的 Docker 镜像，但是给的示例都只是单机情况下的伪分布式部署方案，我们稍微进行修改就可以在集群 阅读全文

摘要： Qdrant 是一款比较新的大规模高性能向量搜索引擎，可以为 AI 应用提供底层支撑，目前已经有较为广泛的应用。 Qdrant 使用 Rust 编写，因此具备高性能和内存安全性的特点，同时采用独创的可过滤的 HNSW 索引，可以有效加速向量标量混合检索的性能，可以在性能和召回率方面有比较好地兼顾。 阅读全文

摘要： ClickHouse 之前的版本如果要实现 UDF 需要修改源码通过 C++ 代码实现，不过这种方式难度比较大而且需要重新编译，对于实现逻辑简单或者性能要求不太高的任务可以借助于内置的 SQL UDF 或者外部可执行文件来实现，这种方式实现起来比较快，很多情况下其实都可以满足需要。 主要方法有如下两 阅读全文

摘要： StarRocks 官方只提供了单节点运行的镜像，如果是构建可以分布式运行的 StarRocks 的容器镜像，那么基于基础镜像可以有两种选择，分别是：starrocks/artifacts-ubuntu 和 starrocks/allin1-ubuntu，这两个都是基于 Ubuntu 22.04 的 阅读全文

摘要： Kafka 线上性能调优是一项综合工程，不仅仅是 Kafka 本身，还应该从硬件（存储、网络、CPU）以及操作系统方面来整体考量，首先我们要有一套生产部署方案，基于这套方案再进行调优，这样就有了可靠的底层保证，才能保证 Kafka 集群整体的稳定性。 1. 线上部署方案 1.1 操作系统 我们知道 阅读全文

摘要： 当前按照官网上的提供的安装包方式安装，版本是 3.2.2，部署模式为存算一体，安装的操作系统是 Ubuntu 22.04，JDK 版本为 OpenJDK 11，这里选择 3 个节点进行安装，节点的 hosts 定义如下： 10.0.1.25 ec25 10.0.1.26 ec26 10.0.1.27 阅读全文

摘要： 我们在使用 Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如在日志收集场景，数据量是非常巨大的，例如大批量的集群每分钟产生的日志都能以 GB 计，所以如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就是一个非常重要的问题。 除了应对吞吐量的 阅读全文

摘要： 本次实现基于 Flink 1.18 版本，具体的对象之间的关系可以先参考官网的图： 先拿官网上的 Socket 示例来说一下实现过程： 首先编写 SocketDynamicTableFactory 实现 DynamicTableSourceFactory 接口。 在 SocketDynamicTab 阅读全文