文章分类 - 大数据MPP-01-Clickhouse
ClickHouse-内存-使用率优化完整指南
摘要：📋 版本适用性声明 本指南旨在提供一个跨版本通用的ClickHouse内存优化方法论。核心优化原则（如减少主键数量、控制写入频次、限制查询内存）适用于所有主流版本。然而，具体配置参数、系统表字段和某些高级功能的可用性会因版本而异。 主要版本功能支持概览 功能模块20.x - 22.x LTS23.
阅读全文
ClickHouse-单分片双副本集群完整安装指南（ZooKeeper 版本）
摘要：本文档将指导您在 2 台服务器上手动搭建一个高可用的 ClickHouse 单分片、双副本集群，并使用独立的 Apache ZooKeeper 集群作为协调服务。与集成 Keeper 版本的核心区别在于：协调服务（ZooKeeper）与数据服务（ClickHouse Server）是独立部署和维护的
阅读全文
ClickHouse-单分片双副本集群完整安装指南（Keeper版本）
摘要：本文档将指导您在 2 台服务器上手动搭建一个高可用的 ClickHouse 单分片、双副本集群，并集成 ClickHouse Keeper 作为协调服务。我们将涵盖从系统准备、软件安装、详细配置、参数优化到最终验证的完整流程。 1. 集群规划与架构 集群模式：单分片（Shard 1）、双副本（Rep
阅读全文
clickhouse-问题处理-ZooKeeper/Keeper 元数据残留
摘要：ClickHouse 副本表删除重建时遇到的 ZooKeeper/Keeper 元数据残留问题。删除表时，ZooKeeper/Keeper 中的元数据没有被完全清理。 1 解决方案 1.1 方案1：等待一段时间再重建（最简单-不建议） -- 删除后等待几秒到几分钟，让 ZooKeeper/Keepe
阅读全文
Clickhouse-参数-参数设置详解
摘要：1. 📊 ClickHouse 参数设置方法全景 1. 方法汇总 参数设置的生效范围和方式，核心取决于你的 ClickHouse 用户管理系统模式。根据你的操作反馈，你的集群已经启用了 SQL 驱动访问控制，这是最灵活的模式。 下表为你清晰地对比了所有设置路径： 设置方式命令/操作示例生效范围与时
阅读全文
ClickHouse-两种数据更新机制——轻量级更新（Lightweight UPDATE） 和传统突变（ALTER TABLE UPDATE）
摘要：ClickHouse两种数据更新机制——轻量级更新（Lightweight UPDATE） 和传统突变（ALTER TABLE UPDATE）——的核心信息、对比与演进进行了整合，并以商超会员系统为例，提供了从建表到查询的完整演示。 1. 📌 核心机制对比与演进 1.1 核心对比 特性轻量级更新
阅读全文
clickhouse-问题处理-ALTER 操作的队列阻塞问题
摘要：1. ClickHouse 22版本DDL队列阻塞问题详解 1.1 问题核心机制 在ClickHouse 22.x及更早版本（如19.7.3）中，分布式DDL操作（如CREATE、ALTER、DROP、RENAME）依赖于一个集中式的全局串行队列机制。 全局单队列设计：所有发往集群的DDL查询会被转
阅读全文
ClickHouse-可观测性-收集CK日志
摘要：要实现基于 ClickStack（含 OpenTelemetry）、ClickHouse、HyperDX 整套工具链的日志采集方案，核心是通过 OpenTelemetry（ClickStack 的采集层） 标准化收集日志，写入 ClickHouse 存储，并确保数据格式兼容 HyperDX（UI 层
阅读全文
ClickHouse-粒度（granule）与 part 合并必要性
摘要：ClickHouse 将数据按 粒度（granule） 组织，每个粒度包含约 8192 行数据 问题：一个granule 中的数据，是物理有序还是逻辑有序？ 问题二：如果part 都是逻辑有序，那么为什么还是合并part？直接记录part的文件、索引等信息不是也可以实现逻辑有序吗？ 关于 Click
阅读全文
ClickHouse-part 的存储是物理有序还是逻辑有序
摘要：在 ClickHouse 中，合并后的 Part 仅保证逻辑有序（按主键） 是其高性能查询的核心机制，这一特性通过 多层索引系统、稀疏标记与数据分块 实现。理解其原理需要对比物理连续性，从逻辑组织、存储结构、查询流程三个维度展开： 1. 物理连续 vs 逻辑有序：核心差异 对比维度物理连续存储逻辑有
阅读全文
Clickhouse-标签-大宽表模式
摘要：使用 ClickHouse Map 类型实现动态标签大宽表方案 针对您的需求（动态标签个数、避免固定字段），使用 ClickHouse 的 Map 数据类型是最佳解决方案。Map 类型可以灵活存储键值对，完美适应标签数量不固定的场景。 完整实现方案 1. 数据结构设计 CREATE TABLE us
阅读全文
Clickhouse 二级索引（二）
摘要：1. 添加二级索引的完整语法 ALTER TABLE [db_name.]table_name ADD INDEX index_name expression TYPE index_type([parameters]) GRANULARITY granularity_value [AFTER exi
阅读全文
Clickhouse 二级索引（一）
摘要：ClickHouse 二级索引详解 ClickHouse 的二级索引（Skipping Indexes）是稀疏索引，用于快速跳过不满足查询条件的数据块（Granule），大幅减少 I/O 扫描量。与行级索引不同，它不定位具体行，而是跳过整块数据。以下是详细解析： 1. 索引核心机制 数据块（Gran
阅读全文
clickhouse-问题处理-ZooKeeper上数据错乱导致ClickHouse启动失败问题
摘要：1 问题现象 ClickHouse集群中某实例节点启动失败，该实例节点启动日志中有如下类似报错信息： 2021.03.15 21:01:19.816593 [ 11111 ] {} <Error> Application: DB::Exception: The local set of parts
阅读全文
Clickhouse-ReplacingMergeTree 引擎的查询
摘要：1 五大优化方案实施 表结构：CREATE TABLE orders ( order_id UUID, -- 订单ID user_id UInt32, -- 用户ID amount Decimal(10,2), -- 订单金额 status Enum('pending'=1, 'paid'=2, '
阅读全文
Clickhouse vs timescaledb
摘要：ClickHouse与TimescaleDB在数据排序和存储方式上的对比 1. 排序机制 ClickHouse 排序依据：基于 ORDER BY 子句定义的字段进行严格排序。数据在写入时，会根据 ORDER BY 的字段值（可以是单列或多列组合）进行字典序排列，生成逻辑上的有序数据片段（Data P
阅读全文
clickhouse-问题处理-truncate table 卡死处理
摘要：1 问题现象 1.1 数据库集群是单节多副本集群 clickhouse-prd-ClickHousefvLb.mrs-feq4.com :) select * from system.clusters; SELECT * FROM system.clusters Query id: b77fa863
阅读全文
Clickhouse 导入 MySQL DUMP 数据
摘要：Clickhouse 导入 MySQL DUMP 数据 一、clickhouse支持的dump样式 1、官网地址 https://clickhouse.com/docs/en/interfaces/formats https://clickhouse.com/docs/en/interfaces/f
阅读全文
浙公网安备 33010602011771号