Lemo_wd - 博客园

Clickhouse 主键索引

摘要：参考 ClickHouse 主索引的实用介绍 ClickHouse的MergeTree引擎系列经过专门设计和优化，能够处理海量数据。这类表可支持每秒插入数百万行数据，并能存储极大规模的数据（达数百PB级别）。数据以分块（part）的形式快速写入表中，并通过后台机制按规则合并这些数据块。在ClickH 阅读全文

posted @ 2025-08-19 16:24 Lemo_wd 阅读(107) 评论(0) 推荐(0)

Clickhouse 核心概念

摘要：参考核心概念 Table Parts Part 是磁盘上存储表部分数据的物理文件（或目录）。这与分区不同，分区是使用分区键创建的表数据的逻辑划分。MergeTree 引擎系列中每个表的数据都是以不可变的 data parts 保存。下图展示了一个 data part 的产生过程： data pa 阅读全文

posted @ 2025-08-16 12:54 Lemo_wd 阅读(43) 评论(0) 推荐(0)

ClickHouse 案例学习 —— 使用 ClickHouse 探索 GitHub 统计信息

摘要：来源使用 ClickHouse 探索 GitHub 统计信息统计数量与大小 SELECT formatReadableQuantity(sum(rows)) AS rows, formatReadableSize(sum(data_compressed_bytes)) AS compressed 阅读全文

posted @ 2025-06-09 14:02 Lemo_wd 阅读(51) 评论(0) 推荐(0)

linux Tun/Tap 虚拟网卡

摘要：一、TUN、TAP 虚拟网卡的工作原理： + + | | | + + + + | | | User Application A | | User Application B |< + | | + + + + | | | | 1 | 5 | | |...............|........... 阅读全文

posted @ 2025-04-26 10:09 Lemo_wd 阅读(457) 评论(0) 推荐(0)

Clickhouse 的 kafka Engine 集成

摘要：在 ClickHouse 中，Kafka Engine + 物化视图是一种直接消费 Kafka 数据并写入 ClickHouse 表的架构模式，其核心是通过三张表协作实现数据流自动化处理。 1. Kafka Engine 表作为 Kafka 数据的消费者和解析器，直接连接到 Kafka Top 阅读全文

posted @ 2025-04-10 09:41 Lemo_wd 阅读(327) 评论(0) 推荐(0)

Clickhouse 表引擎 —— MergeTree

摘要：参考文档 ReplacingMergetree -- MergeTree 原理： -- 底层使用类似LSM树的方式提供数据的快速读写功能。即新的数据（包括更新以及删除的数据）并不会影响原有的数据， -- 而是会记录在一个新开辟的临时数据块中。查询时通过版本号查询最新的一条结果。 -- 新开辟的数据需阅读全文

posted @ 2025-04-09 13:35 Lemo_wd 阅读(80) 评论(0) 推荐(0)

局域网中的设备间的流量转发

摘要：涉及到的网络设备有AP、交换机、路由器。其中，网络拓扑结构是：AP连接到交换机的端口1，交换机的端口8连接到路由器，路由器连接到光猫访问外网。下面分几种情况去讨论： 1、设备A与设备B通过交换机直接相连。 ARP查询（若需要）设备A检查本地ARP缓存，若没有设备B的MAC地址，则广播ARP请求（阅读全文

posted @ 2025-02-20 00:16 Lemo_wd 阅读(201) 评论(0) 推荐(0)

d3.js 构建股权架构图并绘制双向节点树

摘要：效果：代码： StockStructureChart.js import React, { useEffect, useRef } from "react" import * as d3 from "d3" const StockStructureChart = ({ upwardData, do 阅读全文

posted @ 2024-09-14 12:27 Lemo_wd 阅读(191) 评论(0) 推荐(0)

final cut pro 入门

摘要：浏览窗口相关范围选择：i 开始 o 结束；command + shift + i/o 可以选择多个；或者按住 command 后，使用鼠标拖出一个区域。option + x 取消选择。时间线相关范围选择：i 开始 o 结束磁性时间线 ① 吸附点 command + option 点击连接片段阅读全文

posted @ 2024-07-28 22:40 Lemo_wd 阅读(461) 评论(0) 推荐(0)

d3.js 构建股权架构图并绘制股权百分比

摘要：效果：代码： StockStructureChart.js import React, { useEffect, useRef } from "react" import * as d3 from "d3" const StockStructureChart = ({ data }) => { c 阅读全文

posted @ 2024-06-04 13:58 Lemo_wd 阅读(328) 评论(0) 推荐(0)