文章分类 -  clickhouse

clickhouse
clickhouse分区操作实践
摘要：1 分区表ClickHouse支持PARTITION BY子句，在建表时可以指定按照任意合法表达式进行数据分区操作，比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。 数据Partition在ClickHouse 阅读全文
posted @ 2021-07-08 11:33 jason_wei 阅读(1962) 评论(0) 推荐(0)
clickhouse使用Spark导入数据
摘要：本文主要介绍如何通过Spark程序写入数据到Clickhouse中。 操作步骤 准备Spark程序目录结构。 find . . ./build.sbt ./src ./src/main ./src/main/scala ./src/main/scala/com ./src/main/scala/co 阅读全文
posted @ 2021-05-27 14:09 jason_wei 阅读(1530) 评论(0) 推荐(0)
clickhouse从Kafka中导入数据
摘要：操作步骤 在ClickHouse集群中新建Kafka消费表。 CREATE TABLE default.kafka_src_table ON CLUSTER default ( //定义表结构的字段 id Int32, age Int32, msg String ) ENGINE = Kafka() 阅读全文
posted @ 2021-05-27 14:07 jason_wei 阅读(1190) 评论(0) 推荐(0)
clickhouse从MySQL导入数据
摘要：本节介绍如何从阿里云RDS MySQL中导入数据到ClickHouse。 操作步骤 依据MySQL表结构在ClickHouse中进行建表操作。 MySQL中数据类型与ClickHouse类型映射关系如下表。 MySQLClickHouse UNSIGNED TINYINT UInt8 TINYINT 阅读全文
posted @ 2021-05-27 13:59 jason_wei 阅读(721) 评论(0) 推荐(0)
clickhouse从本地文件导入数据
摘要：本节介绍如何通过官方客户端clickhouse-client从本地文件中导入数据。 操作步骤 根据ClickHouse版本号、操作系统类型，下载clickhouse-client客户端程序。 下载地址如下表所示。 操作系统ClickHouse版本号下载链接 Linux OS 19.15.2.2 单击 阅读全文
posted @ 2021-05-27 13:57 jason_wei 阅读(1457) 评论(0) 推荐(0)
MaterializedMySQL引擎
摘要：本文指导您如何使用MaterializedMySQL在ClickHouse与MySQL之间进行数据交换。 概述 为了强化实时数仓的能力，ClickHouse推出了MaterializedMySQL数据库引擎，用于将MySQL服务器中的表映射到ClickHouse中，将ClickHouse服务看作My 阅读全文
posted @ 2021-05-27 13:54 jason_wei 阅读(1302) 评论(0) 推荐(0)
Clickhouse表引擎
摘要：本文介绍了ClickHouse中表引擎的特点，以及常用表引擎的功能。 概述 表引擎即表的类型，在ClickHouse中的作用十分关键，直接决定了数据如何存储和读取、是否支持并发读写、是否支持索引、支持的查询种类、是否支持主备复制等。 ClickHouse提供了多种表引擎，用途广泛。分为MergeTr 阅读全文
posted @ 2021-05-27 13:48 jason_wei 阅读(670) 评论(0) 推荐(0)
Clickhouse-client导入数据和查询
摘要：通过官方客户端导入数据 本部分将结合开源数据集，介绍通过官方客户端clickhouse-client导入数据并查询。 下载数据集。单击 下载链接下载开源ontime数据集。 在ClickHouse中建表： $ ./clickhouse-client --multiline --host=<host> 阅读全文
posted @ 2021-05-27 13:45 jason_wei 阅读(854) 评论(0) 推荐(0)
clickhouse冷热数据分层存储
摘要：查询磁盘信息 开通冷热数据分层存储功能后，通过以下查询可以查看热数据盘、冷数据盘信息。 select * from system.disks; 示例返回结果如下： ┌─name──────┬─path───────────────────────────────────┬───────────fre 阅读全文
posted @ 2021-05-27 13:39 jason_wei 阅读(1300) 评论(0) 推荐(0)
clickhouse的SELECT
摘要：基本语法 SELECT语句基本格式如下： SELECT [DISTINCT] expr_list [FROM [db.]table | (subquery) | table_function] [FINAL] [SAMPLE sample_coeff] [ARRAY JOIN ...] [GLOBA 阅读全文
posted @ 2021-05-27 13:37 jason_wei 阅读(573) 评论(0) 推荐(0)
ClickHouse的INSERT INTO
摘要：基本语法 INSERT INTO 语句基本格式如下： INSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 对于存在于表结构中但不存在于插入列表中的列，它们将会按照如下方式填充数据： 如果 阅读全文
posted @ 2021-05-27 13:35 jason_wei 阅读(2716) 评论(0) 推荐(0)
Clickhouse创建表
摘要：创建本地表 建表语句基本语法如下： CREATE TABLE [IF NOT EXISTS] [db.]table_name ON CLUSTER cluster ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [D 阅读全文
posted @ 2021-05-27 12:02 jason_wei 阅读(16690) 评论(0) 推荐(0)
Clickhouse基本概念
摘要：ClickHouse集群（Cluster） 在物理构成上，ClickHouse集群是由多个ClickHouse server实例组成的分布式数据库。这些ClickHouse server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个Cl 阅读全文
posted @ 2021-05-27 11:18 jason_wei 阅读(506) 评论(0) 推荐(0)
ClickHouse各类函数用法详解
摘要：一、算数函数 -->>>>>> 算数函数(数学上的计算) --求和 SELECT plus(12, 21), plus(10, -10), plus(-10, -10); --差值 SELECT minus(10, 5), minus(10, -10),minus(-10, -10); --积 SE 阅读全文
posted @ 2021-05-09 16:41 jason_wei 阅读(3198) 评论(0) 推荐(0)
Clickhouse 数据删除更新
摘要：Clickhouse删除/更新数据（UPDATE/DELETE/DROP）与普通的sql语法有点不一样，因此做一下记录。 1 删除表 DROP table db.视图表 ON CLUSTER cluster_name; DROP table db.本地表 ON CLUSTER cluster_nam 阅读全文
posted @ 2021-05-09 14:49 jason_wei 阅读(2750) 评论(0) 推荐(0)
clickhouse几种create table的情况
摘要：1、普通建表： CREATE TABLE dis_j.D_F1_shard on cluster cluster_demo (`product_code` String, `package_name` String) ENGINE = MergeTree ORDER BY package_name 阅读全文
posted @ 2021-04-27 10:23 jason_wei 阅读(1180) 评论(0) 推荐(0)
处理 CLICKHOUSE 的实时更新
摘要：转载自：https://weihubeats.blog.csdn.net/ 在 OLAP 数据库中，可变数据通常不受欢迎。ClickHouse 也不例外。与其他 OLAP 产品一样，ClickHouse 最初甚至不支持更新。后来，添加了更新，但是和其他很多东西一样，它们是以“ ClickHouse” 阅读全文
posted @ 2021-04-27 10:19 jason_wei