随笔分类 - clickhouse数据库
使用以及分析
摘要：版本:1.2.1 一、安装 1.下载 wget https://github.com/AlexAkulov/clickhouse-backup/releases/download/v1.2.1/clickhouse-backup.tar.gz 下载地址https://github.com/AlexA
阅读全文
摘要：以下设置可以调整users.xml参数，或者使用SQL-driven来管理用户权限,通过执行以下sql也可以达到同等效果。 一、HTTP协议（8123端口） HTTP协议是ClickHouse在生产环境中最常使用的交互方式，包括官方提供的jdbc driver、阿里云DMS、DataGrip，后台使
阅读全文
摘要：一、UPDATE+Optimize方式 --建表及插入数据 CREATE TABLE tb_test( ts DateTime, uid String, biz String ) ENGINE = MergeTree() ORDER BY (ts) SETTINGS index_granularit
阅读全文
摘要：--1.概述 --所有对时区有逻辑用途的处理日期和时间的函数都可以接受第二个可选的时区参数。支持时区。示例：Asia/Yekaterinburg。在这种情况下，他们使用指定的时区而不是本地（默认）时区。 SELECT toDateTime('2016-06-15 23:00:00') AS time
阅读全文
摘要：1.新版本 1）intersect求多个数据集在某一维度上的交集，适合在用户分群等类似业务场景使用 select count( 1) from ( select id as create_user from app.user_model where 1=1 and product_count>=10
阅读全文
摘要：一、用户通过SQL创建函数 从 lambda 表达式创建用户定义的函数。表达式必须由函数参数、常量、运算符或其他函数调用组成。 句法： CREATE FUNCTION name AS (parameter0, ...) -> expression --删除函数 DROP FUNCTION [IF E
阅读全文
摘要：-- 1.bitmapBuild(array) --从无符号整型（UInt8、UInt32、UInt64等）array构造bitmap SELECT bitmapBuild([1, 2, 3, 4, 5]) AS res, toTypeName(res) --2.bitmapToArray(bitm
阅读全文
摘要：由于新版本多了很多优化，以及支持更多的窗口函数，故从20版本升级至22版本。此处采用clickhouse用户存放安装包以及启动服务，root用户（或者赋予普通用户sudo权限）安装，集群安装建议一起停止安装（单台升级其实并不影响其他服务器查询等功能）。 1. 上传新版rpm安装包 clickhous
阅读全文
摘要：ClickHouse可以接受和返回各种格式的数据。受支持的输入格式可用于提交给INSERT语句、从文件表(File,URL,HDFS或者外部目录)执行SELECT语句，受支持的输出格式可用于格式化SELECT语句的返回结果，或者通过INSERT写入到文件表。 以下是支持的格式: 格式输入输出 Tab
阅读全文
摘要：ClickHouse的配置文件是config.xml，默认在/etc/clickhouse-server/目录中，可以在conf.d和config.d目录中的*.xml和*.conf文件中覆盖各个设置。还可以为这些配置文件的元素指定replace或remove属性，如果均未指定，它将以递归方式合并元
阅读全文
摘要：一、Join操作 在ClickHouse中，对连接操作定义了不同的精度，包含ALL、ANY和ASOF三种类型，默认为ALL。可以通过join_default_strictness配置修改默认精度（位于system.settings表中）。 下面分别说明这3种精度。 首先建表并插入测试数据： --表j
阅读全文
摘要：一、ReplacingMergeTree作用 ClickHouse中最常用也是最基础的表引擎为MergeTree，在它的功能基础上添加特定功能就构成了MergeTree系列引擎。MergeTree支持主键，但主键主要用来缩小查询范围，且不具备唯一性约束，可以正常写入相同主键的数据。但在一些情况下，
阅读全文
摘要：配置针对的是集群中所有机器,注意保持集群各个服务器设置日志保持统一。 一、配置步骤1.打开clickhouse的users.xml文件，在profiles中加入<log_queries>1</log_queries> 2.打开config.xml文件，在yandex中加入query_log的配置 <
阅读全文
摘要：1.步骤 kafka作为消息队列通常用来收集各个服务产生的数据，而下游各种数据服务订阅消费数据，本文通过使用clickhouse 自带的kafka 引擎，来同步消费数据。 同步步骤： kafka中创建topic，创建消费者并消费该topic（查看消费情况） 建立目标表(通常是MergeTree引擎系
阅读全文
摘要：一、SummingMergeTree 1.SummingMergeTree介绍 求和引擎继承自 MergeTree。区别在于，当合并 SummingMergeTree 表的数据片段时，ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主
阅读全文
摘要：Clickhouse分布式查询IN/JOIN与GLOABL IN GLOABL JOIN的区别 1）当使用常规IN时，查询被发送到远程服务器，并且它们中的每个服务器都在运行子查询 IN 或 JOIN 条款，除非每个远程服务器都存有全部数据，否则会造成数据不准确的情况 2）使用 GLOBAL IN /
阅读全文
摘要：函数 语法argMin(arg，val) 计算最小值的arg值。如果val的最小值有几个不同的arg值，则遇到的第一个值是输出。argMax(arg，val） 计算最大值的参数值。如果存在多个不同的arg值来表示val的最大值，则遇到的第一个值是输出。argMin() 与argMax() 其实是相反
阅读全文
摘要：官网描述：MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中，并允许您对表进行insert和select查询，以方便您在ClickHouse与MySQL之间进行数据交换。MySQL数据库引擎会将对其的查询转换为MySQL语法并发送到MySQL服务器中，因此您可以执行诸如sh
阅读全文
摘要：什么是TTL？ TTL的意思是Time To Live表示数据的存活时间。由于数据的价值会根据保存的时间成反比，出于存储成本的考虑通常只会保留近一年的数据。而在MergeTree （合并树）引擎中，可以通过设置TTL来轻松管理数据的存活时间，使数据的价值最大化。当然数仓的数据是不会删除的，不过会部分
阅读全文
摘要：1.建表时的空值问题如果我们建表时，不特殊说明空值，比如： CREATE TABLE test.table1( id String, name String ) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_granula
阅读全文