表引擎与分区设置
1、表引擎
表引擎(即表的类型)决定了:
-
数据的存储方式和位置,写到哪里以及从哪里读取数据
-
支持哪些查询以及如何支持。
-
并发数据访问
-
索引的使用
-
是否可以执行多线程请求
-
数据复制参数
1.1、TinyLog引擎
最简单的表引擎,用于将数据存储在磁盘上,每列都存储在单独的压缩文件中,写入时,数据附加到文件末尾
该引擎没有并发控制
如果同时从表中读取和写入数据,则读取操作将抛出异常;
如果同时写入多个查询中的表,则数据将被破坏。(这一句的理解有点问题,---)
不支持索引
这种表引擎的典型用法是write-once:首先只写入一次数据,然后根据需要多次读取。
适用场景:
此引擎适用于相对较小的表(简易最多1,000,000行),且只写入一次数据,然后根据需要多次读取。如果有许多小表,适用此引擎是合适的,因为他需要打开的文件更少。当拥有大量小表时,可能会导致性能低下。
使用举例:
:)create table t (a UInt16, b String) ENGINE=TinyLog;
:)insert into t (a, b) values (1, 'abc');
数据存储位置:
对应存储文件夹为:/var/lib/clickhouse/data/default/t
对应文件有:a.bin, b.bin以及sizes.json。size.json中记录了每个bin文件大小
1.2、Memory引擎
内存引擎,数据以未压缩的原始形式直接保存在内存中,服务器重启数据就会消失。读写操作不会相互阻塞,不支持索引。简单查询下有非常高的性能(超过10G/s)
一般用到它的地方不多,除了用来做测试,就是在需要非常高的性能,同时数据量又不大(上限大概1亿行)的场景。
1.3、Merge引擎
merge引擎(不要和MergeTree引擎混淆)本身不存储数据,但可以用于同时从任意多个其它表中读取数据。读是自动并行的,不支持写入。读取时,哪些被真正读取到数据的表的索引(如果存在的话)会被使用。
在merger表中使用insert to 会报错
Merge引擎的参数:一个数据库名和一个用于匹配表名的正则表达式。
案例:先创建t1,t2,t3三个表,然后用Merge引擎的t表再把它们链接起来。
:)create table t1 (id UInt16, name String) ENGINE=TinyLog;
:)create table t2 (id UInt16, name String) ENGINE=TinyLog;
:)create table t3 (id UInt16, name String) ENGINE=TinyLog;
:)insert into t1 (id, name) values(1, 'first');
:)insert into t2 (id, name) values(2, 'second');
:)insert into t3 (id, name) values(3, 'i am in t3');
:)create table t (id UInt16, name String) ENGINE=Merge(currentDatabase(), '^t');
currentDatabase:自带函数,当前数据库名
^t:正则表达式,所有以t开头的表
:)select * from t;
:)insert into t (id, name) values(1, 'd');
以上会报错,因为merge表不存储数据
1.4、MergeTree引擎
clickhouse中最强大的表引擎当属MergeTree(合并树) 引擎及该系列(*MergeTree)中的其它引擎。
MergeTree引擎系列的基本理念如下。当你有巨量数据要插入到表中,你要高效地一批批写入数据片段,并写完这些数据片段在后台按照一定规则合并。相比在插入时不断修改(重写)数据进行存储,这种策略会高效很多。
它的特点如下:
1)数据按主键排序;
2)可以使用分区(如果指定了主键);
3)支持数据副本;
4)支持数据采样;
创建引擎格式:
ENGINE = MergeTree() ENGINE:引擎名和参数
[PARTITION BY expr] PARTITION:分区键,要按月分区,可以使用表达式toYYYYMM(date_column)。必须要有日期字段,只能使用日期分区
[ORDER BY expr] ORDER: 排序键。可以是一组列的元组,或者任意的表达式,例如:ORDER BY (id, name).
[PRIMARY KEY expr] PRIMARY KEY:主键,需要与排序键字段不同。默认情况下,主键跟排序键相同
[SAMPLE BY expr] 用于抽样的表达式,如果要用抽样表达式,主键必须包含这个表达式。
[SETTINGS name=value, ...]
SETTINGS:影响MergeTree性能的额外参数:
index_granularity:索引粒度。即索引中相邻标记间的数据行数。默认值,8192。
use_minimalistic_part_header_in_zookeeper:数据片段头在Zookeeper中的存储方式。
min_merge_bytes_to_use_direct_io:使用直接I/O来操作磁盘的合并操作时要求的最小数据量
使用实例:
create table mt_table(date Date, id UInt8, name String)
engine = MergeTree()
partitiron by date
order by (id, name) #相当于主键为(id, name)
settings index_granularity=8192;
insert into mt_table values ( '2019-05-01', 1, 'zhangsan');
insert into mt_table values ( '2019-06-01', 2, 'lisi');
insert into mt_table values ( '2019-05-03', 3, 'wangwu');
在/var/lib/clickhouse/data/default/mt_table下可以看到
1.5、ReplacingMergeTree
该引擎和MergeTree的不同之处在于它会删除排序键值相同(有相同主键)的重复项。
数据的去重只会在数据合并期间进行,合并会在后台一个不确定的时间进行,因此无法预先做出计划。有一些数据可能仍未被处理。尽管可以调用OPTIMIZE语句发起计划外的合并,但不要依靠它,因为OPTIMIZE语句会引发对数据的大量读写。
因此,ReplacingMergeTree适用于在后台清除重复数据以节省空间,但是它不保证没有重复数据出现。
2、分区设置
2.1、按时间分区
toYYYMM(create_time) :按月份分区
toMonday(create_time):按周分区
toDate(create_time):按天分区
举例:
CREATE TABLE kvdata.node_file_viruses (
id UInt64 NOT NULL,
nid UInt64 NOT NULL,
virus_name String(100) NOT NULL,
vlib_version UInt64 NOT NULL,
virus_findby Int16 NOT NULL,
virus_op UInt16 NOT NULL,
virus_type UInt8 NOT NULL,
filepath String(1024) NOT NULL,
find_time UInt64 NOT NULL,
create_time DateTime NOT NULL
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(create_time)
ORDER BY (nid,
virus_type,
virus_findby,
virus_op)
SETTINGS index_granularity = 8192;
2.2按字段分区
PARTITION BY sex

浙公网安备 33010602011771号