表引擎与分区设置

 
 
 
 

1、表引擎

 
表引擎(即表的类型)决定了:
  1. 数据的存储方式和位置,写到哪里以及从哪里读取数据
  2. 支持哪些查询以及如何支持。
  3. 并发数据访问
  4. 索引的使用
  5. 是否可以执行多线程请求
  6. 数据复制参数
 
 

1.1、TinyLog引擎

        最简单的表引擎,用于将数据存储在磁盘上,每列都存储在单独的压缩文件中,写入时,数据附加到文件末尾
该引擎没有并发控制
        如果同时从表中读取和写入数据,则读取操作将抛出异常;
        如果同时写入多个查询中的表,则数据将被破坏。(这一句的理解有点问题,---)
        

不支持索引

        这种表引擎的典型用法是write-once:首先只写入一次数据,然后根据需要多次读取。
 

适用场景:

        此引擎适用于相对较小的表(简易最多1,000,000行),且只写入一次数据,然后根据需要多次读取。如果有许多小表,适用此引擎是合适的,因为他需要打开的文件更少。当拥有大量小表时,可能会导致性能低下。
使用举例:
      :)create table t (a UInt16, b  String) ENGINE=TinyLog;
       :)insert  into  t (a, b)  values (1, 'abc');

数据存储位置:

        对应存储文件夹为:/var/lib/clickhouse/data/default/t
        对应文件有:a.bin, b.bin以及sizes.json。size.json中记录了每个bin文件大小
 

1.2、Memory引擎

        内存引擎,数据以未压缩的原始形式直接保存在内存中,服务器重启数据就会消失。读写操作不会相互阻塞,不支持索引。简单查询下有非常高的性能(超过10G/s)
        一般用到它的地方不多,除了用来做测试,就是在需要非常高的性能,同时数据量又不大(上限大概1亿行)的场景。
 
 

1.3、Merge引擎

        merge引擎(不要和MergeTree引擎混淆)本身不存储数据,但可以用于同时从任意多个其它表中读取数据。读是自动并行的,不支持写入。读取时,哪些被真正读取到数据的表的索引(如果存在的话)会被使用。
        在merger表中使用insert to 会报错
        Merge引擎的参数:一个数据库名和一个用于匹配表名的正则表达式。
        案例:先创建t1,t2,t3三个表,然后用Merge引擎的t表再把它们链接起来。
        :)create table t1 (id UInt16, name String) ENGINE=TinyLog;
        :)create table t2 (id UInt16, name String) ENGINE=TinyLog;
        :)create table t3 (id UInt16, name String) ENGINE=TinyLog;
 
        :)insert into t1 (id, name)  values(1, 'first');
        :)insert into t2 (id, name)  values(2, 'second');
        :)insert into t3 (id, name)  values(3, 'i am in t3');
 
        :)create table t (id UInt16, name String) ENGINE=Merge(currentDatabase(), '^t');
        currentDatabase:自带函数,当前数据库名
        ^t:正则表达式,所有以t开头的表
 
         :)select * from t;
         :)insert into t (id, name)  values(1, 'd');
        以上会报错,因为merge表不存储数据
 
 

1.4、MergeTree引擎

       clickhouse中最强大的表引擎当属MergeTree(合并树) 引擎及该系列(*MergeTree)中的其它引擎。
        MergeTree引擎系列的基本理念如下。当你有巨量数据要插入到表中,你要高效地一批批写入数据片段,并写完这些数据片段在后台按照一定规则合并。相比在插入时不断修改(重写)数据进行存储,这种策略会高效很多。
        它的特点如下:
            1)数据按主键排序;
            2)可以使用分区(如果指定了主键);
            3)支持数据副本;
            4)支持数据采样;
 

创建引擎格式:

    ENGINE = MergeTree()      ENGINE:引擎名和参数                                                                                  
    [PARTITION BY expr]          PARTITION:分区键,要按月分区,可以使用表达式toYYYYMM(date_column)。必须要有日期字段,只能使用日期分区
    [ORDER BY expr]                 ORDER: 排序键。可以是一组列的元组,或者任意的表达式,例如:ORDER BY (id, name).
    [PRIMARY KEY expr]           PRIMARY KEY:主键,需要与排序键字段不同。默认情况下,主键跟排序键相同
    [SAMPLE BY expr]               用于抽样的表达式,如果要用抽样表达式,主键必须包含这个表达式。
    [SETTINGS name=value, ...]
 
    SETTINGS:影响MergeTree性能的额外参数:
        index_granularity:索引粒度。即索引中相邻标记间的数据行数。默认值,8192。
        use_minimalistic_part_header_in_zookeeper:数据片段头在Zookeeper中的存储方式。
        min_merge_bytes_to_use_direct_io:使用直接I/O来操作磁盘的合并操作时要求的最小数据量
 

使用实例:

    create table mt_table(date  Date, id UInt8, name String)
    engine = MergeTree()
    partitiron  by date
    order by (id, name)     #相当于主键为(id, name)
    settings index_granularity=8192;
 
    insert into mt_table values ( '2019-05-01', 1, 'zhangsan');
    insert into mt_table values ( '2019-06-01', 2, 'lisi');
    insert into mt_table values ( '2019-05-03', 3, 'wangwu');
 
    在/var/lib/clickhouse/data/default/mt_table下可以看到
 
 

1.5、ReplacingMergeTree

        该引擎和MergeTree的不同之处在于它会删除排序键值相同(有相同主键)的重复项。
        数据的去重只会在数据合并期间进行,合并会在后台一个不确定的时间进行,因此无法预先做出计划。有一些数据可能仍未被处理。尽管可以调用OPTIMIZE语句发起计划外的合并,但不要依靠它,因为OPTIMIZE语句会引发对数据的大量读写。
        因此,ReplacingMergeTree适用于在后台清除重复数据以节省空间,但是它不保证没有重复数据出现。
 
 
 
 
 
 
 
 

2、分区设置

 
 

2.1、按时间分区

toYYYMM(create_time) :按月份分区
toMonday(create_time):按周分区
toDate(create_time):按天分区
 
举例:
 
CREATE TABLE kvdata.node_file_viruses (
       id UInt64 NOT NULL,
       nid UInt64 NOT NULL,
       virus_name String(100) NOT NULL,
       vlib_version UInt64 NOT NULL,
       virus_findby Int16 NOT NULL,
       virus_op UInt16 NOT NULL,
       virus_type UInt8 NOT NULL,
       filepath String(1024) NOT NULL,
       find_time UInt64 NOT NULL,
       create_time DateTime NOT NULL
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(create_time)
ORDER BY (nid,
 virus_type,
 virus_findby,
 virus_op)
SETTINGS index_granularity = 8192;
 

2.2按字段分区

 
 
PARTITION BY sex
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
posted @ 2021-03-07 23:26  dos_hello_world  阅读(216)  评论(0)    收藏  举报