2022年4月13日

|NO.Z.00021|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V02|——|ClickHouse.v02|ClickHouse:ClickHouse链接MySQL|

摘要: 一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式: ~~~ MySQL('host:port', 'database', 'table', 'user', 'passwor 阅读全文

posted @ 2022-04-13 15:42 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00020|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V01|——|ClickHouse.v01|ClickHouse:ClickHouse链接HDFS|

摘要: 一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎,但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

posted @ 2022-04-13 15:41 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:41 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V15|——|ClickHouse.v15|MergeTree家族表引擎|CollapsingMergeTree|

摘要: 一、MergeTree家族表引擎:CollapsingMergeTree ### CollapsingMergeTree ~~~ # 以增代删: ~~~ 说明: yandex官方给出的介绍是CollapsingMergeTree 会异步的删除(折叠) ~~~ 这些除了特定列 Sign 有 1 和 - 阅读全文

posted @ 2022-04-13 15:40 yanqi_vip 阅读(53) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V14|——|ClickHouse.v14|MergeTree家族表引擎|AggregateMergeTree|

摘要: 一、MergeTree家族表引擎:AggregateMergeTree ### AggregateMergeTree ~~~ 说明: 该引擎继承自 MergeTree,并改变了数据片段的合并逻辑。 ~~~ ClickHouse 会将相同主键的所有行(在一个数据片段内)替换为单个存储一系列聚合函数状态 阅读全文

posted @ 2022-04-13 15:39 yanqi_vip 阅读(58) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V13|——|ClickHouse.v13|MergeTree家族表引擎|SummingMergeTree|

摘要: 一、MergeTree家族表引擎:SummingMergeTree ### SummingMergeTree ~~~ 该引擎继承自 MergeTree。区别在于,当合并 SummingMergeTree 表的数据片段时, ~~~ ClickHouse 会把所有具有相同聚合数据的条件Key的行合并为一 阅读全文

posted @ 2022-04-13 15:38 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00014|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V11|——|ClickHouse.v11|表引擎|MergeTree|存储策略|HOT/COLD策略|

摘要: 一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

posted @ 2022-04-13 15:37 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V12|——|ClickHouse.v12|MergeTree家族表引擎|ReplacingMergeTree|

摘要: 一、MergeTree家族表引擎:MergeTree家族表引擎 ### ReplacingMergeTree ~~~ 这个引擎是在 MergeTree 的基础上,添加了“处理重复数据”的功能, ~~~ 该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。 ### 特点: ~~~ 使 阅读全文

posted @ 2022-04-13 15:37 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00012|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V09|——|ClickHouse.v09|表引擎|MergeTree|存储策略|默认策略|

摘要: 一、MergeTree存储策略配置 ### 整体配置:配置mergetree存储配置方案 ~~~ # 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 阅读全文

posted @ 2022-04-13 15:36 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00013|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V10|——|ClickHouse.v10|表引擎|MergeTree|MergeTree|存储策略|JBOC策略|

摘要: 一、JBOD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行:</y 阅读全文

posted @ 2022-04-13 15:36 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V07|——|ClickHouse.v07|表引擎|MergeTree|数据标记|分区/索引/标记|压缩协同|

摘要: 一、数据标记 ### 数据标记 ~~~ .mrk文件 ~~~ 将以及索引primary.idx和数据文件.bin建立映射关系 ### 通用用hits_v1表说明: ~~~ 数据标记和索引区间是对齐的,根据索引区间的下标编号, ~~~ 就能找到数据标记 索引编号和数据标记数值相同 ~~~ 每一个[Co 阅读全文

posted @ 2022-04-13 15:35 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V08|——|ClickHouse.v08|表引擎|MergeTree|MergTreeTTL|

摘要: 一、MergTree的TTL ### MergTree的TTL ~~~ TTL:time to live 数据存活时间。TTL既可以设置在表上,也可以设置在列上。 ~~~ TTL指定的时间到期后则删除相应的表或列,如果同时设置了TTL,则根据先过期时间删除相应数据。 ### 用法: ~~~ TTL 阅读全文

posted @ 2022-04-13 15:35 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V04|——|ClickHouse.v04|表引擎|MergeTree|数据分区|

摘要: 一、ClickHouse表引擎&MergeTree数据分区 ### 数据分区 ~~~ 数据是以分区目录的形式组织的,每个分区独立分开存储。 ~~~ 这种形式,查询数据时,可以有效的跳过无用的数据文件。 ~~~ 数据分区的规则分区键的取值生成分区ID分区根据ID决定。 ~~~ 根据分区键的数据类型不同 阅读全文

posted @ 2022-04-13 15:34 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V05|——|ClickHouse.v05|表引擎|MergeTree|索引|

摘要: 一、索引:一级索引 ### 一级索引 ~~~ 文件:primary.idx ~~~ MergeTree的主键使用Primary Key定义,主键定义之后, ~~~ MergeTree会根据index_granularity间隔(默认8192)为数据生成一级索引并保存至primary.idx文件中。 阅读全文

posted @ 2022-04-13 15:34 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V06|——|ClickHouse.v06|表引擎|MergeTree|数据存储|

摘要: 一、数据存储 ### 数据存储 ~~~ 表由按主键排序的数据 片段 组成。 ~~~ 当数据被插入到表中时,会分成数据片段并按主键的字典序排序。 ~~~ 例如,主键是 (CounterID, Date) 时,片段中数据按 CounterID 排序, ~~~ 具有相同 CounterID 的部分按 Da 阅读全文

posted @ 2022-04-13 15:34 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V03|——|ClickHouse.v03|表引擎|MergeTree|创建方式|存储结构|

摘要: 一、MergeTree ### MergeTree ~~~ Clickhouse 中最强大的表引擎当属 MergeTree (合并树) ~~~ 引擎及该系列(*MergeTree)中的其他引擎。 ~~~ MergeTree 引擎系列的基本理念如下。 ~~~ 当你有巨量数据要插入到表中,你要高效地一批 阅读全文

posted @ 2022-04-13 15:33 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V01|——|ClickHouse.v01|数据类型|

摘要: 一、数据类型 ### 数据类型说明 ~~~ 支持DML, ~~~ 为了提高性能,较传统数据库而言,clickhouse提供了复合数据类型。 ~~~ ClickHouse的Upadate和Delete是由Alter变种实现。 二、整型 ### 整形说明 ~~~ 固定长度的整型,包括有符号整型或无符号整 阅读全文

posted @ 2022-04-13 15:32 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V02|——|ClickHouse.v02|表引擎日志|Memory|Merge|

摘要: 一、表引擎 ### 表引擎(即表的类型)决定了: ~~~ 数据的存储方式和位置,写到哪里以及从哪里读取数据 ~~~ 支持哪些查询以及如何支持。 ~~~ 并发数据访问。 ~~~ 索引的使用(如果存在)。 ~~~ 是否可以执行多线程请求。 ~~~ 数据复制参数。 ~~~ # ClickHouse的表引擎 阅读全文

posted @ 2022-04-13 15:32 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00002|——————————|^^ 部署 ^^|——|Hadoop&OLAP_ClickHouse.V02|——|ClickHouse.v02|单击模式&集群模式|

摘要: 一、ClickHouse下载 ### 下载地址 ~~~ 官网:https://clickhouse.yandex/ ~~~ 下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式:h 阅读全文

posted @ 2022-04-13 15:31 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00003|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:31 yanqi_vip 阅读(5) 评论(0) 推荐(0)

导航