大数据MPP-01-Clickhouse - 文章分类(第3页) - xibuhaohao

ClickHouse最佳实战之分布表写入流程分析(转载)

摘要：转载自：http://blog.itpub.net/69912185/viewspace-2727007/ 由于采集的数据特性，会对数据进行分区，使用的是cityHash64(imsi)%100，hash值取模100。数据入库直接采用kafka存储引擎入库，并将数据写入分布表。但是，在数据刷盘的阅读全文

posted @ 2021-02-03 09:55 xibuhaohao 阅读(1351) 评论(0) 推荐(0)

Clickhouse system setting and setting

摘要：从clickhouse的官网看，clickhouse的配置参数主要分了两大方面，一个是config.xml中的服务器配置参数（Server Settings），另一个是常规配置参数（setttings）。一、Server settings https://clickhouse.tech/docs/ 阅读全文

posted @ 2021-01-05 09:08 xibuhaohao 阅读(520) 评论(0) 推荐(0)

Clickhouse 使用sasl_plaintext鉴权方式连接kafka

摘要：参考： https://altinity.com/blog/clickhouse-kafka-engine-faq https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md 阅读全文

posted @ 2020-12-28 16:34 xibuhaohao 阅读(1076) 评论(0) 推荐(1)

Clickhouse 同比环比

摘要：现在我们看看 neighbor 函数有什么作用在刚才的查询中，我们添加neighbor函数，并将offset设为-12，意思是向上取第12行的money值，即取上一年度同月份的money数: 阅读全文

posted @ 2020-12-18 14:31 xibuhaohao 阅读(854) 评论(0) 推荐(0)

Clickhouse 表的导入导出

摘要：1、导出数据方法一：远程导出命令，默认分割符是tab：echo 'select * from test_name' | curl ip:8123?database=mybi -uroot:password -d @- > test_name.sql 方法二： clickhouse-client 阅读全文

posted @ 2020-11-19 09:40 xibuhaohao 阅读(6212) 评论(0) 推荐(0)

Clickhouse Create mv to table 解决数据补偿

摘要：阅读全文

posted @ 2020-11-02 08:59 xibuhaohao 阅读(211) 评论(0) 推荐(0)

Too many partitions for single INSERT block(more than 100)

摘要：原创内容，转载请标明出处使用clickhouse-client 批量导入数据时，显示 Too many partitions for single INSERT block(more than 100) 1、我创建的表，分区设置为CityHash64(column)%100，也就是可为100个分区阅读全文

posted @ 2020-10-22 09:45 xibuhaohao 阅读(5170) 评论(0) 推荐(0)

Clickhouse 立即触发分区合并的建表语句

摘要：enable_vertical_merge_algorithm = 1 vertical_merge_algorithm_min_rows_to_activate = 1 vertical_merge_algorithm_min_columns_to_activate = 1 optimize是异步阅读全文

posted @ 2020-10-17 09:45 xibuhaohao 阅读(4228) 评论(1) 推荐(0)

ClickHouse 备份恢复工具：CLICKHOUSE-BACKUP

摘要：官方网址： https://altinity.com/blog/introduction-to-clickhouse-backups-and-clickhouse-backup GitHub地址： https://github.com/AlexAkulov/clickhouse-backup Lim 阅读全文

posted @ 2020-10-12 14:29 xibuhaohao 阅读(5369) 评论(0) 推荐(0)

postgresql 同步数据到 clickhouse

摘要：https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/ 阅读全文

posted @ 2020-09-29 17:04 xibuhaohao 阅读(3812) 评论(0) 推荐(0)

ClickHouse 创建物化视图

摘要：转载自：https://blog.csdn.net/vkingnew/article/details/106775064?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v2 阅读全文

posted @ 2020-09-14 16:00 xibuhaohao 阅读(8323) 评论(0) 推荐(0)

Clickhouse 查看执行计划

摘要：方法一 20.6之前版本 clickhouse-client -u xxxx --password xxxxxx --send_logs_level=trace <<< 'your query sql' > /dev/null 方法二 20.6与20.6之后版本 explain SQL 阅读全文

posted @ 2020-09-14 09:30 xibuhaohao 阅读(3258) 评论(0) 推荐(0)

ClickHouse 参数配置

摘要：转载自：https://xw.qq.com/cmsid/20200806A0PQ7X00?ADTAG=amp 在 ClickHouse 进程中，CPU 的主频越高越好，通常建议使用 32 以上的机型，内存越大越好，一般每个线程分配 2GB 内存差不多就够了，当然越大的内存加速就会越明显。磁盘通常普阅读全文

posted @ 2020-08-21 14:19 xibuhaohao 阅读(9905) 评论(0) 推荐(0)

多种开源OLAP引擎测评报告

摘要：开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum) https://blog.csdn.net/oDaiLiDong/article/details/86570211 阅读全文

posted @ 2020-07-27 11:03 xibuhaohao 阅读(553) 评论(0) 推荐(0)

clickhouse 中文论坛

摘要：http://www.clickhouse.com.cn/ 阅读全文

posted @ 2019-11-13 17:29 xibuhaohao 阅读(997) 评论(0) 推荐(1)

ClickHouse 分布式高可用集群搭建（转载）

摘要：一、ClickHouse安装方式：源码编译安装 Docker安装 RPM包安装为了方便使用，一般采用RPM包方式安装，其他两种方式这里不做说明。二、下载安装包官方没有提供rpm包，但是Altinity第三方公司提供了。地址：https://packagecloud.io/altinity/ 阅读全文

posted @ 2019-11-13 15:27 xibuhaohao 阅读(3611) 评论(0) 推荐(0)

文章分类 - 大数据MPP-01-Clickhouse

公告