摘要：
1 冷热分离（Hot/Warm/Cold） Index Lifecircle Management Policy 索引特点 Hot: 索引被更新，大量被查询 Warm: 索引不更新，偶尔被查询 Cold: 索引不更新，很少被查询 Delete: 索引不更新，不被查询 参考：https://www.e 阅读全文
posted @ 2022-05-29 19:11
匠人先生
阅读(133)
评论(0)
推荐(0)
摘要：
一 测试数据 SSB (Star Schema Benchmark) SSB SSB将TPC-H的雪花模式简化为了星型模式，将基准查询由TPC-H的复杂Ad-Hoc查询改为了结构更固定的OLAP查询 table comment lineorder 订单表 customer 用户表 supplier 阅读全文
posted @ 2022-05-20 18:09
匠人先生
阅读(517)
评论(0)
推荐(0)
摘要：
*** doris clickhouse 官网 http://doris.apache.org/ https://clickhouse.tech/ 版本 0.14.0 21.7.2.7 开源 是 是 开发语言 * java + c c 安装 源码编译 rpm包 定位 olap olap 架构 mpp 阅读全文
posted @ 2022-05-20 18:01
匠人先生
阅读(2241)
评论(0)
推荐(0)
摘要：
所有选项如下： 命令示例如下： bin/kafka-consumer-groups.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092,kafka_4:9092,kafka_5:9092 --group group_name -- 阅读全文
posted @ 2022-05-20 18:00
匠人先生
阅读(699)
评论(0)
推荐(0)
摘要：
kafka开启压缩后，可以极大的优化磁盘占用和网络传输开销，以及cpu占用和gc时间，开启压缩的参数为compression.type Specify the final compression type for a given topic. This configuration accepts t 阅读全文
posted @ 2022-05-20 17:52
匠人先生
阅读(1236)
评论(0)
推荐(0)
摘要：
impala从3.1版本开始支持orc格式查询，不过是experimental 开启方法，在cdh的impala配置中添加 --enable_orc_scanner=true 然后重启impala集群。 官方文档： https://docs.cloudera.com/documentation/en 阅读全文
posted @ 2022-05-20 17:18
匠人先生
阅读(528)
评论(0)
推荐(0)
摘要：
hive-site.xml 1 接入ldap或ad域 <property> <name>hive.server2.authentication</name> <value>LDAP</value> </property> <property> <name>hive.server2.authentic 阅读全文
posted @ 2022-05-20 16:51
匠人先生
阅读(885)
评论(0)
推荐(0)
摘要：
背景 有同学反馈kafka某个topic有消息丢失（消费比生产的要少），丢失率大概20% 排查 出现问题的topic的replication-factor为2，partition数量为5，该topic状态如下： 有一个topic处于Under Replicated状态，ISR只有1个，193节点被踢 阅读全文
posted @ 2022-05-20 16:17
匠人先生
阅读(2595)
评论(0)
推荐(0)
摘要：
背景 kafka执行reassign后部分partition一直is still in progress，日志如下： 定位 经排查发现问题原因是做reassign的时候，将分区从相同broker的一个盘移动到另一个盘，这个操作目前还不被支持，官方解释如下 How to move replica be 阅读全文
posted @ 2022-05-19 17:32
匠人先生
阅读(550)
评论(0)
推荐(0)
摘要：
背景 2个节点分别升级spark版本，从2.4升级到3.1，升级后一个节点执行spark-sql正常，另一个节点执行报错，报错信息如下： spark-sql> select * from $table where dt = '$dt' limit 5; Error in query: org.apa 阅读全文
posted @ 2022-05-19 16:51
匠人先生
阅读(989)
评论(0)
推荐(0)
浙公网安备 33010602011771号