摘要：
spark任务报错：KryoException: Buffer overflow. Available: xxx, required: xxx 可以适当增加spark.kryoserializer.buffer.max 的值, 默认是128m，可以尝试给到256m或512m 阅读全文
posted @ 2023-06-29 11:22
再见傅里叶
阅读(102)
评论(0)
推荐(0)
摘要：
rebalance 的触发条件有三种： 组成员发生变更（新 consumer 加入组、已有 consumer 主动离开组或已有 consumer 崩溃了——这两者的区别后面会谈到）订阅主题数发生变更订阅主题的分区数发生变更 阅读全文
posted @ 2023-06-16 15:08
再见傅里叶
阅读(53)
评论(0)
推荐(0)
摘要：
https://study.sf.163.com/documents/read/service_support/dsc-p-c-0099 阅读全文
posted @ 2023-06-15 16:27
再见傅里叶
阅读(29)
评论(0)
推荐(0)
摘要：
https://betheme.net/a/6125352.html 阅读全文
posted @ 2023-06-15 15:56
再见傅里叶
阅读(23)
评论(0)
推荐(0)
摘要：
消费者消费方式：订阅与分配 1、KafkaConsumer.subscribe()：为consumer自动分配partition，有内部算法保证topic-partition以最优的方式均匀分配给相同group下的不同consumer。 2、KafkaConsumer.assign()：为consu 阅读全文
posted @ 2023-06-15 15:54
再见傅里叶
阅读(417)
评论(0)
推荐(0)
摘要：
Flink默认重启策略是通过Flink的配置文件设置的flink-conf.yaml,配置参数restart-strategy定义采用的策略。 注意：如果启用了checkpoint并且没有显式配置重启策略，会默认使用fixeddelay策略，最大重试次数为Integer.MAX_VALUE。 1.固 阅读全文
posted @ 2023-06-15 10:21
再见傅里叶
阅读(849)
评论(0)
推荐(0)
摘要：
FE 参数分为动态参数和静态参数。动态参数可通过 SQL 命令进行在线配置和调整，方便快捷。 静态参数必须在 FE 配置文件 fe.conf 中进行配置和调整。调整完成后，需要重启 FE 使变更生效。 参数是否为动态参数可通过 ADMIN SHOW CONFIG 返回结果中的 IsMutable 列 阅读全文
posted @ 2023-06-14 18:37
再见傅里叶
阅读(478)
评论(0)
推荐(0)
摘要：
spark streaming 的 checkpoint 仅仅是针对 driver 的故障恢复做了数据和元数据的 checkpoint。 而 flink 的checkpoint 机制要复杂很多，它采用的是轻量级的分布式快照，实现了每个算子的快照，及流动中的数据的快照。 阅读全文
posted @ 2023-06-14 15:48
再见傅里叶
阅读(169)
评论(0)
推荐(0)
摘要：
适合低频写入； 写入前重分区 降低并发数 增加导入时间间隔 阅读全文
posted @ 2023-06-13 16:51
再见傅里叶
阅读(562)
评论(0)
推荐(0)
摘要：
在doris/starrocks中创建外部表 USE simon;CREATE EXTERNAL TABLE `soe_t1` ( `k1` bigint(20) NULL COMMENT "", `k2` datetime NULL COMMENT "", `k3` varchar(20) NUL 阅读全文
posted @ 2023-06-05 15:43
再见傅里叶
阅读(195)
评论(0)
推荐(0)
浙公网安备 33010602011771号