会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
再见傅里叶
博客园
首页
新随笔
联系
订阅
管理
1
2
3
4
5
···
18
下一页
2023年6月29日
spark常见问题
摘要: spark任务报错:KryoException: Buffer overflow. Available: xxx, required: xxx 可以适当增加spark.kryoserializer.buffer.max 的值, 默认是128m,可以尝试给到256m或512m
阅读全文
posted @ 2023-06-29 11:22 再见傅里叶
阅读(102)
评论(0)
推荐(0)
2023年6月16日
kafka重平衡
摘要: rebalance 的触发条件有三种: 组成员发生变更(新 consumer 加入组、已有 consumer 主动离开组或已有 consumer 崩溃了——这两者的区别后面会谈到)订阅主题数发生变更订阅主题的分区数发生变更
阅读全文
posted @ 2023-06-16 15:08 再见傅里叶
阅读(52)
评论(0)
推荐(0)
2023年6月15日
网易有数平台常见大数据问题及处理
摘要: https://study.sf.163.com/documents/read/service_support/dsc-p-c-0099
阅读全文
posted @ 2023-06-15 16:27 再见傅里叶
阅读(29)
评论(0)
推荐(0)
数仓设计规范原则
摘要: https://betheme.net/a/6125352.html
阅读全文
posted @ 2023-06-15 15:56 再见傅里叶
阅读(23)
评论(0)
推荐(0)
kafka消费模式
摘要: 消费者消费方式:订阅与分配 1、KafkaConsumer.subscribe():为consumer自动分配partition,有内部算法保证topic-partition以最优的方式均匀分配给相同group下的不同consumer。 2、KafkaConsumer.assign():为consu
阅读全文
posted @ 2023-06-15 15:54 再见傅里叶
阅读(416)
评论(0)
推荐(0)
Flink重启策略
摘要: Flink默认重启策略是通过Flink的配置文件设置的flink-conf.yaml,配置参数restart-strategy定义采用的策略。 注意:如果启用了checkpoint并且没有显式配置重启策略,会默认使用fixeddelay策略,最大重试次数为Integer.MAX_VALUE。 1.固
阅读全文
posted @ 2023-06-15 10:21 再见傅里叶
阅读(849)
评论(0)
推荐(0)
2023年6月14日
doris/starrocks配置参数修改
摘要: FE 参数分为动态参数和静态参数。动态参数可通过 SQL 命令进行在线配置和调整,方便快捷。 静态参数必须在 FE 配置文件 fe.conf 中进行配置和调整。调整完成后,需要重启 FE 使变更生效。 参数是否为动态参数可通过 ADMIN SHOW CONFIG 返回结果中的 IsMutable 列
阅读全文
posted @ 2023-06-14 18:37 再见傅里叶
阅读(478)
评论(0)
推荐(0)
Flink 的 checkpoint 机制对比 spark 有什么不同和优势?
摘要: spark streaming 的 checkpoint 仅仅是针对 driver 的故障恢复做了数据和元数据的 checkpoint。 而 flink 的checkpoint 机制要复杂很多,它采用的是轻量级的分布式快照,实现了每个算子的快照,及流动中的数据的快照。
阅读全文
posted @ 2023-06-14 15:48 再见傅里叶
阅读(169)
评论(0)
推荐(0)
2023年6月13日
spark写数据到doris/starrocks优化
摘要: 适合低频写入; 写入前重分区 降低并发数 增加导入时间间隔
阅读全文
posted @ 2023-06-13 16:51 再见傅里叶
阅读(562)
评论(0)
推荐(0)
2023年6月5日
doris/starrocks on ES
摘要: 在doris/starrocks中创建外部表 USE simon;CREATE EXTERNAL TABLE `soe_t1` ( `k1` bigint(20) NULL COMMENT "", `k2` datetime NULL COMMENT "", `k3` varchar(20) NUL
阅读全文
posted @ 2023-06-05 15:43 再见傅里叶
阅读(195)
评论(0)
推荐(0)
1
2
3
4
5
···
18
下一页
公告