摘要: 磁盘迁移 背景介绍:Kafka搭建时,配置的磁盘过大,成本过高,所以需要迁移到小容量磁盘 原kakfa配置: log.dirs=/data1/kafka/var/kafka-logs/1,/data2/kafka/var/kafka-logs/1 (kafka磁盘可以支持多磁盘配置,提高吞吐量) l 阅读全文
posted @ 2023-05-15 22:15 蝎子莱莱②号 阅读(262) 评论(0) 推荐(0)
摘要: Flink SQL 批模式下 ClickHouse 批量写入 内置使用JdbcBatchingOutputFormat 批量处理类 pom依赖 <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jd 阅读全文
posted @ 2022-09-14 11:40 蝎子莱莱②号 阅读(2097) 评论(0) 推荐(0)
摘要: 背景: 批(有界流)模式下,需要统计处理总数据条数 如果使用 DataSetApi,可通过.count()直接获取: 本文主要描述DataStream如何获取总条数 思路: 当DataStream处于RuntimeExecutionMode.BATCH模式下,sum、reduce等求和相关操作,仅会 阅读全文
posted @ 2021-12-31 17:59 蝎子莱莱②号 阅读(710) 评论(0) 推荐(0)
摘要: 背景: 当前项目使用的 mybatis-plus 多数据源框架,使用方式可参考: https://mp.baomidou.com/guide/dynamic-datasource.html#%E6%96%87%E6%A1%A3-documentation 默认多数据源配置,并不支持clickHous 阅读全文
posted @ 2021-12-05 11:00 蝎子莱莱②号 阅读(2550) 评论(0) 推荐(0)
摘要: 该demo基于1.14版本 核心代码: withBucketAssigner(new BucketAssigner<String, String>() ...... 下面是完整代码: @SneakyThrows public static void main(String[] args) { Str 阅读全文
posted @ 2021-11-05 08:55 蝎子莱莱②号 阅读(1152) 评论(0) 推荐(0)