摘要：
1.文件目录布局 Kafka消息以日志文件的形式存储，不同主题下不同分区的消息分开存储，同一个分区的不同副本分布在不同的broker上存储 逻辑上看来日志是以副本为单位的，每个副本对应一个log对象，实际在物理上，一个log划分为多个logSegment 创建一个topic为3个分区，会在log.d 阅读全文
posted @ 2020-08-04 23:40
马晟
阅读(1685)
评论(0)
推荐(0)
摘要：
在Spark中要启用反压机制，需要将配置spark.streaming.backpressure.enabled设置为true，默认为false 具体实现 1.RateController 该类继承StreamingListener，是一个监听器 /** * A StreamingListener 阅读全文
posted @ 2020-08-04 23:36
马晟
阅读(710)
评论(0)
推荐(0)
浙公网安备 33010602011771号