上一页 1 2 3 4 5 6 ··· 65 下一页
摘要: kafka集群部署完成后需要有一个可视化web页面,便于实时查看和观测kafka集群状态,kafka本身并没有提供可视化页面,但市面上有很多开源的可视化工具,我们以其中的Kafka Eagle为例,在安装Kafka Eagle之前,至少需要安装JDK、kafka、zookeeper的环境后,再进行后 阅读全文
posted @ 2024-02-22 10:12 SpringCore 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 1.Kafka 消费方式 pull(拉)模式: consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 push(推)模式: Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consu 阅读全文
posted @ 2024-02-19 12:49 SpringCore 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 1.Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 /kafka/brokers/ids 记录有哪些Kafka Broker服务器 /kafka/brokers/topics/first/partitions/0/state 记录每一个主题下的分区对应的Lead 阅读全文
posted @ 2024-02-16 14:11 SpringCore 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 1.生产者消息发送流程 1.发送原理 在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAcc 阅读全文
posted @ 2024-02-13 13:04 SpringCore 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 1.Topic(主题)命令行操作 1.查看Topic所有命令 bin/kafka-topics.sh 以下展示为最常使用的 参数 描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号 --topic 阅读全文
posted @ 2024-02-11 10:17 SpringCore 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 1.集群规划 hadoop02(192.168.58.130) hadoop03(192.168.58.131) hadoop04(192.168.58.132) zookeeper zookeeper zookeeper kafka kafka kafka 2.集群部署 1.下载kafka二进制包 阅读全文
posted @ 2024-02-10 09:06 SpringCore 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 1. sql-client 准备 1.基于yarn-session模式 1.准备Flink集群 参考地址:Flink1.18 & YARN 会话模式 2.启动 Flink 的 sql-client /usr/flink/flink-1.18.0/bin/sql-client.sh embedded 阅读全文
posted @ 2024-02-05 18:18 SpringCore 阅读(44) 评论(0) 推荐(0) 编辑
摘要: 在 Flink 中,有一套完整的容错机制来保证故障后的恢复,其中最重要的就是检查点。 1.检查点(Checkpoint) 在流处理中,我们可以用存档读档的思路,就是将之前某个时间点所有的状态保存下来,这份“存档”就是所谓的“检查点”(checkpoint)。 遇到故障重启的时候,我们可以从检查点中“ 阅读全文
posted @ 2024-01-29 15:50 SpringCore 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 与 Keyed State 中的 ListState 一样,将状态表示为一组数据的列表。 与 Keyed State 中的列表状态的区别是:在算子状态的上下文中,不会按键(key)分别 处理状态,所以每一个并行子任务上只会保留一个“列表”(list),也就是当前并行子任务上 所有状态项的集合。列表中 阅读全文
posted @ 2024-01-28 21:05 SpringCore 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 流处理 API,无论是基本的转换、聚合,还是更为复杂的窗口操作,其实 都是基于 DataStream 进行转换的,所以可以统称为 DataStream API。 在 Flink 更底层,我们可以不定义任何具体的算子(比如 map,filter,或者 window),而只是提炼出一个统一的“处理”(p 阅读全文
posted @ 2024-01-26 20:57 SpringCore 阅读(4) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 65 下一页