摘要:
kafka详解 一、简介 kafka是一个高吞吐的分布式消息系统,生产者生产数据,消费者消费数据。 二、基本架构 kafka是一个去中心化的架构,元数据存储在zookeeper中,数据存在硬盘上。 producer:消息生存者 consumer:消息消费者 broker:kafka集群的server 阅读全文
posted @ 2024-12-15 23:22
hello_future
阅读(407)
评论(0)
推荐(0)
Spark 优化 定义和目标 定义: Spark 优化是指通过调整 Spark 应用程序的配置参数、代码结构和数据处理方式,以提高 Spark 作业的性能和效率。 目标: 优化的目标包括减少作业的执行时间、降低资源消耗、提高吞吐量等。优化可以涉及到多个方面,如内存管理、数据分区、任务调度、代码优化等 阅读全文