2023年8月29日

Kafka - 线上集群部署方案怎么做?

摘要: 既然是集群,那必然就要有多个 Kafka 节点机器,因为只有单台机器构成的 Kafka 伪集群只能用于日常测试之用,根本无法满足实际的线上生产需求。而真正的线上环境需要仔细地考量各种因素,结合自身的业务需求而制定。下面我就分别从操作系统、磁盘、磁盘容量和带宽等方面来讨论一下。 操作系统 -- 选择L 阅读全文

posted @ 2023-08-29 15:32 frank_cui 阅读(85) 评论(0) 推荐(0)

Kafka - 各个历史版本的重大改进

摘要: Kafka版本号解释 前面的版本号2.11是编译 Kafka 源代码的 Scala 编译器版本。 Kafka 服务器端的代码完全由 Scala 语言编写 Kafka 新版客户端代码完全由 Java 语言编写 Kafka各个历史版本的重大改进 Kafka 目前总共演进了 7 个大版本,分别是 0.7、 阅读全文

posted @ 2023-08-29 13:30 frank_cui 阅读(622) 评论(0) 推荐(0)

Kafka - 应该选择哪种Kakfa? Apache/Confluent/CDH/HDP

摘要: 三种kafka的优缺点 Apache Kafka,也称社区版 Kafka。优势在于迭代速度快,社区响应度高,使用它可以让你有更高的把控度;缺陷在于仅提供基础核心组件,缺失一些高级的特性。 社区版 Kafka 只提供一种连接器,即读写磁盘文件的连接器,而没有与其他外部系统交互的连接器,在实际使用过程中 阅读全文

posted @ 2023-08-29 10:56 frank_cui 阅读(412) 评论(0) 推荐(0)

Kafka - 不仅是消息引擎,还是分布式流处理平台

摘要: 如果你通读全篇文字但只能记住一句话,我希望你记住的就是这句 Apache Kafka 是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform) 作为流处理平台,Kafka 与其他主流大数据流式计算框架相比,优势在哪里呢?我能想到的有两点。 第一点是更容 阅读全文

posted @ 2023-08-29 10:34 frank_cui 阅读(55) 评论(0) 推荐(0)

Kafka - 为什么 Kafka 不像 MySQL 那样允许追随者副本对外提供读服务?

摘要: 几个原因: 1,kafka的分区已经让读是从多个broker读从而负载均衡,不是MySQL的主从,压力都在主上; 2,kafka保存的数据和数据库的性质有实质的区别就是数据具有消费的概念,是流数据,kafka是消息队列,所以消费需要位移,而数据库是实体数据不存在这个概念,如果从kafka的follo 阅读全文

posted @ 2023-08-29 10:09 frank_cui 阅读(134) 评论(0) 推荐(0)

导航

levels of contents