随笔分类 -  分布式

kafka学习笔记5-kafka中的角色
摘要：学习kafka有一段时间了，但是对kafka架构中的各个角色以及起到的作用还是没有一个比较清晰的脉络，专门找了点时间把现在接触到的各个角色及其作用作一个简单的梳理，后续随着更加深入的学习再进一步进行完善。 各个角色和角色之间的关系如下图所示： 从上图我们可以看到kafka主要由zookeeper，生 阅读全文
posted @ 2020-09-02 21:01 罗斯托夫 阅读(599) 评论(0) 推荐(0)
kafka学习笔记4-kafka消费者
摘要：上一篇我们聊完了kafka生产者，现在我们来聊一聊kafka中另一个重要的角色，kafka消费者。 消费者和消费者群组 kafka消费者分为消费者群组 和 消费者。每一个kafka消费者都隶属于一个kafka消费者群组。每个消费者群组可以对应一个或多个topic，每个topic内的分区只能对应消费者 阅读全文
posted @ 2020-08-31 22:12 罗斯托夫 阅读(153) 评论(0) 推荐(0)
kafka学习笔记2-kafka安装及配置
摘要：上一篇文章里我们介绍了kafka是什么以及它所具备的优势。本篇我们介绍kafka的安装以及基本配置。 kafka的安装需要下面三个组件: jdk kafka是用java进行开发的，需要安装jdk，提供运行环境。也因此kafka可以部署在windows, mac，linux平台上。但一般还是部署在li 阅读全文
posted @ 2020-08-25 15:22 罗斯托夫 阅读(171) 评论(0) 推荐(0)
docker原理讲解2-Cgroups
摘要：linux namespace技术用于帮助进程隔离出自己单独的空间，但是为了对容器进行管理，还需要对每个容器的资源进行限制，保证他们不会互相争夺资源，这就需要用到linux中的Ggroups技术。 Cgroups定义 linux Cgroups(Control Groups)提供了对一组进程及将来子 阅读全文
posted @ 2020-08-23 09:31 罗斯托夫 阅读(124) 评论(0) 推荐(0)
kafka学习笔记1-初识kafka
摘要：kafka定义 kafka本质上是一个分布式可伸缩的发布订阅系统，他为大型网站和应用提供了分布式流平台。 消息和批次 kafka的数据单元被称为消息，一个消息有一组字节数据组成，每一个消息都有一个被称为键的元数据，kafka可以根据消息的键进行mod运算从而确定该消息应该存放在kafka对应topi 阅读全文
posted @ 2020-08-22 10:01 罗斯托夫 阅读(89) 评论(0) 推荐(0)
在docker环境下部署kafka集群
摘要：利用docker可以很方便的在一台机子上搭建kafka集群并进行测试。为了简化配置流程，我们采用docker-compose进行进行搭建。 docker环境的部署参考：https://www.cnblogs.com/Rostov/p/13494838.html docker-compose的部署参考 阅读全文
posted @ 2020-08-19 21:35 罗斯托夫 阅读(644) 评论(0) 推荐(0)