随笔分类 -  中间件

上一页 1 2 3 4
zookeeper04-简单使用ZooKeeper
摘要：1、第一个ZooKeeper会话 使用ZooKeeper中bin/目录下的zkServer.sh和zkCli.sh工具进行调试和管理。 使用客户端建立一个会话 ]# zkCli.sh -- ... --客户端启动程序来建立一个会话。 2021-12-22 09:37:37,464 [myid:] - 阅读全文
posted @ 2022-01-23 00:33 麦恒 阅读(130) 评论(0) 推荐(0)
zookeeper03-ZooKeeper的安装和配置
摘要：1、安装ZooKeeper（独立模式） 1、部署环境 软件版本 ZooKeeper：apache-zookeeper-3.5.9-bin.tar.gz 系统环境 10.1.1.11：CentOSLinuxrelease7.7.1908(Core) 2、下载ZooKeeper 官网：https://z 阅读全文
posted @ 2022-01-21 18:51 麦恒 阅读(538) 评论(1) 推荐(2)
zookeeper02-ZooKeeper架构和术语
摘要：1、ZooKeeper架构 应用程序通过客户端库调用ZooKeeper。客户端库负责与ZooKeeper服务器的交互。 图2-5展示了客户端与服务器端之间的关系。每个客户端导入客户端库之后，就可以与任意一个ZooKeeper节点通信。 ZooKeeper服务器有两种运行模式：独立模式((standa 阅读全文
posted @ 2021-12-18 23:00 麦恒 阅读(77) 评论(0) 推荐(0)
zookeeper01-ZooKeeper和分布式
摘要：分布式系统不仅能提供更强的计算能力，还能为提供更好的容灾性和扩展性。 ZooKeeper是Google的Chubby项目的开源实现，它曾经作为Hadoop的子项目，在大数据领域得到广泛应用。 ZooKeeper是一个托管到Apache软件基金会(Apache Software Foundation) 阅读全文
posted @ 2021-12-13 11:53 麦恒 阅读(93) 评论(0) 推荐(0)
kafka-常用命令及配置
摘要：1、broker端的配置参数 官方说明：https://kafka.apache.org/documentation/#configuration 1、基本配置 #此服务器的代理id。 如果未设置，将生成一个唯一的代理id。为了避免zookeeper生成的broker id和用户配置的broker 阅读全文
posted @ 2021-11-26 16:14 麦恒 阅读(181) 评论(0) 推荐(0)
kafka06-日志存储
摘要：参考文献：1、《深入理解Kafka-核心设计与实践原理(201901)》（第5章 日志存储） 1、文件目录布局 不考虑多副本的情况，一个分区对应一个日志(Log)。 日志分段(LogSegment)是为了防止Log过大，将Log切分为多个LogSegment，相当于一个巨型文件被平均分配为多个相对较 阅读全文
posted @ 2021-11-19 17:32 麦恒 阅读(540) 评论(0) 推荐(0)
kafka05-主题与分区
摘要：主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分不仅为Kafka提供了可伸缩性、水平扩展的功能，还通过多副本机制来为Kafka提供数据冗余以提高数据可靠性。 从Kafka的底层实现来说，主题和分区都是逻辑上的概念： 分区可以有一至多个副本。 每个副本对应一个 阅读全文
posted @ 2021-11-01 18:01 麦恒 阅读(272) 评论(0) 推荐(0)
kafka04-消费者
摘要：1、python中KafkaConsumer类 1、KafkaConsume类 class kafka.KafkaConsumer(*topics, **configs) 使用Kafka集群的记录。 消费者将透明地处理Kafka集群中服务器的故障，并在topic分区创建或在broker之间迁移时进行 阅读全文
posted @ 2021-10-09 23:55 麦恒 阅读(361) 评论(0) 推荐(0)
kafka03-生产者
摘要：参考文档：https://kafka-python.readthedocs.io/en/master/index.html 1、python中KafkaProducer类 1、KafkaProducer类 class kafka.KafkaProducer(**configs) 将记录发布到Kafk 阅读全文
posted @ 2021-10-08 01:14 麦恒 阅读(217) 评论(0) 推荐(0)
kafka02-安装kafka
摘要：1、安装kafka（单机模式） 1、部署环境 软件版本 JDK：jdk-8u291-linux-x64.tar.gz ZooKeeper：apache-zookeeper-3.5.9-bin.tar.gz kafka：kafka_2.13-2.8.0.tgz 系统环境 10.1.1.11：CentO 阅读全文
posted @ 2021-10-05 09:00 麦恒 阅读(73) 评论(0) 推荐(0)
kafka01-初识kafka
摘要：1、kafka简介 Kafka起初是由Linkedin公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现己被捐献给Apache基金会。 目前Kafka是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 越来越 阅读全文
posted @ 2021-10-03 16:00 麦恒 阅读(86) 评论(0) 推荐(0)

上一页 1 2 3 4