随笔分类 -  kafka

kafka 项目实战
摘要：一、动态修改消息体。 1、默认消息体大小 1 M 2、修改某一个topic消息体大小为3M ## 修改参数bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --alter --topic test --config max.message.bytes=30 阅读全文
posted @ 2020-09-07 21:26 Mr-Lee-long 阅读(1638) 评论(0) 推荐(0)
kafka配置项host.name advertised.host.name
摘要：遇到的问题： 在本机或者其他机器telnet IP 9092，通，使用域名也通，telnet 127.0.0.1 9092不通 host.name：按配置文件说明，是Kafka绑定的interface。其实这个说明有点误导，下面会见到。 advertised.host.name：是注册到zookee 阅读全文
posted @ 2019-04-26 09:23 Mr-Lee-long 阅读(10597) 评论(0) 推荐(0)
kafka常用命令
摘要：Kafka常用命令 以下是kafka常用命令行总结： 1.查看topic的详细信息 2、为topic增加副本 3、创建topic 4、为topic增加partition 5、kafka生产者客户端命令 6、kafka消费者客户端命令 7、kafka服务启动 8、下线broker 9、删除topic 阅读全文
posted @ 2018-11-01 16:54 Mr-Lee-long 阅读(2494) 评论(0) 推荐(0)
kafka集群管理
摘要：1.启动kafka集群 kafka 没有提供同时启动集群中所有节点的执行脚本，这里自定义一个脚本 名称为 kafka-cluster-start.sh 2.关闭节点 kafka自带关闭脚本 如不能关闭，输出信息如下 这是因为在某些系统中，脚本的命令无法获取kafka的pid， ps ax | gre 阅读全文
posted @ 2018-11-01 15:16 Mr-Lee-long 阅读(410) 评论(0) 推荐(0)
kafka server管理
摘要：kafka启动以来zookeeper kafka启动之前，首先要启动zookeeper 1.1.kafka启动单个节点 -daemon 表示程序以守护进程的方式后台云心 --override property=value 覆盖kafkaconfig默认配置 property 表示覆盖配置项名称，va 阅读全文
posted @ 2018-11-01 14:56 Mr-Lee-long 阅读(316) 评论(0) 推荐(0)
kafka 日志结构
摘要：1.kafka日志结构 直接举例子： 例如kafka有个名字叫 haha 的topic，那么kafka日志下面有kafka-0,kafka-1,kafka-2...,kafka-n，具体多少个，创建分区的时候有几个分区，n就是几。 每个目录下面有三个日志文件，xxx.log是消息集文件， xxx.i 阅读全文
posted @ 2018-10-31 21:28 Mr-Lee-long 阅读(7176) 评论(0) 推荐(0)
kafka消费者基本操作
摘要：1.消费消息 消费者以pull的方式获取消息， 每个消费者属于某一个消费组，在创建时不指定消费者的groupId,则该消费者属于默认消费组test-consumer-group ,在配置文件./consumer.properties中设置 同一消费组下的各个消费者在消费消息是是互斥的，也即是说，同一 阅读全文
posted @ 2018-10-26 16:22 Mr-Lee-long 阅读(23298) 评论(0) 推荐(0)
kafka 生产者基本操作
摘要：kafka自带了一个在终端演示生产者发布消息的脚本--kafka-console-producer.sh 运行该脚本会启动一个进程，在运行该脚本时可以传递相应配置以覆盖默认配置。 参数-- -- producer.config，用于加载一个生产者级别相关的配置文件 -- producer-prope 阅读全文
posted @ 2018-10-25 09:45 Mr-Lee-long 阅读(12381) 评论(0) 推荐(0)
kafka主题管理
摘要：若代理设置了 auto.create.topics.enable=true，这样还未创建topic就往kafka发送消息时， 会自动创建一个 ${num.partitions}个分区和{default.replication.factor}个副本的主题 创建主题 1.创建一个名称为“kafka-ac 阅读全文
posted @ 2018-10-24 14:50 Mr-Lee-long 阅读(4880) 评论(0) 推荐(0)
kafka基础知识
摘要：1.kafka分区，副本 kafka 每个主题在结构上有一个或者多个分区构成，分区数可以在创建主题时指定，也可以在主题创建之后修改，由kafka-topic.sh修改，但是只能增加不能减少分区数。 每个分区有一个副本或者多个副本组成，挑选其中一个副本作为leader，其它的为follower， le 阅读全文
posted @ 2018-10-24 10:17 Mr-Lee-long 阅读(349) 评论(0) 推荐(0)
kafka 学习笔记
摘要：一 基本架构： 作为一个消息系统，其基本结构至少要包括生产组件（producer）以及消费组件（consumer). 1.kafka 生产者将消息写入kafka集群 2.kafka消费者将从集群中拉取消息。 二、kafka基本概念 1.主题（topic) kafka将一组消息抽象归纳为一个主题 一个 阅读全文
posted @ 2018-09-19 09:24 Mr-Lee-long 阅读(160) 评论(0) 推荐(0)
【转】kafka集群搭建
摘要：转：http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想 阅读全文
posted @ 2018-05-19 12:42 Mr-Lee-long 阅读(133) 评论(0) 推荐(0)