随笔分类 -  kafka

kafka和zookeeper的配置文件优化配置
摘要：zookeeper的配置 日志自动清理这两个参数都是在zoo.cfg中配置的： autopurge.purgeInterval 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。 autopurge.snapRetainCount 这个参数和上面的参数 阅读全文
posted @ 2018-11-09 17:25 努力中国 阅读(1401) 评论(0) 推荐(0)
kafka监控
摘要：zooKeeper和kafka安装的都是apache的。业务需要对kafka监控，网上有很多，但这里里面有坑。 我这边使用过下面三种jar包(下面的jar包只需要一个且只在一个安装过zookeeper节点上运行即可) KafkaOffsetMonitor-assembly-0.4.6.jar Kaf 阅读全文
posted @ 2018-11-09 11:24 努力中国 阅读(231) 评论(0) 推荐(0)
kafka----简单的脚本命令重点
摘要：kafka命令如下: kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test_kafka --zookeeper chenx02:2181 10.查看不可用的分区 kafka-topics.sh --describe --unav 阅读全文
posted @ 2018-04-18 15:42 努力中国 阅读(296) 评论(0) 推荐(0)
kafka简单学习----遇到的问题
摘要：kafka启动消费者时总是显示disconnected.这是因为 producer client采用2.10.1.0版本，而kafka集群是2.10.0.0版本，不能兼容 解决方法如下: 阅读全文
posted @ 2018-04-18 15:14 努力中国 阅读(342) 评论(0) 推荐(0)
nc简单使用
摘要：1.安装 2.运行 阅读全文
posted @ 2018-04-02 10:54 努力中国
kafka-sparkstreaming---学习1
摘要：恢复内容开始 上面是java版。 恢复内容结束 阅读全文
posted @ 2018-03-31 10:44 努力中国
spark入门备忘---1
摘要：2.本地测试。（一般基本没有多大用） 以下是kafka的生产者和消费者 生产者 消费者(类型Ⅰ) linux和idea消费的信息图下 消费者(类型Ⅱ) maven依赖 消费者(类型Ⅲ) 上比较乱.下面创建一个生产者,一个消费者.它俩是配套 消费者 消费者 阅读全文
posted @ 2018-03-15 17:28 努力中国 阅读(229) 评论(0) 推荐(0)
kafka入门学习---1 启动kakfa
摘要：1.查看kafka生产者产生的数据 2.管道符命令。查看最进使用关于带有kafka关键字的命令 3.配置本机与远程机 1.kafka简单的消费命令 2.打印kafka所有的主题 3.查看kafka最大的分区(Offset) 1.启动kafak会提示 -bash: kafka-server-start 阅读全文
posted @ 2018-03-12 15:59 努力中国 阅读(505) 评论(0) 推荐(0)