随笔分类 -  06大数据-kafka

如何删除Kafka的Topic
摘要：在server.properties文件中添加配置：delete.topic.enable=true 创建kafka主题： kafka-topics.sh --create --zookeeper 192.168.168.200:2181--replication-factor 1--partiti 阅读全文
posted @ 2018-04-05 18:53 四叶草Grass 阅读(166) 评论(0) 推荐(0)
Kafka简介
摘要：转载自：http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 阅读全文
posted @ 2017-09-24 21:12 四叶草Grass 阅读(147) 评论(0) 推荐(0)
Kafka主要参数详解
摘要：转载自：http://www.cnblogs.com/weixiuli/p/6413109.html 一、相关参数配置 1、System ############################ System ############################# #唯一标识在集群中的ID，要求 阅读全文
posted @ 2017-09-24 21:03 四叶草Grass 阅读(200) 评论(0) 推荐(0)
kafka_2.11-0.10.0.1生产者producer的Java实现
摘要：转载自：http://blog.csdn.net/qq_26479655/article/details/52555283 首先导入包 将kafka目录下的libs中的jar包导入 用maven建立 <dependency> <groupId>org.apache.kafka</groupId> < 阅读全文
posted @ 2017-09-11 12:06 四叶草Grass 阅读(1142) 评论(0) 推荐(0)
kafka_2.11-0.8.2.1+java 生产消费程序demo示例
摘要：Kafka学习8_kafka java 生产消费程序demo示例 kafka是吞吐量巨大的一个消息系统，它是用scala写的，和普通的消息的生产消费还有所不同，写了个demo程序供大家参考。kafka的安装请参考官方文档。 首先我们需要新建一个maven项目，然后在pom中引用kafka jar包， 阅读全文
posted @ 2017-09-05 22:29 四叶草Grass 阅读(1381) 评论(1) 推荐(0)
Kafka使用log.retention.hours改变消息端的消息保存时间
摘要：数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据，也就是消费端能够多久去消费数据log.retention.bytes和log.retention.hours任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖。 在server.propert 阅读全文
posted @ 2017-09-01 15:39 四叶草Grass 阅读(9009) 评论(0) 推荐(1)
Apache Kafka监控之KafkaOffsetMonitor
摘要：转载自：http://www.cnblogs.com/Leo_wl/p/4564699.html 1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们 阅读全文
posted @ 2017-08-30 20:34 四叶草Grass 阅读(369) 评论(1) 推荐(0)
Apache Kafka监控之Kafka Web Console
摘要：Kafka Web Console：是一款开源的系统，源码的地址在https://github.com/claudemamo/kafka-web-console中。Kafka Web Console也是用Scala语言编写的Java web程序用于监控Apache Kafka。这个系统的功能和Kaf 阅读全文
posted @ 2017-08-30 18:23 四叶草Grass 阅读(1214) 评论(1) 推荐(0)
Kafka三款监控工具比较
摘要：在之前的博客中，介绍了Kafka Web Console这个监控工具，在生产环境中使用，运行一段时间后，发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接，从而导致网络阻塞。并且这个Bug也在其他使用者中出现过，看来使用开源工具要慎重！该Bug暂未得到修复，不得已，只能研究下其他 阅读全文
posted @ 2017-08-30 16:27 四叶草Grass 阅读(304) 评论(1) 推荐(0)
kafka_2.11-0.8.2.1生产者producer的Java实现
摘要：转载自：http://blog.csdn.net/ch717828/article/details/50818261 1. 开启Kafka Consumer 首先选择集群的一台机器，打开kafka consumer，接收发送给kafka的消息。我选择的是 10.101.214.71这台机器。 通过以 阅读全文
posted @ 2017-08-28 11:20 四叶草Grass 阅读(812) 评论(0) 推荐(0)
RedHat6.5安装kafka集群
摘要：版本号： Redhat6.5 JDK1.8 zookeeper-3.4.6 kafka_2.11-0.8.2.1 1、软件环境 1、3台RedHat机器，master、slave1、slave2 机器IP与名称对应关系如下： 192.168.168.200 master 192.168.168.20 阅读全文
posted @ 2017-07-26 09:40 四叶草Grass 阅读(289) 评论(0) 推荐(0)
RedHat6.5安装kafka单机
摘要：版本号： Redhat6.5 JDK1.8 zookeeper-3.4.6 kafka_2.11-0.8.2.1 1、软件环境 已经搭建好的zookeeper： RedHat6.5安装zookeeper单机 软件版本kafka_2.11-0.8.2.1.tgz 官网下载地址：https://mirr 阅读全文
posted @ 2017-07-26 09:38 四叶草Grass 阅读(103) 评论(0) 推荐(0)