随笔分类 -  kafka

learning journal
Kafka 0.9 新消费者API
摘要：kafka诞生之初，它自带一个基于scala的生产者和消费者客户端。但是慢慢的我们认识到这些API有很多限制。比如，消费者有一个“高级”API支持分组和异常控制，但是不支持很多更复杂的应用场景；它也有一个“低级”API，支持对细节的完全控制，但是要求码农自己控制失败和异常。所以重新设计了它们。 这个 阅读全文
posted @ 2016-04-29 15:02 Daem0n 阅读(7577) 评论(1) 推荐(0)
storm中KafkaSpout的选择
摘要：Storm最常用的消息源就是Kafka，在对接的时候大多需要使用KafkaSpout； 在网上大概有两种KafkaSpout，一种是只有几十行，一种却有一大啪啦类文件。 在kafka中，同一个partition中的消息只能被同一个组的一个consumer消费，不能并发，所以kafka的并发说的是多p 阅读全文
posted @ 2015-05-07 10:14 Daem0n 阅读(2018) 评论(0) 推荐(0)
kafka配置文件中参数的限制
摘要：在kafka的优化过程中，不断的调节配置文件中的参数，但是有时候会遇到java.lang.NumberFormatException这样的错误 比如socket.receive.buffer.bytes、socket.send.buffer.bytes等这样的参数，如果想设置成5G，是很难的，就会报 阅读全文
posted @ 2015-04-23 16:58 Daem0n 阅读(891) 评论(0) 推荐(0)
kafka删除topic
摘要：手动： 删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 删除zookeeper "/brokers/topics/"目录下相关topic节点 命令+手动： 删除kafka存储目录（server.prop 阅读全文
posted @ 2015-04-23 11:21 Daem0n 阅读(3598) 评论(2) 推荐(1)
kafka监控之KafkaOffsetMonitor
摘要：参考自：http://www.cnblogs.com/sunxucool/p/3904850.html 流行的kafka监控有kafka-web-console、KafkaOffsetMonitor、Mx4jloader，感觉KafkaOffsetMonitor比较简单实用，于是实践一把 安装极其简 阅读全文
posted @ 2015-04-18 11:29 Daem0n 阅读(673) 评论(0) 推荐(0)
kafka的一些名词
摘要：broker.id 区kafka集群中每台机器的标识 log.dirs 日志的存放目录，这个最好不要放到/tmp目录下，因为kafka的已被消费和未被消费的数据也被当成“日志”存放到了日志目录，； log.retention.hours log.segment.bytes log.retention 阅读全文
posted @ 2015-04-16 13:47 Daem0n 阅读(229) 评论(0) 推荐(0)
flume+kafka+storm
摘要：centos06.6+JDK1.7 flume1.4+kafka2.10+storm0.9.3 zookeeper3.4.6 集群： 192.168.80.133 x01 192.168.80.134 x02 1.两台机器上设置hostname和hosts 。。。 2.两台机器上安装JDK并设置环境 阅读全文
posted @ 2015-03-31 20:03 Daem0n 阅读(1099) 评论(0) 推荐(0)
kafka java客户端编程
摘要：kafka_2.10-0.8.1.1 maven <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.8.1.1</version 阅读全文
posted @ 2015-01-26 15:36 Daem0n 阅读(702) 评论(0) 推荐(0)
kafka 安装
摘要：centos 6.5+JDK1.7+zookeeper3.4.6+kafka0.8.1.1 1.安装启动zookeeper 2.下载解压kafka_2.10-0.8.1.1 http://apache.fayea.com/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 3. 阅读全文
posted @ 2015-01-26 15:03 Daem0n 阅读(710) 评论(0) 推荐(0)
kafka 简介
摘要：1、 概述 Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据，使用scala编写。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。 阅读全文
posted @ 2015-01-26 15:02 Daem0n 阅读(351) 评论(0) 推荐(0)