随笔分类 -  Kafka

摘要:问题1. IDEA 中Kafa_Producer程序数据输出缓慢 但不报错 问题2. Kafa_Consumer程序报错: 17/11/10 11:31:11 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error start 阅读全文
posted @ 2017-11-10 11:38 soyosuyang 阅读(1294) 评论(0) 推荐(0)
摘要:(1)kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储,提供push和pull存取数据功能。flume分为agent(数据采集器),collector(数据简单处理和写入),storage(存储器)三部分,每一部分都是可以定制的。比如agent采用RPC(Thrift-RP 阅读全文
posted @ 2017-10-17 19:51 soyosuyang 阅读(244) 评论(0) 推荐(0)
摘要:Kafka核心概念: 下面介绍Kafka相关概念,以便运行下面实例的同时,更好地理解Kafka. 1. Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker 2. Topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息 阅读全文
posted @ 2017-10-17 19:29 soyosuyang 阅读(4312) 评论(0) 推荐(0)