随笔分类 -  2.2 ├─ Kafka

Python KafkaProducer and KafkaConsumer的开发模块
摘要:1.在python中往kakfa写数据和读取数据,使用的是python-kafka库 2.消费者需持续写入数据,因groupid存在偏移量,才能看看到数据。 3.安装库的命令为pip install python-kafka -i https://pypi.douban.com/simple 4.其 阅读全文

posted @ 2017-02-17 13:10 小闪电 阅读(22310) 评论(0) 推荐(1)

storm集成kafka的应用,从kafka读取,写入kafka
摘要:storm集成kafka的应用,从kafka读取,写入kafka by 小闪电 0前言 storm的主要作用是进行流式的实时计算,对于一直产生的数据流处理是非常迅速的,然而大部分数据并不是均匀的数据流,而是时而多时而少。对于这种情况下进行批处理是不合适的,因此引入了kafka作为消息队列,与stor 阅读全文

posted @ 2016-06-06 15:51 小闪电 阅读(12420) 评论(7) 推荐(0)

导航