2017年2月17日

摘要: 1.在python中往kakfa写数据和读取数据,使用的是python-kafka库 2.消费者需持续写入数据,因groupid存在偏移量,才能看看到数据。 3.安装库的命令为pip install python-kafka -i https://pypi.douban.com/simple 4.其 阅读全文
posted @ 2017-02-17 13:10 小闪电 阅读(22261) 评论(0) 推荐(1) 编辑

2016年11月2日

摘要: 1.安装 MongoDB的python接口pymongo的安装方法有多种,如源码、easy_install、pip都可以。采用pip安装,很简单。 安装完成后可以检查下安装信息 2.pymongo的使用 有关PyMongo更多更详细的文档,请参考https://api.mongodb.org/pyt 阅读全文
posted @ 2016-11-02 17:33 小闪电 阅读(4837) 评论(0) 推荐(0) 编辑

2016年8月1日

摘要: eclipse安装Pydev 1.根据自己的eclipse和你安装的python选择可以安装的版本 Update sites for various PyDev versions: Latest version: http://pydev.org/updates Nightly build: htt 阅读全文
posted @ 2016-08-01 17:17 小闪电 阅读(186) 评论(1) 推荐(0) 编辑

2016年7月18日

摘要: Tomcat 安装APR的问题APR、APR-util、APR-iconv安装都正常apr安装命令:./configuremakemake installapr-util./configure --with-apr=/usr/local/apr/bin/apr-1-configmakemake in 阅读全文
posted @ 2016-07-18 10:50 小闪电 阅读(364) 评论(0) 推荐(0) 编辑

2016年6月6日

摘要: storm集成kafka的应用,从kafka读取,写入kafka by 小闪电 0前言 storm的主要作用是进行流式的实时计算,对于一直产生的数据流处理是非常迅速的,然而大部分数据并不是均匀的数据流,而是时而多时而少。对于这种情况下进行批处理是不合适的,因此引入了kafka作为消息队列,与stor 阅读全文
posted @ 2016-06-06 15:51 小闪电 阅读(12312) 评论(7) 推荐(0) 编辑

2016年6月2日

摘要: 程序启动报错:backtype.storm.generated.InvalidTopologyException:null 问题解决方法: 这个错误一般都是没有定义输出列造成的 检查Spout和Bolt代码中的declareOutputFields方法declare的Field定义字段数量 等于 c 阅读全文
posted @ 2016-06-02 17:51 小闪电 阅读(3613) 评论(0) 推荐(0) 编辑

导航