随笔分类 -  Storm

记录Storm写HBase性能的一个问题
摘要：一、集群storm版本： storm version命令打出来的： 本地storm版本：apache-storm-0.10.1 注意版本和集群并不一致 storm-hbase jar包版本： HBase version： 二、本地模式下测试往HBase里写数据，拓扑定义代码如下，用了自带的HBase 阅读全文
posted @ 2016-07-08 15:31 kane_zch 阅读(3835) 评论(0) 推荐(0)
storm问题记录（1） python 不断向kafka中写消息，spout做为消费者从kafka中读消息并emit给bolt，但是部分消息没有得到bolt的处理
摘要：一、问题背景 Python 写的脚本，不断从txt文件中读取一行数据封装成消息，作为producer发给kafka, storm的spout从kafka中读取这些消息后做一些处理发送给bolt,bolt最后将数据按既定的格式写入到HBASE 二、问题描述 一共14000条左右的数据，加调试信息观察到 阅读全文
posted @ 2016-07-05 16:33 kane_zch 阅读(797) 评论(0) 推荐(0)
nodejs+kafka+storm+hbase 开发
摘要：1.环境介绍 如图所示，NODEJS做为数据源的的产生者产生消息，发到Kafka队列，然后参见红线，表示本地开发的环境下数据的流向（本地开发时，storm topology运行在本地模式） 2.搭建环境,我采用的是eclipse+maven 1.建立一个maven工程， 然后将pom文件修改如下： 阅读全文
posted @ 2016-06-30 15:15 kane_zch 阅读(1629) 评论(1) 推荐(0)
新建一个storm工程
摘要：一、maven创建工程 mvn archetype:generate -DgroupId=com.h3c.storm -DartifactId=storm-samples -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMo 阅读全文
posted @ 2016-06-14 20:17 kane_zch 阅读(327) 评论(0) 推荐(0)
(转)搭建storm集群（apache-storm-0.9.5.tar.gz）
摘要：http://blog.csdn.net/wulantian/article/details/46894727 阅读全文
posted @ 2016-06-14 10:46 kane_zch 阅读(344) 评论(0) 推荐(0)