随笔分类 -  storm

摘要:1. 问题 今天为storm程序添加了一个计算bolt,上线后正常,结果发现之前的另一个bolt在将中文插入到hbase中后查询出来乱码。其中字符串是以UTF-8编码的url加密串,然后我使用的URLDecoder.decode(str, "UTF-8")解码,最后插入到hbase中。2. 排查(... 阅读全文
posted @ 2015-06-03 11:36 JerryShao 阅读(990) 评论(0) 推荐(0)
摘要:storm的topology启动过程是执行strom jar topology1.jar MAINCLASS ARG1 ARG2鉴于前面已经分析了脚本的解析过程,现在重点分析topology1.jar的执行。以storm-starter中的ExclamationTopology为例,来进行剖析:pu... 阅读全文
posted @ 2015-04-16 18:54 JerryShao 阅读(718) 评论(0) 推荐(0)
摘要:storm的配置项,可以从backtype/storm/Config.java中找到所有配置项及其描述 阅读全文
posted @ 2015-04-16 16:02 JerryShao 阅读(146) 评论(0) 推荐(0)
摘要:今天看了一下storm的命令行脚本${STORM_HOME}/bin/storm,现在将剖析过程整理一下,作为记录。注:使用的storm版本为0.8.0。${STORM_HOME}/bin/storm文件是用python写的,该文件写的还是相当精简和清晰的。首先,命令的运行从main()方法开始,m... 阅读全文
posted @ 2015-04-15 19:12 JerryShao 阅读(795) 评论(0) 推荐(0)