代码改变世界

随笔分类 -  Storm

storm学习之入门篇(二)

2014-07-10 09:21 by Batys, 284 阅读, 收藏,
摘要: Strom的简单实现Spout的实现对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。在数据得到了字段的说明后,将其转换成tuple。声明Spout和Bolt之间的分组,并决定tuple发送给Bolt的途径。Spout中open、nextTuple和delcareOutputFields方... 阅读全文

storm学习之入门篇(一)

2014-07-09 20:58 by Batys, 689 阅读, 收藏,
摘要: 海量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处理上得到了广泛的使用。但是,hadoop不擅长实时计算,因为它天然就是为批处理而生的,这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计... 阅读全文