12 2013 档案

摘要:TridentTopology是storm提供的高层使用接口,常见的一些SQL中的操作在tridenttopology提供的api中都有类似的影射。关于TridentTopology的使用及运行原理,当前进行详细分析的文章不多。 从TridentTopology到vanilla topology(普通的topology)由三个层次组成: 面向最终用户的概念stream, operation 利用planner将tridenttopology转换成vanilla topology 执行vanilla topology 本文尝试TridentTopology是如何先一步步转换成普通的storm Topology(即vanila topology), 转换后的topology的执行中有哪些区别? 阅读全文
posted @ 2013-12-26 09:30 徽沪一郎 阅读(2905) 评论(0) 推荐(1) 编辑
摘要:本文从外部消息在worker进程内部的转化,传递及处理过程入手,一步步分析在worker-data中的数据项存在的原因和意义。试图从代码实现的角度来回答,如果是从头开始实现worker的话,该如何来定义消息接口,如何实现各自接口上的消息处理。 阅读全文
posted @ 2013-12-17 11:33 徽沪一郎 阅读(2204) 评论(0) 推荐(1) 编辑
摘要:本文重点分析storm的worker进程在正常启动之后有哪些类型的线程,针对每种类型的线程,剖析其用途及消息的接收与发送流程。 阅读全文
posted @ 2013-12-11 16:50 徽沪一郎 阅读(1705) 评论(1) 推荐(1) 编辑