代码改变世界

Twitter Storm 集群安装

2012-03-07 15:07 by cnchenlx, 1101 阅读, 0 推荐, 收藏,
摘要:该文章概述Storm集群安装和运行的步骤。如果你在AWS,你应该检出storm-deploy项目。storm-deploy完全自动化准备,配置,和在EC2上安装Storm集群 。它还为您安装Ganglia,这样就可以监视CPU,磁盘和网络使用情况。 安装Storm集群的步骤概要: 1. 安装Zookeeper集群。 阅读全文

Twitter Storm 分布式RPC

2012-03-07 14:36 by cnchenlx, 983 阅读, 0 推荐, 收藏,
摘要:分布式RPC(DRPC)的真正目的是使用storm实时并行计算极端功能。Storm拓扑需要一个输入流作为函数参数,以一个输出流的形式发射每个函数调用的结果。 DRPC没有多少storm特性,因为它是从storm的原始流,spouts,bolts,拓扑来表达一个模式。DRPC没有单独打包,但它如此有用,以至于和storm捆绑在一起。 阅读全文

为什么选择Twitter Storm?

2012-03-07 13:57 by cnchenlx, 567 阅读, 0 推荐, 收藏,
摘要:在过去的十年里,数据处理发生了革命性的变化。MapReduce,Hadoop,以及相关的技术使我们可以存储和处理以前不可想象规模的数据。很遗憾,这些数据处理系统都不是实时系统,命中注定也不是它们。根本没办法把Hadoop变成一个实时系统;实时数据处理和批处理的许多要求在根本上有很大不同。 阅读全文

Twitter Storm 在生产集群运行拓扑

2012-03-07 13:20 by cnchenlx, 973 阅读, 0 推荐, 收藏,
摘要:在生产集群运行拓扑和在本地模式运行拓扑是相似的,下面是步骤: 定义拓扑(如果使用java语言定义,则使用TopologyBuilder类)。 使用StormSubmitter提交拓扑到集群。StormSubmitter需要以下输入参数:拓扑名称、拓扑配置、拓扑自身。例如: 阅读全文

Twitter Storm 序列化

2012-03-07 11:42 by cnchenlx, 1051 阅读, 0 推荐, 收藏,
摘要:这篇文章是关于序列化方法在storm 0.6.0版及之前版本中是如何工作的。0.6.0版之前,storm使用一种不同的序列化方法,参见 Serialization (prior to 0.6.0)。 元组可由任何一种类型的对象组成。由于storm是一个分布式系统,当对象在任务之间传递时,它需要知道如何序列化和反序列化这些对象。 Storm使用Kryo进行序列化。Kryo是一个灵活快速的序列化库,产生小的序列化。 阅读全文
点击右上角即可分享
微信分享提示