随笔分类 -  storm

4. Storm可靠性
摘要：storm高可靠性：storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制：1.节点故障迁移 当一个节点上的worker出现问题是，会自动切到其他节点；2.消息完整发送一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建“单词统计”的例子：storm任务从数据源每次读取一个完整的英文句子；将这个句子分解为独立的单词，最后，... 阅读全文
posted @ 2015-06-12 23:53 51runsky 阅读(220) 评论(0) 推荐(0)
3. Storm编程框架
摘要：实例分析lifeCycle：RandomWordSpout 1 package cn.itcast.storm.spout; 2 import java.util.Map; 3 import java.util.Random; 4 import org.apache.commons.logging.... 阅读全文
posted @ 2015-06-12 23:46 51runsky 阅读(321) 评论(0) 推荐(0)
2. Storm消息流
摘要：1. 概念消息流是storm里面的最关键的抽象。一个消息流是一个没有边界的tuple序列， 而这些tuples会被以一种分布式的方式并行地创建和处理。 对消息流的定义主要是对消息流里面的tuple的定义， 我们会给tuple里的每个字段一个名字。 并且不同tuple的对应字段的类型必须一样。 也就是说： 两个tuple的第一个字段的类型必须一样， 第二个字段的类型必须一样， 但是第一个字段和第二个... 阅读全文
posted @ 2015-06-12 23:45 51runsky 阅读(204) 评论(0) 推荐(0)
1.1 Storm集群安装部署步骤
摘要：安装storm集群，需要依赖以下组件：ZookeeperPythonZeromqStormJDKJZMQ故安装过程根据上面的组件分为以下几步：安装JDK安装Zookeeper集群安装Python及依赖安装Storm另外，操作系统环境为：Centos6.4，安装用户为：root。1. 安装JDK安装jdk有很多方法，可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤，需要说明的是... 阅读全文
posted @ 2015-06-12 23:44 51runsky 阅读(222) 评论(0) 推荐(0)
1. Storm介绍
摘要：Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网：http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群，Hadoop上运行的是MapReduce Jobs，而Storm运行topologies；但是其... 阅读全文
posted @ 2015-06-12 23:40 51runsky 阅读(245) 评论(0) 推荐(0)