【原】Storm及特点
Storm入门教程
1. Storm基础
Storm
Storm主要特点
Storm基本概念
Storm调度器
Storm配置
Guaranteeing Message Processing（消息处理保障机制）
Daemon Fault Tolerance（守护线程容错机制）
理解Storm拓扑的并行
Tutorial
Local模式
在生产环境中运行Topologies
Storm
Storm是一个免费开源的分布式实时计算系统。Storm令无边界的流数据计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。
Storm常用在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等场景中。Storm处理速度快，单节点每秒可处理百万级元组的数据；同时，Storm是可扩展的、有容错性，容易部署与操作。
Storm已整合现有的消息队列和数据库系统。
Storm主要特点
- 简单的API接口
Storm的API简单且容易使用。当编写Storm程序时，处理的是元组组成的流数据，一个元组是一组值的集合。元组包含任何对象类型，当使用自定义数据类型时，只需要简单的使用storm的序列化器注册一下即可。
Storm提供了三种抽象的组件，分别是Spouts、Bolts和Topologies。Spouts组件是负责接收或生产处理所需的数据源。通常spout从消息队列中读取数据，比如Kestrel、RabbitMQ或是Kafka，也可以从其他地方生产自己需要的数据源，比如调用Twitter streaming API。Spout已经和大部分的消息队列集成。
Bolts处理接收到的数据流，生产出新的数据流提供给其他组件调用。大部分的计算逻辑都由bolt处理。比如函数处理、过滤器、join、聚集、甚至是数据库调用等等。
一个Topologie组件就是由多个spout和bolt组成的网络结构。网络中的每一个边线代表一个bolt组件订阅的数据流，这个数据流可能来至spout组件，也可能来至其他bolt组件。一个Topology组件就是复杂的流处理计算过程。Topology部署在服务器上就会一直运行。
Storm提供了一种本地运行模式，来模拟集群处理，这对开发和测试非常有用。客户端使用strom命令提交一个Topology到集群上运行。
- 可扩展性
Storm topologies先天并行计算并且运行在集群中。不同的topology的部分能调整它们的并行度，如client可通过“rebalance”命令及时调整正在运行的topologies的并行度。
先天并行计算是指它在低延迟的前提下保证了高吞吐量。如，在单台节点（处理器：2x Intel E5645@2.4Ghz，内存：24GB）上每秒处理百万级消息，消息约为100字节。
- 容错性
Storm有容错机制，当工作节点宕了，storm会尝试重启。如果节点宕机，会重启另启动一个节点。
Storm的守护进程Nimbus和Supervisors都是无状态的，如果它们死掉，那么它们将会重启就像什么也没发生。也就就是说，即使你用kill -9强制杀死这两个进程那么也不会影响集群的正常运行。
- 无数据丢失
Storm确保每个元组被处理。Storm的机制之一：能有效地记录元组的lineage。
Storm的抽象组件确保了数据至少处理一次，即使使用消息队列系统失败时，也能确保消息被处理。
通过Storm的抽象组件Trident能确保消息只被处理一次。
- 支持多种编程语言
Storm从一开始就设计为能被各种编程语言使用。Storm用Thrift定义和提交topologies。由于Thrift能被任何一种编程语言使用，因此，topologies也能被任何一种编程语言定义和使用。
同样，spouts和bolts能用任何一种语言定义。不是基于JVM实现的Storm最贱spouts和bolts可以通过JSON协议通信。
-
容易部署和操作
Storm集群易部署，要求配置最少就可以启动并运行。 -
免费开源
Storm遵循开源协议Apache License, Version 2.0
Storm有庞大的生态系统库和工具：
1.Spouts：spouts已经和常用消息队列系统JMS、Kafka、Redis pub/sub等进行了整合。
2.storm-state：storm-state使计算中的内存状态易管理和可靠（通过分布式文件系统持久化）。
3.数据库集成：bolts已整个不同的数据库如MongoDB，RDBM，Cassandra等。
4.其他功能。
