随笔分类 -  STORM

storm的并发和消息保障性
摘要：Storm并发配置的优先级： defaults.yaml < storm.yaml < topology-specific configuration < internal component-specific configuration < external component-specific configuration 通过下图来理解并行度的一些配置： 消息的可靠处理机制... 阅读全文

posted @ 2015-04-12 13:42 tneduts 阅读(280) 评论(0) 推荐(0)

Storm之spout,bolt编写
摘要：Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己的task,通知自己的worker进程进行Task的处理。 Spout的主要方法： op... 阅读全文

posted @ 2015-04-12 13:23 tneduts 阅读(2106) 评论(0) 推荐(0)

Storm 基础知识
摘要：分布式的实时计算框架，storm对于实时计算的意义类似于hadoop对于批处理的意义。 Storm的适用场景： 1.流数据处理：storm可以用来处理流式数据，处理之后将结果写到某个存入中去。 2.持续计算：连续发送数据到客户端，使它们能够实时更新并显示结果，如网站指标 3.分布式RPC：由于storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式rpc框架来使用。... 阅读全文

posted @ 2015-04-12 09:42 tneduts 阅读(407) 评论(0) 推荐(0)

Storm wordcount Read from file
摘要：source code:package stormdemo;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileNotFoundException;import java.io.FileRead... 阅读全文

posted @ 2015-02-13 09:00 tneduts 阅读(531) 评论(0) 推荐(0)

Storm集群的安装与测试
摘要：首先安装zookeeper集群，然后安装storm集群。我使用的是centos 32bit的三台虚拟机.MachineNameipnamenode192.168.99.110datanode01192.168.99.111datanode02192.168.99.112首先配置好ssh,可以无密码互... 阅读全文

posted @ 2015-01-25 18:41 tneduts 阅读(628) 评论(0) 推荐(0)

导航