摘要: 客户端提交Topology代码到Nimbus。Nimbus针对该Topology建立本地的目录,Nimbus中的调度器根据Topology的配置计算Task,并把Task分配到不同的Worker上,调度的结果写入Zookeeper中。Zookeeper上创建assignments节点,存储Task和 阅读全文
posted @ 2016-03-19 12:01 双子流云 阅读(257) 评论(0) 推荐(0) 编辑
摘要: storm集群中的一台机器可能运行着一个或者多个worker进程,其从属于一个或者多个topology。一个worker进程运行着多个executor线程;每一个worker从属于一个topology;executor是单线程,每一个executor运行着相同组件(spout或者bolt)的1个或者 阅读全文
posted @ 2016-03-18 16:27 双子流云 阅读(400) 评论(0) 推荐(0) 编辑
摘要: Storm 简介 Storm Topology的并发度 Storm - Guaranteeing message processing Storm - Transactional-topologies Twitter Storm – DRPC Storm 多语言支持   Storm starter 阅读全文
posted @ 2016-03-14 09:56 双子流云 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 搭建一个Storm集群需要依次完成的安装步骤: 搭建Zookeeper集群; 安装Storm依赖库 (Java 1.7x版本、Python 2.6.x版本); 下载并解压Storm发布版本 (0.10.0版本); 修改storm.yaml配置文件; 启动Storm各个后台进程。 storm.yaml 阅读全文
posted @ 2016-03-07 15:00 双子流云 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 消息的可靠性保障 Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制,以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tu 阅读全文
posted @ 2016-03-03 11:22 双子流云 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 笔者根据自身的亲身体会,以及结合对周围同事的观察,对如何快速掌握一门新技术有着以 下几点指导要想快速掌握一门新技术,首先有两个先决条件。 首先思想要主动求变,敢于跳出的自己的舒适区,对任何技术都抱有开放的心态。贪图安稳是人的本性。而这种本性往往会阻碍你的发展。人所能了解的知识的多少,取决于自己的舒适 阅读全文
posted @ 2016-02-26 10:58 双子流云 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 1、自己真的想变的富裕么?让自己变的富裕的10个理由是什么? 2、关于农夫和鹅的寓言故事: 农夫养了一只鹅,有一天在鹅的窝里发现了一颗金蛋,农夫为了确认这颗金蛋是真的,特地拿给当铺商人鉴定了是真的;第二天,农夫又去鹅的窝里,发现又有一颗金蛋;就这样,农夫每天可以收获一颗金蛋;渐渐地农夫并不满足于此, 阅读全文
posted @ 2016-02-26 10:32 双子流云 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 什么是Trident? 1、基于Storm用于实时计算的高级抽象源语; 有何优势? 1、支持高吞吐(每秒百万级别),有状态的流处理; 2、提供低延时的分布式查询功能; 3、Trident具有连接、聚合、分组、自定义行为和过滤的功能; 4、基于内存或数据库做有状态的增量式的计算; 5、能够保证每个Tu 阅读全文
posted @ 2016-02-24 17:21 双子流云 阅读(312) 评论(0) 推荐(0) 编辑
摘要: HP大中华区总裁孙振耀退休感言 : 如果这篇文章没有分享给你,那是我的错。 如果这篇文章分享给你了,你却没有读,继续走弯路的你不要怪我。 如果你看了这篇文章,只读了一半你就说没时间了,说明你已经是个“茫”人了。 如果你看完了,你觉得这篇文章只是讲讲大道理,说明你的人生阅历还不够,需要你把这篇文章珍藏 阅读全文
posted @ 2016-02-23 12:26 双子流云 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 本文旨在介绍IntelliJ的导航在工程文件(project files)、代码块(block of code),及工具窗口(tool window)、编辑器标签等UI元素上的特性。 1、最近编辑的文件 如果停下来仔细分析你所有的导航行为(Navigation Pattern),你会意识到,在大部分 阅读全文
posted @ 2016-02-23 10:22 双子流云 阅读(235) 评论(0) 推荐(0) 编辑