随笔分类 -  storm

对Storm ETL的初步思考
摘要：ETL简介 ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。 ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load） 阅读全文
posted @ 2017-03-03 16:24 不可替代的毛线 阅读(1705) 评论(0) 推荐(0)
阿里的STORM——JSTORM
摘要：看介绍文档貌似挺好：https://github.com/alibaba/jstorm 阿里拥有自己的实时计算引擎 类似于hadoop 中的MR 开源storm响应太慢 开源社区的速度完全跟不上Ali的需求 降低未来运维成本 提供更多技术支持，加快内部业务响应速度 现有Storm无法满足一些需求 现 阅读全文
posted @ 2017-03-03 16:22 不可替代的毛线 阅读(24169) 评论(0) 推荐(0)
Storm应用系列之——集成Kafka
摘要：本文系原创系列，转载请注明。 原帖地址：http://blog.csdn.net/xeseo 前言 在前面Storm系列之——基本概念一文中，提到过Storm的Spout应该是源源不断的取数据，不能间断。那么，很显然，消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。本文就如何集成 阅读全文
posted @ 2017-03-03 16:18 不可替代的毛线 阅读(3430) 评论(0) 推荐(0)
Storm常见模式——分布式RPC
摘要：Storm常见模式——分布式RPC 本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作为学习Storm DRPC的资料，转载必须以超链接形式标明文章原始出处及本文翻译链接。 分布式RPC（distributed RPC，D 阅读全文
posted @ 2017-03-03 16:15 不可替代的毛线 阅读(571) 评论(0) 推荐(0)
Storm常见模式——流聚合
摘要：Storm常见模式——流聚合 流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。 从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非 阅读全文
posted @ 2017-03-03 16:14 不可替代的毛线 阅读(259) 评论(0) 推荐(0)
数据实时分析平台 Heron
摘要：Twitter发布了新开发的数据实时分析平台Heron，以下为官方文档摘译： 我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样，实时分析这些事件是一个巨大的挑战。目前，我们主要的分析平台是开源的分布式流计算系统Storm。但是随着Twitter数据规模变大和多样化，我们的需求已经发生了 阅读全文
posted @ 2017-03-03 16:06 不可替代的毛线 阅读(764) 评论(0) 推荐(0)