随笔分类 -  Storm

网站访问量实时统计
摘要:一、需求:统计网站访问量(实时统计) 1、PvCountSpout类 2、PvCountSplitBolt类 3、PvCountSumBolt类 4、PvCountDriver类 5、PvCountDriver_Shuffle类 6、weblog.log文件 7、运行(4)中的main方法,控制台显 阅读全文
posted @ 2018-12-28 00:09 阅读(3591) 评论(0) 推荐(0)
Storm-wordcount实时统计单词次数
摘要:一、本地模式 1、WordCountSpout类 2、WordCountSplitBolt类 3、WordCountBolt类 4、WordCountDriver类 5、直接运行(4)里面的main方法即可启动本地模式。 二、集群模式 前三个类和上面本地模式一样,第4个类WordCountDrive 阅读全文
posted @ 2018-12-27 23:34 阅读(801) 评论(0) 推荐(0)
Storm编程模型及组件流程图
摘要:一、Storm编程模型 二、Storm组件流程图 阅读全文
posted @ 2018-12-27 22:55 阅读(397) 评论(0) 推荐(0)
Storm简介及使用
摘要:一、Storm概述 网址:http://storm.apache.org/ Apache Storm是一个免费的开源分布式实时计算系统。Storm可以轻松可靠地处理无限数据流,实现Hadoop对批处理所做的实时处理。Storm非常简单,可以与任何编程语言一起使用,并且使用起来很有趣! Storm有许多用例:实时分析,在线机器学习,连续计算,分布式RPC,ETL等。风暴很快... 阅读全文
posted @ 2018-12-27 22:49 阅读(1554) 评论(0) 推荐(0)