随笔分类 -  Storm专题

摘要:(1)UVTopology (2)SourceSpout模拟数据 (3)UVFmtBolt 为一级bolt,进行格式转换 (4)UVDeepVisitBolt 二级bolt ,多线程统计每个访客对应的pv数 (5)UVSumBolt 三级bolt,单线程汇总pv和uv数据,并保存hbase 阅读全文
posted @ 2018-09-10 15:10 大虾张三丰 阅读(864) 评论(0) 推荐(0)
摘要:1.统计PV的流程图 2.Storm代码 模拟数据源: 一级bolt: 二级bolt: PVTopology主程序 阅读全文
posted @ 2018-09-07 11:07 大虾张三丰 阅读(230) 评论(0) 推荐(0)
摘要:1.流分组 stream grouping就是用来定义一个stream应该如果分配给Bolts上面的多个task 2.流分组策略 storm里面有6种类型的stream grouping。 (1).Shuffle Grouping 轮询,平均分配。随机派发stream里面的tuple,保证每个bol 阅读全文
posted @ 2018-09-07 11:06 大虾张三丰 阅读(200) 评论(0) 推荐(0)
摘要:1.什么是storm Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是 阅读全文
posted @ 2018-09-07 11:05 大虾张三丰 阅读(1367) 评论(0) 推荐(0)