孟尧

摘要： package com.my.hadoop.mapreduce.wordcount;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;impo... 阅读全文

摘要： 默认情况下，spark官方提供了针对hadoop和hive的预编译发行版，但这可能跟我们的期望的有些差异。比如说，与实际生产环境中的hadoop或hive版本不同可能会导致兼容性问题，也可能是官方使用的版本陈旧而我们想体验新特性等，又或者是我们想增加某些功能而调整源码。因此，面对各种不同的需求，就需 阅读全文

摘要： Storm流分组介绍 流分组是拓扑定义的一部分，每个Bolt指定应该接收哪个流作为输入。流分组定义了流/元组如何在Bolt的任务之间进行分发。在设计拓扑的时候需要定义数据如何在组件之间进行交换（流如何被Bolt消耗处理）。 一个流分组指定每个Bolt消耗哪个流。一个节点可以发出多个数据流，流分... 阅读全文

摘要： Storm拓扑的并行度（parallelism）介绍 1、Storm分为3个主要实体，用于在Storm集群中运行拓扑 工作进程：Worker Process，也称为Worker 执行器：Executor，即线程Thread 任务：Task 工作进程、执行器、任务三者之间关系如下图： T... 阅读全文

摘要： 1 package com.mengyao.storm; 2 3 import java.io.File; 4 import java.io.IOException; 5 import java.util.Collection; 6 import java.util.HashMap;... 阅读全文

摘要： 在部署好Storm集群后，可以使用Storm提供的命令行客户端提供的帮助信息[root@sc1 ~]# stormCommands: activate 激活指定的拓扑 classpath 获取Storm客户端运行命令时使用的类路径（classpath） deactivate 禁用... 阅读全文

摘要： Storm集群部署 Storm的环境分为生产环境和开发环境两种。 开发环境是提供Storm开发人员进行Storm程序开发与测试的环境。Storm的硬件环境只需要一台普通PC主机（该主机上需具备JDK、Eclipse等）即可。在开发环境上开发Storm应用称为本地 模式。 生产环境则是Storm的... 阅读全文

摘要： Storm核心概念如下： 1、Tuple：元组 Tuple即元组，是一个拓扑Topology中的Spout和Bolt组件之间数据传递的基本单元。元组中的字段可以是任何类型的对象，Storm使用元组作为其数据模型，支持所有的基本类型、字符串、和字节数组。 Spout中nextTuple()... 阅读全文

摘要： Storm的核心技术 Storm框架的核心由7个部分组成，如下图： Topology（拓扑） 一个拓扑是一个图的计算。用户在一个拓扑的每个节点包含处理逻辑，节点之间的连接显示数据应该如何在节点间传递。; Storm Topology类似于MapReduce，两者关键的区别是MapReduce运行完会 阅读全文

摘要： package com.bank.utils;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;impor... 阅读全文