随笔分类 -  Hadoop

摘要:此页面列举了Storm的主要概念和资源连接。讨论的概念有: 1. 拓扑(Topologies) 2. 流(Streams) 3. Spouts 4. Bolts 5. 流分组(Stream groupings) 6. 可靠性(Reliability) 7. 任务(Tasks) 8. Workers 阅读全文
posted @ 2017-02-21 13:27 ximengchj 阅读(305) 评论(0) 推荐(0)
摘要:此教程假设你刚刚开始没有任何 Kafka 或 ZooKeeper 数据。Kafka的控制台脚本在类Unix和Windows平台不同,Windows平台使用 代替 ,脚本的扩展名改为 。 第一步:下载代码 下载0.10.1.0发行版并解压。 第二步:启动服务 Kafka使用Zookeeper,所以如果 阅读全文
posted @ 2017-02-21 13:27 ximengchj 阅读(3312) 评论(1) 推荐(0)
摘要:介绍 Kafka是一个分布式流平台。这究竟代表什么。 我们认为的流平台有这三个关键的功能: 1. 它使得你可以发布和订阅记录流。这方面类似一个消息队列或者企业消息系统。 2. 它使得你可以在灾难发生时存储留记录。 3. 它使得你可以处理发生的记录流。 Kafka适合干什么? 它被用于两大类应用程序: 阅读全文
posted @ 2017-02-21 13:26 ximengchj 阅读(257) 评论(0) 推荐(0)
摘要:目的 这篇文档描述如何安装和配置一个单一节点的Hadoop,以便你可以快速使用hadoop mapreduce和Hadoop Distributed File System (HDFS)的一些简单操作。 先决条件 支持平台 GNU/Linux 是受支持的开发和生成平台。Hadoop已经证明了2000 阅读全文
posted @ 2017-02-21 13:25 ximengchj 阅读(753) 评论(0) 推荐(0)
摘要:实际上,在真实环境中你需要使用完全分布配置完整测试HBase。在一个分布式配置中,集群有多个节点,每个节点运行一个或多个HBase守护进程。其中包括主Master和备份Master实例,多个Zookeeper节点,多个RegionServer节点。 这个进阶教程将在你的集群上另加两个节点。架构如下: 阅读全文
posted @ 2017-02-21 13:25 ximengchj 阅读(306) 评论(0) 推荐(0)
摘要:介绍 概述 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布,可靠的,可用的系统。 Apache Flume的用途不仅限于日志数据聚合。由于数据源是可定制的,Flume可用于传输大量事物数据包括但不限于网络流量数据,社交媒体产生的数据,Email消息和很多其它 阅读全文
posted @ 2017-02-21 13:24 ximengchj 阅读(2040) 评论(0) 推荐(0)
摘要:默认已装好 1. hbase,我的版本是hbase 0.98.24,并运行 2. python 2.7.x 步骤: 1. sudo apt get install automake bison flex g++ git libboost all dev libevent dev libssl dev 阅读全文
posted @ 2017-02-21 13:18 ximengchj 阅读(4137) 评论(0) 推荐(0)