08 2015 档案

Hadoop2.2.0安装配置手册
摘要：第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译（10楼评论中提供了一个解决方法链接）。下载地址:http://apa... 阅读全文
posted @ 2015-08-24 16:09 暗痛 阅读(192) 评论(0) 推荐(0)
ZooKeeper-3.3.4集群安装配置
摘要：ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，... 阅读全文
posted @ 2015-08-24 15:59 暗痛 阅读(269) 评论(0) 推荐(0)
zookeeper原理（转）
摘要：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些... 阅读全文
posted @ 2015-08-24 15:13 暗痛 阅读(194) 评论(0) 推荐(0)
flume 转
摘要：http://blog.csdn.net/xiao_jun_0820/article/details/38111305 阅读全文
posted @ 2015-08-21 18:10 暗痛 阅读(163) 评论(0) 推荐(0)
Flume NG 简介及配置实战
摘要：Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心... 阅读全文
posted @ 2015-08-21 17:31 暗痛 阅读(701) 评论(1) 推荐(0)
Flume NG 配置详解
摘要：配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实... 阅读全文
posted @ 2015-08-21 17:13 暗痛 阅读(6111) 评论(0) 推荐(0)
Avro总结(RPC/序列化)
摘要：Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting（也是Lucene，Nutch等项目的创始人，膜拜）牵头开发，当前最新版本1.3.3。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以... 阅读全文
posted @ 2015-08-21 15:55 暗痛 阅读(1743) 评论(0) 推荐(1)
Flume环境部署和配置详解及案例大全
摘要：flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。　一、什么是Flume? flume 作为 cloudera 开发的实... 阅读全文
posted @ 2015-08-21 15:44 暗痛 阅读(4262) 评论(0) 推荐(0)
haproxy 配置 说明
摘要：一、环境说明实验环境OS CentOS5.4192.168.0.14 proxy192.168.0.24 web1192.168.0.64 web2官方地址:http://haproxy.1wt.eu/下载地址:http://haproxy.1wt.eu/download/1.4/src/hapro... 阅读全文
posted @ 2015-08-21 15:08 暗痛 阅读(949) 评论(0) 推荐(0)