摘要：
1.概述 这篇博客接着《Hadoop2源码分析－RPC机制初识》来讲述，前面我们对MapReduce、序列化、RPC进行了分析和探索，对Hadoop V2的这些模块都有了大致的了解，通过对这些模块的研究，我们明白了MapReduce的运行流程以及内部的实现机制，Hadoop的序列化以及它的通信机制... 阅读全文
摘要：
1.概述 上一篇博客《Kafka实战－Kafka Cluster》中，为大家介绍了Kafka集群的安装部署，以及对Kafka集群Producer/Consumer、HA等做了相关测试，今天我们来开发一个Kafka示例，练习如何在Kafka中进行编程，下面是今天的分享的目录结构：开发环境Config... 阅读全文
摘要：
1.概述 在《Kafka实战－入门》一篇中，为大家介绍了Kafka的相关背景、原理架构以及一些关键知识点，本篇博客为大家来赘述一下Kafka Cluster的相关内容，下面是今天为大家分享的目录：基础软件的准备Kafka Cluster的部署Send MessagesHA特性 下面开始今天的内容... 阅读全文
摘要：
1.概述 经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容：Kafka背景Kafka应用场景Kafka... 阅读全文
摘要：
1.概述 前面一篇博客《高可用Hadoop平台－Ganglia安装部署》，为大家介绍了Ganglia在Hadoop中的集成，今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录：Hue简述Hue In Hadoop截图预览 本文所使用的环境是Apache Had... 阅读全文
摘要：
1.概述 最近，有朋友私密我，Hadoop有什么好的监控工具，其实，Hadoop的监控工具还是蛮多的。今天给大家分享一个老牌监控工具Ganglia，这个在企业用的也算是比较多的，Hadoop对它的兼容也很好，不过就是监控界面就不是很美观。下次给大家介绍另一款工具——Hue，这个界面官方称为Hado... 阅读全文
摘要：
1.概述 今天补充一篇HBase集群的搭建，这个是高可用系列遗漏的一篇博客，今天抽时间补上，今天给大家介绍的主要内容目录如下所示：基础软件的准备HBase介绍HBase集群搭建单点问题验证截图预览 那么，接下来我们开始今天的HBase集群搭建学习。2.基础软件的准备 由于HBase的数据是存放... 阅读全文
摘要：
1.概述 今天在观察集群时，发现NN节点的负载过高，虽然对NN节点的资源进行了调整，同时对NN节点上的应用程序进行重新打包调整，负载问题暂时得到缓解。但是，我想了想，这样也不是长久之计。通过这个问题，我重新分析了一下以前应用部署架构图，发现了一些问题的所在，之前的部署架构是，将打包的应用直接部署在... 阅读全文
摘要：
1.概述 在《Hadoop2源码分析－RPC机制初识》博客中，我们对RPC机制有了初步的认识和了解，下面我们对Hadoop V2的RPC机制做进一步探索，在研究Hadoop V2的RPC机制，我们需要掌握相关的Java基础知识，如：Java NIO、动态代理与反射等。本篇博客介绍的内容目录如下所示... 阅读全文
摘要：
1.概述 今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容：Flume NG简述单点Flume NG搭建、运行高可用Flume NG搭建Failover测试截图预览 下面开始今天的博客介绍。2.Flume NG简述 Flume N... 阅读全文