摘要：
1.概述 我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我们接着往后面去研究学习，那就是Hadoop的源码了，作为Hadoop开发人员... 阅读全文
摘要：
1.概述 这篇博客不涉及到具体的编码，只是解答最近一些朋友心中的疑惑。最近，一些朋友和网友纷纷私密我，我总结了一下，疑问大致包含以下几点：我学 Hadoop 后能从事什么岗位？在遇到问题，我该如何去寻求解决方案？ 针对以上问题，我在这里赘述下个人的经验，给即将步入 Hadoop 行业的同学做个参... 阅读全文
摘要：
1.概述 今天这篇博客就是《高可用Hadoop平台》的尾声篇了，从搭建安装到入门运行 Hadoop 版的 HelloWorld（WordCount 可以称的上是 Hadoop 版的 HelloWorld ），在到开发中需要用到的各个套件以及对套件的安装使用，在到 Hadoop 的实战，一路走来我们... 阅读全文
摘要：
1.概述 今天继续《高可用的Hadoop平台》系列，今天开始进行小规模的实战下，前面的准备工作完成后，基本用于统计数据的平台都拥有了，关于导出统计结果的文章留到后面赘述。今天要和大家分享的案例是一个基于电商网站的用户行为分析，这里分析的指标包含以下指标：统计每日PV每日注册用户每日IP跳出用户 ... 阅读全文
摘要：
1.概述 这篇博客是接着《高可用Hadoop平台》系列讲，本篇博客是为后面用 Hive 来做数据统计做准备的，介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具，下面我打算分以下流程来赘述：环境准备集成并配置 Hive 工具使用 Java API 开发 Hive 代码 下面开始进... 阅读全文
摘要：
1.概述 最近有同学反应，如何在配置了HA的Hadoop平台运行MapReduce程序呢？对于刚步入Hadoop行业的同学，这个疑问却是会存在，其实仔细想想，如果你之前的语言功底不错的，应该会想到自动重连，自动重连也可以帮我我们解决运行MapReduce程序的问题。然后，今天我赘述的是利用Hado... 阅读全文
摘要：
1.概述 继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 job 阅读全文
摘要：
1.概述 上一章《那些年使用Hive踩过的坑》介绍了Hive的基本架构及原理，加下来介绍Hive的基本操作和一些注意事项。2.基本操作2.1Create Table2.1.1介绍 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EX... 阅读全文
摘要：
1.概述 上篇《高可用Hadoop平台－启航》博客已经让我们初步了解了Hadoop平台；接下来，我们对Hadoop做进一步的探索，一步一步的揭开Hadoop的神秘面纱。下面，我们开始赘述今天的探索之路。2.探索 在探索之前，我们来看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大... 阅读全文
摘要：
1.概述 最近有朋友问我Secondary NameNode的作用，是不是NameNode的备份？是不是为了防止NameNode的单点问题？确实，刚接触Hadoop，从字面上看，很容易会把Secondary NameNode当作备份节点；其实，这是一个误区，我们不能从字面来理解，阅读官方文档，我们... 阅读全文