哥不是小萝莉

摘要： 1.概述 这篇博客是接着《高可用Hadoop平台》系列讲，本篇博客是为后面用 Hive 来做数据统计做准备的，介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具，下面我打算分以下流程来赘述：环境准备集成并配置 Hive 工具使用 Java API 开发 Hive 代码 下面开始进... 阅读全文

摘要： 1.概述 最近有同学反应，如何在配置了HA的Hadoop平台运行MapReduce程序呢？对于刚步入Hadoop行业的同学，这个疑问却是会存在，其实仔细想想，如果你之前的语言功底不错的，应该会想到自动重连，自动重连也可以帮我我们解决运行MapReduce程序的问题。然后，今天我赘述的是利用Hado... 阅读全文

摘要： 1.概述 继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 job 阅读全文

摘要： 1.概述 上一章《那些年使用Hive踩过的坑》介绍了Hive的基本架构及原理，加下来介绍Hive的基本操作和一些注意事项。2.基本操作2.1Create Table2.1.1介绍 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EX... 阅读全文

摘要： 1.概述 上篇《高可用Hadoop平台－启航》博客已经让我们初步了解了Hadoop平台；接下来，我们对Hadoop做进一步的探索，一步一步的揭开Hadoop的神秘面纱。下面，我们开始赘述今天的探索之路。2.探索 在探索之前，我们来看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大... 阅读全文

摘要： 1.概述 最近有朋友问我Secondary NameNode的作用，是不是NameNode的备份？是不是为了防止NameNode的单点问题？确实，刚接触Hadoop，从字面上看，很容易会把Secondary NameNode当作备份节点；其实，这是一个误区，我们不能从字面来理解，阅读官方文档，我们... 阅读全文

摘要： 1.概述 在上篇博客中，我们搭建了《配置高可用Hadoop平台》，接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了。工欲善其事，必先利其器。是的，没错；我们开发需要有开发工具（IDE）；本篇文章，我打算讲解如何搭建和使用开发环境，以及编写和讲解WordCount这个例子，给即将在Ha... 阅读全文

摘要： 1.概述 在写这篇博客之前，为了更好的描述整个流程，本人亲自尝试了：从搭建到使用，下面就围绕这个流程来阐述整个过程，目录结构如下所示：Git的安装搭建Git的常规操作Gitlab的搭建Gitlab的使用 下面我们开始整个流程。2.Git篇 其实，作为开发人员，Git的使用是必备的技能，也许我们... 阅读全文

摘要： 1.概述 Jenkins是基于Java开发的一种持续集成工具，用于监控持续重复的工作，功能包括：持续的软件版本发布/测试项目监控外部调用执行的工作2.搭建2.1环境准备 首先我们要准备搭建的环境，配置如下： 操作系统：CentOS 6.x JDK版本：JDK1.72.2安装Jenkins ... 阅读全文

摘要： 1.序言 MongoDB 是一个可扩展的高性能,开源,模式自由,面向文档的数据库。 它使用 C++编写。MongoDB 包含一下特点:l 面向集合的存储:适合存储对象及JSON形式的数据。l 动态查询:Mongo 支持丰富的查询方式,查询指令使用 JSON 形式的标记,可轻易查询文档中内嵌的对... 阅读全文