哥不是小萝莉

摘要： 1.概述 继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 job 阅读全文

摘要： 1.概述 上一章《那些年使用Hive踩过的坑》介绍了Hive的基本架构及原理，加下来介绍Hive的基本操作和一些注意事项。2.基本操作2.1Create Table2.1.1介绍 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EX... 阅读全文

摘要： 1.概述 上篇《高可用Hadoop平台－启航》博客已经让我们初步了解了Hadoop平台；接下来，我们对Hadoop做进一步的探索，一步一步的揭开Hadoop的神秘面纱。下面，我们开始赘述今天的探索之路。2.探索 在探索之前，我们来看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大... 阅读全文

摘要： 1.概述 最近有朋友问我Secondary NameNode的作用，是不是NameNode的备份？是不是为了防止NameNode的单点问题？确实，刚接触Hadoop，从字面上看，很容易会把Secondary NameNode当作备份节点；其实，这是一个误区，我们不能从字面来理解，阅读官方文档，我们... 阅读全文

摘要： 1.概述 在上篇博客中，我们搭建了《配置高可用Hadoop平台》，接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了。工欲善其事，必先利其器。是的，没错；我们开发需要有开发工具（IDE）；本篇文章，我打算讲解如何搭建和使用开发环境，以及编写和讲解WordCount这个例子，给即将在Ha... 阅读全文

摘要： 1.概述 在写这篇博客之前，为了更好的描述整个流程，本人亲自尝试了：从搭建到使用，下面就围绕这个流程来阐述整个过程，目录结构如下所示：Git的安装搭建Git的常规操作Gitlab的搭建Gitlab的使用 下面我们开始整个流程。2.Git篇 其实，作为开发人员，Git的使用是必备的技能，也许我们... 阅读全文

摘要： 1.概述 Jenkins是基于Java开发的一种持续集成工具，用于监控持续重复的工作，功能包括：持续的软件版本发布/测试项目监控外部调用执行的工作2.搭建2.1环境准备 首先我们要准备搭建的环境，配置如下： 操作系统：CentOS 6.x JDK版本：JDK1.72.2安装Jenkins ... 阅读全文

摘要： 1.序言 MongoDB 是一个可扩展的高性能,开源,模式自由,面向文档的数据库。 它使用 C++编写。MongoDB 包含一下特点:l 面向集合的存储:适合存储对象及JSON形式的数据。l 动态查询:Mongo 支持丰富的查询方式,查询指令使用 JSON 形式的标记,可轻易查询文档中内嵌的对... 阅读全文

摘要： 1.概述 在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK（安装，启动，验证） HDFS＋ 阅读全文

摘要： 1.概述 Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预计会连续... 阅读全文