随笔分类 -  hadoop

hadoop2.x通过Zookeeper来实现namenode的HA方案集群搭建-实践版
摘要：最近有时间整理了一下全套hadoop2.x通过Zookeeper来实现namenode的HA方案，步骤如下： 实验使用了4个节点，192.168.1.201~192.168.1.2041、配置静态IP，如下以201节点为例，其它节点除了IP不一样，其它内容配置一样即可： 2、修改host，每个节点内 阅读全文
posted @ 2016-06-26 00:02 风儿飞 阅读(1689) 评论(0) 推荐(0)
hbase入门(一)
摘要：一、Hbase是一个开源的、分布式、面向列的存储模型 二、Hbase体系结构： 遵从简单的主从服务器架构，由HRegion Server群、Hbase Master服务器组成，Hbase Master负责管理所有的HRegion Server，通过zookeeper协调，Hbase逻辑上的表会被划分 阅读全文
posted @ 2016-03-17 19:44 风儿飞 阅读(437) 评论(0) 推荐(0)
hadoop2.2配置文件(较简单版)-最新版本
摘要：一些准备工作就不说了，包括设置ssh连接等，主要说一下配置文件内容及启动过程，以192.168.157.100~105几台服务器为例： 1、core-site.xml: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs: 阅读全文
posted @ 2016-02-25 11:06 风儿飞 阅读(256) 评论(0) 推荐(0)
hadoop2.2多hdfs集群安装
摘要：http://www.superwu.cn/2014/02/12/1094/基本安装教程按照上面的安装即可，但是安装过程中还是出现了一些问题，现整理如下：1、首先使用root用户安装可以，也省去了很多权限问题，但是最好别用，不容易发现问题，添加用户：如果是新用户，直接添加，如：useradd had... 阅读全文
posted @ 2015-11-23 21:27 风儿飞 阅读(377) 评论(0) 推荐(0)
hadoop2配置文件详解
摘要：在hadoop1中核心组成部分是HDFS、MapReduce，到了Hadoop2，核心变为HDFS、Yarn，而且新的HDFS中可以有多个NameNode，每个都有相同的职能。以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下：配置文件无非就... 阅读全文
posted @ 2015-10-31 11:52 风儿飞 阅读(4762) 评论(0) 推荐(0)
hadoop-hdfs、mapreduce学习随笔
摘要：HDFS:1、分布式文件系统：管理网络中跨多台计算机存储的文件系统2、hadoop定义了一个抽象文件系统概念，具体就是一个java抽象类：org.apache.hadoop.fs.FileSystm，只要某个文件系统实现了该接口，就可以作为hadoop支持的文件系统3、数据块：hdfs中默认存储是6... 阅读全文
posted @ 2015-10-08 13:29 风儿飞 阅读(162) 评论(0) 推荐(0)
hive初探2_数据模型
摘要：1、hive数据类型：基本数据类型：tinyint、smallint、int、bigint、float、double、boolean、string复合数据类型：array:一段有序字段，字段的类型必须相同map:一组无序的健/值对，健的类型必须是原子类型struct:一组命名的字段，类型可以不同复杂... 阅读全文
posted @ 2015-10-03 17:29 风儿飞 阅读(648) 评论(0) 推荐(0)
hive初探_框架组成、简单使用
摘要：1、hive:建立在Hadoop上的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供了简单的类SQL查询语言，称为QL，允许用户开发自定义的mapper、reducer来处理复杂的分析工作，十分适合数据仓库的统计分析。2、Hive架构包括如下组件：CLI、JDBC、Thrift Ser... 阅读全文
posted @ 2015-10-02 19:09 风儿飞 阅读(2414) 评论(0) 推荐(0)
oozie4.0.0安装
摘要：安装完hadoop后便可安装oozie运行自己的工作流：1、下载oozie压缩包，oozie-4.0.0-cdh5.0.0.tar.gz，下载地址http://archive.cloudera.com/cdh5/cdh/5/2、下载ext-2.2.zip:http://extjs.com/deplo... 阅读全文
posted @ 2015-09-20 14:06 风儿飞 阅读(685) 评论(0) 推荐(0)
hadoop2.2.0安装-完整版
摘要：之前在centos7安装hadoop2.2.0集群-环境准备及centos7安装hadoop2.2.0集群-软件安装中讲过从最开始的环境准备及软件安装，从设置hostname到jdk的安装都没有问题，只是在这里重新回顾一下完整版的hadoop安装，验证过的，比较靠谱一点。因为之前jdk安装之前的都没... 阅读全文
posted @ 2015-09-20 13:25 风儿飞 阅读(441) 评论(0) 推荐(0)