随笔分类 -  Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 主要介绍hadoop生态圈的一些问题：hadoop.sqoop,flume,hue,hive,presto，zookeeper等技术的实战
zookeeper介绍（5）快速入门教程
摘要：1. Zookeeper 前言 由于之前总结的zk相对项目实战化，导致有人不好理解，特此准备zk的快速入门教程，仅供大家学习参考 1.1 ZK简介 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它 阅读全文
posted @ 2021-07-16 12:59 陽66 阅读(158) 评论(0) 推荐(0)
hbase完整分布式集群搭建
摘要：简介： hadoop的单机，伪分布式，分布式安装 hadoop2.8 集群 1 （伪分布式搭建 hadoop2.8 ha 集群搭建 hbase完整分布式集群搭建 hadoop完整集群遇到问题汇总 Hbase完成分布式安装步骤： 注意。hbase集群我是在前面的hadoop集群上继续搭建而来 (搭建好 阅读全文
posted @ 2019-05-31 10:00 陽66 阅读(9132) 评论(0) 推荐(0)
hadoop完整集群遇到问题汇总
摘要：1> 设置静态ip： 由于虚拟机在重启之后ip会再次重置，为了后续的麻烦我吗可以设置成静态ip的方式： cd /etc/sysconfig/network-scripts/ 修改对比如下： 修改后 systemctl restart network 使网卡生效即可 2> namenode格式化问题， 阅读全文
posted @ 2019-05-30 11:19 陽66 阅读(457) 评论(0) 推荐(0)
hadoop2.8 ha 集群搭建
摘要：简介： 最近在看hadoop的一些知识，下面搭建一个ha (高可用)的hadoop完整分布式集群： hadoop的单机，伪分布式，分布式安装 hadoop2.8 集群 1 （伪分布式搭建 hadoop2.8 ha 集群搭建 hbase完整分布式集群搭建 hadoop完整集群遇到问题汇总 搭建步骤： 阅读全文
posted @ 2019-05-29 10:18 陽66 阅读(1468) 评论(0) 推荐(0)
zookeeper介绍（4）zookeeper的完整分布式
摘要：参考： zookeeper的单机和伪分布式教程请参考：zookeeper介绍（1）zookeeper介绍与安装 Zookeeper的完整分布式集群搭建： 准备好三台centos主机：(在这我使用的是zook用户，不使用root用户。参考者请注意) 主机分别是： 1>192.168.248.134： 阅读全文
posted @ 2019-05-28 09:30 陽66 阅读(396) 评论(0) 推荐(0)
hadoop2.8 集群 1 （伪分布式搭建）
摘要：简介： 关于完整分布式请参考：　hadoop2.8 ha 集群搭建 【七台机器的集群】 Hadoop:（hadoop2.8） Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop 阅读全文
posted @ 2018-09-27 14:05 陽66 阅读(1669) 评论(0) 推荐(0)
zookeeper介绍（2）zookeeper选举机制
只有注册用户登录后才能阅读该文。
posted @ 2018-08-13 08:02 陽66
zookeeper介绍（3）zookeeper的zkCli
只有注册用户登录后才能阅读该文。
posted @ 2018-08-13 08:02 陽66
zookeeper介绍（1）zookeeper介绍与安装
只有注册用户登录后才能阅读该文。
posted @ 2018-08-13 08:02 陽66
hive的总结
摘要：hive总结： 主要分为三种： hive的按照模式分为三种： hive本质上是将sql语法解析为mapreduce的过程，既然如此它就必须提交mapreduce任务到resoucemanager，那么它如何提交？就是通过hadoop提供的命令hadoop jar命令来提交。 本地模式：简单的理解，h 阅读全文
posted @ 2018-01-10 17:13 陽66
jdbc连接hive的用户名和密码问题
只有注册用户登录后才能阅读该文。
posted @ 2018-01-10 16:11 陽66
presto的介绍
只有注册用户登录后才能阅读该文。
posted @ 2017-11-16 15:13 陽66
hue的安装
摘要：hue的安装：（还可以git安装） 需要软件：hue-3.9.0-cdh5.5.2.tar.gz 这是简单安装，没有整合其他hadoop技术，所以有这个包就可以了，先把安装过程详细展示一下，关于hive hbase oozie sqoop pig spark 等技术的整合在以后的博客中会讲解 修改主 阅读全文
posted @ 2017-11-10 14:31 陽66
hue简单介绍
摘要：hue定义： HUE=Hadoop User Experience 个人理解：可视图的webui界面，方便大数据技术之间的CRUD操作。 官方定义：Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。 特性： 一个HDFS的文件浏览器，一个M 阅读全文
posted @ 2017-11-10 11:11 陽66
centos7 yum安装mysql | mariaDb
摘要：mysql解释: mysql数据库是最常用的一种数据库，下面我来在centos7的迷你版上安装一下mysql。绝对纯净的环境哦 centos: CentOS-7-x86_64-Minimal-1708.iso 准备工作： 安装好centos后，先查看ip，然后通过xshell视图操作centos系统 阅读全文
posted @ 2017-10-31 16:45 陽66
单机安装hive和presto
摘要：问题： 公司最近在搞presto，主要是分析一下presto和hive的查询大数据量的性能对比： 我先把我的对比图拿出来（50条数据左右）针对同一条sql（select * from employee where eid = 1203） hive的查询，下面有时间：4.436s presto的查询： 阅读全文
posted @ 2017-10-27 17:26 陽66 阅读(776) 评论(0) 推荐(0)
hadoop的单机，伪分布式，分布式安装
只有注册用户登录后才能阅读该文。
posted @ 2017-09-19 10:12 陽66
Phoenix介绍(持续更新)
摘要：现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要记录Phoenix。 phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件 阅读全文
posted @ 2017-09-12 16:50 陽66
浅谈sqoop
摘要：sqoop的参数详解 1、sqoop简介 sqoop是一个用来将hadoop中hdfs和关系型数据库中的数据相互迁移的工具，可以将一个关系型数据库（mysql、oracle等）中的数据 导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。 2、sqoop的特点： sqoop的 阅读全文
posted @ 2017-08-31 11:47 陽66