2022年6月8日
Hive库基本操作
摘要： 2.1.1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/hive/warehouse/*.db。 create database testdb; 2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） create database if not 阅读全文
posted @ 2022-06-08 20:16 呆滞的猪蹄 阅读(278) 评论(0) 推荐(0)
Hive环境搭建
摘要： 1、Hive基本概念 1.1 Hive简介 Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。 为什么使用Hive? 如果直接使 阅读全文
posted @ 2022-06-08 20:08 呆滞的猪蹄 阅读(298) 评论(0) 推荐(0)
Hive概述
摘要： Hive（数据仓库建模工具之一） 1.1 数据仓库概述 数据仓库之父比尔·恩门，1991年提出 数据仓库就是为了解决数据库不能解决的问题而提出的。那么数据库无法解决什么样的问题呢？这个我们得先说说什么是OLAP和OLTP。(重点) 1.2 OLTP和OLAP（重点） 1.2.1 OLTP OLTP（ 阅读全文
posted @ 2022-06-08 19:32 呆滞的猪蹄 阅读(255) 评论(0) 推荐(0)
2022年5月26日
Hadoop-HA介绍及搭建
摘要： 一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 ​ b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启 动之前将不可用 ​ c. 如果发生意外事件 阅读全文
posted @ 2022-05-26 19:47 呆滞的猪蹄 阅读(347) 评论(0) 推荐(0)
2022年5月25日
Hadoop进程理解
摘要： 进程理解 HDFS相关进程理解（NN,DN,SSN） NameNode中存放的是数据文件与元数据的映射信息，数据文件和block快的映射信息，block块和DataNode的映射信息，前两者存放在磁盘里，Hadoop stop后不会消失，第三个存放在内存中，会消失；​DataNode通过PING P 阅读全文
posted @ 2022-05-25 13:57 呆滞的猪蹄 阅读(127) 评论(0) 推荐(0)
2022年5月21日
Hadoop常见shell命令
摘要： Hadoop中常见的shell命令 1、如何将Linux本地的数据上传到HDFS中？ hadoop fs -put 本地的文件 HDFS中的目录hdfs dfs -put 本地的文件 HDFS中的目录 2、如何创建HDFS中的文件夹？ 需求：想创建/shujia/bigdata17 hadoop f 阅读全文
posted @ 2022-05-21 23:29 呆滞的猪蹄 阅读(178) 评论(0) 推荐(0)
Hadoop配置与安装
摘要： 基础配置 1、关闭防火墙 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态 firewall-cmd --state systemctl s 阅读全文
posted @ 2022-05-21 15:43 呆滞的猪蹄 阅读(187) 评论(0) 推荐(0)