2022年1月14日
Hive详解(05) - 压缩和存储
摘要： Hive详解(05) - 压缩和存储 Hadoop压缩配置 MR支持的压缩编码 压缩格式算法文件扩展名是否可切分DEFLATEDEFLATE.deflate否GzipDEFLATE.gz否bzip2bzip2.bz2是LZOLZO.lzo是SnappySnappy.snappy否 压缩格式 算法 文 阅读全文
posted @ 2022-01-14 18:06 莲藕淹 阅读(282) 评论(0) 推荐(0)
Hive详解(04) - hive函数的使用
摘要： Hive详解(04) - hive函数的使用 系统内置函数 查看系统自带的函数 hive> show functions; 显示自带的函数的用法 hive> desc function upper; 详细显示自带的函数的用法 hive> desc function extended upper; 常 阅读全文
posted @ 2022-01-14 18:05 莲藕淹 阅读(434) 评论(0) 推荐(0)
Hive详解(03) - hive基础使用
摘要： Hive详解(03) - hive基础使用 Hive数据类型 基本数据类型 对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。 集合数据类型 数据类型：STRUCT： 描述：和c语言中的s 阅读全文
posted @ 2022-01-14 18:02 莲藕淹 阅读(112) 评论(0) 推荐(0)
Hive详解(02) - Hive 3.1.2安装
摘要： Hive详解(02) - Hive 3.1.2安装 安装准备 Hive下载地址 Hive官网地址：http://hive.apache.org/ 官方文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted 安装包下 阅读全文
posted @ 2022-01-14 17:57 莲藕淹 阅读(2118) 评论(0) 推荐(0)
Hive详解(01) - 概念
摘要： Hive详解(01) - 概念 hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在H 阅读全文
posted @ 2022-01-14 17:54 莲藕淹 阅读(143) 评论(0) 推荐(0)
2021年12月26日
Zookeeper详解(03) - zookeeper的使用
摘要： Zookeeper详解(03) - zookeeper的使用 ZK客户端命令行操作 命令基本语法 help：显示所有操作命令 ls path：使用 ls 命令来查看当前znode的子节点 -w 监听子节点变化 -s 附加次级信息 create：普通创建 -s 含有序列 -e 临时（重启或者超时消失） 阅读全文
posted @ 2021-12-26 13:52 莲藕淹 阅读(220) 评论(0) 推荐(0)
Zookeeper详解(02) - zookeeper安装部署-单机模式-集群模式
摘要： Zookeeper详解(02) - zookeeper安装部署-单机模式-集群模式 安装包下载 官网首页：https://zookeeper.apache.org/ 历史版本下载地址：http://archive.apache.org/dist/zookeeper/ 本文使用的3.5.7版本下载地址 阅读全文
posted @ 2021-12-26 13:51 莲藕淹 阅读(281) 评论(0) 推荐(0)
Zookeeper详解(01) -概述
摘要： Zookeeper详解(01) -概述 概念 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变 阅读全文
posted @ 2021-12-26 13:50 莲藕淹 阅读(210) 评论(0) 推荐(0)
2021年12月14日
Hadoop详解(10) - Hadoop HA高可用
摘要： Hadoop详解(10) - Hadoop HA高可用 HA概述 HA（High Availablity），即高可用（7*24小时不中断服务）。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中N 阅读全文
posted @ 2021-12-14 15:26 莲藕淹 阅读(513) 评论(0) 推荐(0)
Hadoop详解(09) - Hadoop新特性
摘要： Hadoop详解(09) - Hadoop新特性 Hadoop2.x新特性 远程主机之间的文件复制 scp实现两个远程主机之间的文件复制 推 push：scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt 拉 pull：scp -r root 阅读全文
posted @ 2021-12-14 15:25 莲藕淹 阅读(101) 评论(0) 推荐(0)