05 2021 档案

HBase集群安装部署
摘要：1.1 准备安装包 下载安装包并上传到hadoop01服务器 安装包下载地址： https://www.apache.org/dyn/closer.lua/hbase/2.2.6/hbase-2.2.6-bin.tar.gz 将安装包上传到node01服务器/bigdata/softwares路径下 阅读全文
posted @ 2021-05-13 01:36 Tenic 阅读(480) 评论(0) 推荐(1)
Zookeeper集群启动脚本
摘要：当我们搭建号zk集群后，在启动/关闭的时候需要每次都要去每台机器上执行启动，停止脚本语句。 那我们是不是也可以写上一个小工具，来帮我们自动处理呢？ 前提条件：我们脚本中添加的机器都是做了免密登录，且脚本中的机器都是集群里的 脚本如下： cd ~/bin/ vi zk.sh #!/bin/bash p 阅读全文
posted @ 2021-05-13 01:03 Tenic 阅读(742) 评论(0) 推荐(0)
Hive的常用函数
摘要：1 系统内置函数 1．查看系统自带的函数 hive> show functions; 2．显示自带的函数的用法 hive> desc function upper; 3．详细显示自带的函数的用法 hive> desc function extended upper; 2 数值计算 1、取整函数: r 阅读全文
posted @ 2021-05-12 23:23 Tenic 阅读(622) 评论(0) 推荐(0)
HIVE查询语法
摘要：SQL语言大小写不敏感 SQL可以写在一行或者多行 关键字不能被缩写也不能分行 各子句一般要分行写 使用缩进提高语句的可读性 常用函数 求总数(count) select count(*) cnt from score; 求最大值(max) select max(s_score) from scor 阅读全文
posted @ 2021-05-12 23:02 Tenic 阅读(316) 评论(0) 推荐(0)
HIVE的静态分区和动态分区
摘要：静态分区 表的分区字段的值需要开发人员手动指定 eg: 创建分区表 create table order_partition( order_number string, order_price double, order_time string ) partitioned BY(month stri 阅读全文
posted @ 2021-05-05 17:06 Tenic 阅读(443) 评论(0) 推荐(0)
HIVE的分区表和分桶表
摘要：####分区表 hive可以转化成MR计算程序，当数据量多时，读取一整个目录下的所有文件来进行计算，因为数据量太大，所以就会变得特别慢。 在实际工作当中，我们一般有计算前一天的数据的需求，我们可以将前一天的数据放在一个文件夹下，专门来计算前一天的数据 hive的分区表大概也是通过分文件夹的形式，将每 阅读全文
posted @ 2021-05-04 22:18 Tenic 阅读(486) 评论(0) 推荐(0)
HIVE的复合类型使用说明和实战
摘要：参数说明 创建表的时候可以指定每行数据的格式,如果使用的是复合数据类型，还需要指定复合数据类型中的元素分割符 ROW FORMAT DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED 阅读全文
posted @ 2021-05-04 21:07 Tenic 阅读(178) 评论(0) 推荐(0)
Hive DDL操作
摘要：数据库DDL操作 1.创建数据库 hive > create database db_hive; # 或者 hive > create database if not exists db_hive; 数据库在HDFS上的默认存储路径是/usr/hive/warehouse/数据库名.db 显示所有数 阅读全文
posted @ 2021-05-03 22:57 Tenic 阅读(105) 评论(0) 推荐(0)