随笔分类 -  hive

hive 数据仓库
Hive的常用函数
摘要：1 系统内置函数 1．查看系统自带的函数 hive> show functions; 2．显示自带的函数的用法 hive> desc function upper; 3．详细显示自带的函数的用法 hive> desc function extended upper; 2 数值计算 1、取整函数: r 阅读全文
posted @ 2021-05-12 23:23 Tenic 阅读(640) 评论(0) 推荐(0)
HIVE查询语法
摘要：SQL语言大小写不敏感 SQL可以写在一行或者多行 关键字不能被缩写也不能分行 各子句一般要分行写 使用缩进提高语句的可读性 常用函数 求总数(count) select count(*) cnt from score; 求最大值(max) select max(s_score) from scor 阅读全文
posted @ 2021-05-12 23:02 Tenic 阅读(322) 评论(0) 推荐(0)
HIVE的静态分区和动态分区
摘要：静态分区 表的分区字段的值需要开发人员手动指定 eg: 创建分区表 create table order_partition( order_number string, order_price double, order_time string ) partitioned BY(month stri 阅读全文
posted @ 2021-05-05 17:06 Tenic 阅读(453) 评论(0) 推荐(0)
HIVE的分区表和分桶表
摘要：####分区表 hive可以转化成MR计算程序，当数据量多时，读取一整个目录下的所有文件来进行计算，因为数据量太大，所以就会变得特别慢。 在实际工作当中，我们一般有计算前一天的数据的需求，我们可以将前一天的数据放在一个文件夹下，专门来计算前一天的数据 hive的分区表大概也是通过分文件夹的形式，将每 阅读全文
posted @ 2021-05-04 22:18 Tenic 阅读(497) 评论(0) 推荐(0)
HIVE的复合类型使用说明和实战
摘要：参数说明 创建表的时候可以指定每行数据的格式,如果使用的是复合数据类型，还需要指定复合数据类型中的元素分割符 ROW FORMAT DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED 阅读全文
posted @ 2021-05-04 21:07 Tenic 阅读(183) 评论(0) 推荐(0)
Hive DDL操作
摘要：数据库DDL操作 1.创建数据库 hive > create database db_hive; # 或者 hive > create database if not exists db_hive; 数据库在HDFS上的默认存储路径是/usr/hive/warehouse/数据库名.db 显示所有数 阅读全文
posted @ 2021-05-03 22:57 Tenic 阅读(110) 评论(0) 推荐(0)
Hive概述
摘要：前边已经搭建好了hive，也通过cli登录上了hive，那我们来简单说一下hive Hive概念 Hive是基于Hadoop的一个数据仓库工具 可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储支 阅读全文
posted @ 2021-04-30 00:22 Tenic 阅读(109) 评论(0) 推荐(0)
数据仓库概述
摘要：今天我们来聊一下大数据里的一个概念，数据仓库，数据仓库的分层结构，ETL 什么是数据仓库 数据仓库的英文名称为Data Warehouse，可简写为DW或DWH。 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持的目的而 阅读全文
posted @ 2021-04-29 23:35 Tenic 阅读(291) 评论(0) 推荐(0)
通过beeline连接代理服务器hiveserver2 操作hive
摘要：上一篇文章已经写了配置hive的步骤，也已经通过启动hive cli进去。现在使用代理服务器的方式操作hive hadoop01修改hadoop的core-site.xml文件 cd /bigdata/install/hadoop-3.1.4/etc/hadoop vi core-site.xml 阅读全文
posted @ 2021-04-29 22:03 Tenic 阅读(529) 评论(0) 推荐(0)
HIVE安装部署
摘要：注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。 使用hadoop普通用户操作 前提条件 安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务 hadoop02上安装了MySQL服务，并启动MySQL的服务 下载安装包 进 阅读全文
posted @ 2021-04-27 00:08 Tenic 阅读(198) 评论(0) 推荐(0)