随笔分类 -  hive

Hive安装和部署andMySQL安装和部署
摘要：Hive安装和部署 1、背景知识 2、使用软件及其版本 环境 虚拟机:VirtualBox 6.0.24 r139119 Linux:CentOS 7 Windows:Windows10 软件 Hive-1.1.0-cdh5.7.0 Mysql-5.7.21-1.el7.x86_64 工具 远程连接 阅读全文
posted @ 2021-12-27 15:00 蔡地像徐坤 阅读(185) 评论(0) 推荐(0)
spark连接hive出现错误，javax.jdo.JDODataStoreException: Required table missing : "`DBS`" in Catalog "" Schema ""
摘要：今天入门spark,连接hive时一直报错，错误如下 21/12/12 19:55:26 ERROR Hive: Cannot initialize metastore due to autoCreate error javax.jdo.JDODataStoreException: Required 阅读全文
posted @ 2021-12-12 21:03 蔡地像徐坤 阅读(808) 评论(0) 推荐(0)
hive初始化元数据报错
摘要：今天配置了hive,初始化元数据时给我报了个错 我首先修改 hive/conf/hive-site.xml 配置文件，添加了serverTimezone=UTC <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:my 阅读全文
posted @ 2021-12-12 20:48 蔡地像徐坤 阅读(464) 评论(0) 推荐(0)
hive时间类
摘要：1.date_format:格式化时间 date_format(date,format):用于以不同的格式显示日期/时间数据。 2.date_add:时间跟天数相加 3.date_sub:时间跟天数相减 4.datediff:两个时间相减 5.regexp_replace:时间字符替换 6.date 阅读全文
posted @ 2021-09-07 17:55 蔡地像徐坤 阅读(328) 评论(0) 推荐(0)
hive获取系统当前时间
摘要：1.unix_timestamp() 在hive中获取系统当前时间可以使用unix_timestamp()函数，不过这个函数获取的是bigint值如下图 从上图可以看到获取到了当前系统时间,数值类型是bigint的,但是我们通常是想获取标准时间,这个时候可以和from_unixtime()函数配合使 阅读全文
posted @ 2021-09-06 16:03 蔡地像徐坤 阅读(1445) 评论(0) 推荐(0)
hive小练习_联合查询
摘要：1 创建2张表 用户表User和会员表 vip 2 user表中字段如下 3 uid 身份证号 uid int comment 'UserCard' 4 name 姓名 5 phone 电话 6 sex 性别 7 salary 工薪 8 address 地址 9 10 create table us 阅读全文
posted @ 2021-09-04 00:35 蔡地像徐坤 阅读(149) 评论(0) 推荐(0)
windows用Navicat连接虚拟机的Mysql
摘要：1.查看当前的密码测试 SHOW VARIABLES LIKE 'validate_password%'; 2.修改策略（将策略要求置为LOW，长度要求置为6） set global validate_password_policy=LOW;set global validate_password_ 阅读全文
posted @ 2021-06-03 18:02 蔡地像徐坤 阅读(347) 评论(0) 推荐(0)
解决：CentOS 7下yum install mysql-server无包可用问题
摘要：问题：[root@master ~]# yum install mysql-server已加载插件：fastestmirrorLoading mirror speeds from cached hostfile base: ap.stykers.moe extras: ap.stykers.moe 阅读全文
posted @ 2021-04-01 22:15 蔡地像徐坤 阅读(888) 评论(0) 推荐(0)
sql中top使用方法
摘要：sql中top使用方法 在编写程序中，我们可能遇到诸如查询最热门的5篇文章或返回满足条件的n条记录的情况，在SQL语言中，可以使用TOP关键字来实现。 TOP关键字在SQL语言中用来限制返回结果集中的记录条数，其使用方法有两种形式，下面做以详细的介绍：（1）返回确定数目的记录个数语法格式： SELE 阅读全文
posted @ 2020-11-27 21:01 蔡地像徐坤 阅读(6337) 评论(0) 推荐(0)
hive查询练习
摘要：一、创建数据库并使用数据库 --创建数据库 create database if not exists lyq; --使用数据库 use lyq 二、创建所需要的表，并插入数据 --创建表 -- 课程表 create table if not exists course(course_id int, 阅读全文
posted @ 2020-11-25 23:31 蔡地像徐坤 阅读(284) 评论(0) 推荐(0)
hive分区表与数据关联的三种方式
摘要：3.把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式：（1）方式一：上传数据后修复上传数据hive (db_614)> dfs -mkdir -p /user/hive/warehouse/db_614.db/user_info6/month=202011/day=22;hive (db 阅读全文
posted @ 2020-11-22 16:56 蔡地像徐坤 阅读(649) 评论(0) 推荐(0)
hive中partition如何使用
摘要：hive中partition如何使用 网上有篇关于hive的partition的使用讲解的比较好，转载了： 一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是 阅读全文
posted @ 2020-11-18 10:35 蔡地像徐坤 阅读(362) 评论(0) 推荐(0)
hive内嵌模式配置流程
摘要：解压hive文件hadoop@master:~$sudo tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /opt/modules 配置环境变量hadoop@master:~$vi /etc/profileexport HIVE_HOME=/opt/root/hi 阅读全文
posted @ 2020-11-13 00:33 蔡地像徐坤 阅读(183) 评论(0) 推荐(0)
Hive 中数据仓库默认位置配置及库表关系
摘要：1、原始位置的默认配置 hive中的Default（默认）数据仓库的最原始位置是在hdfs上的 /user/hive/warehouse（以下默认Hive的HDFS根目录为/user/hive）路径下，这个原始位置是本地的/usr/local/hive/conf/hive-default.xml.t 阅读全文
posted @ 2020-11-13 00:31 蔡地像徐坤 阅读(1539) 评论(0) 推荐(0)