随笔分类 -  hive

摘要:current_date:获取当前日期 用法:select current_date; 输出:2020-12-04 unix_timestamp:获取当前unix时间戳 用法:select unix_timestamp; 输出:1607070544 date_add:返回日期的后n天的日期 例:返回 阅读全文
posted @ 2020-12-04 20:31 sycl 阅读(1162) 评论(0) 推荐(0)
摘要:数据库 创建数据库: CREATE DATABASE [ IF NOT EXISTS ] database_name *****IF NOT EXISTS进行判断,避免创建的数据库已经存在的错误 创建一个数据库,指定数据库在HDFS上存放的位置: CREATE DATABASE database_n 阅读全文
posted @ 2020-11-28 20:05 sycl 阅读(252) 评论(0) 推荐(0)
摘要:基本数据类型: 对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数。 集合数据类型: STRUCT:和C语言中的struct类似,都可以通过“点”符号访问元素内容。 MAP:MAP是一组键- 阅读全文
posted @ 2020-11-28 19:58 sycl 阅读(432) 评论(0) 推荐(0)
摘要:什么是Hive? Hive:由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS; 2、Hiv 阅读全文
posted @ 2020-11-28 19:39 sycl 阅读(454) 评论(0) 推荐(0)
摘要:查找系统自带函数: show functions; 排序: ORDER BY : 全局排序,只有一个reducer, ASC(ascend)升序(默认); DESC(descend)降序 SORT BY : 每个MapReduce内部排序 对于大规模的数据集 order by 的效率非常低,在很多情 阅读全文
posted @ 2020-11-25 20:36 sycl 阅读(151) 评论(0) 推荐(0)