随笔分类 - Hive
摘要：函数说明： grouping sets 在一个 group by 查询中，根据不同的维度组合进行聚合，等价于将不同维度的 group by 结果集进行 union allcube 根据 group by 的维度的所有组合进行聚合rollup 是 cube 的子集，以最左侧的维度为主，从该维度进行层级
阅读全文
摘要：一、排序&去重分析 row_number() over(partititon by col1 order by col2) as rn 结果：1,2,3,4 rank() over(partititon by col1 order by col2) as rk 结果：1，2，2，4，5 dense_
阅读全文
摘要：1. 非分区表: 复制表结构： create table new_table as select * from exists_table where 1=0; 复制表结构和数据： create table new_table as select * from exists_table; 2. 分区表
阅读全文
摘要：命令行模式，或者说目录模式，可以使用hive 执行命令。 选项说明： -e : 执行短命令 -f : 执行文件（适合脚本封装） -S : 安静模式，不显示MR的运行过程 -hivevar : 传参数 ，专门提供给用户自定义变量。 -hiveconf : 传参数，包括了hive-site.xml中配置
阅读全文
摘要：Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。 1. 版本表 i) VERSION -- 查询版本信息 2. 数据库、文件存储相关 i) DBS -- 存储Hive中所有数据库的基本信息 ii) SDS -- 存储Hive中文件存储的基本信息 3. 表、视图相
阅读全文
摘要：添加列 add columns alter table table_name add columns (id int comment '主键ID' ) ; 默认在表所有字段之后，分区字段之前。 替换列 replace columns ,会替换所有列，慎用 alter table table_name
阅读全文
摘要：< 导入 > 从本地目录文件导入Hive表 语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOCAL : 区
阅读全文
摘要：参考地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1. parse_url(url, partToExtract[, key]) 参考地址：https://cwiki.apache.org/conflue
阅读全文
摘要：一、列转行 (对某列拆分，形成新列) 使用函数：lateral view explode(split(column, ',')) num eg: 如表：t_row_to_column_tmp 数据如下，对tag列进行拆分 SQL代码： select id,tag,tag_new from t_row
阅读全文
浙公网安备 33010602011771号