随笔分类 -  hive

hive mysql count distinct 多列
摘要:hive mysql count distinct 多列 解释链接-mysql采坑之count distinct多列 不能使用算术比较运算符(如=,<或<>)来比较空值 COUNT(distinct expr)返回expr列中不同的且非空的行数 COUNT()有两个非常不同的作用:它可以统计某个列值 阅读全文
posted @ 2020-07-10 14:34 呼呼小睡 阅读(744) 评论(0) 推荐(0)
hive 导出数据到文件
摘要:导出数据到文件 方法1 推荐 insert overwrite local directory 'path' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select * from my_table 方法2 hive -e "select * fro 阅读全文
posted @ 2020-07-08 09:37 呼呼小睡 阅读(593) 评论(0) 推荐(0)
sql server+mysql+sql server:复制表结构+表数据
摘要:复制表+表数据 将表mytable_1结构复制到表mytable_2 sql server mysql hive ```sql create table mytable_2 like mytable_1; INSERT INTO mytable_2 SELECT FROM mytable_1; 数据 阅读全文
posted @ 2020-02-27 16:45 呼呼小睡 阅读(389) 评论(0) 推荐(0)
hive对有null值的列进行avg,sum,count操作
摘要:结果 阅读全文
posted @ 2019-12-09 09:42 呼呼小睡 阅读(3043) 评论(0) 推荐(0)
hive重定向输出指定分隔符
摘要:hive重定向输出指定分隔符 1 2 3 参考 "参考1" "参考2" "参考3" "参考4" 阅读全文
posted @ 2019-11-14 13:01 呼呼小睡 阅读(829) 评论(0) 推荐(0)
hive union all 问题
摘要:hive union all 问题 (1) hive中使用union all要保证联结的 一致 (2)要保持 一致,否则报错 也可以都不取别名 参考 "【1】参考资料1" "【2】参考资料2" 阅读全文
posted @ 2019-10-25 09:30 呼呼小睡 阅读(1047) 评论(0) 推荐(0)
hive分区操作
摘要:hive分区操作 (1)hive 创建分区 sql create table ( string, string) partitioned by ( string, int) row format delimited fields terminated by ','; (2)hive 创建分区 动静混 阅读全文
posted @ 2019-10-17 20:20 呼呼小睡 阅读(186) 评论(0) 推荐(0)
hive 修改表
摘要:hive 修改表 表重命名 关键字 修改列信息 关键字 即使 字段名 或者 字段类型 没有改变,也要完全指定旧的字段名 若将字段放在第一个位置,将 改为 阅读全文
posted @ 2019-10-15 09:32 呼呼小睡 阅读(245) 评论(0) 推荐(0)
hive 命令三种执行方式
摘要:hive 命令三种执行方式 1. hive交互模式 语法 示例 2. “一次使用”命令 语法 shell $ hive e "合法的sql语句" 可以增加参数 开启静默模式,会去掉输出结果中无关行 $ hive S e "合法的sql语句"` shell $ hive S e "select fro 阅读全文
posted @ 2019-10-15 09:31 呼呼小睡 阅读(999) 评论(0) 推荐(0)
hive 空值判断
摘要:hive 空值判断 hive中空值判断基本分两种 一、 与 hive在底层数据中如何保存和标识NULL,是由 参数控制. \N 设置 ,则底层数据保存的是 ,通过查询显示的是 查询语句 NULL 2.设置 , 则底层数据保存的是'NULL',通过查询显示的是'NULL' 查询语句 二、 与 表示字段 阅读全文
posted @ 2019-10-15 09:30 呼呼小睡 阅读(2890) 评论(0) 推荐(0)
hive 分区字段为空 (\_HIVE_DEFAULT_PARTITION_)
摘要:hive 分区字段为空 (\_HIVE_DEFAULT_PARTITION_) 1.显示表的所有分区 2.默认分区 \_HIVE_DEFAULT_PARTITION_ 在hive里面表可以创建成分区表,但是当分区字段的值是 或者 时,hive会自动将分区命名为默认分区名称。默认情况下,默认分区的名称 阅读全文
posted @ 2019-10-15 09:30 呼呼小睡 阅读(5713) 评论(0) 推荐(0)
hive 数据加载
摘要:hive 数据加载 1、从本地导入hive 说明: 操作只是单纯的复制/移动操作,将数据文件移动到 Hive 表对应的位置 filepath: 相对路径,例如: 绝对路径,例如: 包含模式的完整 ,如: 关键字 如果指定了 ,`load filepath local inpath uri`查找文件 阅读全文
posted @ 2019-10-15 09:29 呼呼小睡 阅读(307) 评论(0) 推荐(0)
hive 脚本传参
摘要:hive 脚本传参 向hive脚本中传入参数,两种情况: 一、shell脚本调度hive脚本, hive可以直接读取系统变量和环境变量 hive脚本 脚本传参 shell start.sh !/bin/sh set x export month= hive f test.sql sql test.s 阅读全文
posted @ 2019-10-15 09:28 呼呼小睡 阅读(1277) 评论(0) 推荐(0)
hive 时间函数
摘要:hive 时间函数 时间截断函数 返回 【注意】 所支持的格式为 【大写】 转`date to_date(string timestamp) string` 时间格式转换 返回 【注意】 所支持的格式为【大写或小写】 【注意】 hive版本是否支持 上面都是参考: " 函数大全(中文版)" 阅读全文
posted @ 2019-10-15 09:27 呼呼小睡 阅读(252) 评论(0) 推荐(0)
hive字符串函数
摘要:hive字符串函数 字符替换 参考: "CSDN 正则函数:regexp_replace" "Hive 正则匹配函数 regexp_extract" 阅读全文
posted @ 2019-10-15 09:26 呼呼小睡 阅读(383) 评论(0) 推荐(0)
hive查询语句合并问题
摘要:困惑 合并两条查询语句 第一条 sql use mydatabase; select max(date_id) as max_date_id from my_date_table where date_int 阅读全文
posted @ 2019-10-15 09:25 呼呼小睡 阅读(435) 评论(0) 推荐(0)
hive isnull或ifnull的替代方法if()方法
摘要:hive isnull或ifnull的替代方法if()方法 hive没有SQL Server 的 和MySQLd的 函数,可以用 函数替代 条件为真:值1,否则值2(相当于c++里的三目运算 ) 参考 "hive if函数" 阅读全文
posted @ 2019-10-15 09:25 呼呼小睡 阅读(16221) 评论(0) 推荐(0)
hive科学计数法引发的问题
摘要:hive科学计数法引发的问题 (1) hive 中 和字符串类型 运算 hive中 可以和和字符串类型 运算,其中字符串为 ,都转为了浮点类型 .若字符串不为 ,计算结果则为 . (2) hive中使用联结 中的子查询要求 ,对应字段 或可以 (3) hive中 `double float stri 阅读全文
posted @ 2019-10-15 09:21 呼呼小睡 阅读(4647) 评论(0) 推荐(0)
科学计数法转字符串
摘要:科学计数法转字符串 有时需要将表里的 转为 类型的(主要的是 ),但有时 在hive里是用 表示的,不能直接转 .参考文章 "【链接】" . 对于 类型,可以直接先转为 再转为string 对于一般类型可用下面的语句(不是我写的0 0,但可以顺便学习了下hive里的 ,记录一下) 参考 "参考链接" 阅读全文
posted @ 2019-10-15 09:20 呼呼小睡 阅读(1142) 评论(0) 推荐(0)