随笔分类 -  HIVE

记ODS层数据删除的总结
摘要：背景： 在进行大数据测试的时候，需要删除测试数据，我对ODS层数据也用truncate table 表名进行删除，然后报错，后面知道ODS层数据删除不能这样删 原因： ODS层数据一般是外部表，不是单单删除数据那么简单，它还有数据文件在HDFS上 正确方法： 1.进入容器，切换为能进入HDFS的用户 阅读全文
posted @ 2022-08-23 14:45 fanghui778 阅读(150) 评论(1) 推荐(0)
Hive实战——炸裂函数lateral view explode() （转载）
摘要：Hive Lateral View + explode 详解 (29条消息) Hive Lateral View + explode 详解_YaoYong_BigData的博客-CSDN博客_hive lateral view原理 Hive之explode()函数和posexplode()函数和la 阅读全文
posted @ 2022-08-11 14:00 fanghui778 阅读(708) 评论(0) 推荐(0)
Hive实战——修改一条数据
摘要：背景： 测试环境经常需要修改大数据里面的一条数据用来满足测试，比如修改一条数据的手机号用来发短信 思路： 1. insert overwrite table table1 select id,修改后的内容 as cols from table1 where id = 你修改行的id 先弄出你要修改的 阅读全文
posted @ 2022-08-11 11:01 fanghui778 阅读(5350) 评论(0) 推荐(0)
mysql-join总结
摘要：join表我理解的就是两个表或者多个表因为有关联字段（或者叫外键）进行关联关系的筛选 一、join 同inner join 筛选出来两个表或多个表的关联字段值相等的数据，只要左边表的关联字段与右表匹配上，就会出现一条数据，所有会出现左边字段多条的情况，比如筛选出来有订单的用户， 二、left joi 阅读全文
posted @ 2022-01-11 17:06 fanghui778 阅读(101) 评论(0) 推荐(0)
mysql报错：Invalid use of group function
摘要：select orderNumber, sum(priceEach * quantityOrdered) as totalvalues from orderdetails where sum(priceEach * quantityOrdered) > 60000; 报错原因： 是由于在where语 阅读全文
posted @ 2021-12-30 15:25 fanghui778 阅读(2326) 评论(0) 推荐(0)
hive实战一：分区表里面增加数据
摘要：步骤： 一.xshell上连上hive 的客户端： 1.xshell连接上服务器，需要知道主机的地址、端口号、用户名、密码 2.连接hive客户端：sh client_0.sh 3.输入hive 连接hive或者spark_beeline 二、分区插入两条数据 insert into 表名 part 阅读全文
posted @ 2021-12-14 13:36 fanghui778 阅读(2303) 评论(0) 推荐(0)