文章分类 - Hive
摘要：关于sql中的空值null及处理 一、null的特点 1、null来表示未知和不确定。 null 在计算机和编程世界中表示的是未知,不确定。虽然中文翻译为“空”, 但此空(null)非彼空(empty)。null表示的是一种未知状态，未来状态,比如小明兜里有多少钱我不清楚，但也不能肯定为0，这时在计
阅读全文
摘要：union & union all 的作用 SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集。 请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语句中的列的顺序必须相同。 SQL U
阅读全文
摘要：按多字段分组、从多表中拿字段 在SQL语句中 : 如果因为业务逻辑的要求，需要按不止一个字段进行group by，或者需要从多个表中拿字段 -- 多个分组字段之间用 , 隔开 -- 例如： select formatted_ent_name,id,ROW_NUMBER() over(PARTITIO
阅读全文
摘要：union 按顺序合并结果集 例如: select 'B701' as intf union all select 'B702' as intf union all select 'B703' as intf union all select 'B704' as intf union all sel
阅读全文
摘要：decode()函数的用法、Mod(a,b) 用法 decode 函数在sql中作用相当于case when，意思是根据某一字段的值作为条件，根据这个条件进行输出。 例如 case when 语句： 例如：根据身份证判定该员工是否是男女，从而实现对性别的更新。 身份证号的第17位数字，奇数为男性，偶
阅读全文
摘要：伪分布式集群 Linux 查看历史命令 history Linux查看进程运行的状态 top 也能查看集群资源 为了节省计算机的资源，我们将之前分布式的集群，改为伪分布式 伪分布式：即在一个节点上做分布式，可以节省资源 拍摄快照 在改伪分布式之前可以给我们的集群拍个快照，方便之后如果想要用回分布式集
阅读全文
摘要：一句话概括一下Hive 传入一条交互式的SQL在海量数据中查询 分析 交互式的过程 -- REPL R -- Read 读 E -- Execute 执行 P -- Print 输出 L -- Loop 循环
阅读全文
摘要：连续登陆问题 在电商、物流和银行可能经常会遇到这样的需求：统计用户连续交易的总额、连续登陆天数、连续登陆开始和结束时间、间隔天数等 数据： 注意：每个用户每天可能会有多条记录 做连续登陆问题的前提是我们要保证每个用户每天只有一笔记录 所以一个用户每天不止有一笔记录的话，我们要根据实际需求去合并 id
阅读全文
摘要：基于Hive数据仓库建模 Hive-数据仓库建模架构 Hive-数据仓库建模方式 Hive-数据仓库建模范式 Hive-数仓一些专业表称谓 https://blog.csdn.net/zhaodedong/article/details/54177686
阅读全文
摘要：Hive调优-建表注意事项 Hive调优-查询优化 Hive With as 用法 用法 后面的表可以用到前面的表 // 之前的写法 select t.id ,t.name ,t.clazz ,t.score_id ,t.score ,c.subject_name from( select a.id
阅读全文
摘要：Hive 在 Linux 的 Shell 中的使用 第一种： hive -e "后面直接加一条SQL" hive -e "select * from test1.students limit 10" 第二种： hive -f hql文件路径 将HQL写在一个文件里，再使用 -f 参数指定该文件 编辑
阅读全文
摘要：Hive 行转列 lateral view、explode、posexplode explode()方法将数据扁平化 行→列 只能接收array、map 例如select explode(split(words,',')) from words hello,java,hello,java,scala
阅读全文
摘要：Hive自定义函数UserDefineFunction 自定义函数只针对当前的 hive shell 有效，一旦退出当前shell，则需要重新注册 分类： UDF：一进一出 UDTF：一进多出 UDAF：多进一出（一般用不到） UDF：一进一出 创建maven项目，并加入依赖 <dependency
阅读全文
摘要：刷新IDEAMaven项目 IDEA清除缓存并重启 当你的IDEA遇到奇奇怪怪的问题的时候可以清除缓存并重启 或者删除该项目文件下的 .idea 这个目录（删除该Maven项目在IDEA的全部配置） 查看Maven自动忽略的文件 有的时候Maven项目再怎么导入依赖也不会生效 将IDEA该Maven
阅读全文
摘要：Hive 中的wordCount详解、split()、explode()、posexplode()、通过起别名的方式接收函数处理字段之后生成的新附加字段 因为指定的列分割符是 | 所以数据并不会被分割，而且表中只定义了一个字段 所以每一行数据会作为这个字段的一条记录 然后通过split()将数据按照
阅读全文
摘要：Hive 中的wordCount、Hive 开窗函数 Hive 中的wordCount create table words( words string )row format delimited fields terminated by '|'; // 数据 hello,java,hello,ja
阅读全文
摘要：Hive练习题20道及解题过程、开发中的常见问题和细节 开发中的常见问题和细节 distinct -- 去重 可以放在select后面，表示所有字段的去重 也可以放在聚合函数中，表示对函数中的字段去重 Hive中where条件不支持不等式的子查询，可以通过join实现 select … from 表
阅读全文
摘要：Hive 常用函数 [一起学Hive]之二–Hive函数大全-完整版 – lxw的大数据田地 (lxw1234.com) hive 常用函数大全 关系运算 常用在where条件中 // 等值比较 = == <=> // 不等值比较 != <> // 区间比较： select * from defau
阅读全文
摘要：SQL练习 1、count(*)、count(1) 、count('字段名') 区别 2、HQL 执行优先级： from、where、 group by 、having、order by、join、select 、limit 3、where 条件里不支持不等式子查询，实际上是支持 in、not in
阅读全文
浙公网安备 33010602011771号