随笔分类 -  hive

上一页 1 2
hive高阶1--sql和hive语句执行顺序、explain查看执行计划、group by生成MR
摘要：hive语句执行顺序 msyql语句执行顺序 代码写的顺序： select ... from... where.... group by... having... order by.. 或者 from ... select ... 代码的执行顺序： from... where...group by. 阅读全文
posted @ 2021-05-28 15:30 温家三哥 阅读(685) 评论(0) 推荐(0)
hive执行计划解析
摘要：hive执行计划解析 Hive wiki - LanguageManual Explain 1.hive执行流程的重要性 1）当sql任务非常慢时，就需要分析它的执行流程2）常见的面试中，问对hive的理解？回答只是写sql，这个是很片面的。要从表面的sql，在脑海中映射出MR流程,在哪儿进行map 阅读全文
posted @ 2021-05-28 14:44 温家三哥 阅读(1791) 评论(0) 推荐(0)
hive sql的常用日期处理函数总结
摘要：1）date_format函数（根据格式整理日期） 作用：把一个字符串日期格式化为指定的格式。 select date_format('2017-01-01','yyyy-MM-dd HH:mm:ss'); --日期字符串必须满足yyyy-MM-dd格式 结果：2017-01-01 00:00:00 阅读全文
posted @ 2021-05-16 21:12 温家三哥 阅读(1634) 评论(0) 推荐(0)
Hive实现数据抽样的三种方法
摘要：在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示： 数据块抽样（ 阅读全文
posted @ 2020-12-15 15:36 温家三哥 阅读(3799) 评论(0) 推荐(0)
Hive中HSQL中left semi join和INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN区别
摘要：Hive中HSQL中left semi join和INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN区别 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进 阅读全文
posted @ 2020-12-10 16:15 温家三哥 阅读(3336) 评论(0) 推荐(0)
DateDiff 函数详解
摘要：DateDiff 函数详解 描述返回两个日期之间的时间间隔。 语法DateDiff(interval, date1, date2 [,firstdayofweek][, firstweekofyear]])DateDiff 函数的语法有以下参数：interval 必选。字符串表达式，表示用于计算 d 阅读全文
posted @ 2020-11-03 20:16 温家三哥 阅读(3457) 评论(0) 推荐(0)
coalesce函数
摘要：coalesce函数 具体怎么用呢？ 上面的函数说明通俗来说coalesce()的作用是：返回传入的参数中第一个非null的值。expre1不为空值则返回expre1；否则判断expre2是否是空值，如果expre2不为空值则返回expre2；否则判断expre3是否是空值，如果expre3不为空值 阅读全文
posted @ 2020-11-03 15:22 温家三哥 阅读(4661) 评论(0) 推荐(0)

上一页 1 2