HIVE - 随笔分类 - 老白条

Hive常用函数

摘要：窗口函数与分析函数应用场景：（1）用于分区排序（2）动态Group By（3）Top N（4）累计计算（5）层次查询窗口函数 FIRST_VALUE：取分组内排序后，截止到当前行，第一个值LAST_VALUE：取分组内排序后，截止到当前行，最后一个值LEAD(col,n,DEFAULT) ：用阅读全文

posted @ 2020-12-11 16:09 老白条阅读(305) 评论(0) 推荐(0)

Hive行列转换

摘要：Hive行列转换 1、行转列 (根据主键，进行多行合并一列) 使用函数：concat_ws(‘,’,collect_set(column)) collect_list 不去重 collect_set 去重 column 的数据类型要求是 string collect_list 不去重 collect 阅读全文

posted @ 2019-08-29 10:17 老白条阅读(1154) 评论(0) 推荐(0)

数据分析利器之hive优化十大原则

摘要：hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。 hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等阅读全文

posted @ 2018-10-22 11:32 老白条阅读(457) 评论(0) 推荐(0)

大数据：Hive常用参数调优

摘要：1、limit限制调整一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。有一个配置属性可以开启，避免这种情况对数据源进行抽样 hive.limit.optimize.enable=true 开启对数据源进行采样的功能 hive.limit.row.max.size 设置最阅读全文

posted @ 2018-10-22 11:32 老白条阅读(1441) 评论(0) 推荐(0)

Hive 中parse_url的使用

摘要：1、Hive的parse_url函数 parse_url(url, partToExtract[, key]) - extracts a part from a URL 解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUT 阅读全文

posted @ 2017-12-04 17:44 老白条阅读(1295) 评论(0) 推荐(0)

hive编程入门课程（加精）

摘要：hive编程入门课程 http://wenku.baidu.com/link?url=BfyZWjz48G_6UJImzWw39OLB0sUrIYEYxoxNpaFbADUQekmOvQy4FPY1fd-YmmvjDITGyEzce9_9fpdrBhZVL3ycId1LKZzAzsSg5bThr9K 阅读全文

posted @ 2016-07-01 10:10 老白条阅读(182) 评论(0) 推荐(0)

hive优化之------控制hive任务中的map数和reduce数

摘要：一、控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定阅读全文

posted @ 2016-06-06 13:29 老白条阅读(301) 评论(0) 推荐(0)

Hive SQL的编译过程

摘要：Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区阅读全文

posted @ 2016-04-15 11:32 老白条阅读(413) 评论(0) 推荐(0)

深入浅出数据仓库中SQL性能优化之Hive篇

摘要：摘要：Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化，针对MR全局的优化以及针对整个查询的优化。一个Hive查询生成多个Ma 阅读全文

posted @ 2016-04-15 11:23 老白条阅读(353) 评论(0) 推荐(0)

Hive基础

posted @ 2016-04-15 11:02 老白条阅读(298) 评论(0) 推荐(0)

Hive基本命令整理

摘要：创建表： hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string... 阅读全文

posted @ 2014-07-19 22:35 老白条阅读(290) 评论(0) 推荐(0)

Hive调优实战

摘要：Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。优化时，把hive sql当做map reduce程序来读，理解hado 阅读全文

posted @ 2014-07-09 22:45 老白条阅读(440) 评论(0) 推荐(0)

Hive学习路线图

摘要：Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, 阅读全文

posted @ 2014-07-09 22:34 老白条阅读(256) 评论(0) 推荐(0)

随笔分类 - HIVE

公告