文章分类 -  新规整hive

Hive常用函数
摘要：Hive常用函数大全一览 hive中split、coalesce及collect_list函数的用法（可举例）Split将字符串转化为数组。split('a,b,c,d' , ',') ==> ["a","b","c","d"]COALESCE(T v1, T v2, …) 返回参数中的第一个非空值 阅读全文
posted @ 2020-02-19 10:53 啊啊啊啊鹏 阅读(512) 评论(0) 推荐(0)
Hive参数调优
摘要：调优 Hive提供三种可以改变环境变量的方法，分别是： （1）修改${HIVE_HOME}/conf/hive-site.xml配置文件； 所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xm 阅读全文
posted @ 2020-02-19 10:50 啊啊啊啊鹏 阅读(1017) 评论(0) 推荐(1)
集成Hive和HBase
摘要：1. 与Hive的集成 Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL， 通过它可以使用SQL查询存放在HDFS上的数据，sql语句最终被转化为Map/Reduc 阅读全文
posted @ 2020-02-19 10:49 啊啊啊啊鹏 阅读(176) 评论(0) 推荐(0)
Hive| 压缩| 存储| 调优
摘要：一、Hadoop压缩配置 修改Hadoop集群具有Snappy压缩方式: 查看hadoop支持的压缩方式 [kris@hadoop101 datas]$ hadoop checknative 将编译好的支持Snappy压缩的hadoop-2.7.2.tar.gz包导入到hadoop101的/opt/ 阅读全文
posted @ 2020-02-19 10:47 啊啊啊啊鹏 阅读(231) 评论(0) 推荐(0)
Hive| 查询
摘要：Hive中执行SQL语句时，出现类似于“Display all 469 possibilities? (y or n)”的错误，根本原因是因为SQL语句中存在tab键导致，tab键在linux系统中是有特殊含义的。 基本查询 desc formatted stu_buck;desc stu_buck 阅读全文
posted @ 2020-02-19 10:45 啊啊啊啊鹏 阅读(345) 评论(0) 推荐(0)
Hive| DDL| DML
摘要：类型转换 可以使用CAST操作显示进行数据类型转换 例如CAST('1' AS INT)将把字符串'1' 转换成整数1；如果强制类型转换失败，如执行CAST('X' AS INT)，表达式返回空值 NULL。 0: jdbc:hive2://hadoop101:10000> select '1'+2 阅读全文
posted @ 2020-02-19 10:09 啊啊啊啊鹏 阅读(113) 评论(0) 推荐(0)
Hive的配置| 架构原理
摘要：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1. Hive架构原理 h 阅读全文
posted @ 2020-02-19 10:05 啊啊啊啊鹏 阅读(253) 评论(0) 推荐(0)

1 2