随笔分类 - Hive
摘要：一、项目背景 前两年，支付宝推出的“余额宝”赚尽无数人的眼球，同时也吸引的大量的小额资金进入。“余额宝”把用户的散钱利息提高到了年化收益率4.0%左右，比起银行活期存储存款0.3%左右高出太多了，也正在撼动着银行躺着赚钱的地位。 在金融市场，如果想获得年化收益率4%-5%左右也并非难事，通过“逆回购
阅读全文
摘要：今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege 'Create' found for outputs { database:default }的错误，日志如下。 从日志可以清楚地看出，
阅读全文
摘要：hive性能调优 (一)Hadoop 计算框架的特性 什么是数据倾斜 由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点 Hadoop框架的特性 不怕数据大，怕数据倾斜 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jo
阅读全文
摘要：1)本地目录/home/hadoop/test下的test4.txt文件内容(每行数据之间用tab键隔开)如下所示: 2)启动hiveserver2 3) 程序代码 4) 运行结果(右击-->Run as-->Run on Hadoop) 此时直接运行会报错，解决方案请见下一篇博文：HiveSQLE
阅读全文
摘要：Hive 的权限控制 Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。 为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置： hive.security.authorization.en
阅读全文
摘要：Hive 的 JOIN 用法 hive只支持等连接，外连接，左半连接。hive不支持非相等的join条件（通过其他方式实现，如left outer join），因为它很难在map/reduce中实现这样的条件。而且，hive可以join两个以上的表。 1、等连接 只有等连接才允许 2、多表连接 同个
阅读全文
摘要：hive语法中主要提供了以下复合数据类型： 1)Structs： structs内部的数据可以通过DOT（.）来存取。例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域a。 2)Map（K-V对）：访问指定域可以通过["指定域名称"]进行。例如，一个Map中
阅读全文
摘要：（一）分区操作 Hive 的分区通过在创建表时启动 PARTITION BY 实现，用来分区的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用 WHERE 语句， 例如使用 “WHERE tablename.partition_key>a” 创建含分区
阅读全文
摘要：1. 视图操作 1) 创建一个测试表。 ``` hive> create table test(id int,name string); OK Time taken: 0.385 seconds hive> desc test; OK id int name string Time taken: 0
阅读全文
摘要：Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对 Hive 的表操作进行深入讲解。 **(1)先来创建一个表名为student的内部表** hive> create table if not exists student (sno INT,
阅读全文
摘要：错误日志如下： 以上就是博主为大家介绍的这一板块的主要内容，这都是博主自己的学习过程，希望能给大家带来一定的指导作用，有用的还望大家点个支持，如果对你没用也望包涵，有错误烦请指出。如有期待可关注博主以第一时间获取更新哦，谢谢！ 版权声明：本文为博主原创文章，未经博主允许不得转载。
阅读全文
摘要：Hive在客户端上的安装部署 一、客户端准备： 到这我相信大家都已经打过三节点集群了，如果是的话则可以跳过一，直接进入二。如果不是则按流程来一遍！ 1、克隆虚拟机，见我的博客：虚拟机克隆及网络配置 2、 实现客户端和集群的连接（该步骤为多节点集群搭建，详情见我博客：三节点Hadoop集群搭建，有多节
阅读全文
摘要：Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了h
阅读全文
浙公网安备 33010602011771号