摘要：
一、项目背景 前两年，支付宝推出的“余额宝”赚尽无数人的眼球，同时也吸引的大量的小额资金进入。“余额宝”把用户的散钱利息提高到了年化收益率4.0%左右，比起银行活期存储存款0.3%左右高出太多了，也正在撼动着银行躺着赚钱的地位。 在金融市场，如果想获得年化收益率4%-5%左右也并非难事，通过“逆回购 阅读全文
posted @ 2018-05-25 15:12
子墨言良
阅读(1955)
评论(0)
推荐(2)
摘要：
今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege 'Create' found for outputs { database:default }的错误，日志如下。 从日志可以清楚地看出， 阅读全文
posted @ 2018-05-24 19:59
子墨言良
阅读(4112)
评论(0)
推荐(0)
摘要：
hive性能调优 (一)Hadoop 计算框架的特性 什么是数据倾斜 由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点 Hadoop框架的特性 不怕数据大，怕数据倾斜 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jo 阅读全文
posted @ 2018-05-24 15:56
子墨言良
阅读(493)
评论(0)
推荐(0)
摘要：
1)本地目录/home/hadoop/test下的test4.txt文件内容(每行数据之间用tab键隔开)如下所示: 2)启动hiveserver2 3) 程序代码 4) 运行结果(右击-->Run as-->Run on Hadoop) 此时直接运行会报错，解决方案请见下一篇博文：HiveSQLE 阅读全文
posted @ 2018-05-24 15:53
子墨言良
阅读(5278)
评论(0)
推荐(0)
摘要：
Hive 的权限控制 Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。 为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置： hive.security.authorization.en 阅读全文
posted @ 2018-05-24 10:02
子墨言良
阅读(14295)
评论(0)
推荐(0)
摘要：
Hive 的 JOIN 用法 hive只支持等连接，外连接，左半连接。hive不支持非相等的join条件（通过其他方式实现，如left outer join），因为它很难在map/reduce中实现这样的条件。而且，hive可以join两个以上的表。 1、等连接 只有等连接才允许 2、多表连接 同个 阅读全文
posted @ 2018-05-23 21:41
子墨言良
阅读(11125)
评论(0)
推荐(0)
摘要：
hive语法中主要提供了以下复合数据类型： 1)Structs： structs内部的数据可以通过DOT（.）来存取。例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域a。 2)Map（K-V对）：访问指定域可以通过["指定域名称"]进行。例如，一个Map中 阅读全文
posted @ 2018-05-23 20:25
子墨言良
阅读(482)
评论(0)
推荐(0)
摘要：
（一）分区操作 Hive 的分区通过在创建表时启动 PARTITION BY 实现，用来分区的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用 WHERE 语句， 例如使用 “WHERE tablename.partition_key>a” 创建含分区 阅读全文
posted @ 2018-05-22 20:41
子墨言良
阅读(721)
评论(0)
推荐(0)
摘要：
1. 视图操作 1) 创建一个测试表。 ``` hive> create table test(id int,name string); OK Time taken: 0.385 seconds hive> desc test; OK id int name string Time taken: 0 阅读全文
posted @ 2018-05-19 10:17
子墨言良
阅读(380)
评论(0)
推荐(0)
摘要：
Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对 Hive 的表操作进行深入讲解。 **(1)先来创建一个表名为student的内部表** hive> create table if not exists student (sno INT, 阅读全文
posted @ 2018-05-19 10:13
子墨言良
阅读(616)
评论(0)
推荐(0)
浙公网安备 33010602011771号