Fork me on GitHub

随笔分类 -  hive

Hive1.1.0中一个BUG的记录分析
摘要：最近在工作中，使用CASE WHEN语句的时候，总是出现异常，查看日志是由于数组超界。不知所以然，然后进行了一步步分析，发现这是hive本身的bug，分享出来，一是为了记录，二是想让大家共同看看，欢迎指正。 使用的是CDH5.14.0版本。 CDH5.14.0使用的HIVE版本 自建日志表log： 阅读全文
posted @ 2018-04-04 17:09 单行线的旋律 阅读(1884) 评论(0) 推荐(0)
Hive中自定义Map/Reduce示例 In Python
摘要：Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。使用Python开发(如果使用Java开发，请看这里)。 一、map与reduce脚本 map脚本(mapper.py) reduce脚本(reducer.py) 注意一点的是，不能使用for 阅读全文
posted @ 2018-04-02 16:55 单行线的旋律 阅读(646) 评论(0) 推荐(0)
Hive中自定义Map/Reduce示例 In Java
摘要：Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自己使用Java开发，需要处理System.in,System,out以及key/value的各种逻辑，比较麻烦。有人开发了一个小框架，可以让我们使用与Hadoop中map与reduce相 阅读全文
posted @ 2018-04-02 16:49 单行线的旋律 阅读(452) 评论(0) 推荐(0)
Hive学习之Locking
摘要：众所周知，数据库必须要能够支持并发。无论在任何时候，允许同一时刻，多个用户能够同时读取或写入。没有必要给用户提供API显示的获取锁，所以所有的锁都是隐式获取的。 在Hive中有两种类型的锁： 共享锁Shared(S) 排它锁Exclusive(X) 就如它们的名字一样，可以在同一时刻，获取多个共享锁 阅读全文
posted @ 2018-04-02 15:35 单行线的旋律 阅读(402) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示