Fork me on GitHub
摘要: Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。使用Python开发(如果使用Java开发,请看这里)。 一、map与reduce脚本 map脚本(mapper.py) reduce脚本(reducer.py) 注意一点的是,不能使用for 阅读全文
posted @ 2018-04-02 16:55 单行线的旋律 阅读(608) 评论(0) 推荐(0) 编辑
摘要: Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自己使用Java开发,需要处理System.in,System,out以及key/value的各种逻辑,比较麻烦。有人开发了一个小框架,可以让我们使用与Hadoop中map与reduce相 阅读全文
posted @ 2018-04-02 16:49 单行线的旋律 阅读(419) 评论(0) 推荐(0) 编辑
摘要: 众所周知,数据库必须要能够支持并发。无论在任何时候,允许同一时刻,多个用户能够同时读取或写入。没有必要给用户提供API显示的获取锁,所以所有的锁都是隐式获取的。 在Hive中有两种类型的锁: 共享锁Shared(S) 排它锁Exclusive(X) 就如它们的名字一样,可以在同一时刻,获取多个共享锁 阅读全文
posted @ 2018-04-02 15:35 单行线的旋律 阅读(357) 评论(0) 推荐(0) 编辑