dairui130

导航

2019年5月5日 #

一点随想

摘要: 今天是5月5日。五一节后的第一天。 4月30号那天,我领了结婚证,和相伴4年的女朋友走到了一起。 我们一直有出国的想法,一是想多走多看,二是女票的专业是翻译,该用在真正的英语环境中。 领证之后,心态有了很大不同,看着公司里刚工作不久的小伙子,仿佛能看到几年前的自己。 没有什么压力,上班的时候就等着下 阅读全文

posted @ 2019-05-05 13:48 dairui130 阅读(145) 评论(0) 推荐(0)

hive on spark 释放session资源

摘要: 背景 启动hive时,可以看到2.0以后的版本,将要弃用mr引擎,官方建议使用spark,tez等引擎。 spark同时支持批式流式处理,可以减少学习成本。所以选用了spark作为执行引擎。 hive on spark 参数优化 使用hive on spark 默认只用2个container。任务处 阅读全文

posted @ 2019-05-05 13:34 dairui130 阅读(1532) 评论(0) 推荐(0)