摘要: HIVE数据倾斜问题问题状态: 未解决 背景:HDFS对文件进行了压缩,而且不添加索引。主要用HIVE进行开发。 发现的现象:sqoop从Mysql导入数据,根据ID进行平均分割,但是ID分部及其不均匀(我也不知道业务系统怎么搞得)。所以导致reduce出来的文件大小严重不均匀,就是所谓的数据倾斜。 阅读全文
posted @ 2016-06-30 18:05 Harlan16 阅读(487) 评论(0) 推荐(0)
摘要: 6月16日,阿里云技术专家郑重(卢梭)将做客云栖社区,直播分享《技术实战:21天搭建推荐系统》,报名地址:https://yq.aliyun.com/webinar/join/14 推荐系统的搭建是个复杂工程,涉及到实时计算、离线计算,以及各种数据采集、流转等,对自建推荐系统来说,更是很有困难。云栖 阅读全文
posted @ 2016-06-14 18:56 Harlan16 阅读(378) 评论(0) 推荐(0)
摘要: 我是一个vimer,还在用着这个上古时代的编辑器,但我并不是守旧派,因为即使是 现在,vim也在不断的创新。我用vim也有一两年的光景了,但是我还是不敢我自己 精通vim,当然我使用vim基本是两个地方,一个是修改系统的配置文件,一个就是 写Python的时候,至于用来写Java我还没有达到这么强大 阅读全文
posted @ 2016-06-07 09:53 Harlan16 阅读(811) 评论(0) 推荐(0)
摘要: Ctrl+Shift+R:打开资源这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你打开你的工作区中任何一个文件,而你只需要按下文件名或mask名中的前几个字母,比如applic*.xml。美中不足的是这组快捷键并非在所有视图下都能用。 Ctrl+shift+T: 打开类型(Open type 阅读全文
posted @ 2016-06-06 18:55 Harlan16 阅读(181) 评论(0) 推荐(0)