2013年12月13日

hadoop 数据倾斜

摘要： 数据倾斜是指，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导... 阅读全文

posted @ 2013-12-13 16:36 代码王子 阅读(312) 评论(0) 推荐(0)

导航