摘要:
一、Pig 优化 pig 主要瓶颈: (1). 输入数据量大小 (2). shuffle大小,即Map输出的大小 (3). 输出结果大小 (4). 中间结果大小 (5).内存 主要优化策略: 1. 尽早过滤 (filter) ,去除不需要的记录行 2. 尽早映射 (foreach......gene 阅读全文
posted @ 2015-05-31 21:28
lihui1625
阅读(285)
评论(0)
推荐(0)
浙公网安备 33010602011771号