hadoop - 随笔分类(第2页) - 谭志宇

Yarn下Map数控制

摘要：public List getSplits(JobContext job) throws IOException { long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); lon... 阅读全文

posted @ 2014-07-15 15:31 谭志宇阅读(2008) 评论(0) 推荐(0)

hadoop中使用的Unsafe.java

摘要：今天查看hadoop源代码，发现有个Unsafe.java 稍微总结下优势 1 减少线程调度开销， Unsafe.java 通过采用非堵塞原子方式来减少线程调度开销 2 传统线程通信通过wait,notify方法实现(会有信号量的堵塞队列)，而Unsafe使用操作系统调度命令park,unpar... 阅读全文

posted @ 2014-07-10 21:02 谭志宇阅读(1623) 评论(0) 推荐(0)

hadoop分类输出

摘要：import org.apache.hadoop.io.Text;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.C... 阅读全文

posted @ 2014-07-09 09:13 谭志宇阅读(1042) 评论(0) 推荐(0)

随笔分类 - hadoop

公告