代码改变世界

从Resource Manager中获取一个新的Application ID

2015-04-29 14:55 by zjxbr, 1567 阅读, 0 推荐, 收藏,
摘要：前提：有一个hadoop集群，并且拷贝core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml到classpath下,可以使src/main/resources1.获取一个GetNewApplicationRequest，实例是protobu... 阅读全文

ThreadLocal 原理及用法简析

2015-04-23 14:31 by zjxbr, 193 阅读, 0 推荐, 收藏,
摘要：1.Thread 类ThreadLocal.ThreadLocalMap threadLocals = null;　Thread 类持有 一个ThreadLocalMap对象，该对象是自定义类似map的数据结构2.ThreadLocalMap类 /** * ThreadLocalMap is... 阅读全文

int 类型取绝对值

2015-04-23 12:00 by zjxbr, 671 阅读, 0 推荐, 收藏,
摘要：XXX &0x7FFFFFFF 阅读全文

Hadoop 2.6.0 用eclipse debug Yarn

2015-04-23 09:26 by zjxbr, 280 阅读, 0 推荐, 收藏,
摘要：1.下载hadoop源代码，并mvn eclipse:eclipse，完后导入eclipse2.编辑 $HADOOP_HOME/etc/hadoop/yarn-env.sh在YARN_OPTS后添加如下内容，注意红色是添加内容YARN_OPTS="$YARN_OPTS -Dyarn.policy.f... 阅读全文

Hadoop 2.6.0 FileSplit和InputSplit和FileInputFormat

2015-04-22 08:50 by zjxbr, 881 阅读, 0 推荐, 收藏,
摘要：InputSplit 有三个方法1.getLengh(),为了获取字节长度2.getLocations()，获取地址，在哪个节点3.该方法返回空，返回类型是可支持在内存中存储，或者磁盘存储。可以看出未来mapreduce有希望支持内存存储数据。@Evolving public SplitLocati... 阅读全文