Hadoop 2.6.0 用eclipse debug Yarn

1.下载hadoop源代码，并mvn eclipse:eclipse，完后导入eclipse

2.编辑 $HADOOP_HOME/etc/hadoop/yarn-env.sh

在YARN_OPTS后添加如下内容，注意红色是添加内容

YARN_OPTS="$YARN_OPTS -Dyarn.policy.file=$YARN_POLICYFILE"
YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=18788,suspend=n"
YARN_RESOURCEMANAGER_OPTS="-Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=18789,suspend=n"

 

3.启动hadoop，查看sudo netstat -tlnp | grep java,发现18788,18789在监听状态

 

4.eclipse选中hadoop-yarn-server-resourcemanager,debug configurations --> Remote Java Application ,新建一个，然后host 选中hadoop节点，本机是localhost，port选为18789.

 

5.在工程中设置一个短点，然后以hadoop jar xxxxx启动mapreduce任务，即可。