记录一次hadoop自己 埋的坑
记录一次hadoop自己 埋的坑
- 本机使用windows系统运行hadoop的mapreduce.首先我现在的版本是hadoop2.8.5。配置操作
0.配置java环境变量
1.下载hadoop到磁盘上我下载到F:\hadoop-2.8.5
2.下载必要winutils.exe和hadoop.dll找到自己下载hadoop版本下载 在github:https://github.com/cdarlint/winutils
3.下载的winutils.exe和hadoop.dll放到hadoop2.8.5/bin目录下
4.hadoop.dll放到C:\Windows\System32
5.配置hadoop环境变量
HADOOP_HOME F:\hadoop-2.8.5
Path %HADOOP_HOME%\bin
- 一切准备就绪，在我们运行mapreduce时候报错
:Caused by: java.io.FileNotFoundException E:\hdfs_tmp_cache\mapred\local\localRunner\Xu%20 jk\job_local244736109_0001
- 原来是自己机器用户名中有空格
添加代码
conf.set("hadoop.tmp.dir", "E:/hdfs_tmp_cache");
eclipse ->Run configurations->Arguments->VM arguments -DHADOOP_USER_NAME=root
添加路径： E:\hdfs_tmp_cache\mapred\local\localRunner\root
-
即可解决问题。
