随笔分类 -  hadoop

修改本地文件存储路径
摘要：默认情况下hadoop运行时产生文件的存储目录 临时文件存放在/tmp/临时目录下如下： 现在，为方便管理，想改成自己指定的路径： 在core-site.xml中添加 <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2 阅读全文
posted @ 2019-09-26 16:22 行走看世界 阅读(570) 评论(0) 推荐(0)
yarn上运行mapreduce
摘要：1.准备一台客户机2.安装JDK和hadoop3.配置环境变量4.配置集群在yarn上运 4.1配置环境变量 yarn-env.sh 增加exprt JAVA_HOME= mapred-env.sh 增加exprt JAVA_HOME= 4.2配置集群环境 由于yarn包含resourceManag 阅读全文
posted @ 2019-09-26 15:41 行走看世界 阅读(428) 评论(0) 推荐(0)