摘要：
配置mapred-site.xml <!--历史服务器端地址--> <property> <name>mapreduce.jobhistory.address</name> <value>linux4:10020</value> <property> <!--历史服务器web端地址--> <prop 阅读全文
posted @ 2020-06-22 10:43
阿布都日
阅读(180)
评论(0)
推荐(0)
摘要：
配置yarn-env.sh export JAVA_HOME=/opt/module/java 配置yarn-site.xml <!--Reducer获取数据的方式--> <property> <name>yarn.nodemanager.aux-sevice</name> <value>mapre 阅读全文
posted @ 2020-06-22 10:06
阿布都日
阅读(228)
评论(0)
推荐(0)
摘要：
//为什么不能重复格式化namenode 格式化namenode之后会生成新的集群ID，导致与datanode的不一样，从而导致错误。 可以先删除datanode目录再操作 阅读全文
posted @ 2020-06-22 09:36
阿布都日
阅读(129)
评论(0)
推荐(0)
摘要：
//hadoop执行任务 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /user/example/input /user/example/output 阅读全文
posted @ 2020-06-22 09:20
阿布都日
阅读(148)
评论(0)
推荐(0)
摘要：
//查看文件内容 hdfs dfs -cat /user/example/output/p* //hdfs上传文件 hdfs dfs -put wcinput/wc.input /user/example/input /hdfs格式化 hdfs namenode -format //启动nameno 阅读全文
posted @ 2020-06-22 03:49
阿布都日
阅读(90)
评论(0)
推荐(0)
摘要：
systemctl stop firewalld 阅读全文
posted @ 2020-06-22 03:42
阿布都日
阅读(32)
评论(0)
推荐(0)
摘要：
//配置hadoop-env.sh(JAVA_HOME改为绝对路径)export JAVA_HOME=/opt/module/java //配置core-site.xml<!--制定HDFS中namenode的地址--><property><name>fs.defaultFS</name><valu 阅读全文
posted @ 2020-06-22 02:26
阿布都日
阅读(64)
评论(0)
推荐(0)
摘要：
mkdir wcinput cd wcinput touch wc.input //输入单词到文件wc.input中 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount wcinput wc 阅读全文
posted @ 2020-06-22 02:08
阿布都日
阅读(70)
评论(0)
推荐(0)
摘要：
//HADOOP_HOME目录中mkdir input cp etc/hadoop/*.xml input bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs 阅读全文
posted @ 2020-06-22 01:59
阿布都日
阅读(217)
评论(0)
推荐(0)
摘要：
/etc/profile export HADOOP_HOME=/opt/module/dadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 阅读全文
posted @ 2020-06-22 01:01
阿布都日
阅读(3515)
评论(0)
推荐(0)
浙公网安备 33010602011771号