摘要：
准备3台客户机（关闭防火墙，静态IP，主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群启并测试集群 阅读全文
posted @ 2020-06-22 11:59
阿布都日
阅读(173)
评论(0)
推荐(0)
摘要：
默认配置文件 要获取的默认配置文件 文件存放在Hadoop的jar包中的位置 自定义配置文件[etc/hadoop]中 [core-default.xml] hadoop-common-2.10.0.jar/core-default.xml [core-site.xml] [hdfs-default 阅读全文
posted @ 2020-06-22 11:48
阿布都日
阅读(124)
评论(0)
推荐(0)
摘要：
注意：开启日志聚集功能，需要重新启动nademanager，resourcemanager，historymanager 1. 配置yarn-site.xml <!--日志聚集功能开启--> <property> <name>yarn.log-aggregation-enable</name> <v 阅读全文
posted @ 2020-06-22 11:37
阿布都日
阅读(209)
评论(0)
推荐(0)
摘要：
配置mapred-site.xml <!--历史服务器端地址--> <property> <name>mapreduce.jobhistory.address</name> <value>linux4:10020</value> <property> <!--历史服务器web端地址--> <prop 阅读全文
posted @ 2020-06-22 10:43
阿布都日
阅读(185)
评论(0)
推荐(0)
摘要：
配置yarn-env.sh export JAVA_HOME=/opt/module/java 配置yarn-site.xml <!--Reducer获取数据的方式--> <property> <name>yarn.nodemanager.aux-sevice</name> <value>mapre 阅读全文
posted @ 2020-06-22 10:06
阿布都日
阅读(229)
评论(0)
推荐(0)
摘要：
//为什么不能重复格式化namenode 格式化namenode之后会生成新的集群ID，导致与datanode的不一样，从而导致错误。 可以先删除datanode目录再操作 阅读全文
posted @ 2020-06-22 09:36
阿布都日
阅读(129)
评论(0)
推荐(0)
摘要：
//hadoop执行任务 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /user/example/input /user/example/output 阅读全文
posted @ 2020-06-22 09:20
阿布都日
阅读(150)
评论(0)
推荐(0)
摘要：
//查看文件内容 hdfs dfs -cat /user/example/output/p* //hdfs上传文件 hdfs dfs -put wcinput/wc.input /user/example/input /hdfs格式化 hdfs namenode -format //启动nameno 阅读全文
posted @ 2020-06-22 03:49
阿布都日
阅读(91)
评论(0)
推荐(0)
摘要：
systemctl stop firewalld 阅读全文
posted @ 2020-06-22 03:42
阿布都日
阅读(32)
评论(0)
推荐(0)
摘要：
//配置hadoop-env.sh(JAVA_HOME改为绝对路径)export JAVA_HOME=/opt/module/java //配置core-site.xml<!--制定HDFS中namenode的地址--><property><name>fs.defaultFS</name><valu 阅读全文
posted @ 2020-06-22 02:26
阿布都日
阅读(67)
评论(0)
推荐(0)
摘要：
mkdir wcinput cd wcinput touch wc.input //输入单词到文件wc.input中 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount wcinput wc 阅读全文
posted @ 2020-06-22 02:08
阿布都日
阅读(71)
评论(0)
推荐(0)
摘要：
//HADOOP_HOME目录中mkdir input cp etc/hadoop/*.xml input bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs 阅读全文
posted @ 2020-06-22 01:59
阿布都日
阅读(218)
评论(0)
推荐(0)
摘要：
/etc/profile export HADOOP_HOME=/opt/module/dadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 阅读全文
posted @ 2020-06-22 01:01
阿布都日
阅读(3517)
评论(0)
推荐(0)
摘要：
/etc/profile export JAVA_HOME= export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib 阅读全文
posted @ 2020-06-22 00:58
阿布都日
阅读(1343)
评论(0)
推荐(0)
摘要：
tar -zxvf jdk-14.0.1_linux-x64_bin.tar.gz -C /opt/module/ 阅读全文
posted @ 2020-06-22 00:42
阿布都日
阅读(74)
评论(0)
推荐(0)
摘要：
sudo chown example:example /module 阅读全文
posted @ 2020-06-22 00:33
阿布都日
阅读(79)
评论(0)
推荐(0)
摘要：
useradd example passwd example #example配置root权限（/etc/soduers） 阅读全文
posted @ 2020-06-22 00:28
阿布都日
阅读(143)
评论(0)
推荐(0)
摘要：
MAC地址（/sys/class/net/enp0s3/address） 修改网卡配置(/etc/sysconfig/network-script/ifcfg-eth0) DEVICE=eth0 BOOTPROTO=static BROADCAST=192.168.1.255 HWADDR=00:0 阅读全文
posted @ 2020-06-22 00:16
阿布都日
阅读(102)
评论(0)
推荐(0)
浙公网安备 33010602011771号