阿布都日

2020年6月24日

摘要： //[USER_HOME]/.ssh目录中生成密钥 ssh-keygen -t rsa//id_rsa//id_rsa.pub //复制公钥（包括自己） ssh-copy-id <host|ip> 阅读全文

posted @ 2020-06-24 16:30 阿布都日阅读(134) 评论(0) 推荐(0)

摘要： hadoop102 hadoop103 hadoop104 HDFS NameNode（文件属性） DataNode（数据） DataNode（数据） SecondaryNameNode（集群状态监控） DataNode（数据） YARN NodeManager（管理节点资源） ResourceMa 阅读全文

posted @ 2020-06-24 16:12 阿布都日阅读(156) 评论(0) 推荐(0)

配置集群

摘要： hadoop102 hadoop103 hadoop104 HDFS NameNode（文件属性） DataNode（数据） DataNode（数据） SecondaryNameNode（集群状态监控） DataNode（数据） YARN NodeManager（管理节点资源） ResourceMa 阅读全文

posted @ 2020-06-24 16:00 阿布都日阅读(140) 评论(0) 推荐(0)

2020年6月23日

集群分发脚本

摘要： #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0));then echo no args; exit; fi #2 获取文件名 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上阅读全文

posted @ 2020-06-23 20:35 阿布都日阅读(169) 评论(0) 推荐(0)

远程同步工具

摘要： rsync -rvl user@host:dir/file user@host:dir/file 阅读全文

posted @ 2020-06-23 20:08 阿布都日阅读(103) 评论(0) 推荐(0)

改变文件所有者

摘要： chown -R group:user file|dir 阅读全文

posted @ 2020-06-23 20:07 阿布都日阅读(103) 评论(0) 推荐(0)

跨主机拷贝

摘要： scp -r user@host:dir/file user@host:dir 阅读全文

posted @ 2020-06-23 19:59 阿布都日阅读(100) 评论(0) 推荐(0)

2020年6月22日

完全分布式运行模式

摘要：准备3台客户机（关闭防火墙，静态IP，主机名称）安装JDK 配置环境变量安装Hadoop 配置环境变量配置集群单点启动配置ssh 群启并测试集群阅读全文

posted @ 2020-06-22 11:59 阿布都日阅读(172) 评论(0) 推荐(0)

配置文件说明

摘要：默认配置文件要获取的默认配置文件文件存放在Hadoop的jar包中的位置自定义配置文件[etc/hadoop]中 [core-default.xml] hadoop-common-2.10.0.jar/core-default.xml [core-site.xml] [hdfs-default 阅读全文

posted @ 2020-06-22 11:48 阿布都日阅读(122) 评论(0) 推荐(0)

配置日志的聚集

摘要：注意：开启日志聚集功能，需要重新启动nademanager，resourcemanager，historymanager 1. 配置yarn-site.xml  <property> <name>yarn.log-aggregation-enable</name> <v 阅读全文

posted @ 2020-06-22 11:37 阿布都日阅读(206) 评论(0) 推荐(0)

公告