摘要：
1、scp 一个集群内 传递数据 scp -r a.txt tom@wt3:/ # 推 scp -r tom@wt2:/abc.txt /tmp # 拉 scp -r tom@wt1:/a.txt tom@wt3:/tmp 2、 distcp 两个集群 传递数据 bin/hadoop distcp 阅读全文
posted @ 2020-09-02 09:19
市丸银
阅读(212)
评论(0)
推荐(0)
摘要：
1、原因： 小文件不适合储存在Hadoop中，因为都会占用NameNode内存的元数据(相当于目录)， 无论小文件的大小都会占用一个DataNode块(128M) 2、解决方案 HDFS存档文件或HAR文件，对内是一个一个独立的文件，对NameNode是一个整体，减少NameNode的内存 3、实操 阅读全文
posted @ 2020-09-01 23:55
市丸银
阅读(272)
评论(0)
推荐(0)
摘要：
一、过程 1、修改配置文件 vim etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.t 阅读全文
posted @ 2020-09-01 23:42
市丸银
阅读(358)
评论(0)
推荐(0)
摘要：
一、白名单 1、在NameNode节点，创建dfs.hosts，并添加白名单主机名 cd /opt/module/hadoop-2.7.7/etc/hadoop/ vim dfs.hosts# 内容wt1wt2wt3 2、在NameNode的hdfs-site.xml配置文件中增加dfs.hosts 阅读全文
posted @ 2020-09-01 23:09
市丸银
阅读(343)
评论(0)
推荐(0)
摘要：
1、克隆机器 克隆 wt3 获取 wt5 2、修改ip和hostname 3、添加hosts 所有节点(可以用scp) 4、删除 data/ 和 logs/ 5、source一下配置文件(简单) source /etc/profile 6、配置ssh 目的：wt3 和 wt5 无密登录a、wt3和w 阅读全文
posted @ 2020-09-01 22:25
市丸银
阅读(140)
评论(0)
推荐(0)
摘要：
1、打开文件（具体路径，懂得都懂，不懂的看前面） vim hdfs-site.xml 2、修改配置文件 <property> <name>dfs.namenode.heartbeat.recheck-interval</name> <value>300000</value> </property> 阅读全文
posted @ 2020-09-01 17:37
市丸银
阅读(274)
评论(0)
推荐(0)
摘要：
一、目的 每个目录下的数据完全相同，增强可靠性 二、配置 1、停止集群 sbin/stop-yarn.sh sbin/stop-dfs.sh 2、删除所有节点的文件 rm -rf data/ logs/ 3、配置hdfs-site.xml文件 <property> <name>dfs.namenod 阅读全文
posted @ 2020-09-01 12:33
市丸银
阅读(243)
评论(0)
推荐(0)
摘要：
一、基础 在安全模式下，不能对节点进行写操作 二、命令 hdfs dfsadmin -safemode get # 查看安全模式的状态 hdfs dfsadmin -safemode enter # 进入安全模式 hdfs dfsadmin -safemode leave # 脱离安全模式 hdfs 阅读全文
posted @ 2020-09-01 11:37
市丸银
阅读(335)
评论(0)
推荐(0)
摘要：
一、将SecondaryNameNode中数据拷贝到NameNode存储数据的目录 1、制造故障 # 1. 杀死进程 kill 9 NameNode进程 # 2. 删除NameNode文件rm -rf /opt/module/hadoop-2.7.7/data/tmp/dfs/name/* 2、拷贝 阅读全文
posted @ 2020-09-01 09:58
市丸银
阅读(568)
评论(0)
推荐(0)
摘要：
一、CheckPoint的触发条件 1、间隔固定时间 2、记录达到一定的次数 二、配置文件 vim hdfs-site.xml <!--checkpoint时间--> <property> <name>dfs.namenode.checkpoint.period</name> <value>3600 阅读全文
posted @ 2020-09-01 07:51
市丸银
阅读(469)
评论(0)
推荐(0)
浙公网安备 33010602011771号