市丸银

2020年9月2日

摘要： 1、右击鼠标--选中Edit '类.main()' 2、添加参数--apply--ok 阅读全文

posted @ 2020-09-02 22:20 市丸银阅读(451) 评论(0) 推荐(0)

摘要：一、概述 1、概念是一个分布式运算程序的编程框架 2、核心功能业务逻辑代码和自带默认组件二、MapReduce的优缺点 1、优点易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理 2、缺点不擅长实时计算、不擅长流式计算、不擅长依赖关系的计算三、核心思想 1、MapRedu 阅读全文

posted @ 2020-09-02 17:24 市丸银阅读(151) 评论(0) 推荐(0)

HDFS 快照(了解)

摘要：含义：快照不会复制所有文件，而是记录文件变化 # 1.开启指定目录的快照功能 hdfs dfsadmin -allowSnapshot 路径 # 2.对目录创建快照 hdfs dfs -createSnapshot 路径 # 3.指定名称创建快照 hdfs dfs -createSnapshot 路阅读全文

posted @ 2020-09-02 16:30 市丸银阅读(365) 评论(0) 推荐(0)

HDFS 回收站(了解)

摘要：注意：HDFS很少删除数据 1、打开文件 vim etc/hadoop/core-site.xml 2、编辑文件 # 1 代表1分钟 <property> <name>fs.trash.interval</name> <value>1</value> </property> # 修改回收站访问用户阅读全文

posted @ 2020-09-02 13:26 市丸银阅读(353) 评论(0) 推荐(0)

HDFS 数据拷贝

摘要： 1、scp 一个集群内传递数据 scp -r a.txt tom@wt3:/ # 推 scp -r tom@wt2:/abc.txt /tmp # 拉 scp -r tom@wt1:/a.txt tom@wt3:/tmp 2、 distcp 两个集群传递数据 bin/hadoop distcp 阅读全文

posted @ 2020-09-02 09:19 市丸银阅读(188) 评论(0) 推荐(0)

2020年9月1日

HDFS 小文件存档(重要)

摘要： 1、原因：小文件不适合储存在Hadoop中，因为都会占用NameNode内存的元数据(相当于目录)，无论小文件的大小都会占用一个DataNode块(128M) 2、解决方案 HDFS存档文件或HAR文件，对内是一个一个独立的文件，对NameNode是一个整体，减少NameNode的内存 3、实操阅读全文

posted @ 2020-09-01 23:55 市丸银阅读(255) 评论(0) 推荐(0)

HDFS DataNode 多目录

摘要：一、过程 1、修改配置文件 vim etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.t 阅读全文

posted @ 2020-09-01 23:42 市丸银阅读(329) 评论(0) 推荐(0)

HDFS DataNode 退役旧节点

摘要：一、白名单 1、在NameNode节点，创建dfs.hosts，并添加白名单主机名 cd /opt/module/hadoop-2.7.7/etc/hadoop/ vim dfs.hosts# 内容wt1wt2wt3 2、在NameNode的hdfs-site.xml配置文件中增加dfs.hosts 阅读全文

posted @ 2020-09-01 23:09 市丸银阅读(314) 评论(0) 推荐(0)

HDFS DateNoda 服役新节点

摘要： 1、克隆机器克隆 wt3 获取 wt5 2、修改ip和hostname 3、添加hosts 所有节点(可以用scp) 4、删除 data/ 和 logs/ 5、source一下配置文件(简单) source /etc/profile 6、配置ssh 目的：wt3 和 wt5 无密登录a、wt3和w 阅读全文

posted @ 2020-09-01 22:25 市丸银阅读(121) 评论(0) 推荐(0)

HDFS DataNode 时限参数设置

摘要： 1、打开文件（具体路径，懂得都懂，不懂的看前面） vim hdfs-site.xml 2、修改配置文件 <property> <name>dfs.namenode.heartbeat.recheck-interval</name> <value>300000</value> </property> 阅读全文

posted @ 2020-09-01 17:37 市丸银阅读(259) 评论(0) 推荐(0)

知行合一

公告