市丸银

2020年9月1日

摘要：一、目的每个目录下的数据完全相同，增强可靠性二、配置 1、停止集群 sbin/stop-yarn.sh sbin/stop-dfs.sh 2、删除所有节点的文件 rm -rf data/ logs/ 3、配置hdfs-site.xml文件 <property> <name>dfs.namenod 阅读全文

posted @ 2020-09-01 12:33 市丸银阅读(218) 评论(0) 推荐(0)

HDFS 安全模式

摘要：一、基础在安全模式下，不能对节点进行写操作二、命令 hdfs dfsadmin -safemode get # 查看安全模式的状态 hdfs dfsadmin -safemode enter # 进入安全模式 hdfs dfsadmin -safemode leave # 脱离安全模式 hdfs 阅读全文

posted @ 2020-09-01 11:37 市丸银阅读(317) 评论(0) 推荐(0)

HDFS NameNode故障排除

摘要：一、将SecondaryNameNode中数据拷贝到NameNode存储数据的目录 1、制造故障 # 1. 杀死进程 kill 9 NameNode进程 # 2. 删除NameNode文件rm -rf /opt/module/hadoop-2.7.7/data/tmp/dfs/name/* 2、拷贝阅读全文

posted @ 2020-09-01 09:58 市丸银阅读(536) 评论(0) 推荐(0)

HDFS CheckPoint时间设置

摘要：一、CheckPoint的触发条件 1、间隔固定时间 2、记录达到一定的次数二、配置文件 vim hdfs-site.xml  <property> <name>dfs.namenode.checkpoint.period</name> <value>3600 阅读全文

posted @ 2020-09-01 07:51 市丸银阅读(446) 评论(0) 推荐(0)

2020年8月31日

HDFS NameNode和SecondaryNameNode

摘要：一、工作机制 1、原理 NameNode元数据储存在内存中，存在断电及消失的特性，因此产生磁盘备份元数据FsImage，但是当NameNode元数据更新时，若要时刻备份元数据到FsImage，效率会低下，因此使用Edites文件，当元数据更新时，对Edits文件进行追加操作，当发生断电时，FsIma 阅读全文

posted @ 2020-08-31 22:47 市丸银阅读(203) 评论(0) 推荐(0)

HDFS 数据流程

摘要： 1、网络拓扑-节点距离计算节点距离：两个节点到达最近的共同祖先的距离总和(一条线的长度为1) 2、机架感知-副本储存节点选择当副本为三个时：本地机架上的一个节点本地机架上的另一个节点不同机架的不同节点 3、读写数据流 1)、读 (fs)向NameNode请求读取文件 -> NameNode 阅读全文

posted @ 2020-08-31 21:12 市丸银阅读(170) 评论(0) 推荐(0)

HDFS IO流操作

摘要：一、IO流文件上传 @Test public void testIOPut() throws URISyntaxException, IOException, InterruptedException { // 1. 获取对象 Configuration conf = new Configurati 阅读全文

posted @ 2020-08-31 19:20 市丸银阅读(205) 评论(0) 推荐(0)

HDFS API操作

摘要：一、HDFS 文件上传 @Test public void testCopyFromLocal() throws URISyntaxException, IOException, InterruptedException { // 1. 获取 fs 对象 Configuration conf = n 阅读全文

posted @ 2020-08-31 12:00 市丸银阅读(184) 评论(0) 推荐(0)

Hadoop 客户端环境准备

摘要：前提：安装windows Hadoop 一、IDEA IntelliJ IDEA 二、搭建 1、创建maven项目 2、导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> < 阅读全文

posted @ 2020-08-31 09:28 市丸银阅读(182) 评论(0) 推荐(0)

Hadop 环境搭建 windows10+hadoop2.7.7

摘要： 1、安装配置JDK 2、安装Cygwin 参考：https://www.cnblogs.com/feipeng8848/p/8555648.html 3、安装hadoop https://blog.csdn.net/qq_35535690/article/details/81976032 阅读全文

posted @ 2020-08-31 09:04 市丸银阅读(553) 评论(0) 推荐(0)

知行合一

公告