摘要：
一. NameNode和SecondaryNameNode 1.NN和2NN 工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在 阅读全文
posted @ 2020-06-15 23:03
来自遥远的水星
阅读(468)
评论(0)
推荐(0)
摘要：
概述 定义 HDFS是一个分布式文件管理系统 优缺点 优点 （1）高容错 多副本提高容错、某个副本丢失可以自动恢复 （2）适合处理大数据 能处理PB级别数据、能处理百万的文件数据量 （3）可构建在廉价机器上 缺点 （1）不适合低时延数据访问 （2）无法高效存储小文件 （3）不支持并发写入和文件修 阅读全文
posted @ 2020-06-14 18:52
来自遥远的水星
阅读(192)
评论(0)
推荐(0)
摘要：
一、配置hadoop3.1.3 windows环境依赖 将 \资料\01_jar包\03_Windows依赖\hadoop-3.0.0放到任意一个目录 配置环境变量 %HADOOP_HOME%：D:\SoftWare\hadoop-3.1.0 添加到path路径 %HADOOP_HOME%\bin 阅读全文
posted @ 2020-06-14 18:17
来自遥远的水星
阅读(2563)
评论(0)
推荐(0)
摘要：
HDFS【shell操作hdfs命令】 上传 -help：输出这个命令参数 hadoop fs -help rm -moveFromLocal：从本地剪切粘贴到HDFS hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo -copyFromL 阅读全文
posted @ 2020-06-14 17:29
来自遥远的水星
阅读(371)
评论(0)
推荐(0)
摘要：
MarkDown使用教程 一. 常用设置 1.1 目录 +回车 1.2 标题 一共6级标题根据需求自己设置 # 1级标题 或者 <h1>一级标题</h1> ## 2级标题 或者 <h2>二级标题</h2> 1.3 文本样式 （1）引用 > + 空格 + 引用文本、代码注释 引用文本、代码注释 （2） 阅读全文
posted @ 2020-06-14 12:15
来自遥远的水星
阅读(239)
评论(0)
推荐(0)
摘要：
通过java的api对hdfs的资源进行操作 代码：上传、下载、删除、移动/修改、文件详情、判断目录or文件、IO流操作上传/下载 package com.atguigu.hdfsdemo; import org.apache.hadoop.conf.Configuration; import or 阅读全文
posted @ 2020-06-13 22:34
来自遥远的水星
阅读(282)
评论(0)
推荐(0)
摘要：
一.网络和服务 1.查看ip ifconfig 2.查看主机名 配置 hostname 3.临时服务 1）基本语法（CentOS 6） service 服务名 start （功能描述：开启服务） service 服务名 stop （功能描述：关闭服务） service 服务名 restart （功能 阅读全文
posted @ 2020-06-06 18:06
来自遥远的水星
阅读(133)
评论(0)
推荐(0)
浙公网安备 33010602011771号