07 2021 档案

HDFS中DataNode工作机制
摘要：DateNode工作机制 详细流程 一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 心跳是每3 阅读全文
posted @ 2021-07-30 22:56 张涨涨 阅读(361) 评论(0) 推荐(0)
HDFS总结
摘要：hadoop分布式文件存储系统，用来解决海量数据的存储问题 HDFS的组成 核心配置文件：hdfs-site.xml、core-site.xml NameNode：负责整个HDFS集群的管理（比如监控DataNode的运行状态、调度DataNode去处理数据）；存储元数据（包含数据的基本信息，有两个 阅读全文
posted @ 2021-07-30 22:38 张涨涨 阅读(236) 评论(0) 推荐(0)
HDFS中NameNode工作机制
摘要：引言 NameNode： 存储元数据 管理整个HDFS集群 DataNode： 存储数据的block SecondaryNameNode： 辅助HDFS完成一些事情 NameNode和SecondaryNameNode工作流程 编辑日志文件：edits 记载客户端对HDFS的增删改查的操作日志 镜像 阅读全文
posted @ 2021-07-29 20:35 张涨涨 阅读(557) 评论(0) 推荐(0)
HDFS读写数据流程
摘要：HDFS写数据流程 数据写入流程 客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 namenode返回是否可以上传。 客户端请求第一个 block上传到哪几个datanode服务器上。 namenode返回3个datanode节点，分别为dn1、dn2 阅读全文
posted @ 2021-07-29 17:53 张涨涨 阅读(157) 评论(0) 推荐(0)
HDFS的Java API操作
摘要：通过Java代码操作HDFS集群 目录 引言 Idea连接HDFS 第一步：引入HDFS依赖 第一种引入方式（jar包） 第二种引入方式（使用maven引用） 引入项目依赖的时候： maven项目的几个核心的生命周期： 第二步：idea操作 配置HDFS的访问路径 单元测试 HDFS的JavaAPI 阅读全文
posted @ 2021-07-29 16:14 张涨涨 阅读(3565) 评论(0) 推荐(3)
HDFS（Hadoop Distributed File System ）概述
摘要：目录 一、HDFS概述 二、HDFS特点 三、HDFS集群组成：主从架构 一个主节点，多个从节点 1. NameNode（名称节点 / 主节点） HDFS集群的管理者 2. DataNode （数据节点 / 从节点） 3. SecondaryNameNode （第二名称节点） 四、HDFS传输文件方 阅读全文
posted @ 2021-07-26 11:15 张涨涨 阅读(1324) 评论(0) 推荐(0)
CentOS的crond系统定时服务
摘要：crond 服务管理 [root@node01 ~]# service crond start （启动服务） [root@node01 ~]# service crond stop （关闭服务） [root@node01 ~]# service crond restart （重启服务） [root@ 阅读全文
posted @ 2021-07-24 19:05 张涨涨 阅读(110) 评论(0) 推荐(0)
CentOS时间日期类语法
摘要：目录 一、date时间日期类 1. date显示当前时间 2. date 显示非当前时间 3. date 设置系统时间 二、cal 查看日历 一、date时间日期类 date [OPTION]... [+FORMAT] 1. date显示当前时间 基本语法 date 显示系统当前时间 date +% 阅读全文
posted @ 2021-07-24 19:01 张涨涨 阅读(139) 评论(0) 推荐(0)
CentOS后台服务管理类
摘要：目录 一、service 后台服务管理（临时，只对当前有效） 二、chkconfig 设置后台服务的自启配置（永久） 三、CentOS7 后添加的命令：systemctl 一、service 后台服务管理（临时，只对当前有效） 基本语法 service 服务名 status/stop/start/r 阅读全文
posted @ 2021-07-24 18:49 张涨涨 阅读(128) 评论(0) 推荐(0)
CentOS帮助类语法
摘要：目录 一、man获取帮助信息 二、help获得shell内置命令的帮助信息 三、history查看所有命令历史 补充：Linux常用快捷键 一、man获取帮助信息 基本语法：man [命令或配置文件] 获得帮助信息 显示说明： NAME 命令的名称和单行描述 SYNOPSIS 怎样使用命令 DESC 阅读全文
posted @ 2021-07-24 18:36 张涨涨 阅读(83) 评论(0) 推荐(0)
CentOS文件目录类语法
摘要：目录 一、目录查看切换类 1. pwd 显示当前工作目录的绝对路径 2. ls 列出目录的内容 二、文件与目录创建删除类 1. mkdir 创建一个新目录 2. touch 创建空文件 3. rmdir 删除一个空的目录 4. rm 移除文件或目录 三、文件权限类 1. 文件属性 2. chmod 阅读全文
posted @ 2021-07-24 18:12 张涨涨 阅读(112) 评论(0) 推荐(0)
5.1 剑指 Offer 03. 数组中重复的数字
摘要：类型题：剑指 Offer 03. 数组中重复的数字 找出数组中重复的数字。在一个长度为 n 的数组 nums 里的所有数字都在 0～n-1 的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。 这个题的思路参考 5 找重复数 可以有 阅读全文
posted @ 2021-07-24 17:34 张涨涨 阅读(46) 评论(0) 推荐(0)
5 找重复数
摘要：给定一个整数数组，判断是否存在重复元素。如果存在一值在数组中出现至少两次，函数返回 true 。如果数组中每个元素都不相同，则返回 false 思路1：使用快速排序将数组排序，然后遍历看相邻元素是否相等 提交超时了！！！！！！ class Solution { public void quickSo 阅读全文
posted @ 2021-07-24 17:20 张涨涨 阅读(65) 评论(0) 推荐(0)
Centos配置网络和主机映射
摘要：目录 虚拟机网络的三种配置方式 配置虚拟机IP 主机映射问题 配置虚拟机的主机名 虚拟机远程登录 虚拟机网络的三种配置方式 桥接模式：当前虚拟机与主机在同一个局域网下，同一个局域网下的所有电脑都可以访问这台虚拟机。如果局域网可以联网，那么虚拟机也可以联网。 NAT模式：把我们主机的 IP 当做公网 阅读全文
posted @ 2021-07-20 19:14 张涨涨 阅读(1105) 评论(0) 推荐(0)
4 剑指Offer53-在排序数组中查找数字
摘要：统计一个数字在排序数组中出现的次数。 示例 1: 输入: nums = [5,7,7,8,8,10], target = 8 输出: 2 示例 2: 输入: nums = [5,7,7,8,8,10], target = 6 输出: 0 限制： 0 <= 数组长度 <= 50000 排序数组中的搜索 阅读全文
posted @ 2021-07-16 13:34 张涨涨 阅读(55) 评论(0) 推荐(0)
2 最长公共前缀
摘要：编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀，返回空字符串 ""。（原题） 示例 1： 输入：strs = ["flower","flow","flight"] 输出："fl" 示例 2： 输入：strs = ["dog","racecar","car"] 输出："" 解释：输入 阅读全文
posted @ 2021-07-12 17:08 张涨涨 阅读(53) 评论(0) 推荐(0)

Live2D