摘要: HDFS 概述 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS 定义 HDFS(Hadoop Distri 阅读全文
posted @ 2020-04-06 22:26 有我在 阅读(290) 评论(0) 推荐(0)
摘要: Hadoop 是什么 Hadoop是一个开源软件框架,用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储,巨大的处理能力以及处理几乎无限的并发任务或作业的能力。 Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构 主要解决海量数据的存储和海量数据的分析计算问 阅读全文
posted @ 2020-04-05 20:49 有我在 阅读(777) 评论(0) 推荐(0)
摘要: 1 MySQL体系结构 1.1 MySQL逻辑架构 1.1.1 连接层 主要完成一些类似连接处理,授权认证及相关的安全方案 1.1.2 服务层 在MySQL据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,SQL接口,SQL解析,SQL分析优化, 缓存查询的处理以及部分内置函数执行 阅读全文
posted @ 2020-04-03 18:06 有我在 阅读(376) 评论(0) 推荐(0)
摘要: 1 PhpStorm 版本 2 常用配置调整 2.1 字体及大小调整 2.2 设置代码规范 2.3 显示空格 2.4 快捷键调整(个人习惯) Editor Actions | Duplicate Line or Selection 复制一行或者选中 = Alt + Shift + D Editor 阅读全文
posted @ 2020-04-03 15:19 有我在 阅读(880) 评论(0) 推荐(0)
摘要: InnoDB体系架构 后台线程的主要作用是负责刷新内存池中的数据,保证缓冲池中的内存缓存的是最近的数据。此外将已修改的数据文件刷新到磁盘文件,同时保证在数据库发生异常的情况下InnoDB能恢复到正常运行状态。 后台线程 1. Master Thread Master Thread是一个非常核心的后台 阅读全文
posted @ 2020-04-03 14:56 有我在 阅读(213) 评论(0) 推荐(0)
摘要: 1. Linux 系统版本 2. 环境准备 2.1. Java 官网下载 "Java 官网下载" 2.2. Hadoop 官网下载 "Hadoop 官网下载" 2.3. 解压缩文件 Java 解压至:/usr/local/jdk1.8.0_241 Hadoop 解压至:/usr/local/hado 阅读全文
posted @ 2020-04-01 22:16 有我在 阅读(515) 评论(0) 推荐(0)
摘要: 官网例子 https://hadoop.apache.org/docs/r2.10.0/hadoop project dist/hadoop common/SingleCluster.html 题干: 1. 实现正则匹配 2. 统计正则匹配到的字符出现的个数 主要使用PHP语言来实现一套类似的规则, 阅读全文
posted @ 2020-03-21 16:43 有我在 阅读(1336) 评论(0) 推荐(0)
摘要: CentOS操作执行docker push问题 因个人想搭建私有Hub仓库,于是有了下面的故事 docker run d p 5000:5000 v /registry:/var/lib/registry restart always name registry registry docker pu 阅读全文
posted @ 2019-11-29 15:37 有我在 阅读(2304) 评论(0) 推荐(0)
摘要: 地址格式:192.168.1.0/24 24则表示:子网掩码的容量 IP地址分为4个数字段:0.0.0.0 每个段取值范围:0-255(共256个值,等于2的8次方) 名词解释:子网掩码由连续的1和0组成,连续的1表示网络地址,连续的0表示主机地址,通过0的个数可以计算出子网的容量(子网中主机的IP 阅读全文
posted @ 2019-02-16 18:30 有我在 阅读(15883) 评论(1) 推荐(0)
摘要: 操作系统 Linux localhost.localdomain 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/ 安装docker yum install docker 启动服务器 阅读全文
posted @ 2018-05-25 16:34 有我在 阅读(236) 评论(0) 推荐(0)