2019年7月11日
Yarn框架的一般过程
摘要： 基本过程图： Clinet向ResouceManager发送Job请求 ResouceManager接受到请求后在自身开启一个Container 来运行的ApplicationManager组件，ApplicationManager负责接下来的Job请求。 ResourceManager（Appli 阅读全文
posted @ 2019-07-11 15:48 WhoYoung 阅读(319) 评论(0) 推荐(0)
MapReduce基本原理
摘要： MapReduce基本原理 基本过程图： 详细过程图： 简单流程： Clinet ->request ResourceManager -> get Resource -> Job start ->InputFormat->Write InputSplit->Split[0...M]-> Mapper 阅读全文
posted @ 2019-07-11 15:44 WhoYoung 阅读(421) 评论(0) 推荐(1)
2019年7月5日
ELK的一点认识
摘要： 为什么需要ELK： 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。 简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , 阅读全文
posted @ 2019-07-05 15:12 WhoYoung 阅读(474) 评论(0) 推荐(0)
HDFS中的NameNode名节点——FSimage
摘要： HDFS缓冲区 Fsimage 文件映射，Edits文件操作记录。 与ES的缓冲区不同，ES是维护数据的变更，而HDFS缓冲区是用于名结点维护文件系统元数据（目录树）的机制。 在HDFS集群中，NameNode结点相较于DataNode数量较少，往往几个Namenode支撑着几百个DataNode的 阅读全文
posted @ 2019-07-05 15:10 WhoYoung 阅读(1948) 评论(0) 推荐(0)
2019年6月11日
Hive安装与配置——2.3.5版本
摘要： Hive安装配置 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，使查询和分析方便。 下载源文件 已安装的hadoop版本：2.7.3, Hadoop安装见随笔 CentOS7 阅读全文
posted @ 2019-06-11 17:08 WhoYoung 阅读(580) 评论(0) 推荐(0)
2019年6月7日
CentOS7上安装伪分布式Hadoop
摘要： 1.下载安装包 下载hadoop安装包 官网地址：https://hadoop.apache.org/releases.html 版本：建议使用hadoop-2.7.3.tar.gz 系统环境：CentOS 7 注：需要装有JDK支持，版本1.8或者更高 2.解压安装包 默认软件安装路径为 /usr 阅读全文
posted @ 2019-06-07 16:43 WhoYoung 阅读(671) 评论(0) 推荐(0)
Docker中配置MySQL并实现远程访问
摘要： Docker配置MySQL容器 拉取MySQL镜像 有可能会因为网络问题失败，重复尝试。 创建容器 -d 后台运行，--name 设置名称 selfdefinename 是用户自定义的容器名称，-p 设置端口映射，第一个3306是当前主机的端口，第二个3306指容器中的端口；-e 设置root用户密 阅读全文
posted @ 2019-06-07 14:26 WhoYoung 阅读(20815) 评论(2) 推荐(2)
CentOS部署TOMCAT8
摘要： 官网下载地址：https://tomcat.apache.org/download-80.cgi 版本：TOMCAT 8 —— Core——tar.gz 首先需要将文件传输到CentOS的/usr/soft目录下 使用tar命令解压 进入tomcat的bin目录 运行服务 网页访问 关闭 TOMCA 阅读全文
posted @ 2019-06-07 13:15 WhoYoung 阅读(778) 评论(0) 推荐(0)
设置mysql的字符集永远为UTF-8
摘要： 1.在虚拟机/usr路径下创建一个文件命名为:mysql.cnf cd /usr touch mysql.cnf 2.在该文件中使用vim命令插入配置文本 vim mysql.cnf 按i键进入编辑模式，粘贴以下内容: [client] default-character-set=utf8 [mys 阅读全文
posted @ 2019-06-07 12:40 WhoYoung 阅读(2980) 评论(0) 推荐(0)
Dokcer中Mysql的数据导入导出
摘要： 导出 1.首先进入容器，输入提取数据库文件命令 2.退出容器，进入linux；输入拷贝命令 3.使用mobaxterm ，提取文件到当前windows操作系统； 导入 与导出相反； 1.首先通过mobaxterm，复制windows操作系统中的sql文件到远程linux端 2.在linux中输入拷贝 阅读全文
posted @ 2019-06-07 12:38 WhoYoung 阅读(149) 评论(0) 推荐(0)