摘要:1、hadoop高可用安装和原理详解 2、hadoop2.7+spark2.2+zookeeper3.4.简单安装 3、windows下通过idea连接hadoop和spark集群 4、hadoop2.7之作业提交详解(上) 5、hadoop2.7之作业提交详解(下) 6、hadoop2.7作业提交 阅读全文
posted @ 2019-09-20 23:29 一寸HUI 阅读 (152) 评论 (0) 编辑
摘要:1、VMware安装Centos7虚拟机 2、Linux之vim详解 3、linux后台运行的几种方式 4、linux权限管理 5、linux之用户和用户组管理详解 6、grep文本搜索工具详解 7、linux下实现并发逻辑 8、linux之压缩和解压 9、linux文件系统详解 10、linux之 阅读全文
posted @ 2019-09-11 15:49 一寸HUI 阅读 (51) 评论 (0) 编辑
摘要:1、myslq5.7安装以及root密码找回 2、mysql之innodb存储引擎介绍 3、mysql之innodb存储引擎 数据存储结构 4、mysql之innodb存储引擎 BTREE索引实现 5、mysql之innodb日志管理 6、mysql备份和恢复 7、mysql之innodb-锁 8、 阅读全文
posted @ 2019-09-09 17:53 一寸HUI 阅读 (50) 评论 (0) 编辑
摘要:一、工作总结和目标 好久之前就想着写个年度总结,之前一直想着开工在写,今天虽然是开工了,但是都是远程开工,没办法,计划永远都是赶不上变化的,谁也没想到肺炎的疫情会这么严重,这一次疫情影响太多了,不管从卫生,经济,生活各方面都受了很大的影响,希望就是武汉加油,湖北加油,中国加油! 虽然是写2019年的 阅读全文
posted @ 2020-02-10 12:02 一寸HUI 阅读 (13) 评论 (0) 编辑
摘要:问题: 问题的产生(手贱使用了如下命令): rpm -e --nodeps openldap openldap-clients openldap-servers openldap-devel compat-openldap 解决方案: 下载如下一些包(我的系统是centos7的,一定要版本对应) 下 阅读全文
posted @ 2019-10-29 16:16 一寸HUI 阅读 (127) 评论 (0) 编辑
摘要:一、概述 在linux中,所有东西都是以文件的形式存在的,所以我们在linux上的操作都是通过对文件的操作来执行我们所需要的逻辑,比如我们对文件数据的访问,修改,访问网络的连接等,刚好lsof(list open file)命令用于查看进程打开的文件,打开文件的进程,进程打开的端口(TCP、UDP) 阅读全文
posted @ 2019-10-12 17:33 一寸HUI 阅读 (438) 评论 (0) 编辑
摘要:前面在hadoop之yarn详解(基础架构篇)这篇文章提到了yarn的重要组件有ResourceManager,NodeManager,ApplicationMaster等,以及yarn调度作业的运行过程,Yarn将它的功能分为两层:负责资源管理的平台层,叶称为第一层调度,以及二级调度的框架来协调应 阅读全文
posted @ 2019-10-10 16:28 一寸HUI 阅读 (276) 评论 (0) 编辑
摘要:一、概述 vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。首先我们查看下帮助。如下图所示: 使用语法: vmstat [-V] [-n] [delay [count]] 1.1、虚拟内存 阅读全文
posted @ 2019-10-09 19:09 一寸HUI 阅读 (62) 评论 (0) 编辑
摘要:Linux系统可以通过top命令查看系统的CPU、内存、运行时间、交换分区、执行的线程等信息。通过top命令可以有效的发现系统的缺陷出在哪里。是内存不够、CPU处理能力不够、IO读写过高。 一、top选项 使用语法:top -hv | -abcHimMsS -d delay -n iteration 阅读全文
posted @ 2019-10-08 19:42 一寸HUI 阅读 (137) 评论 (0) 编辑
摘要:本篇主要对yarn命令进行阐述 一、yarn命令概述 使用语法: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS] 二、命令详解 2.1、application 使用语法 阅读全文
posted @ 2019-10-08 16:40 一寸HUI 阅读 (892) 评论 (0) 编辑
摘要:本文主要从yarn的基础架构和yarn的作业执行流程进行阐述 一、yarn的概述 Apache Yarn(Yet Another Resource Negotiator的缩写)是hadoop集群资源管理器系统,Yarn从hadoop 2引入,最初是为了改善MapReduce的实现,但是它具有通用性, 阅读全文
posted @ 2019-10-08 16:21 一寸HUI 阅读 (614) 评论 (0) 编辑
摘要:一、sar的概述 在我使用的众多linux分析工具中,sar是一个非常全面的一个分析工具,可以比较瑞士军刀,对文件的读写,系统调用的使用情况,磁盘IO,CPU相关使用情况,内存使用情况,进程活动等都可以进行有效的分析。sar工具将对系统当前的状态进行取样,然后通过计算数据和比例来表达系统的当前运行状 阅读全文
posted @ 2019-10-06 22:22 一寸HUI 阅读 (352) 评论 (0) 编辑
摘要:一、概述 优化前我们需要知道hadoop适合干什么活,适合什么场景,在工作中,我们要知道业务是怎样的,能才结合平台资源达到最有优化。除了这些我们当然还要知道mapreduce的执行过程,比如从文件的读取,map处理,shuffle过程,reduce处理,文件的输出或者存储。在工作中,往往平台的参数都 阅读全文
posted @ 2019-10-01 00:06 一寸HUI 阅读 (698) 评论 (0) 编辑