摘要:4 阅读全文
posted @ 2020-11-29 01:08 尹正杰 阅读(10) 评论(0) 推荐(0) 编辑
摘要:3 阅读全文
posted @ 2020-11-22 23:23 尹正杰 阅读(22) 评论(0) 推荐(0) 编辑
摘要:2 阅读全文
posted @ 2020-11-15 22:34 尹正杰 阅读(20) 评论(0) 推荐(0) 编辑
摘要:Hive常见的报错信息 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: 阅读全文
posted @ 2020-11-11 05:20 尹正杰 阅读(36) 评论(0) 推荐(0) 编辑
摘要:使用Hadoop守护程序日志 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 Hadoop守护程序(如ResourceManager,NodeManager,NameNode,DatNodes等)都会生成对于排除集群故障非常有用的日志文件。 一.设置守护程序日志的存放路径 二.回滚 阅读全文
posted @ 2020-11-09 05:27 尹正杰 阅读(21) 评论(0) 推荐(0) 编辑
摘要:通过日志聚合将作业日志存储在HDFS中 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.启用日志聚合功能 在默认情况下,Hadoop将所有日志存储在运行作业任务的节点上。在特定时间段后应用程序日志会被自动删除。可以配置日志聚合功能,将日志存储在HDFS中来长久保留日志信息。 日 阅读全文
posted @ 2020-11-08 06:06 尹正杰 阅读(30) 评论(0) 推荐(0) 编辑
摘要:Hadoop日志纪录篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Hadoop日志消息概述 1>.Hadoop日志记录概述 Hadoop日志对于处理失败的作业很有帮助。作业可能由于应用程序中的问题或硬件和平台错误而失败。Hadoop守护程序日志能够显示影响作业的守护进程中 阅读全文
posted @ 2020-11-05 03:04 尹正杰 阅读(51) 评论(0) 推荐(0) 编辑
摘要:监控Hadoop指标 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.hadoop 2指标概述 Hadoop 2的指标及其记录系统在性能调查和调试过程中非常有用。与在单个服务器上运行数据库来进行监视和故障排除相比,hadoop的分布式架构使其难以监视集群并诊断问题。 hadoo 阅读全文
posted @ 2020-11-01 10:46 尹正杰 阅读(42) 评论(0) 推荐(0) 编辑
摘要:监控Linux服务器 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Linux系统监控基础 从性能的角度来看,监控Linux系统主要监控CPU,内存,磁盘存储和带宽的使用情况。 1>.监控CPU使用情况 只要没有使用100%的CPU容量,就可以在系统中使用剩余的容量来支持更多 阅读全文
posted @ 2020-10-26 05:36 尹正杰 阅读(46) 评论(0) 推荐(0) 编辑
摘要:监控Hadoop集群实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.监控Linux服务器 大多数Hadoop安装在Linux系统上,因此必须了解Linux监控的事情,并且要熟悉Linux系统监控工具。缓慢的系统可能会导致处理器(CPU),内存,磁盘或带宽等方面的瓶颈。 阅读全文
posted @ 2020-10-17 23:53 尹正杰 阅读(57) 评论(0) 推荐(0) 编辑
摘要:Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 之前我分享了配置容量调度器(Apache Hadoop默认的调度器)的笔记,今天我们来学习另一个重要的Hadoop资源调度器,即公平调度器, 阅读全文
posted @ 2020-10-10 05:37 尹正杰 阅读(38) 评论(0) 推荐(0) 编辑
摘要:Hadoop集群常见报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.org.apache.hadoop.security.KerberosAuthException: Login failure for user: hdfs/hadoop101.yinzhengjie 阅读全文
posted @ 2020-10-04 05:36 尹正杰 阅读(158) 评论(0) 推荐(0) 编辑
摘要:Kerberos常见报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.kdb5_util: Password mismatch while reading master key from keyboard 1>.错误复现 2>.错误原因分析 在初始化Kerberos数据 阅读全文
posted @ 2020-09-28 05:36 尹正杰 阅读(158) 评论(0) 推荐(0) 编辑
摘要:Python软件包管理工具pip实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 本篇博客主要讲解Python的pip工具及Miniconda的conda工具使用案例。 一.Python环境安装 二.pip实战案例 1>.安装软件包 C:\Users\yinzhengjie> 阅读全文
posted @ 2020-09-19 17:05 尹正杰 阅读(104) 评论(0) 推荐(0) 编辑
摘要:Python软件包及环境管理器conda实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.使用conda管理Python软件包 1>.查看已安装的软件包 C:\Users\yinzhengjie>conda list 2>.查看有关当前conda安装的信息 C:\User 阅读全文
posted @ 2020-09-12 23:32 尹正杰 阅读(97) 评论(0) 推荐(0) 编辑
摘要:Python的Virtualenv与Venv环境管理器 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Virtualenv环境管理器 1>.Virtualenv概述 如果你的操作系统使用的是原生python环境,也想要在本系统创建和运行多个Python独立环境(每个pytho 阅读全文
posted @ 2020-09-06 01:27 尹正杰 阅读(130) 评论(0) 推荐(0) 编辑
摘要:Python的编辑工具-Jupyter notebook实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.安装Jupyter 1>.jupyter notebook概述 我们知道Python是有交互式命令行的,但其功能相对较弱,因此有人开发了ipython,它对Pyth 阅读全文
posted @ 2020-08-29 23:23 尹正杰 阅读(98) 评论(0) 推荐(0) 编辑
摘要:文档工具GitBook使用指南 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.安装Gitbook 1>.安装nodejs 较新版本的gitboot关于左侧导航栏使用了ajax技术,导致使用gitboot必须得基于HTTP协议,它不像旧版本默认支持本地文件访问,即不能双击打开M 阅读全文
posted @ 2020-08-22 22:35 尹正杰 阅读(135) 评论(0) 推荐(0) 编辑
摘要:标记语言MarkDown快速入门篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Markdown概述 1>.什么是Markdown Markdown是一种标记语言,用于文档排版,它相比于HTML标签要简单的多。 Markdown的流行度非常高,很多IDE都集成了Markdo 阅读全文
posted @ 2020-08-16 22:47 尹正杰 阅读(102) 评论(0) 推荐(0) 编辑
摘要:Hadoop集群配置https实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.生成私钥及证书文件并拷贝到Hadoop节点 1>.生成私钥和证书文件 [root@hadoop101.yinzhengjie.com ~]# ll total 4 -rw 1 root ro 阅读全文
posted @ 2020-08-09 00:02 尹正杰 阅读(143) 评论(0) 推荐(0) 编辑
摘要:Windows操作系统部署安装Kerberos客户端 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.下载Kerberos软件 1>.打开Kerberos官网 官网地址: https://web.mit.edu/kerberos/ 2>.下载"kfw-4.1-amd64.msi 阅读全文
posted @ 2020-08-02 02:40 尹正杰 阅读(277) 评论(0) 推荐(0) 编辑
摘要:Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.队列和子队列 1>.YARN资源调度器概述 博主推荐阅读: https://www.cnblogs.com/yinzhengjie/ 阅读全文
posted @ 2020-07-27 01:27 尹正杰 阅读(84) 评论(0) 推荐(0) 编辑
摘要:Hadoop集群资源管理篇-资源调度器 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Hadoop中的资源分配概述 1>.Hadoop资源分配的是什么 资源分配是指向使用Hadoop集群的用户分配稀缺的有限计算资源,如CPU时间,内存,存储空间和网络带宽等。 目前Hadoop 阅读全文
posted @ 2020-07-19 23:09 尹正杰 阅读(107) 评论(0) 推荐(0) 编辑
摘要:使用YARN命令管理Hadoop作业 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.YARN命令概述 如下图所示,Hadoop的yarn命令可以管理YARN的各个方面。虽然ResourceManager Web UI非常有用,但当不能使用Web UI时,就需要使用命令来处理问 阅读全文
posted @ 2020-07-12 01:34 尹正杰 阅读(85) 评论(0) 推荐(0) 编辑
摘要:ApplicationMaster如何与ResourceManager协作进行资源分配 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 阅读全文
posted @ 2020-07-05 03:29 尹正杰 阅读(73) 评论(0) 推荐(0) 编辑
摘要:YARN(Hadoop操作系统)的架构 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.YARN概述 HDFS是Hadoop两大基石之一,而YARN是另一个。如果HDFS是存储层,则YARN是Hadoop的处理层。简单地说,YARN是一个用于管理在网络中的多台计算机上执行的分布 阅读全文
posted @ 2020-06-30 23:42 尹正杰 阅读(75) 评论(0) 推荐(0) 编辑
摘要:在YARN集群上运行部署MapReduce分布式计算框架 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 本篇博客主要讲解在YARN集群上配置Mapreduce分布式计算框架。与此同时,启动HistoryServer服务,便于在RM Web UI界面查看聚合日志内容。 一.本地运行 阅读全文
posted @ 2020-06-21 23:28 尹正杰 阅读(89) 评论(0) 推荐(0) 编辑
摘要:搭建YARN集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.启动HDFS集群 1>.搭建HDFS分布式集群 博主推荐阅读: https://www.cnblogs.com/yinzhengjie2020/p/12424192.html 2>.启动HDFS集群 [root@ 阅读全文
posted @ 2020-06-14 04:04 尹正杰 阅读(74) 评论(0) 推荐(0) 编辑
摘要:使用mdadm工具实现软RAID 5实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.准备工作 1>.实验环境说明 本次试验我打算采用4个分区设备来做RAID 5,如下图所示。 一般情况下使用3块设备就可以做RAID 5,但我之所以使用4块设备,是想用第4块设备充当空闲 阅读全文
posted @ 2020-06-07 23:40 尹正杰 阅读(191) 评论(0) 推荐(0) 编辑
摘要:使用mdadm工具实现软RAID 0实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.准备工作 1>.准备2块磁盘 假设你刚刚从别的服务器下架了2块磁盘设备(sdb和sdc)并安装到了你新买的服务器,如下图所示。 这个时候可能需要咱们手动删除磁盘上的数据,当然,你也可以 阅读全文
posted @ 2020-05-31 00:26 尹正杰 阅读(179) 评论(0) 推荐(1) 编辑
摘要:RAID常见级别与JBOD概述 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.RAID概述 1>.什么是RAID 1988年由加利福尼亚大学伯克利分校(University of CaliforniaBerkeley) 提出的将多个磁盘合成一个“阵列”来提供更好的性能、冗余, 阅读全文
posted @ 2020-05-24 23:57 尹正杰 阅读(384) 评论(0) 推荐(0) 编辑
摘要:文件系统常用工具实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 本篇博客主要介绍df,du,dd三个命令的使用案例。 一.已挂载文件系统空间占用等信息的查看工具-df 1>.查看df命令的帮助信息 [root@yinzhengjie.com ~]# df --help Us 阅读全文
posted @ 2020-05-17 01:08 尹正杰 阅读(311) 评论(0) 推荐(0) 编辑
摘要:挂载文件系统 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.博主推荐阅读 硬盘结构类型概述: https://www.cnblogs.com/yinzhengjie/p/12340062.html 分区表概述: https://www.cnblogs.com/yinzheng 阅读全文
posted @ 2020-05-04 23:35 尹正杰 阅读(265) 评论(0) 推荐(0) 编辑
摘要:创建文件系统实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.EXT系列文件系统专用管理工具-mkfs 1>.查看mkfs命令 [root@yinzhengjie.com ~]# mkfs #想要查看更详细的信息可参考"man mkfs"帮助信息 Usage: mkfs 阅读全文
posted @ 2020-05-02 22:47 尹正杰 阅读(272) 评论(0) 推荐(0) 编辑
摘要:JumpServer的会话管理及命令过滤器应用案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.JumpServer的会话管理 1>.以管理员身份登录JumpServer 2>.查看实时的命令记录,如下图所示,依次点击"会话管理" > "命令记录" 3>.查看在线会话,我们 阅读全文
posted @ 2020-04-30 23:30 尹正杰 阅读(907) 评论(1) 推荐(0) 编辑
摘要:JumpServer的权限管理 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.准备工作 JumpServer的用户管理: https://www.cnblogs.com/yinzhengjie/p/12380734.html JumpServer的资产管理: https:// 阅读全文
posted @ 2020-04-23 23:46 尹正杰 阅读(561) 评论(0) 推荐(0) 编辑
摘要:helm基础 阅读全文
posted @ 2020-03-21 22:29 尹正杰 阅读(121) 评论(0) 推荐(0) 编辑
摘要:hpa控制器 阅读全文
posted @ 2020-03-10 00:34 尹正杰 阅读(115) 评论(0) 推荐(0) 编辑
摘要:Prometheus监控系统 阅读全文
posted @ 2020-03-03 22:47 尹正杰 阅读(176) 评论(0) 推荐(0) 编辑
摘要:k8s资源指标 阅读全文
posted @ 2020-03-02 22:07 尹正杰 阅读(121) 评论(0) 推荐(0) 编辑