摘要：
Hive常见的报错信息 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: 阅读全文
posted @ 2020-11-11 05:20
尹正杰
阅读(1628)
评论(0)
推荐(0)
摘要：
作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 目录Q1: "open prometheus.yml: no such file or directory"报错信息错误原因解决方案Q2: dial tcp 10.0.0.44:9100: connect: no route to h 阅读全文
posted @ 2020-11-09 05:27
尹正杰
阅读(874)
评论(0)
推荐(0)
摘要：
通过日志聚合将作业日志存储在HDFS中 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.启用日志聚合功能 在默认情况下，Hadoop将所有日志存储在运行作业任务的节点上。在特定时间段后应用程序日志会被自动删除。可以配置日志聚合功能，将日志存储在HDFS中来长久保留日志信息。 日 阅读全文
posted @ 2020-11-08 06:06
尹正杰
阅读(1794)
评论(0)
推荐(0)
摘要：
Hadoop日志纪录篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop日志消息概述 1>.Hadoop日志记录概述 Hadoop日志对于处理失败的作业很有帮助。作业可能由于应用程序中的问题或硬件和平台错误而失败。Hadoop守护程序日志能够显示影响作业的守护进程中 阅读全文
posted @ 2020-11-05 03:04
尹正杰
阅读(3464)
评论(0)
推荐(0)
摘要：
监控Hadoop指标 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.hadoop 2指标概述 Hadoop 2的指标及其记录系统在性能调查和调试过程中非常有用。与在单个服务器上运行数据库来进行监视和故障排除相比，hadoop的分布式架构使其难以监视集群并诊断问题。 hadoo 阅读全文
posted @ 2020-11-01 10:46
尹正杰
阅读(1460)
评论(0)
推荐(0)
摘要：
监控Linux服务器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Linux系统监控基础 从性能的角度来看，监控Linux系统主要监控CPU，内存，磁盘存储和带宽的使用情况。 1>.监控CPU使用情况 只要没有使用100%的CPU容量，就可以在系统中使用剩余的容量来支持更多 阅读全文
posted @ 2020-10-26 05:36
尹正杰
阅读(911)
评论(0)
推荐(0)
摘要：
监控Hadoop集群实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.监控Linux服务器 大多数Hadoop安装在Linux系统上，因此必须了解Linux监控的事情，并且要熟悉Linux系统监控工具。缓慢的系统可能会导致处理器(CPU)，内存，磁盘或带宽等方面的瓶颈。 阅读全文
posted @ 2020-10-17 23:53
尹正杰
阅读(1860)
评论(0)
推荐(0)
摘要：
Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 之前我分享了配置容量调度器(Apache Hadoop默认的调度器)的笔记，今天我们来学习另一个重要的Hadoop资源调度器，即公平调度器， 阅读全文
posted @ 2020-10-10 05:37
尹正杰
阅读(1984)
评论(0)
推荐(0)
摘要：
Hadoop集群常见报错汇总 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.org.apache.hadoop.security.KerberosAuthException: Login failure for user: hdfs/hadoop101.yinzhengjie 阅读全文
posted @ 2020-10-04 05:36
尹正杰
阅读(14517)
评论(0)
推荐(0)
摘要：
Kerberos常见报错汇总 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kdb5_util: Password mismatch while reading master key from keyboard 1>.错误复现 2>.错误原因分析 在初始化Kerberos数据 阅读全文
posted @ 2020-09-28 05:36
尹正杰
阅读(5198)
评论(0)
推荐(2)
摘要：
Python软件包管理工具pip实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要讲解Python的pip工具及Miniconda的conda工具使用案例。 一.Python环境安装 博主推荐阅读： https://www.bilibili.com/video/B 阅读全文
posted @ 2020-09-19 17:05
尹正杰
阅读(600)
评论(0)
推荐(0)
摘要：
Python软件包及环境管理器conda实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用conda管理Python软件包 1>.查看已安装的软件包 C:\Users\yinzhengjie>conda list 2>.查看有关当前conda安装的信息 C:\User 阅读全文
posted @ 2020-09-12 23:32
尹正杰
阅读(768)
评论(0)
推荐(0)
摘要：
Python的Virtualenv与Venv环境管理器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Virtualenv环境管理器 1>.Virtualenv概述 如果你的操作系统使用的是原生python环境，也想要在本系统创建和运行多个Python独立环境(每个pytho 阅读全文
posted @ 2020-09-06 01:27
尹正杰
阅读(1273)
评论(0)
推荐(0)
摘要：
Python的编辑工具-Jupyter notebook实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安装Jupyter 1>.jupyter notebook概述 我们知道Python是有交互式命令行的，但其功能相对较弱，因此有人开发了ipython，它对Pyth 阅读全文
posted @ 2020-08-29 23:23
尹正杰
阅读(1917)
评论(0)
推荐(0)
摘要：
文档工具GitBook使用指南 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安装Gitbook 1>.安装nodejs 较新版本的gitboot关于左侧导航栏使用了ajax技术，导致使用gitboot必须得基于HTTP协议，它不像旧版本默认支持本地文件访问，即不能双击打开M 阅读全文
posted @ 2020-08-22 22:35
尹正杰
阅读(955)
评论(0)
推荐(0)
摘要：
标记语言MarkDown快速入门篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Markdown概述 1>.什么是Markdown Markdown是一种标记语言，用于文档排版，它相比于HTML标签要简单的多。 Markdown的流行度非常高，很多IDE都集成了Markdo 阅读全文
posted @ 2020-08-16 22:47
尹正杰
阅读(571)
评论(0)
推荐(0)
摘要：
Hadoop集群配置https实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.生成私钥及证书文件并拷贝到Hadoop节点 1>.生成私钥和证书文件 [root@hadoop101.yinzhengjie.com ~]# ll total 4 -rw 1 root ro 阅读全文
posted @ 2020-08-09 00:02
尹正杰
阅读(3547)
评论(0)
推荐(2)
摘要：
Windows操作系统部署安装Kerberos客户端 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.下载Kerberos软件 1>.打开Kerberos官网 官网地址: https://web.mit.edu/kerberos/ 2>.下载"kfw-4.1-amd64.msi 阅读全文
posted @ 2020-08-02 02:40
尹正杰
阅读(8013)
评论(0)
推荐(1)
摘要：
Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.队列和子队列 1>.YARN资源调度器概述 博主推荐阅读: https://www.cnblogs.com/yinzhengjie/ 阅读全文
posted @ 2020-07-27 01:27
尹正杰
阅读(1577)
评论(0)
推荐(0)
摘要：
Hadoop集群资源管理篇-资源调度器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop中的资源分配概述 1>.Hadoop资源分配的是什么 资源分配是指向使用Hadoop集群的用户分配稀缺的有限计算资源，如CPU时间，内存，存储空间和网络带宽等。 目前Hadoop 阅读全文
posted @ 2020-07-19 23:09
尹正杰
阅读(2416)
评论(0)
推荐(0)
摘要：
使用YARN命令管理Hadoop作业 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.YARN命令概述 如下图所示，Hadoop的yarn命令可以管理YARN的各个方面。虽然ResourceManager Web UI非常有用，但当不能使用Web UI时，就需要使用命令来处理问 阅读全文
posted @ 2020-07-12 01:34
尹正杰
阅读(2210)
评论(0)
推荐(0)
摘要：
ApplicationMaster如何与ResourceManager协作进行资源分配 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 阅读全文
posted @ 2020-07-05 03:29
尹正杰
阅读(337)
评论(0)
推荐(0)
摘要：
YARN(Hadoop操作系统)的架构 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.YARN概述 HDFS是Hadoop两大基石之一，而YARN是另一个。如果HDFS是存储层，则YARN是Hadoop的处理层。简单地说，YARN是一个用于管理在网络中的多台计算机上执行的分布 阅读全文
posted @ 2020-06-30 23:42
尹正杰
阅读(838)
评论(0)
推荐(1)
摘要：
在YARN集群上运行部署MapReduce分布式计算框架 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要讲解在YARN集群上配置Mapreduce分布式计算框架。与此同时，启动HistoryServer服务，便于在RM Web UI界面查看聚合日志内容。 一.本地运行 阅读全文
posted @ 2020-06-21 23:28
尹正杰
阅读(549)
评论(0)
推荐(0)
摘要：
搭建YARN集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.启动HDFS集群 1>.搭建HDFS分布式集群 博主推荐阅读： https://www.cnblogs.com/yinzhengjie2020/p/12424192.html 2>.启动HDFS集群 [root@ 阅读全文
posted @ 2020-06-14 04:04
尹正杰
阅读(1258)
评论(0)
推荐(0)
摘要：
使用mdadm工具实现软RAID 5实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备工作 1>.实验环境说明 本次试验我打算采用4个分区设备来做RAID 5，如下图所示。 一般情况下使用3块设备就可以做RAID 5,但我之所以使用4块设备，是想用第4块设备充当空闲 阅读全文
posted @ 2020-06-07 23:40
尹正杰
阅读(1874)
评论(0)
推荐(0)
摘要：
使用mdadm工具实现软RAID 0实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备工作 1>.准备2块磁盘 假设你刚刚从别的服务器下架了2块磁盘设备(sdb和sdc)并安装到了你新买的服务器，如下图所示。 这个时候可能需要咱们手动删除磁盘上的数据，当然，你也可以 阅读全文
posted @ 2020-05-31 00:26
尹正杰
阅读(2569)
评论(0)
推荐(2)
摘要：
RAID常见级别与JBOD概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.RAID概述 1>.什么是RAID 1988年由加利福尼亚大学伯克利分校（University of CaliforniaBerkeley） 提出的将多个磁盘合成一个“阵列”来提供更好的性能、冗余， 阅读全文
posted @ 2020-05-24 23:57
尹正杰
阅读(10514)
评论(0)
推荐(3)
摘要：
文件系统常用工具实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要介绍df,du,dd三个命令的使用案例。 一.已挂载文件系统空间占用等信息的查看工具-df 1>.查看df命令的帮助信息 [root@yinzhengjie.com ~]# df --help Us 阅读全文
posted @ 2020-05-17 01:08
尹正杰
阅读(1001)
评论(0)
推荐(0)
摘要：
挂载文件系统 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.博主推荐阅读 硬盘结构类型概述: https://www.cnblogs.com/yinzhengjie/p/12340062.html 分区表概述: https://www.cnblogs.com/yinzheng 阅读全文
posted @ 2020-05-04 23:35
尹正杰
阅读(1569)
评论(0)
推荐(0)
摘要：
创建文件系统实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.EXT系列文件系统专用管理工具-mkfs 1>.查看mkfs命令 [root@yinzhengjie.com ~]# mkfs #想要查看更详细的信息可参考"man mkfs"帮助信息 Usage: mkfs 阅读全文
posted @ 2020-05-02 22:47
尹正杰
阅读(960)
评论(0)
推荐(0)
摘要：
JumpServer的会话管理及命令过滤器应用案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JumpServer的会话管理 1>.以管理员身份登录JumpServer 2>.查看实时的命令记录,如下图所示,依次点击"会话管理" > "命令记录" 3>.查看在线会话,我们 阅读全文
posted @ 2020-04-30 23:30
尹正杰
阅读(4882)
评论(1)
推荐(0)
摘要：
JumpServer的权限管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备工作 JumpServer的用户管理: https://www.cnblogs.com/yinzhengjie/p/12380734.html JumpServer的资产管理: https:// 阅读全文
posted @ 2020-04-23 23:46
尹正杰
阅读(2554)
评论(0)
推荐(0)
摘要：
JavaScript基础知识-方法 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>方法</title> <s 阅读全文
posted @ 2020-03-21 22:29
尹正杰
阅读(232)
评论(0)
推荐(0)
摘要：
JavaScript基础知识-立即执行函数 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>立即执行函数</t 阅读全文
posted @ 2020-03-10 00:34
尹正杰
阅读(280)
评论(0)
推荐(0)
摘要：
JavaScript基础知识-实参可以是任何值 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>实参可以是任何 阅读全文
posted @ 2020-03-03 22:47
尹正杰
阅读(513)
评论(0)
推荐(0)
摘要：
JavaScript基础知识-函数的返回值 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>函数的返回值</t 阅读全文
posted @ 2020-03-02 22:07
尹正杰
阅读(576)
评论(0)
推荐(0)
摘要：
JavaScript基础知识-函数的参数 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>函数的参数</tit 阅读全文
posted @ 2020-03-01 22:08
尹正杰
阅读(280)
评论(0)
推荐(0)
摘要：
JumpServer的资产管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.创建系统用户(一般指的是你管理服务的普通用户) 1>.以管理员身份登录JumpServer 2>.创建系统用户,如下图所示，依次点击"资产管理" > "系统用户" > "创建系统用户" 3>.根据提 阅读全文
posted @ 2020-02-29 22:05
尹正杰
阅读(1705)
评论(0)
推荐(0)
摘要：
JumpServer的用户管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.创建组 1>.以管理员身份登录JumpServer 2>.依次点击"用户管理" > "用户组" > "创建用户组" 3>.根据提示信息创建组 4>.用户组创建成功 二.创建用户 1>.如下图所示,依 阅读全文
posted @ 2020-02-28 22:28
尹正杰
阅读(2740)
评论(0)
推荐(0)
浙公网安备 33010602011771号