2021年1月10日
5
摘要： 5 阅读全文
posted @ 2021-01-10 22:58 JasonYin2020 阅读(188) 评论(0) 推荐(0) 编辑
2021年1月4日
4
摘要： 4 阅读全文
posted @ 2021-01-04 22:41 JasonYin2020 阅读(94) 评论(0) 推荐(0) 编辑
2020年12月27日
3
摘要： 3 阅读全文
posted @ 2020-12-27 23:47 JasonYin2020 阅读(69) 评论(0) 推荐(0) 编辑
2020年12月25日
2
摘要： 2 阅读全文
posted @ 2020-12-25 23:48 JasonYin2020 阅读(76) 评论(0) 推荐(0) 编辑
2020年12月20日
Docker的镜像常用的管理命令(docker image)实战篇
摘要： Docker的镜像常用的管理命令(docker image)实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.镜像的增删改查 1>.查看镜像管理的相关命令 [root@docker201.yinzhengjie.com ~]# docker image --help # 阅读全文
posted @ 2020-12-20 23:18 JasonYin2020 阅读(399) 评论(0) 推荐(0) 编辑
2020年12月12日
ubuntu-20.04部署Docker环境详解
摘要： ubuntu-20.04部署Docker环境详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 阅读全文
posted @ 2020-12-12 23:42 JasonYin2020 阅读(364) 评论(0) 推荐(0) 编辑
2020年12月4日
CentOS 7.9部署Docker环境详解
摘要： CentOS 7.9部署Docker环境详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.操作系统环境说明 关于CentOS和Ubuntu的系统安装可参考我之前录制的视频教程: https://www.bilibili.com/video/BV1HZ4y137tS 二.操作 阅读全文
posted @ 2020-12-04 23:07 JasonYin2020 阅读(1414) 评论(0) 推荐(0) 编辑
2020年11月27日
Docker镜像的核心概念
摘要： Docker镜像的核心概念 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.镜像概述 1>.镜像是什么? Docker镜像用于启动容器所需要的文件系统及其内容，因此，其用于创建并启动docker容器。 Docker镜像包括但不限于以下特点: (1)一个分层存储的文件，不是一个单 阅读全文
posted @ 2020-11-27 23:55 JasonYin2020 阅读(189) 评论(0) 推荐(0) 编辑
2020年11月22日
Docker的架构介绍及部署实战
摘要： Docker的架构介绍及部署实战 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Docker架构分析 如下图所示，Docker采用的是 Client/Server 架构。客户端向服务器发送请求，服务器负责构建、运行和分发容器。 客户端和服务器可以运行在同一个 Host 上，客 阅读全文
posted @ 2020-11-22 23:23 JasonYin2020 阅读(586) 评论(0) 推荐(0) 编辑
2020年11月21日
Docker Container发展史
摘要： Docker Container发展史 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Docker的历史 1>.Docker技术开源，IT界的福音 2010年，几个大胡子年轻人在旧金山成立了一家做PaaS平台的公司，起名为"dotCloud"，该公司主要是基于PaaS平台为开 阅读全文
posted @ 2020-11-21 23:21 JasonYin2020 阅读(1044) 评论(0) 推荐(0) 编辑
2020年11月20日
Linux容器(Container)发展史
摘要： Linux容器(Container)发展史 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在操作系统虚拟化技术中，每个节点上只有唯一的系统内核，不虚拟任何硬件设备。通过使用操作系统提供的功能，多个虚拟环境之间可以相互隔离。 通常所说的容器(Container)技术就属于操作系统级 阅读全文
posted @ 2020-11-20 22:36 JasonYin2020 阅读(1398) 评论(0) 推荐(0) 编辑
2020年11月19日
虚拟化和云计算的区别
摘要： 虚拟化和云计算的区别 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.云计算(CLOUD COMPUTING)概述 云计算是一种能够跨网络、按需提供基础架构、服务、平台和应用的交付方式，正在快速取代原本通过硬布线连接进行资源共享的方式。 云计算是指在云中运行工作负载，而云是一种 阅读全文
posted @ 2020-11-19 05:31 JasonYin2020 阅读(1169) 评论(0) 推荐(0) 编辑
2020年11月18日
Hive常用的DCL(Data Control Language)数据操作
摘要： Hive常用的DCL(Data Control Language)数据操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.数据控制语言DCL概述 数据控制语言(英文名称为:Data Control Language，简称DCL)是用来授予或回收访问数据库的某种特权，并控制数据 阅读全文
posted @ 2020-11-18 22:02 JasonYin2020 阅读(278) 评论(0) 推荐(0) 编辑
2020年11月17日
Hive常用的DQL(Data Query Language)数据操作
摘要： Hive常用的DQL(Data Query Language)数据操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.数据查询语言DQL概述 数据查询语言(英文名称为：Data QueryLanguage，简称:"DQL")是用于数据查询语言，其语法格式：SELECT ... 阅读全文
posted @ 2020-11-17 23:29 JasonYin2020 阅读(182) 评论(0) 推荐(0) 编辑
2020年11月16日
Hive常用的DML(Data Manipulation Language)数据操作
摘要： Hive常用的DML(Data Manipulation Language)数据操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.数据操纵语言DML概述 数据操纵语言(英文名称为：Data Manipulation Language，简称:"DML")，用户通过它可以实现对 阅读全文
posted @ 2020-11-16 23:11 JasonYin2020 阅读(214) 评论(0) 推荐(0) 编辑
Hive常用的DDL(Data Definition Language)数据操作
摘要： Hive常用的DDL(Data Definition Language)数据操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.数据定义语言DDL概述 数据库模式定义语言(英文名称为：Data Definition Language，简称:"DDL")，是用于描述数据库中要存 阅读全文
posted @ 2020-11-16 06:59 JasonYin2020 阅读(132) 评论(0) 推荐(0) 编辑
2020年11月14日
Hive常用的数据类型概述
摘要： Hive常用的数据类型概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.基本数据类型 Hive数据类型 对应Java数据类型 长度(数据取值范围) 备注 TINYINT byte 1 byte有符号(即最高位为"符号位"，下同)整数(取值范围为：-128~127) SMAL 阅读全文
posted @ 2020-11-14 23:51 JasonYin2020 阅读(4008) 评论(0) 推荐(0) 编辑
2020年11月11日
Hive的JDBC环境部署
摘要： Hive的JDBC环境部署 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HiveJDBC概述 说白了hive它就是一个本地的命令行工具，但是你若想在其它节点来操作当前节点的Hive环境，比如基于JDBC的方式连接hive，则需要使用到HiveJDBC服务啦~ 今天我们要说的 阅读全文
posted @ 2020-11-11 23:28 JasonYin2020 阅读(511) 评论(0) 推荐(0) 编辑
2020年11月6日
Hive常用的属性配置及调优参数概述
摘要： Hive常用的属性配置及调优参数概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.hive常见配置属性 1>.配置数据仓库位置 <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/wa 阅读全文
posted @ 2020-11-06 23:34 JasonYin2020 阅读(1143) 评论(0) 推荐(0) 编辑
2020年11月1日
Hive环境部署实战篇
摘要： Hive环境部署实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hive安装地址 官网地址: http://hive.apache.org/ 文档查看地址: https://cwiki.apache.org/confluence/display/HIVE 下载地址: h 阅读全文
posted @ 2020-11-01 23:15 JasonYin2020 阅读(602) 评论(0) 推荐(0) 编辑
2020年10月24日
配置Hadoop守护进程环境变量
摘要： 配置Hadoop守护进程环境变量 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.配置HDFS环境变量(hadoop-env.sh) 必须在hadoop-env.sh文件中设置Hadoop专用的环境变量。至少必须制定JAVA_HOME环境变量的值。 export JAVA_HO 阅读全文
posted @ 2020-10-24 23:48 JasonYin2020 阅读(651) 评论(0) 推荐(0) 编辑
部署Ganglia集群
摘要： 部署Ganglia集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.实验环境说明 首先介绍一下我的Hadoop测试集群，采用的CentOS 7.6，其角色分配如下： [nn] hadoop101.yinzhengjie.com [snn] hadoop105.yinzhen 阅读全文
posted @ 2020-10-24 01:32 JasonYin2020 阅读(390) 评论(0) 推荐(0) 编辑
2020年10月16日
使用Ganglia监控Hadoop集群实战篇
摘要： 使用Ganglia监控Hadoop集群实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Ganglia架构概述 Ganglia监测系统有四个主要组成部分：gmod，gmetad，rrdtool和gweb。 gmod: 集群中每个主机都运行gmond守护程序，该守护程序的工 阅读全文
posted @ 2020-10-16 23:49 JasonYin2020 阅读(554) 评论(0) 推荐(0) 编辑
2020年10月9日
Hive基本概念扫盲篇
摘要： Hive基本概念扫盲篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.数据仓库概论 1>.什么是数据仓库 数据仓库，英文名称为Data Warehouse(通常简写为"DW"或者"DWH")。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的资源集合。它出于分析性 阅读全文
posted @ 2020-10-09 23:35 JasonYin2020 阅读(635) 评论(0) 推荐(0) 编辑
2020年10月3日
Hadoop的服务级授权篇
摘要： Hadoop的服务级授权篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.启用服务级授权 当客户端连接到Hadoop服务时，根据用户是否具有必须的权限，授予其该服务的权限。例如，用户可能具有将YARN作业提交到集群的必须权限，那么第一个访问控制检查是服务级授权，这回在检查文件 阅读全文
posted @ 2020-10-03 05:34 JasonYin2020 阅读(461) 评论(0) 推荐(1) 编辑
2020年9月26日
HDFS权限管理篇
摘要： HDFS权限管理篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HDFS权限概述 HDFS文件权限用作每次访问HDFS文件或目录时尝试的授权检查。HDFS文件权限与通常在Linux或Unix文件系统中使用的权限非常相似。但HDFS域Linux和其他采用POSIX模型的操作系 阅读全文
posted @ 2020-09-26 23:18 JasonYin2020 阅读(9815) 评论(0) 推荐(2) 编辑
2020年9月19日
管理Kerberized Hadoop集群
摘要： 管理Kerberized Hadoop集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 部署好Kerberized集群(也可以成为Kerberos集群)后，还有必要了解一下管理Kerberos的一些重要工具，这样便于大数据运维工程师后期维护集群。 一.Kerberos工具和守护 阅读全文
posted @ 2020-09-19 00:50 JasonYin2020 阅读(620) 评论(0) 推荐(0) 编辑
2020年9月12日
使用Kerberos保护Hadoop集群
摘要： 使用Kerberos保护Hadoop集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 前面我们配置了Kerberos并准备好使用它来验证Hadoop用户。要使用Kerberos保护集群，需要将Kerberos信息添加到相关Hadoop配置文件中，从而将Kerberos与Hado 阅读全文
posted @ 2020-09-12 05:31 JasonYin2020 阅读(1891) 评论(0) 推荐(0) 编辑
2020年9月5日
Hadoop相关的Kerberos设置
摘要： Hadoop相关的Kerberos设置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.创建Kerberos数据库 1>.Kerberos数据库概述 Kerberos数据库包含领域的所有Kerberos主体，它们的密码以及有关每个主体的其他管理信息。在大多数情况下，您将使用kd 阅读全文
posted @ 2020-09-05 01:21 JasonYin2020 阅读(2721) 评论(0) 推荐(0) 编辑
2020年8月29日
配置Kerberos实战案例
摘要： 配置Kerberos实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Kerberos主要配置文件概述 krb5.conf: 作用: krb5.conf是kerberos的首要配置文件，可以在这里配置KDC的位置，AS以及Kerberos域域主机名的映射。 此文件是ke 阅读全文
posted @ 2020-08-29 01:56 JasonYin2020 阅读(7664) 评论(0) 推荐(0) 编辑
2020年8月14日
Hadoop安全篇之Kerberos实战案例
摘要： Hadoop安全篇之Kerberos实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 由于几乎每天都在发生信用卡数据，社会保障号，医疗信息和其他个人数据等关键数据的泄露问题，企业对保护数据非常关心。 一.Hadoop安全概述 众所周知的Apache Hadoop，是一个开放 阅读全文
posted @ 2020-08-14 23:18 JasonYin2020 阅读(6250) 评论(0) 推荐(1) 编辑
2020年7月26日
HDFS安全模式实战篇
摘要： HDFS安全模式实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安全模式概述 1>.什么是安全模式 安全模式是NameNode的一种状态，其中节点不接受对HDFS命名空间的任何更改，这意味着HDFS处于只读状态。NameNode在启动时自动进入安全模式，当配置的最小百分 阅读全文
posted @ 2020-07-26 00:50 JasonYin2020 阅读(988) 评论(0) 推荐(0) 编辑
2020年7月23日
HDFS检查点操作实战篇
摘要： HDFS检查点操作实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.检查点概述 1>.什么是检查点 检查点操作时通过合并当前映像文件(fsimage_*)和编辑日志(edits_*)来来创建新的fsimage的过程。 一旦编辑日志达到指定的阈值(dfs.namenode. 阅读全文
posted @ 2020-07-23 02:04 JasonYin2020 阅读(1151) 评论(0) 推荐(0) 编辑
2020年7月22日
HDFS元数据管理实战篇
摘要： HDFS元数据管理实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HDFS元数据概述 1>.什么是HDFS元数据 NameNode的主要工作是存储HDFS命名空间，HDFS元数据(或HDFS命名空间)是由inode(其存储属性，如权限，修改，访问时间和磁盘空间配额)表示 阅读全文
posted @ 2020-07-22 23:47 JasonYin2020 阅读(1661) 评论(0) 推荐(0) 编辑
2020年7月21日
使用HttpFS网关从防火墙后面访问HDFS
摘要： 使用HttpFS网关从防火墙后面访问HDFS 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HttpFS概述 1>.什么是HttpFS HttpFS是在Apache Tomcat上运行的Java应用程序，其允许通过WebHDFS REST API远程访问HDFS文件系统。 H 阅读全文
posted @ 2020-07-21 23:10 JasonYin2020 阅读(567) 评论(0) 推荐(0) 编辑
2020年7月20日
使用Hadoop WebHDFS访问HDFS
摘要： 使用Hadoop WebHDFS访问HDFS 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 webHDFS和HttpFS都是Hadoop的HTTP/HTTPS REST接口。这两个接口使我们能够读取HDFS数据并写入，以及执行与HDFS相关的几个管理命令。可以将它们嵌入程序，脚本 阅读全文
posted @ 2020-07-20 23:33 JasonYin2020 阅读(8575) 评论(0) 推荐(1) 编辑
2020年7月19日
HDFS数据均衡篇
摘要： HDFS数据均衡篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HDFS数据均衡概述 随着时间的推移，HDFS存储中数据分布可能变得不平衡，某些DataNode上可能具有更多的数据块。在极端的情况下，在具有更多的节点上读取和写入过于频繁，而一些较少的节点则未被充分利用。 当 阅读全文
posted @ 2020-07-19 23:31 JasonYin2020 阅读(4212) 评论(0) 推荐(0) 编辑
2020年7月18日
管理Hadoop的配额
摘要： 管理Hadoop的配额 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop的配额概述 可以在HDFS目录上配置配额，由此可以限制用户或应用程序消耗的HDFS空间。 HDFS的空间分配与底层Linux文件系统上的空间分配没有直接关系。 Hadoop允许设置两种类型的配额 阅读全文
posted @ 2020-07-18 00:04 JasonYin2020 阅读(1000) 评论(0) 推荐(0) 编辑
2020年7月16日
HDFS异构存储篇
摘要： HDFS异构存储篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.异构存储概述 1>.数据分类及存储策略概述 通常，公司或者组织总是有相当多的历史数据占用昂贵的存储空间。对于异构公司来说，典型的数据使用模式是新传入的数据被应用程序大量使用，从而该数据被标记为"热"数据。随着时 阅读全文
posted @ 2020-07-16 23:34 JasonYin2020 阅读(1079) 评论(0) 推荐(0) 编辑
2020年7月15日
HDFS的权限管理
摘要： HDFS的权限管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一. 二. 三. 阅读全文
posted @ 2020-07-15 23:09 JasonYin2020 阅读(239) 评论(0) 推荐(0) 编辑
下一页