摘要：
批处理引擎MapReduce程序设计 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.MapReduce API 二.MapReduce程序设计基础 1>.构建倒排索引 2>.SQL GroupBy 三.MapReduce程序设计进阶 1>.数据压缩 冷热数据是根据最近公司访问 阅读全文
posted @ 2019-04-27 21:40
尹正杰
阅读(811)
评论(0)
推荐(0)
摘要：
快速搭建Kerberos服务端及入门使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 Kerberos是一种网络身份验证协议。它旨在通过使用秘密密钥加密为客户端/服务器应用程序提供强身份验证。麻省理工学院可以免费实施该协议。Kerberos也可用于许多商业产品。 尽管有许多配置 阅读全文
posted @ 2019-04-24 22:44
尹正杰
阅读(16212)
评论(1)
推荐(2)
摘要：
分布式协调服务Zookeeper集群之ACL篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.zookeeper ACL相关知识概览 1>.zookeeper官方文档（http://zookeeper.apache.org/doc/r3.4.14/zookeeperProgr 阅读全文
posted @ 2019-04-23 23:30
尹正杰
阅读(1330)
评论(0)
推荐(1)
摘要：
分布式协调服务Zookeeper集群监控JMX和ZkWeb应用对比 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 JMX是用来远程监控Java应用的框架，这个也可以用来监控其他的Java应用。JMX使用起来也很简单。当然还有一款比较优秀的监控工具就是ZkWeb，本片博客都会简单介 阅读全文
posted @ 2019-04-22 23:34
尹正杰
阅读(1856)
评论(0)
推荐(0)
摘要：
分布式协调服务Zookeeper集群搭建 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安装jdk环境 1>.操作环境 2>.打开Oracle官方网站下载相应的平台的安装包（https://www.oracle.com/technetwork/java/javase/down 阅读全文
posted @ 2019-04-21 23:30
尹正杰
阅读(638)
评论(0)
推荐(0)
摘要：
分布式协调服务Zookeeper扫盲篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 身为运维工程师对kubernetes(k8s)可能比较熟，那么etcd（go语言实现）分布式协调服务应该也有一定的了解吧。在大数据领域中，也有一个分布式协调工具基本上可以和zookeeper分庭 阅读全文
posted @ 2019-04-20 22:14
尹正杰
阅读(3792)
评论(0)
推荐(1)
摘要：
JDK环境部署 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JDK版本说明 二.Open JDK的安装部署 1>.在CentOS7.6图形界面安装时，默认会给咱们安装该服务 2>. CentOs的yum源默认就有openjdk的rpm包 [root@node101.yinz 阅读全文
posted @ 2019-04-19 22:25
尹正杰
阅读(2054)
评论(0)
推荐(0)
摘要：
Apache Hadoop 2.9.2 的Federation架构设计 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 能看到这篇文件，说明你对NameNode的工作原理想必已经了如指掌了。也知道他将来会面料的一些弊端，我们知道NameNode在启动时会将镜像文件（fsimage） 阅读全文
posted @ 2019-04-18 21:04
尹正杰
阅读(508)
评论(0)
推荐(0)
摘要：
Apache Hadoop 2.9.2 的YARN High Available 模式部署 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.环境准备 1>.官方文档（http://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop- 阅读全文
posted @ 2019-04-17 21:52
尹正杰
阅读(518)
评论(0)
推荐(0)
摘要：
Apache Hadoop 2.9.2 的HDFS High Available 模式部署 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我们知道，当NameNode进程挂掉后，可以通过SecondName进行补救，我们可以快速进行恢复操作。但是其效率极低，可能等你启动集群成功后 阅读全文
posted @ 2019-04-16 22:34
尹正杰
阅读(787)
评论(0)
推荐(0)
摘要：
Apache Hadoop 2.9.2 的快照管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 快照相当于对目录做一个备份。并不会立即复制所有文件，而是指向同一个文件。当写入发生时，才会产生新文件。换句话说，快照可以迅速对文件(夹)进行备份，不产生新文件，使用差值存储，默认是禁 阅读全文
posted @ 2019-04-16 00:13
尹正杰
阅读(806)
评论(0)
推荐(0)
摘要：
Apache Hadoop 2.9.2 的归档案例剖析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 能看到这篇文章说明你对NameNode 工作原理是有深入的理解啦！我们知道每个文件按照块存储，没饿过块的元数据存储在NameNode的内存中，因此Hadoop存储小文件会非常低效 阅读全文
posted @ 2019-04-15 07:57
尹正杰
阅读(361)
评论(0)
推荐(0)
摘要：
JavaScript基础知识-流程控制之条件分支语句(switch语句) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果 阅读全文
posted @ 2019-04-13 08:37
尹正杰
阅读(1710)
评论(0)
推荐(0)
摘要：
大数据技术之Hadoop3.1.2版本HA模式 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop的HA特点 1>.主备NameNode 2>.解决单点故障（属性，位置） 3>.两种切换选择 4>.基于zookeeper自动切换方案 5>.配置Hadoop3.1.2的 阅读全文
posted @ 2019-04-12 21:32
尹正杰
阅读(2276)
评论(0)
推荐(0)
摘要：
大数据技术之Hadoop3.1.2版本完全分布式部署 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.主机环境准备 1>.操作系统环境 2>.关闭防火墙 [root@node101.yinzhengjie.org.cn ~]# systemctl stop firewalld 阅读全文
posted @ 2019-04-12 00:28
尹正杰
阅读(2160)
评论(0)
推荐(0)
摘要：
Apache Hadoop 2.9.2 的集群管理之服役和退役 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 随着公司业务的发展，客户量越来越多，产生的日志自然也就越来越大来，可能我们现有集群的DataNode节点的容量依旧不能满足存储数据的需求，因此需要在现有的集群基础之上动态 阅读全文
posted @ 2019-04-12 00:02
尹正杰
阅读(640)
评论(0)
推荐(0)
摘要：
Apache Hadoop 2.9.2 完全分布式部署（HDFS） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.环境准备 1>.操作平台 2>.节点角色分配 3>.登陆Apache官方网站（http://hadoop.apache.org/） 4>.选择要下载的Hadoop 阅读全文
posted @ 2019-04-10 23:51
尹正杰
阅读(2708)
评论(0)
推荐(0)
摘要：
NameNode和SecondaryNameNode工作原理剖析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.NameNode中的元数据是存储在那里的？ 二.NameNode和SecondaryNameNode工作原理 1>.NameNode和SecondaryNameNo 阅读全文
posted @ 2019-04-09 19:48
尹正杰
阅读(2911)
评论(0)
推荐(0)
摘要：
NameNode与DataNode的工作原理剖析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HDFS写数据流程 整个写流程如下： 第一步： 客户端调用DistributedFileSystem的create()方法，开始创建新文件：DistributedFileSyste 阅读全文
posted @ 2019-04-09 17:45
尹正杰
阅读(3187)
评论(0)
推荐(2)
摘要：
HDFS概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HDFS产出背景及定义 1>.HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理磁盘中，但是不方便维护和管理，迫切需求一种系统来管理多台机器上的文件，这就是分布式文件 阅读全文
posted @ 2019-04-09 01:00
尹正杰
阅读(959)
评论(0)
推荐(0)
摘要：
Eclipse之JSP页面的使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用Eclipse创建JSP文件 1>.点击new file，选择jsp File 2>.给jsp起个文件名称（如index.jsp） 3>.查看jsp文件的默认编码（不推荐采取下图的做法，即不推 阅读全文
posted @ 2019-04-08 12:26
尹正杰
阅读(2251)
评论(0)
推荐(0)
摘要：
Eclipse拷贝动态的web工程修改context root的值 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 context root的名称一般是我们访问URL时的PATH路径，举个例子：http://node101.yinzhengjie.org.cn:8080/devop 阅读全文
posted @ 2019-04-08 12:22
尹正杰
阅读(680)
评论(0)
推荐(0)
摘要：
Redis的Cluster配置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安装Redis并启动 1>.修改Redis的配置文件（本实验只有三个节点） [root@node101.yinzhengjie.org.cn ~]# egrep -v "^#|^$" /etc/re 阅读全文
posted @ 2019-04-07 10:16
尹正杰
阅读(683)
评论(0)
推荐(0)
摘要：
企业大数据战略定位 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.宏观说企业大数据战略定位 二.微观说企业大数据战略定位 1>.资源协调 2>.战略定位 3>. 4>. 5>. 阅读全文
posted @ 2019-04-06 02:13
尹正杰
阅读(1113)
评论(0)
推荐(0)
摘要：
批处理引擎MapReduce编程模型 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 MapReduce是一个经典的分布式批处理计算引擎，被广泛应用于搜索引擎索引构建，大规模数据处理等场景中，具有易于编程，良好的扩展性与容错性以及高吞吐率等特点。它主要由两部分组成：编程模型和运行时 阅读全文
posted @ 2019-04-03 23:43
尹正杰
阅读(872)
评论(0)
推荐(0)
摘要：
Python入门篇-基础数据类型之整型（int），字符串（str），字节（bytes），列表（list）和切片（slice） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Python内置数据结构分类 1>.数值型 2>.序列对象 3>.键值对 二.数值型 1>.数值型概述 阅读全文
posted @ 2019-04-01 23:22
尹正杰
阅读(2974)
评论(0)
推荐(0)
摘要：
Python入门篇-基础语法 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.编程基础 1>.程序 一组能让计算机识别和执行的指令。 2>.电子计算机 能够执行程序的机器。 3>.现代计算机 艾伦·麦席森·图灵（Alan Mathison Turing，1912年6月23日－1 阅读全文
posted @ 2019-03-30 22:58
尹正杰
阅读(887)
评论(0)
推荐(0)
摘要：
Python入门篇-pyenv安装及应用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.推荐Python相关书籍 1>.《Python Cookbook》 2>.《Learn Python The Hard Way》 3>.《Google's Python Class》 4> 阅读全文
posted @ 2019-03-29 23:06
尹正杰
阅读(1703)
评论(0)
推荐(0)
摘要：
zabbix Server 4.0监控Flume关键参数 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 Flume本身提供了http, ganglia的监控服务。当然我们也可以使用JMX的方式去监控Flume，然后只要能集成JMX监控的监控系统应该都能实现简介监控Flume，有网 阅读全文
posted @ 2019-03-28 23:05
尹正杰
阅读(1129)
评论(1)
推荐(0)
摘要：
zabbix Server 4.0 报警（Action）篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.查看zabbix默认的Actions 1>.点击默认的Actions如：“Report problems to Zabbix administrators” 2>.定义条 阅读全文
posted @ 2019-03-26 23:27
尹正杰
阅读(509)
评论(0)
推荐(0)
摘要：
zabbix Server 4.0 触发器（Trigger）篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.触发器（Trigger）概述 1>.上一篇博客我们介绍了“内置item使用案例”，item（监控项）仅负责收集数据，而通常收集数据的目的还包括在某指标对应的数据超出合 阅读全文
posted @ 2019-03-25 23:10
尹正杰
阅读(4090)
评论(0)
推荐(1)
摘要：
zabbix Server 4.0 部署及之内置item使用案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.zabbix组件架构概述（图片摘自网络） 1>.zabbix核心组件介绍 2>.zabbix的架构说明 二.ZABBIX常用的术语 1>.主机（host） 要监控的 阅读全文
posted @ 2019-03-24 23:05
尹正杰
阅读(1420)
评论(0)
推荐(0)
摘要：
什么是大数据运维工程师 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 业内有这么一句话说：云计算可能改变了整个传统IT产业的基础架构，而大数据处理，尤其像Hadoop组件这样的技术出现，将是改变IT业务模式的一种技术。另外，很多小伙伴可能还搞不明白云和Hadoop有什么关系，事实 阅读全文
posted @ 2019-03-24 12:48
尹正杰
阅读(20597)
评论(0)
推荐(1)
摘要：
Redis扩展机制扫盲 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 关于Redis的Avalibility解决方案有很多，比如Twemproxy，Codis， 一.Twemproxy（Twitter） 1>.代理分配机制 2>.优点 非常稳定，企业级解决方案。 3>.缺点 单点 阅读全文
posted @ 2019-03-23 23:22
尹正杰
阅读(394)
评论(0)
推荐(0)
摘要：
大数据技术之Hadoop3.1.2版本伪分布式部署 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.主机环境准备 1>.操作系统环境 2>.关闭防火墙 [root@node101.yinzhengjie.org.cn ~]# systemctl stop firewalld [ 阅读全文
posted @ 2019-03-22 16:12
尹正杰
阅读(562)
评论(0)
推荐(0)
摘要：
Redis配置sentinel模式 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 哨兵（sentinel）主要是完成三个功能：监控，通知，自动故障转移功能。sentinel是安装Redis服务时默认安装的，因此我们可以直接使用！ 一.配置项说明 1>.port 服务的监听端口，比 阅读全文
posted @ 2019-03-22 00:18
尹正杰
阅读(762)
评论(0)
推荐(0)
摘要：
Redis配置主从复制 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.操作环境介绍 1>.操作系统环境 2>.安装Redis（3台配置一样的虚拟机启动成功后，都需要安装Redis服务） [root@node101.yinzhengjie.org.cn ~]# yum -y i 阅读全文
posted @ 2019-03-21 23:51
尹正杰
阅读(689)
评论(0)
推荐(0)
摘要：
使用 gzexe 快速加密解密文件内容 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用sshpass工具编写远程管理脚本 1>.安装依赖包 [root@node101.yinzhengjie.org.cn ~]# [root@node101.yinzhengjie.org 阅读全文
posted @ 2019-03-21 11:09
尹正杰
阅读(3625)
评论(0)
推荐(1)
摘要：
使用Eclipse创建动态的web工程 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.修改工作区的编码 1>.点击Window选择Preferences 2>.将默认的编码设置为UTF-8 二.创建动态的WEB工程 1>.选择Dynamic Web Project 2>.给项 阅读全文
posted @ 2019-03-20 22:54
尹正杰
阅读(6760)
评论(0)
推荐(1)
摘要：
集成Tomcat环境到Eclipse中 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安装Eclipse环境 1>.安装JDK环境 官方地址：<!--StartFragment-->https://www.oracle.com/technetwork/java/javase/ 阅读全文
posted @ 2019-03-19 23:31
尹正杰
阅读(328)
评论(0)
推荐(0)
浙公网安备 33010602011771号