摘要：
Hadoop生态圈-zookeeper的API用法详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.测试前准备 1>.开启集群 [yinzhengjie@s101 ~]$ more `which xzk.sh` #!/bin/bash #@author :yinzhengj
阅读全文
posted @ 2018-06-08 10:27
尹正杰
阅读(473)
推荐(0)
摘要：
Hadoop生态圈-zookeeper完全分布式部署 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客部署是建立在Hadoop高可用基础之上的，关于Hadoop高可用部署请参考：https://www.cnblogs.com/yinzhengjie/p/9070017.ht
阅读全文
posted @ 2018-06-08 10:25
尹正杰
阅读(971)
推荐(0)
摘要：
Hadoop基础-MapReduce的工作原理第一弹 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在本篇博客中，我们将深入学习Hadoop中的MapReduce工作机制，这些知识将为我们随后学习写MapReduce高级编程奠定基础。 一.剖析MapReduce作业运行机制 Ma
阅读全文
posted @ 2018-06-07 23:02
尹正杰
阅读(594)
推荐(0)
摘要：
Hadoop基础-HDFS的读取与写入过程 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 为了了解客户端及与之交互的HDFS，NameNode和DataNode之间的数据流是什么样的，我们需要详细介绍一下HDFS的读取以及写入过程，本篇博客的观点是在我读《Hadoop权威指南,大
阅读全文
posted @ 2018-06-06 23:37
尹正杰
阅读(1979)
推荐(0)
摘要：
java基础-回调函数(callback) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 回调函数就是一个通过函数指针调用的函数。如果你把函数的指针（地址）作为参数传递给另一个函数，当这个指针被用来调用其所指向的函数时，我们就说这是回调函数。回调函数不是由该函数的实现方直接调用，
阅读全文
posted @ 2018-06-06 14:19
尹正杰
阅读(2639)
推荐(0)
摘要：
Hadoop基础-网络拓扑机架感知及其实现 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.网络拓扑结构 在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率，即带宽稀缺。这里的想法是将两个节点之间的带宽作为距离的衡量标准
阅读全文
posted @ 2018-06-05 22:11
尹正杰
阅读(2214)
推荐(0)
摘要：
Hadoop基础-HDFS数据清理过程之校验过程代码分析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 想称为一名高级大数据开发工程师，不但需要了解hadoop内部的运行机制，还需要掌握hadoop在写入过程中的报文分析。当然代码的调试步骤是一个开发必须得会的技能！想要掌握这三个
阅读全文
posted @ 2018-06-04 22:59
尹正杰
阅读(950)
推荐(1)
摘要：
Hadoop基础-Protocol Buffers串行化与反串行化 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我们之前学习过很多种序列化文件格式，比如python中的pickle序列化方式（https://www.cnblogs.com/yinzhengjie/p/85313
阅读全文
posted @ 2018-06-03 23:16
尹正杰
阅读(1065)
推荐(0)
摘要：
Hadoop基础-Apache Avro串行化的与反串行化 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Apache Avro简介 1>.Apache Avro的来源 Apache Avro 是一个中立性语言，它是有Hadoop之父Doug Cutting开发而来。因为ha
阅读全文
posted @ 2018-06-02 23:39
尹正杰
阅读(1286)
推荐(0)
摘要：
Hadoop基础-Idea打包详解之手动添加依赖（SequenceFile的压缩编解码器案例） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.编辑配置文件(pml.xml)（我们这里配置的是对“cn.org.yinzhengjie.compress.TestCompressC
阅读全文
posted @ 2018-06-01 23:29
尹正杰
阅读(1618)
推荐(0)
摘要：
Hadoop基础-SequenceFile的压缩编解码器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop压缩简介 1>.文件压缩的好处 第一：较少存储文件占用的磁盘空间，这样就加速数据在磁盘中的传输（比如源文件1G,经过压缩后只有10M，那么文件传输起来就相当的快
阅读全文
posted @ 2018-05-31 23:51
尹正杰
阅读(714)
推荐(0)
摘要：
hadoop基础-SequenceFile详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.SequenceFile简介 1>.什么是SequenceFile 序列文件我们称为SequenceFile，它是hadoop自身的一个序列化文件。 1 /* 2 @author :
阅读全文
posted @ 2018-05-30 23:41
尹正杰
阅读(2363)
推荐(1)
摘要：
Hadoop基础-序列化与反序列化（实现Writable接口） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.序列化简介 1>.什么是序列化 序列化也称串行化，是将结构化的对象转换成字节流，以便在网络上进行传输或者写入到磁盘进行永久性存储的过程。 2>.什么是反序列化 反序列
阅读全文
posted @ 2018-05-29 23:02
尹正杰
阅读(2970)
推荐(1)
摘要：
windows配置Python多版本共存 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 最近Python开发蛮火的，三年前我的一个运维朋友就告诉我说Python语言将来会很火，当时就三分钟热度，用Python写过一个聊天工具，工作中也时不时会用到它。但是对它的框架并不是很感冒。不
阅读全文
posted @ 2018-05-29 18:27
尹正杰
阅读(23273)
推荐(3)
摘要：
Hadoop生态圈-zookeeper本地搭建以及常用命令介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.下载zookeeper软件 下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/ 二.安装zookeeper 1
阅读全文
posted @ 2018-05-29 00:08
尹正杰
阅读(1295)
推荐(0)
摘要：
Hadoop基础-Hadoop的集群管理之服役和退役 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在实际生产环境中，如果是上千万规模的集群，难免一个一个月会有那么几台服务器出点故障，在IDE机房这种事情几乎每个星期都会有那么几起事故发生，比如服务器断电，磁盘过慢，网络不同，核心
阅读全文
posted @ 2018-05-28 17:10
尹正杰
阅读(840)
推荐(0)
摘要：
Hadoop基础-Hadoop快照管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.快照的作用 快照可以迅速对文件(夹)进行备份，不产生新文件，使用差值存储，默认是禁用状态。因此，想要使用快照功能的话得先启用该功能！我们可以通过“hdfs dfsadmin” 命令来启动或者
阅读全文
posted @ 2018-05-28 12:19
尹正杰
阅读(847)
推荐(0)
摘要：
Hadoop基础-镜像文件（fsimage）和编辑日志（edits） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.查看日志镜像文件（如：fsimage_0000000000000000767）内容 1>.镜像文件的作用 通过查看上面的XML文件，可以明显的知道镜像文件是存放
阅读全文
posted @ 2018-05-27 23:27
尹正杰
阅读(8760)
推荐(1)
摘要：
Hadoop基础-HDFS分布式文件系统的存储 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HDFS数据块 1>.磁盘中的数据块 每个磁盘都有默认的数据块大小，这个磁盘进行数据读/写的最小单位，构建于单个磁盘之上的上文件系统通过磁盘来管理该文件中的块，该文件系统块的大小可以
阅读全文
posted @ 2018-05-27 15:13
尹正杰
阅读(1101)
推荐(0)
摘要：
Hadoop基础-HDFS递归列出文件系统-FileStatus与listFiles两种方法 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 fs.listFiles方法，返回LocatedFileStatus的迭代器，自带递归。但是它是继承于FileStatus的，而且构建函数是
阅读全文
posted @ 2018-05-26 19:42
尹正杰
阅读(11517)
推荐(1)
摘要：
Hadoop基础-HDFS的API实现增删改查 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客开发IDE使用的是Idea，如果没有安装Idea软件的可以去下载安装，如何安装IDE可以参考我的笔记：https://www.cnblogs.com/yinzhengjie/p/
阅读全文
posted @ 2018-05-26 18:17
尹正杰
阅读(3717)
推荐(1)
摘要：
Hadoop启动脚本分析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 能看到这篇博客的你估计对Hadoop已经有一个系统的了解了，最起码各种搭建方式你应该是会的，不会也没有关系，可以参考我的笔记，里面有各种搭建方式，哈哈哈~ [yinzhengjie@s101 ~]$ cat
阅读全文
posted @ 2018-05-24 22:28
尹正杰
阅读(1484)
推荐(0)
摘要：
java基础-Idea开发工具介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 之前给大家介绍过一款Java的IDE叫eclipse，有些功能用起来不是很得心应手，尤其是在导报的时候，IDE在导报的时候总是串行等，可能之前学习Python被pycharm影响比较严重，开发pyc
阅读全文
posted @ 2018-05-23 23:36
尹正杰
阅读(2103)
推荐(0)
摘要：
Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客会简单涉及到滚动编辑，融合镜像文件，目录的空间配额等运维操作简介。话不多少，直接上命令便于以后查看。 一.查看hadf的帮助信息 综上所述，hdfs有多个子选项，作为一
阅读全文
posted @ 2018-05-22 23:19
尹正杰
阅读(6282)
推荐(1)
摘要：
Hadoop部署方式-高可用集群部署(High Availability) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客的高可用集群是建立在完全分布式基础之上的，详情请参考：https://www.cnblogs.com/yinzhengjie/p/9065191.ht
阅读全文
posted @ 2018-05-21 23:48
尹正杰
阅读(1699)
推荐(0)
摘要：
Hadoop部署方式-完全分布式(Fully-Distributed Mode) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本博客搭建的虚拟机是伪分布式环境（https://www.cnblogs.com/yinzhengjie/p/9058415.html）链接克隆出来的，
阅读全文
posted @ 2018-05-20 23:29
尹正杰
阅读(1913)
推荐(0)
摘要：
Hadoop部署方式-伪分布式(Pseudo-Distributed Mode) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.下载相应的jdk和Hadoop安装包 JDK：http://www.oracle.com/technetwork/java/javase/downl
阅读全文
posted @ 2018-05-18 23:20
尹正杰
阅读(1957)
推荐(0)
摘要：
Hadoop部署方式-本地模式(Local (Standalone) Mode) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 Hadoop总共有三种运行方式。本地模式（Local (Standalone) Mode），伪分布式（Pseudo-Distributed Mode），
阅读全文
posted @ 2018-05-17 01:34
尹正杰
阅读(2590)
推荐(0)
摘要：
Hadoop基础原理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 业内有这么一句话说：云计算可能改变了整个传统IT产业的基础架构，而大数据处理，尤其像Hadoop组件这样的技术出现，将是改变IT业务模式的一种技术。 另外，很多小伙伴可能还搞不明白云和Hadoop有什么关系，事实
阅读全文
posted @ 2018-05-16 23:37
尹正杰
阅读(1784)
推荐(1)
摘要：
Java基础-DBCP连接池(BasicDataSource类)详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 实际开发中“获得连接”或“释放资源”是非常消耗系统资源的两个过程，为了解决此类性能问题，通常情况我们采用连接池技术，来共享连接Connection。这样我们就不需要
阅读全文
posted @ 2018-05-16 00:08
尹正杰
阅读(18786)
推荐(1)
摘要：
nc命令的常用参数介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 想必做运维的应该在网络安全上都对一些开源软件都应该是相当的了解吧，比如tcpdump，namp等神奇，今天要给大家介绍的就是在netcat工具，简称nc。很多人都说它有着网络界的瑞士军刀美誉。因为它短小精悍、功
阅读全文
posted @ 2018-05-15 00:23
尹正杰
阅读(6838)
推荐(1)
摘要：
Java基础-DButils工具类（QueryRunner）详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 如果只使用JDBC进行开发，我们会发现冗余代码过多，为了简化JDBC开发，本案例我们讲采用apache commons组件一个成员：DBUtils。DBUtils就是J
阅读全文
posted @ 2018-05-13 22:26
尹正杰
阅读(14563)
推荐(0)
摘要：
MySQL数据库语法-多表查询练习一 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要介绍的多表查询的外键约束，以及如何使用外链接和内连接查询数据信息。 一.数据表和测试数据准备 二.内连接与外链接 1>.内连接与外链接的区别 2>.普通内链接(使用关键字) 3>.隐含
阅读全文
posted @ 2018-05-12 18:57
尹正杰
阅读(1684)
推荐(3)
摘要：
MySQL数据库语法-单表查询练习 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要是对聚合函数和分组的练习。 一.数据表和测试数据准备 二.小试牛刀 1>. 按照产品分组 2>.求每个商品的数量 3>.求某个商品的数量,最值 4>.求各种商品销售总价 5>.对分组后的
阅读全文
posted @ 2018-05-12 17:03
尹正杰
阅读(697)
推荐(0)
摘要：
Linux操作系统常见安装方式 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在window操作系统安装程序只需要点点鼠标就能搞定的事情，但是在Linux操作系统中，尤其是字符终端，想要安装一款Linux程序我们有什么方法呢？Linux操作系统的安装方式分为三大类，即源码安装，r
阅读全文
posted @ 2018-05-12 02:14
尹正杰
阅读(3072)
推荐(0)
摘要：
Java基础-面向接口编程-JDBC详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JDBC概念和数据库驱动程序 JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一
阅读全文
posted @ 2018-05-10 22:31
尹正杰
阅读(1094)
推荐(0)
摘要：
Java基础-Eclipse第三方安装包管理工具之Maven 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 玩过Linux的小伙伴应该都知道yum吧，我们只要把搭建好的yum仓库配置好，一切都可以通过yum的方式进行安装，不用传统的rpm的方式进行逐个安装啦！甚至你去找个包可能就
阅读全文
posted @ 2018-05-09 23:59
尹正杰
阅读(4316)
推荐(0)
摘要：
MySQL数据库基础操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.数据库概述 1>.什么是数据库 数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作。 2>.什么是数据库管理系统 数据
阅读全文
posted @ 2018-05-08 22:03
尹正杰
阅读(437)
推荐(0)
摘要：
Java基础-线程操作共享数据的安全问题 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.引发线程安全问题 如果有多个线程在同时运行，而这些线程可能会同时运行这段代码。程序每次运行结果和单线程运行的结果是一样的，而且其他的变量的值也和预期的是一样的，就是线程安全的。 1>.售票
阅读全文
posted @ 2018-05-07 23:38
尹正杰
阅读(447)
推荐(0)
摘要：
Windows环境安装MySQL数据库 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 最近在学习Java语言，开发环境在Windows操作系统上，因此需要在Windows上安装MySQL测试环境，对于一个运维工程师安装数据库当然是小菜一碟啦，我这里安装的不是应用的MySQL环境，
阅读全文
posted @ 2018-05-06 23:43
尹正杰
阅读(4452)
推荐(0)
浙公网安备 33010602011771号