jstarseven

2017年11月24日

摘要：阅读目录(Content) 一、序列化和反序列化概述 1.1、序列化和反序列化的定义 1.2、序列化和反序列化的应用 1.3、RPC序列化格式要求二、Hadoop中和虚序列化相关的接口和类 1.1、Hadoop对基本数据类型的包装 1.2、Writable接口 1.3、实例解释Java和Hadoo 阅读全文

posted @ 2017-11-24 15:38 jstarseven 阅读(381) 评论(0) 推荐(0) 编辑

Hadoop（十）Hadoop IO之数据完整性

摘要：阅读目录(Content) 一、数据完整性概述二、HDFS的数据完整性 2.1、本地文件上传到HDFS集群时的校验 2.2、HDFS集群文件读取到本地三、涉及数据一致性的类：LocalFileSystem和RawFileSystem 3.1、概述 3.2、编写程序验证 2.1、本地文件上传到HD 阅读全文

posted @ 2017-11-24 15:36 jstarseven 阅读(589) 评论(0) 推荐(0) 编辑

Hadoop（九）Hadoop IO之Compression和Codecs

摘要：阅读目录(Content) 一、压缩（Compression）概述 1.1、压缩的好处 1.2、压缩格式总结二、编解码器（Codec）概述三、Java编程实现文件的压缩与解压缩 3.1、原理分析 3.2、相关类和方法 3.3、Java将本地文件压缩上传到集群当中 3.4、Java将集群文件解压缩阅读全文

posted @ 2017-11-24 15:35 jstarseven 阅读(451) 评论(0) 推荐(0) 编辑

Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统

摘要：阅读目录(Content) 一、HDFS中数据块概述 1.1、HDFS集群中数据块存放位置 1.2、数据块（data block）简介 1.3、对分布式文件系统中的块进行抽象会带来很多好处二、Java访问HDFS中的数据块 2.1、相关类和方法介绍 2.2、编写程序访问二、Java查看HDFS集阅读全文

posted @ 2017-11-24 15:34 jstarseven 阅读(962) 评论(0) 推荐(0) 编辑

Hadoop（七）HDFS容错机制详解

摘要：阅读目录(Content) 一、HDFS容错机制 1.1、故障类型（三类故障） 1.2、故障检测机制 1.3、回复：心跳信息和数据块报告 1.4、读写容错 1.5、数据节点（DN）失效二、HDFS备份规则 1.1、故障类型（三类故障） 1.2、故障检测机制 1.3、回复：心跳信息和数据块报告 1. 阅读全文

posted @ 2017-11-24 15:32 jstarseven 阅读(1237) 评论(0) 推荐(0) 编辑

Java对象锁和类锁全面解析（多线程synchronized关键字）

摘要：本文主要是将synchronized关键字用法作为例子来去解释Java中的对象锁和类锁。特别的是希望能帮大家理清一些概念。一、synchronized关键字 synchronized关键字有如下两种用法： 1、在需要同步的方法的方法签名中加入synchronized关键字。 synchroniz 阅读全文

posted @ 2017-11-24 15:27 jstarseven 阅读(515) 评论(0) 推荐(0) 编辑

2017年11月8日

linux使用find和crontab命令定期清理过期文件

摘要： crontab 命令 crontab 命令是 Linux 中用来设定重复执行命令或脚本的工具。它能够在指定的时间段内，按照需求以某一时间间隔执行命令或脚本。 crontab 的基本用法 crontab <filename> 可以读入一个以 crontab 语法书写的文件，并依照文件内的指示执行定时任阅读全文

posted @ 2017-11-08 10:52 jstarseven 阅读(616) 评论(0) 推荐(0) 编辑

2017年10月22日

logstash使用template提前设置好maping同步mysql数据到Elasticsearch5.5.2

摘要：上篇blog说到采用logstash-input-jdbc将mysql数据同步到ES（http://www.cnblogs.com/jstarseven/p/7704893.html）,但是这里有一个问题，即假如我不需要logstash自动对mysql数据提供的mapping模板怎么办，毕竟我的数据阅读全文

posted @ 2017-10-22 00:27 jstarseven 阅读(8161) 评论(0) 推荐(2) 编辑

2017年10月21日

logstash安装与logstash-input-jdbc插件使用

摘要：【转载请注明】：原文出处：http://www.yund.tech/zdetail.html?type=1&id=f7a448de25aeeb8e03435fc0d3054b0c 作者：jstarseven 码字挺辛苦的..... ElasticSearch的索引可以手动添加索引的，就是类似下面这阅读全文

posted @ 2017-10-21 15:26 jstarseven 阅读(8087) 评论(0) 推荐(0) 编辑

2017年10月18日

正则表达式分组、断言详解

摘要：正则表达式中的断言，作为高级应用出现，倒不是因为它有多难，而是概念比较抽象，不容易理解而已，今天就让小菜通俗的讲解一下。如果不用断言，以往用过的那些表达式，仅仅能获取到有规律的字符串，而不能获取无规律的字符串。举个例子，比如html源码中有<title>xxx</title>标签，用以前的知识，阅读全文

posted @ 2017-10-18 09:26 jstarseven 阅读(463) 评论(0) 推荐(0) 编辑

2017年10月17日

Hadoop（六）之HDFS的存储原理（运行原理）

摘要：阅读目录(Content) 一、HDFS读取过程二、HDFS的写入过程三、通过实例说明HDFS的读写操作 3.1、写入操作 3.2、读取操作四、图解HDFS的读取写入过程 4.1、角色出演 4.2、读取操作 3.2、写入操作 3.1、写入操作 3.2、读取操作 4.1、角色出演 4.2、读取操阅读全文

posted @ 2017-10-17 16:15 jstarseven 阅读(19610) 评论(0) 推荐(3) 编辑

Hadoop（五）搭建Hadoop客户端与Java访问HDFS集群

摘要：阅读目录(Content) 一、Hadoop客户端配置二、Java访问HDFS集群 2.1、HDFS的Java访问接口 2.2、Java访问HDFS主要编程步骤 2.3、使用FileSystem API读取数据文件三、实战Java访问HDFS集群 3.1、环境介绍 3.2、查询HDFS集群文件系阅读全文

posted @ 2017-10-17 16:12 jstarseven 阅读(827) 评论(0) 推荐(0) 编辑

Hadoop（四）HDFS集群详解

摘要：阅读目录(Content) 一、HDFS概述 1.1、HDFS概述 1.2、HDFS的概念和特性 1.3、HDFS的局限性 1.4、HDFS保证可靠性的措施二、HDFS基本概念 2.1、HDFS主从结构体系 2.2、数据块（DataBlock） 2.3、名字节点（主节点：NameNode） 2.4 阅读全文

posted @ 2017-10-17 16:05 jstarseven 阅读(9977) 评论(0) 推荐(0) 编辑

Hadoop（三）搭建Hadoop全分布式集群

摘要：阅读目录(Content) 一、搭建Hadoop全分布式集群前提 1.1、网络 1.2、安装jdk 1.3、安装hadoop 二、Hadoop全分布式集群搭建的配置 2.1、hadoop-env.sh 2.2、core-site.xml 2.3、hdfs-site.xml 2.4.mapred-si 阅读全文

posted @ 2017-10-17 16:03 jstarseven 阅读(943) 评论(0) 推荐(0) 编辑

Hadoop（二）搭建伪分布式集群

摘要：阅读目录(Content) 一、Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone Mode） 1.2、伪分布式模式（Pseudo-Distrubuted Mode） 1.3、全分布式集群模式（Full-Distributed Mode）二、搭建阅读全文

posted @ 2017-10-17 16:01 jstarseven 阅读(1074) 评论(0) 推荐(0) 编辑

公告