华仔Coding

摘要： 前言 上一篇给大家介绍了Hadoop是怎么样保证数据的完整性的，并且使用Java程序来验证了会产生.crc的校验文件。这一篇给大家分享的是Hadoop的序列化！ 一、序列化和反序列化概述 1.1、序列化和反序列化的定义 1）序列化：将结构化对象转换为字节流的过程，以便在网络上传输或写入到磁盘进行永久 阅读全文

摘要： 前言 上一篇我分享了Hadoop的压缩和编解码器，在我们开发的过程中其实是经常会用到的，所以一定要去掌握。这一篇给大家介绍的是Hadoop的数据完整性！ Hadoop用户在使用HDFS储存和处理数据不会丢失或者损坏，在磁盘或者网络上的每一个I/O操作不太可能将错误引入自己正在读/写的数据中，但是如果 阅读全文

摘要： 前言 前面一篇介绍了Java怎么去查看数据块的相关信息和怎么去查看文件系统。我们只要知道怎么去查看就行了！接下来我分享的是Hadoop的I/O操作。 在Hadoop中为什么要去使用压缩（Compression）呢？接下来我们就知道了。 一、压缩（Compression）概述 1.1、压缩的好处 减少 阅读全文

摘要： 一、HashMap简介 1.1、HashMap概述 HashMap是基于哈希表的Map接口实现的，它存储的是内容是键值对<key,value>映射。此类不保证映射的顺序，假定哈希函数将元素适当的分布在各桶之间，可为基本操作(get和put)提供稳定的性能。 在API中给出了相应的定义： //1、哈希 阅读全文

摘要： 前言 我们知道HDFS集群中，所有的文件都是存放在DN的数据块中的。那我们该怎么去查看数据块的相关属性的呢？这就是我今天分享的内容了 一、HDFS中数据块概述 1.1、HDFS集群中数据块存放位置 我们知道hadoop集群遵循的是主/从的架构，namenode很多时候都不作为文件的读写操作，只负责任 阅读全文

摘要： 前言 前面写了一篇关于的是LinkedList的除了它的数据结构稍微有一点复杂之外，其他的都很好理解的。这一篇讲的可能大家在开发中很少去用到。但是有的时候也可能是会用到的！ 注意在学习这一篇之前，需要有多线程的知识： 1）锁机制：对象锁、方法锁、类锁 对象锁就是方法锁：就是在一个类中的方法上加上sy 阅读全文

摘要： 一、HashCode简介 1.1、什么是Hash和Hash表 要想清楚hashCode就要先清楚知道什么是Hash 1）Hash hash是一个函数，该函数中的实现就是一种算法，就是通过一系列的算法来得到一个hash值，这个时候，我们就需要知道另一个东西，hash表，通过hash算法得到的hash值 阅读全文

摘要： 前言 前面一篇我们分析了ArrayList的源码，这一篇分享的是LinkedList。我们都知道它的底层是由链表实现的，所以我们要明白什么是链表？ 一、LinkedList简介 1.1、LinkedList概述 LinkedList是一种可以在任何位置进行高效地插入和移除操作的有序序列，它是基于双向 阅读全文

摘要： 前言 在前面的学习集合中只是介绍了集合的相关用法，我们想要更深入的去了解集合那就要通过我们去分析它的源码来了解它。希望对集合有一个更进一步的理解！ 既然是看源码那我们要怎么看一个类的源码呢？这里我推荐的方法是： 1）看继承结构 看这个类的层次结构，处于一个什么位置，可以在自己心里有个大概的了解。 2 阅读全文

摘要： 前言 HDFS（Hadoop Distributed File System）是一个分布式文件系统。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。 优点是： 高吞吐量访问：HDFS的每个Block分布在不同的Rack上 阅读全文