摘要: 前言 上一篇给大家介绍了Hadoop是怎么样保证数据的完整性的,并且使用Java程序来验证了会产生.crc的校验文件。这一篇给大家分享的是Hadoop的序列化! 一、序列化和反序列化概述 1.1、序列化和反序列化的定义 1)序列化:将结构化对象转换为字节流的过程,以便在网络上传输或写入到磁盘进行永久 阅读全文
posted @ 2017-10-22 21:20 华仔Coding 阅读(2607) 评论(0) 推荐(2) 编辑
摘要: 前言 上一篇我分享了Hadoop的压缩和编解码器,在我们开发的过程中其实是经常会用到的,所以一定要去掌握。这一篇给大家介绍的是Hadoop的数据完整性! Hadoop用户在使用HDFS储存和处理数据不会丢失或者损坏,在磁盘或者网络上的每一个I/O操作不太可能将错误引入自己正在读/写的数据中,但是如果 阅读全文
posted @ 2017-10-22 00:19 华仔Coding 阅读(2728) 评论(0) 推荐(2) 编辑
levels of contents