MrCharles

摘要： Charles所有关于hadoop的文章参考自hadoop权威指南第四版预览版 大家可以去safari免费阅读其英文预览版。本人也上传了PDF版本在我的资源中可以免费下载，不需要C币,点击这里下载。对于某些应用，... 阅读全文

摘要： 前瞻：本文介绍ObjectWritable，集合Writable以及自定义的Writable TextPair回顾：前面了解到hadoop本身支持java的基本类型的序列化，并且提供相应的包装实现类：这并不是包含... 阅读全文

摘要： 前瞻：本文介绍ObjectWritable，集合Writable以及自定义的Writable TextPair回顾：前面了解到hadoop本身支持java的基本类型的序列化，并且提供相应的包装实现类：这并不是包含了所有的java数据类型，比如我们要序列化的对象是Object类型的，或者是常用的集合类... 阅读全文

摘要： 回顾：回顾序列化，其实原书的结构很清晰，我截图给出书中的章节结构：序列化最主要的，最底层的是实现writable接口，wiritable规定读和写的游戏规则 （void write(DataOutput out)... 阅读全文

摘要： 回顾：回顾序列化，其实原书的结构很清晰，我截图给出书中的章节结构：序列化最主要的，最底层的是实现writable接口，wiritable规定读和写的游戏规则（voidwrite(DataOutputout)throwsIOException;voidreadFields(DataInputin)th... 阅读全文

摘要： 初学java的人肯定对java序列化记忆犹新。最开始很多人并不会一下子理解序列化的意义所在。这样子是因为很多人还是对java最底层的特性不是特别理解，当你经验丰富，对java理解更加深刻之后，你就会发现序列化这种... 阅读全文

摘要： 初学java的人肯定对java序列化记忆犹新。最开始很多人并不会一下子理解序列化的意义所在。这样子是因为很多人还是对java最底层的特性不是特别理解，当你经验丰富，对java理解更加深刻之后，你就会发现序列化这种东西的精髓。谈hadoop序列化之前，我们再来回顾一下java的序列化，也是最底层的序列... 阅读全文

摘要： 想想一下，当你需要处理500TB的数据的时候，你最先要做的是存储下来。你是选择源文件存储呢？还是处理压缩再存储？很显然，压缩编码处理是必须的。一段刚刚捕获的60分钟原始视屏可能达到2G，经过压缩处理可以减至500MB左右，一张单反照片可能有5MB，经过压缩之后只有400KB，而质量不会发生明显的损失... 阅读全文

摘要： 想想一下，当你需要处理500TB的数据的时候，你最先要做的是存储下来。你是选择源文件存储呢？还是处理压缩再存储？很显然，压缩编码处理是必须的。一段刚刚捕获的60分钟原始视屏可能达到2G，经过压缩处理可以减至500... 阅读全文

摘要： （本文引用了microheart，ggjucheng的一些资料，在此感谢。charles觉得知识无价，开源共享无价）这一次我们接着分析文件IO校验的相关代码，看看最底层是如何实现这种大数据集的文件校验的，不得不说设计这个系统的程序员是世界上最具有智慧的一群人，面对复杂难解的问题总是可以找到很好的解决... 阅读全文