摘要：
一、序列化含义 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 二、序列化的背景 一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对 阅读全文
posted @ 2021-09-06 17:37
年少纵马且长歌
阅读(58)
评论(0)
推荐(0)
摘要：
一、MapReduce基本含义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 二、MapReduce优缺 阅读全文
posted @ 2021-09-06 16:51
年少纵马且长歌
阅读(180)
评论(0)
推荐(0)
摘要：
一、 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生 阅读全文
posted @ 2021-09-06 14:30
年少纵马且长歌
阅读(158)
评论(0)
推荐(0)
摘要：
一、HDFS写数据流程 #1.客户端通过Distributed File System模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 #2.NameNode返回是否可以上传。 #3.客户端请求第一个 Block上传到哪几个DataNode服务器上。 #4 阅读全文
posted @ 2021-09-06 14:13
年少纵马且长歌
阅读(112)
评论(0)
推荐(0)
浙公网安备 33010602011771号