摘要：
Yarn生产环境核心参数 阅读全文
posted @ 2022-01-19 19:24
Zhbeii
阅读(34)
评论(0)
推荐(0)
摘要：
MapReduce MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 多个溢出文件会被合并成大的溢出文件 在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序 ReduceTask根据自己的分区 阅读全文
posted @ 2022-01-19 19:05
Zhbeii
阅读(47)
评论(0)
推荐(0)
摘要：
缺点： 存储层面：1个文件块，占用namenode多大内存150字节 128G能存储多少文件块？ 128 g* 1024m1024kb1024byte/150字节 = 9.1亿文件块 每个小文件都有一份元数据，其中包括文件路径，文件名，所有者，所属组，权限，创建时间等，这些信息都保存在Namenod 阅读全文
posted @ 2022-01-19 19:02
Zhbeii
阅读(297)
评论(0)
推荐(0)
摘要：
简介 定义： HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关 阅读全文
posted @ 2022-01-19 16:51
Zhbeii
阅读(104)
评论(0)
推荐(0)
摘要：
 阅读全文
posted @ 2022-01-19 10:59
Zhbeii
阅读(20)
评论(0)
推荐(0)
浙公网安备 33010602011771号