2024年11月4日
mapreduce流程
摘要： * 客户端通过hadoop fs -put/bigdata命令 将元数据切分成块存放在HDFS上，且每一个块我们给大小128M * 之后我们将每一个block块通过逻辑切片，切成一个个split()切片，一般，我们的默认切片大小跟block块保持一致，如果我们读到最后一个block块， 与前一个bl 阅读全文
posted @ 2024-11-04 21:19 wang_jun 阅读(278) 评论(0) 推荐(0)
hadoop
摘要： google三篇论文 GFS MapReduce数据计算 BigTable 什么是hadoop? ：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。 **Hadoop Common**：基础型功能 **Hadoop Distributed File System (HDFS™)**：一 阅读全文
posted @ 2024-11-04 00:00 wang_jun 阅读(278) 评论(0) 推荐(0)