2019 年 6月 7 日随笔档案 - 林宇风

2019年6月7日

摘要： hadoopMapReduce 1. MapReduce流程 2. Shuffle流程 1. MapReduce流程 MapReduce流程切片: 对数据进行逻辑划分,默认大小是一个block块大小. 以文件为单位,所以注意小文件问题计算规则:Math.max(minSize, Math.min 阅读全文

posted @ 2019-06-07 22:43 林宇风阅读(193) 评论(0) 推荐(0)

Hadoop之HDFS读写流程

摘要： hadoophdfs 1. HDFS写流程 2. HDFS写流程 1. HDFS写流程 HDFS写流程副本存放策略: 上传的数据块后,触发一个新的线程,进行存放。第一个副本:与client最近的机器(基于性能考虑) 第二个副本:跨机器存放该副本(考虑数据安全性) 第三个副本:与第一个，第二个副本阅读全文

posted @ 2019-06-07 22:41 林宇风阅读(187) 评论(0) 推荐(0)