map

inputFormate分块

 

 

小文件切割

CombineTextInputFormat

 

读取文件----map阶段解析成key/value(kv键值储存)---在环形缓冲区(100mb)---spill阶段环形缓冲区满80%溢出写入到本地磁盘(快速排序)-----然后归并排序合并成一个文件(指针做对比放谁小谁先放到里面)

 

 

 

 

 

 

先进行copy把partiition拷贝过来---进行归并排序合并成一个文件(和前面的map一样)----copy和合并是同时进行的

 

 

 

 

 

环球缓冲区

 

 

 

快速排序    每次都能确定一个数的位置

 

 19

 

 

 

 

 

 

 

posted @ 2022-11-13 22:00  huang5209  阅读(8)  评论(0)    收藏  举报