MIT6.824之MapReduce实现

MIT6.824之MapReduce实现

这篇文章主要是大致分析一下MapReduce的实现，具体代码见Github(https://github.com/iloveacm4/mapReduce)

首先，依照MIT的lab已经给出了大致代码。

我们的实现主要分为两个部分，master.go 和 worker.go。另外还定义了用于RPC的结构rpc.go

// Master 结构体
type Master struct {
	// Your definitions here.
	AllFilesName        map[string]int	  //记录文件名
	MapTaskNumCount     int
	NReduce             int               // 记录需要生成的Reduce task数量
	InterFIlename       [][]string        // intermediate file
	MapFinished         bool
	ReduceTaskStatus    map[int]int      // 记录Reduce状态
	ReduceFinished      bool              // 记录是否完成reduce，完成后任务结束
	RWLock              *sync.RWMutex
}

//两个chan用来存放map任务 和 Reduce任务
var maptasks chan string          // chan for map task
var reducetasks chan int          // chan for reduce task

//master.go

//前期准备工作

func MakeMaster(files []string, nReduce int) *Master {} //初始化Master结构体，开启server服务，会调用master.server()

func (m *Master) server() {} //注册RPC，调用generateTask()产生任务，等待worker发来的任务请求

func (m *Master) generateTask() {} //将Master结构体中AllFileName所有文件加载入 maptasks, 再处理完成后，再加载reduce任务进入reducetasks


// 接受远程调用，为worker分配任务

func (m *Master) MyCallHandler(args *MyArgs, reply *MyReply) error {} //负责接受worker发来的请求，有三种请求MsgForTask，
//一是请求任务，请求map任务以及请求reduce任务，根据不同的请求作不同的处理。需要设置reply为相应的值。并且运行一个守护协程timerForWorker()
//二是请求结束map任务MsgForFinishMap，用来通知master map任务结束。设置AllFileName[filename]为Finished状态
//三是请求结束reduce任务MsgForFinishReduce。同样需要设置ReduceTaskStatus[index]为Finished状态


func (m *Master)timerForWorker(taskType, identify string){} //设置定时器为10秒，10秒内完成了任务，则设置相应的任务为Finished
//否则重新将任务设置为未完成状态并加入相应的任务队列

//worker.go

func Worker(mapf func(string, string) []KeyValue, 
            reducef func(string, []string) string) {} //主函数，死循环，不断地调用CallForTask()函数请求任务，并根据master分配的
												  //任务类型调用mapInWorker(), 或者reduceInWorker()


func CallForTask(msgType int,msgCnt string) MyReply {} // 调用RPC，返回请求到的任务


func mapInWorker(reply *MyReply,mapf func(string, string) []KeyValue) {} 
//调用mapf做map任务， 并调用WriteToJSONFile()写入JSON文件中，																   
//调用SendInterFiles，表明已处理到中间状态																  
//并调用CallForTask(MsgForFinishMap, reply.Filename)表明结束该任务

func reduceInWorker(reply *MyReply, reducef func(string, []string) string) {} 
//与mapInWorker同理
//统计的原理是按照key排序，然后遍历统计

func SendInterFiles(msgType int, msgCnt string, nReduceType int) MyReply {}
//发送中间文件到master表明位置