单个Spill在内存中的 Inner Sort.

所有 spill 文件在 map结束时调用 mergeParts 进行归并.

未完待续...

TaskScheduler是作业调度器的抽象基类. 具体的实现有:

• JobQueueTaskScheduler: 默认的FIFO调度队列
• LimitTasksPerJobTaskScheduler: 扩展自JobQueueTaskScheduler, 可以对每个Job的task总数作限制.
• CapacityScheduler: Yahoo开发的一个基于容量的作业调度器
• FairScheduler: 公平调度器, 保证小任务得到快速响应, 大任务保证服务水平, 由facebook开发.

JobTracker维护一个TaskScheduler的实例,并托管其生命周期.

TaskScheduler实例伴随JobTracker一起构造

Code
    JobTracker(JobConf conf) throws IOException, InterruptedException {
        
        // 创建调度器
        Class<? extends TaskScheduler> schedulerClass = conf.getClass("mapred.jobtracker.taskScheduler",   
            JobQueueTaskScheduler.class, TaskScheduler.class);
        taskScheduler = (TaskScheduler) ReflectionUtils.newInstance(schedulerClass, conf);
        
    }

启动JobTracker的主方法中, 构造JobTracker对象并给taskScheduler设置TaskTrackerManager实例字段:

Code
public static JobTracker startTracker(JobConf conf) throws IOException, InterruptedException {
    JobTracker result = null;
    while (true) {
        
            result = new JobTracker(conf);
            // 给taskScheduler设置TaskTrackerManager实例
            result.taskScheduler.setTaskTrackerManager(result);
            break;
        
        Thread.sleep(1000);
    }
    if (result != null) {
        JobEndNotifier.startNotifier();
    }
    return result;
}

在offerService中回调其start()方法:

public void offerService() throws InterruptedException, IOException {
    taskScheduler.start();
    
}

taskScheduler在JobTracker.heartbeat方法中进行任务指派:

Code
public synchronized HeartbeatResponse heartbeat(TaskTrackerStatus status, 
    boolean restarted, boolean initialContact, 
    boolean acceptNewTasks, short responseId) throws IOException {
    
    // 如果当次心跳允许指派任务，且当前上报心跳的taskTracker可接收新task(传入的acceptNewTasks为true)
    //, 并且其不在黑名单中, 则进入调度
    if (recoveryManager.shouldSchedule() && acceptNewTasks && !isBlacklisted) {
        TaskTrackerStatus taskTrackerStatus = getTaskTracker(trackerName);
        if (taskTrackerStatus == null) {
            LOG.warn("Unknown task tracker polling; ignoring: " + trackerName);
        } else {
            List<Task> tasks = getSetupAndCleanupTasks(taskTrackerStatus);
            if (tasks == null) {
                // 调用具体的taskScheduler实现来为当前taskTracker指派任务
                tasks = taskScheduler.assignTasks(taskTrackerStatus);
            }
            if (tasks != null) {
                for (Task task : tasks) {
                    expireLaunchingTasks.addNewTask(task.getTaskID());
                    LOG.debug(trackerName + " -> LaunchTask: " + task.getTaskID());
                    actions.add(new LaunchTaskAction(task));
                }
            }
        }
    }
    ...
}

taskScheduler销毁:

void close() throws IOException {
    
    if (taskScheduler != null) {
        taskScheduler.terminate();
    }
    
}

taskScheduler中还有一个方法getJobsFromQueue(String queueName), 当前用于JobClient查询指定任务队列的Job信息.

TaskScheduler的实现的关键是分派任务的策略. 这体现在assignTasks方法中. TaskScheduler所需要的关于集群信息由
传入的TaskTrackerManager提供, TaskScheduler运行所需要的关于job的信息由JobQueueJobInProgressListener的Collection<JobInProgress> getJobQueue()方法提供.

JobQueueTaskScheduler是默认使用的TaskScheduler. 是一个单纯的FIFO.

其任务分配的规则相当简单:
对于Map任务:

1. 需要预留部分 task slot 以供失效任务，或应对边际效应的speculative任务之用.

2. 如果为当前TT找到 local task, 在不超过TT并发指标, 且满足集群task slot预留的基础上, 可继续为此 tt 分配 task.
    如果分配给当前TT的是remote task, 则当次分派完毕(也就是只会为当前TT分配一个任务)。

对于reduce任务:

  规则同上，不同之处在于不管有没有找到 local task, 每次heartbeat仅为给定 TT 分配一个task.

这里再补充一点信息, 在实际运营当中，当有某台机器的磁盘出现read only file-system时, 整个Job都会被挂死.
原因是因为机器任务失败后，其TaskTracker仍会不断和JobTracker进行心跳来领任务，而对于 ROFS这种情况，其后续Task的执行也必然错误.
这样，这个TT不断的错误，直到超过Job中容忍的错误上限时整个Job失败.个人觉得应该在JobInProcess作用域加入黑名单机制,当某台机器在当前Job中执行任务超过给定次失败时，则把其列入黑名单.

对于ROFS错误，要么是文件系统错误，要么是硬盘损坏。
对于文件系统错误，首先可以通过fsck进行文件系统修复，如果修复未果，只能重启，如果重启未果，则需要进行操作系统修复。
如果是磁盘损坏，若支持热插拔最好，否则只能关机换盘.

One of ASP.net’s most attractive features is the viewstate. It is a convienent way to store arbitrary data in a persistent mechanism. In fact, it’s rather like PHP’s $_SESSION array.

There is, however, one difference. $_SESSION is unique to a user but is reused across pages. With only one window to your website, the two preform the same function. But if a user has multiple tabs or windows, $_SESSION can change in between what would otherwise be two successive page loads.

The viewstate has two functions:

1. Storing properties for controls and forms,
2. Storing arbitrary data

The viewstate is responsible for ensuring a red label is still red (and doesn’t default back to black) between page loads. Controls and forms manage this transparently from the developer (excluding a non-obtrusive ViewState property on controls). There is also a viewstate on the page object. It will act like a dictionary, allowing you to save arbitrary data to it.

The viewstate is a magical thing, and it achieves that through indirection. It is what separates a browser form submission from a user actually preforming an action. Prado and Fortitude both duplicate this functionality in PHP.

For a full example, take a look at Fortitude Form’s code. But for today’s purposes, I just wanted to demonstrate how to create a simple viewstate in PHP.

<?php
if (array_key_exists ("viewstate", $_POST)) {
$viewstate = unserialize (base64_decode ($_POST["viewstate"]));
$viewstate->count++;
} else {
$viewstate = new stdObject;
$viewstate->count = 0;
}
?>
<html>
<body>
Page-load count: <?=$viewstate->count;?>
<form method="post" action="?">
<input type="hidden" value="<?=base64_encode(serialize($viewstate));?>" name="viewstate" />
<input type="submit" value="Increment" />
</form>
</body>
</html>

It preforms very similarily to $_SESSION. Although I used an object, it works just as well with an array. But it accomplishes a separate scope for each page. Frequently in PHP, pagination results are placed in $_SESSION, but that means only one set can be used at a time without butchering the rest. In a page scope, any manipulations can be done at will. And that exposes the real difference between the two: global things, like login operation or options, should be set in $_SESSION. Local, page-level or temporary things should be set in the page’s viewstate. Opening two or three or even one hundred twenty copies of that script will maintain that many instances of $viewstate->count. $_SESSION maintains only one.

Note that the security problems the ExtremeExperts article mentions are just as true with PHP as ASP.net. A manipulative user could set viewstate to a custom crafted value and disrupt the applications expectations. But that just means judicious amounts of validation are required before consuming viewstate on postbacks. Both ASP.net and PHP’s viewstate can be made secure.

/Files/OnlyXP/google_cpp_guide.pdf

最早的时候有一个浏览器叫NCSA Mosaic，把自己标称为NCSA_Mosaic/2.0 (Windows 3.1)，它支持文字显示的同时还支持图片，于是Web开始好玩起来。

然后出现了一个新的网页浏览器，“Mozilla”，其实就是“Mosaic终结者”的意思，这搞的Mosaic很不爽，(毕竟Mosaic出道早，江湖老)，新浏览器最后正式公布的名称是Netscape，它把自己标称为Mozilla/1.0 (Win3.1)，更好玩了。Netscape支持框架显示，后来框架在大家中间流行起来了，但Mosaic不支持框架啊，于是伟大的“用户代理人探测”技术出现了，如果是“Mozilla”，那就发给支持框架的页面，至于其他的浏览器，则发给不含框架的页面。

Netscape想逗Microsoft玩儿，把Windows叫做“几乎不曾做过调试的设备驱动器”，后者很恼火。Microsoft于是推出了自己的网页浏览器，叫做Internet Explorer，希望它能成为“Netscape终结者”。Internet Explorer也支持框架，但它不是Mozilla啊，所以没人给它发送带有框架的页面。Microsoft慢慢烦躁起来，不再寄希望于网站管理员逐渐认识IE并给它发框架，而是宣称自己是“兼容Mozilla”的，开始模仿Netscape，把自己标称为Mozilla/1.22 (compatible; MSIE 2.0; Windows 95)，这样Internet Explorer也能收到框架了，整个Microsoft狂喜，但网站管理员开始有点被搞糊涂了。

Microsoft把IE和Windows一起卖，并且把产品也弄得比Netscape更好了，拉开了第一场浏览器之战。结果和大家知道的一样，Netscape被干掉了，Microsoft大胜、大喜。但是后来Netscape以Mozilla的新名称重生了，构造了Gecko，标称其为Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.1) Gecko/20020826，Gecko属于渲染引擎，表现优异。Mozilla开发了Firefox，标称为Mozilla/5.0 (Windows; U; Windows NT 5.1; sv-SE; rv:1.7.5) Gecko/20041108 Firefox/1.0，并且Firefox表现也非常优秀。Gecko扩张迅速，一些浏览器使用了它的代码并标称为Mozilla/5.0 (Macintosh; U; PPC Mac OS X Mach-O; en-US; rv:1.7.2) Gecko/20040825 Camino/0.8.1 ，这是一个，还有Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.8) Gecko/20071008 SeaMonkey/1.0，另一个，它们都伪装成Mozilla，同时也都是基于Gecko支持的。

Gecko表现优秀，IE则很差劲，于是身份甄别再次发生，输送给Gecko的是设计良好的网页代码，其他浏览器就没有这个待遇了。Linux的跟随者很伤心，因为他们创建了基于KHTML引擎支持的Konqueror，但却不会被输送好代码，虽然他们自己认为KHTML和Gecko一样优秀，于是Konquerer开始伪装自己“像Gecko”那样以得到好的网页，并标称自己为Mozilla/5.0 (compatible; Konqueror/3.2; FreeBSD) (KHTML, like Gecko)，这个世界更让人困惑了.

后来出现了Opera这样的主儿，宣称“允许用户自己决定让浏览器装成谁”，它的菜单中提供了Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.51， Mozilla/5.0 (Windows NT 6.0; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.51，Opera/9.51 (Windows NT 5.1; U; en)供大家来选择，选谁是谁。

Apple开发了Safari，使用了KHTML，同时也增加了很多新特性，后来干脆一锅煮，另起炉灶叫了WebKit，但是它有希望能够得到那些为KHTML编写的网页，于是Safari标称自己为Mozilla/5.0 (Macintosh; U; PPC Mac OS X; de-de) AppleWebKit/85.7 (KHTML, like Gecko) Safari/85.5，这个世界更混乱了。

Microsoft越来越担心Firefox的发展，重新启动了Internet Explorer的开发，标称自己为Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0) ，可以很好的渲染代码，但那要看网站管理员是否指示它这么做。

Google也开发了自己的浏览器Chrome，使用了Webkit，有点像Safari，希望能得到为Safari编写的网页，于是决定装成Safari。这样啊，Chrome使用了WebKit渲染引擎，想装成Safari，而WebKit呢又伪装自己是KHTML，KHTML呢又是伪装成Gecko的，同时所有的浏览器又都宣称自己是Mozilla，于是，Chrome宣称自己是Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13,，UserAgent字符串彻底混乱了，也几乎不再发挥任何作用，每个人都宣称自己是别人，混乱充斥人间啊。