自动驾驶网络大学课程W5L2

本周的课程都是真正和ML在网络中的应用有关系的。第一课是基于ML的算法预测网络情况实现的视频自适应可变速率编码。

本节课的内容是基于ML训练的模型算法来实现一个spark集群里面的不同任务的调度。

任务和任务之间千差万别，各自需要完成的时间也不同，不同的任务也有不同的分阶段和并行处理的不同要求，简单的人工配置调度参数不能将集群的利用率做到最高，ML的方法训练模型来完成这个任务是比较靠谱的做法，从文章披露的结果看也达到了预期的目标。

具体过程就不看了，还是放个结论：

Decima证明了利用强化学习自动学习复杂的集群调度策略是可行的，学习策略是灵活和高效的。Decima的学习创新，如图嵌入技术和流训练框架，可能适用于其他处理DAG的系统(如查询优化器)。我们将在ttps://web.mit.edu/decima上开放Decima、我们的模型和实验基础设施的源代码。