自动驾驶网络大学课程W6L2 算网一体

AI for Networking, Networking for AI.

本周第二节课程的主题还是算网一体之在网计算来加速AI的计算。

本周课程学习材料通过利用NETFPGA平台，通过特别设计的以太网封装的报文，讲强化学习中梯度计算的指令和数据封装在以太网报文中，利用NETFPGA实现参数的汇聚。文章提出的具体实现针对同步和非同步的强化学习都取得了不错的加速效果。

结论部分的机器翻译：

在本文中，我们首先量化了分布式RL训练的性能开销，并提出了一种交换机内计算范式，即iSwitch，以消除网络瓶颈通过提供一整套解决方案:(1)交换机内汇聚加速器，减少端到端通信开销;(2)同步和异步分布式RL训练的加速支持，提高了并行性;并(3)分级

为机架规模集群设计，以扩展分布式RL培训。在不同RL工作负载下的实验表明，iSwitch提供了高达3.66倍的系统级同步加速与最先进的方法相比，分布式训练为3.71×异步分布式训练。