自动驾驶网络大学课程W9L2 自动驾驶网络II

第9周，第2堂课，没课。

用这个时间读了一下课程推荐的阅读材料“网络能为AI加速吗”。

材料从对NN网络的计算需求的分析开始，NN分为训练和推理两种不同的任务，训练依靠定制的并行处理机制，而推理对实时性有要求，训练和推理可以部署在不同的设备上，训练的结果作为参数输入给推理设备。

材料接着对推理的需求进行分析，NN的每个层之间的输入和输出的参数的数量是不同的，有些层输入不多、但是输出的参数数量很大。

如果推理的任务在不同计算 节点之间的划分能考虑参数的条件，并且利用网络设备如SmartNIC对NN计算进行加速，可以获得比较好的效果。

结论：

虽然还远远没有实现完整的系统，但我们的研究和早期原型表明，一些工作负载确实可能被卸载到网络设备上，这是有原因的  

这样做，特别是当需要关注端到端处理延迟时。 特别是，在处理NN的全连接层时，cpu的速度受到内存访问时间的限制。 因此，在停顿周期中浪费了很大一部分CPU计算能力。 将这些层的执行任务转移到网络设备上，可以提高整体基础设施的效率，将cpu释放出来，处理更多计算密集型的工作负载。 尽管如此，BaNaNa Split方法的适用性仍然需要解决神经网络模型优化研究和网络设备架构方面的公开挑战。