MindSpore分布式并行训练—自动并行架构介绍（二）全自动并行

全自动并行

为了进一步帮助用户更加快速的并行训练网络，MindSpore引入了并行切分策略自动搜索的特性。MindSpore近似计算出不同数据量不同算子在不同切分策略下的训练时间，通过动态规划算法自动搜索出在一定内存阈值下性能最优的切分策略。搜索策略代替了用户手动指定模型切分，在较短的时间内得到高性能的切分方案，降低了运行并行训练的使用门槛。

MindSpore同时实现了自动微分，使得其可以自动生成分布式反向传播，避免了手动微分。用户只需要关注网络的前向传播即可，无需手动计算通信过程反向梯度。

用户仅需一行代码便可以实现单机脚本的全自动分布式并行。