MindSpore分布式并行训练—自动并行架构介绍(一)概述
3. 自动并行架构介绍
MindSpore设计了一套自动并行的方案,解决了手动并行架构的现实困难。
该方案实现了数据并行&模型并行的混合并行训练。而且可以根据训练时间建立代价模型,为用户选择最优的训练模式,以算子为粒度切分模型到设备集群自动运行,实现自动并行分布式训练。
该方案将开发人员与算法科学家从模型细节中解放出来,提高了算法研发效率。
MindSpore提供的自动混合并行方案具有以下优势:
- 算子自动切分
- 整图自动切分
- 集群拓扑感知调度
- 最优切分策略自动调整