AI-1

数据 ---》 算法（模型）---》 预训练

单个GPU无法完成训练的任务，需要多个GPU 

把训练任务做切分，然后并行运行

模型不大，数据很大时，把数据做切分 ， 每个GPU处理切分的一个分片的数据 ； 数据并行

模型很大，则用模型并行， 方式有： tensor, 流水线，专家并行

 

精度： 参数

 

精度： 模型参数的数值表示形式