mindspore速度太慢的问题

现象

mindspore模型训练太慢

原因

mindspore中dense和layernorm在float32精度下优化下有问题

解决办法

第一种方法

在遇到dense和layernorm使用float16精度

# dense
nn.Dense(config.hidden_size, config.hidden_size, activation="tanh",
                               weight_init='Uniform', bias_init='Uniform').to_float(mindspore.float16)
# layernorm
nn.LayerNorm((config.hidden_size,), epsilon=config.layer_norm_eps).to_float(mindspore.float16)

第二种方法

将model整个使用float16精度

netwithloss = LukeModel(config).to_float(mindspore.float16)