loss不下降原因
摘要:目录训练集loss不下降1.模型结构和特征工程存在问题2.权重初始化方案有问题3.正则化过度4.选择合适的激活函数,损失函数5.选择合适的优化器和学习速率6.训练时间不足7.模型训练遇到瓶颈8.batch size过大9.数据集未打乱10.数据集有问题11.未进行归一化12.特征工程中对数据特征的选
阅读全文
多卡改单卡
摘要:os.environ["CUDA_VISIBLE_DEVICES"] = '0' os.environ['MASTER_ADDR'] = 'localhost' os.environ['MASTER_PORT'] = '5678' torch.distributed.init_process_gro
阅读全文