深度学习网络调优

深度学习网络调优
最近github新出来的调优方法指导，感觉蛮厉害。

深度调优

启动新项目指南

选择模型体系结构

尝试用已经完善的、成熟的架构来开展工作。
最好是有论文指导。

选择优化器

尝试用成熟、流行的优化器开始。选择相同类型中最流行的优化器。
Adam和NAdam优化器更常见更好一点

选择批次尺寸

一般来说最理想的批次尺寸是硬件所支持最大的尺寸。

选择初始配置

找一个简单，相对快速，相对获得合理结果的低资源消耗配置。先跑几步看看效果。

提高模型性能的科学方法

增量调优策略

从简单的配置开始、逐步改进，同时对问题有衡量，确保改进的添加都是有意义的。

勘探与开发

我们的主要目标是深入了解问题

选择下一轮实验的目标

每一轮实验都应该有一个明确的目标，而且预设的范围有小，这样可以让实验能按照我们设计的路走。

设计下一轮实验

明确优化超参数，设计不同的试验来比较不同超参数的影响效果。

确定是采用训练管道更改还是 超参数 配置

在训练模型进行改变以及超参数配置，需要指导结果的不同是从哪里引起的。

探索结束后

用贝叶斯优化工具去寻找最佳参数配置。

确定每个训练运行的步数

确定训练不受计算限制时的训练时间

看损失是不是趋于平稳

确定训练受计算限制时训练多长时间

看我们的耐心了，愿意等多久

培训管道的其他指南

优化输入管道

根据任务来

评估模型性能

用一个比训练更大批量的数据进行验证，看看性能。要以步数为间隔。

保存检查点并回顾性地选择最佳检查点

保存固定步骤运行结构，选择最佳

设置实验跟踪

要对试验进行详尽的记录，这样看起来都好看

批量规范化实现详细信息

LayerNorm好用一些

多主机管道的注意事项

多主机会引入一些未知问题

posted @ 2023-02-03 11:28  赫凯  阅读(41)  评论(0)    收藏  举报