调参需要调什么参数呢

调参需要调什么参数呢?
参考依据什么?
调参顺序是怎样的?

---

 一、需要调节的主要参数（超参数）
1. 学习率（Learning Rate）
作用：控制模型在每次更新权重时的步长。
参考依据：太大会导致震荡不收敛，太小会训练慢、陷入局部最优。
建议范围：0.1 ~ 1e-5，常用 0.001、0.01、0.0001。
2. 批量大小（Batch Size）
作用：决定每次梯度更新所用的样本数。
参考依据：影响训练速度和内存占用，小批量有助于泛化，大批量训练快但泛化可能差。
建议范围：32、64、128、256 等。
3. 优化器（Optimizer）
作用：决定权重如何更新。
常见选择：SGD with Momentum、Adam、RMSprop、AdamW。
参考依据：Adam 通常作为默认选择；AdamW 更适合带正则化的任务。
4. 网络结构相关参数
层数（Depth）
每层神经元数量（Width）
激活函数（如ReLU、LeakyReLU、GELU）
归一化方法（BatchNorm、LayerNorm）
5. 正则化参数
Dropout 率：0.2 ~ 0.5
L2正则化系数（Weight Decay）：1e-4 ~ 1e-2
早停法（Early Stopping）：监控验证集损失提前终止训练
6. 学习率调度器（Learning Rate Scheduler）
作用：动态调整学习率，如余弦退火、Step LR、ReduceLROnPlateau。
参考依据：根据训练曲线调整，防止过拟合或震荡。
7. 训练轮数（Epochs）
作用：控制训练的总轮数。
参考依据：结合早停法动态调整，避免过拟合。
--------------------------------------------------------------------------------
 二、调参的参考依据
验证集损失（Validation Loss）：主要指标，反映模型泛化能力。
训练集损失（Training Loss）：观察模型是否收敛。
准确率/其他任务指标（如F1、IoU等）：根据任务类型选择。
过拟合/欠拟合现象：
过拟合：训练损失低，验证损失高 → 增加正则、数据增强。
欠拟合：训练和验证损失都高 → 增大学习率、模型容量。
--------------------------------------------------------------------------------
三、调参顺序建议（由粗到细）
确定模型结构与任务可行性
检查数据是否能完成任务，是否需要预处理。
设定合理的学习率与优化器
先固定学习率（如0.001），观察训练曲线。
调整批量大小
在内存允许范围内选择合适的 batch size。
逐步增加模型复杂度
从简单网络开始，逐步增加层数、神经元数。
加入正则化手段
如Dropout、L2正则、BatchNorm等，防止过拟合。
引入学习率调度器
使用余弦退火、Step LR、ReduceLROnPlateau等策略。
微调所有参数
使用更精细的搜索方法（如随机搜索、贝叶斯优化）。

---

格点搜索法适用于深度学习中的参数选择吗?
格点搜索法理论上适用于深度学习的参数选择，但由于其高计算成本和低效率，在实际应用中不推荐用于大规模深度学习模型，更适合使用随机搜索或贝叶斯优化等更高效的调参方法。

系统学习深度学习有什么建议呢(书,教程等)
《深度学习》（Deep Learning）
作者：Ian Goodfellow, Yoshua Bengio, Aaron Courville
特点：深度学习领域经典教材，涵盖数学基础、模型结构、优化方法等，适合有一定数学和机器学习基础者。
《神经网络与深度学习》（Neural Networks and Deep Learning）
作者：Michael Nielsen
特点：在线免费书籍，图文并茂，适合初学者，强调直观理解。
《动手学深度学习》（Dive into Deep Learning, D2L）
作者： Aston Zhang 等
特点：中英文双语，配套 PyTorch、MXNet、TensorFlow 多版本代码，理论与实践结合。

# 推荐学习方式：Jupyter Notebook交互式实验
# 1. 使用现成框架快速验证
model = torch.hub.load('pytorch/vision', 'resnet50', pretrained=True)

# 2. 从零实现关键算法（如手写Transformer）
class SelfAttention(nn.Module):
    def __init__(self, embed_size):
        super().__init__()
        self.query = nn.Linear(embed_size, embed_size)
        # 完整实现见：http://nlp.seas.harvard.edu/annotated-transformer/

不要过早陷入框架对比（PyTorch/TF选1个精通）
避免"教程收集癖"，选定1-2个课程坚持完成
数学推导遇到障碍时，先通过可视化理解（如CNN可视化工具：CNN Explainer）

adam sgd

留一验证