超参数选择方法

(个人学习所用，内容来源于网络，侵权删)

• 猜测和检查

根据直觉选择一个超参数，看是否有效，持续进行。

• 网格搜索

设置一定范围均匀分布的一组值，挨个尝试。

• 随机搜索

让计算机随机挑选一组值。

• 贝叶斯优化

使用像MATLAB的bayesopt之类的工具来自动选择最佳参数，然后你会发现贝叶斯优化比你的机器学习算法有更多的超参数，你变得沮丧，然后回头使用猜测和检查或网格搜索。

• 在有一个良好的初始猜测的前提下进行局部优化

这就是MITIE的方法，它使用BOBYQA算法，并有一个精心选择的起始点。由于BOBYQA只寻找最近的局部最优解，所以这个方法是否成功很大程度上取决于是否有一个好的起点。在MITIE的情况下，我们知道一个好的起点，但这不是一个普遍的解决方案，因为通常你不会知道好的起点在哪里。从好的方面来说，这种方法非常适合寻找局部最优解。

• 超参数搜索一般过程

1. 将数据集划分成训练集、验证集及测试集。
2. 在训练集上根据模型的性能指标对模型参数进行优化。
3. 在验证集上根据模型的性能指标对模型的超参数进行搜索。
4. 步骤 2 和步骤 3 交替迭代，最终确定模型的参数和超参数，在测试集中验证评价模型的优劣。

其中，搜索过程需要搜索算法，一般有：网格搜索、随机搜过、启发式智能搜索、贝叶斯搜索。

参考来源：
超参数选择方法