基于贝叶斯优化的超参数tuning

https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/

 

贝叶斯优化:使用高斯过程作为代理函数,并且通常优化提升幅度的期望Expected Improvement(新试验相对当前最好观测的提升的期望)。高斯过程是一组函数的分布。高斯过程中的一个样本包括一组函数。训练高斯过程会拟合训练数据的分布,因此能产生和观测数据相近的函数。使用高斯过程,我们可以计算搜索空间中任意点的期望提升。然后将期望提升最高的点应用于下一组实验。贝叶斯优化通常能给出非平凡的、不位于grid边界的连续超参数的估计(比如学习率,正则系数等),并且已经验证在某些benchmark上能够超过人类选出的参数。贝叶斯优化的一个有名的实现是Spearmint.

posted @ 2017-12-17 20:37  Avril  阅读(...)  评论(...编辑  收藏