摘要:
训练一个模型时大家都需要面对一个问题:参数优化。通常,我们做参数优化时都会先导出一个cost function,然后通过调整参数值来最大化或最小化这个cost function。这个过程听起来很简单,但真的做起来是个剧恶心的体力活! 比方说你要用梯度方法做优化,得求一阶导二阶导吧,求得半死不活之后还 阅读全文
摘要:
通常学习器在训练集上的误差称为“训练误差”或“经验误差”,在新样本上的误差称之为“泛化误差”。显然,我们想得到泛化误差小的学习器。然而我们事先不知道新样本是什么,实际上能做的是努力使经验误差最小化。在很多情况下我们可以学习到一个经验误差很小的,在训练集上表现很好的学习器,但这是不是我们想要的学习器呢 阅读全文