随笔分类 -  机器学习

摘要：[TOC] 前言 前两篇博客（ "从贝叶斯角度理解正则化" 、 "正则化" ）分别介绍了提前终止法和正则化法。 它们可以近似等价的吗？怎么近似等价？ 左边这张图轮廓线表示负对数似然函数的轮廓，虚线表示从原点开始的SGD所经过的轨迹。提前终止法的轨迹在较早的$\tilde \omega $点终止，而不 阅读全文

摘要：[TOC] 前言 上一篇： "正则化" 下一篇： "贝叶斯正则化与提前终止法关系" 1.贝叶斯法则 贝叶斯法则： $P(A|B) = \frac{P(B|A)P(A)}{P(B)}$ $P(A)$称为先验概率（反映在已知$B$之前对事件$A$的认知）；$P(A|B)$称为后验概率（反映在已知$B$之 阅读全文

摘要：[TOC] 1.引言 什么是泛化呢？ 先举个栗子： 小明和小李都上了高三。小明头脑机灵，一边刷着五年高考三年模拟一边总结做题规律，而小李一门心思刷题，一套完了又一套，刷的试卷堆成山了却没有对错题进行总结。高考结束成绩公布，小明超出一本线几十分，而小李却勉强上了二本线。这是为什么呢？ 原来高考试题一般 阅读全文

摘要：文章目录 1.泛化问题 2.一些方法 3.提前终止法 4.正则化法 4.1定义 4.2 对正则化理解 4.3正则化法分类 4.3.1 L1/L2正则化法 4.3.2 Dropout法 4.3.3 从贝叶斯角度理解正则化 5.提前终止法与正则化法之前关系 参考资料 1.泛化问题 上一篇文章深入理解泛化 阅读全文