文章分类 -  台湾大学课程

摘要：在上一讲中，我们了解到线性回归和逻辑斯蒂回归一定程度上都可以用于线性二值分类，因为它们对应的错误衡量(square error, cross-entropy) 都是“0/1 error” 的上界。1、 三个模型的比较1.1 分析Error Function本质上讲，线性分类（感知机）、线性回归、逻辑... 阅读全文

摘要：1、 线性回归问题例如，信用卡额度预测问题：特征是用户的信息（年龄，性别，年薪，当前债务，...），我们要预测可以给该客户多大的信用额度。 这样的问题就是回归问题。目标值y 是实数空间R。线性回归假设：线性回归假设的思想是：寻找这样的直线/平面/超平面，使得输入数据的残差最小。通常采用的error ... 阅读全文

摘要：当我们面对的问题不是完美的（无噪音）二值分类问题，VC 理论还有效吗？1、噪音和非确定性目标几种错误：(1) noise in y: mislabeled data; (2) noise in y: different labels for same x; (3) noise in x: error... 阅读全文

摘要：前面的分析都是基于“线性假设“，它的优点是实际中简单有效，而且理论上有VC 维的保证；然而，面对线性不可分的数据时（实际中也有许多这样的例子），线性方法不那么有效。1、二次假设对于下面的例子，线性假设显然不奏效：我们可以看出，二次曲线（比如圆）可以解决这个问题。接下来就分析如何通过二次曲线假设解决线... 阅读全文

摘要：1、什么是过拟合(overfitting)简单的说就是这样一种学习现象：Ein 很小，Eout 却很大。而Ein 和 Eout 都很大的情况叫做 underfitting。这是机器学习中两种常见的问题。上图中，竖直的虚线左侧是"underfitting", 左侧是"overfitting”。发生ov... 阅读全文

摘要：1、正则化：Regularization发生overfitting 的一个重要原因可能是假设过于复杂了，我们希望在假设上做出让步，用稍简单的模型来学习，避免overfitting。例如，原来的假设空间是10次曲线，很容易对数据过拟合；我们希望它变得简单些，比如w 向量只保持三个分量（其他分量为零）。... 阅读全文