随笔分类 - Machine Learning
摘要：在上一节我们得到了转换后的优化问题： \[ \min_{w,b} \frac{1}{2}||w||^2\\ s.t. \hat\gamma^{(i)}\ge \hat\gamma = 1 \] To be more general, 它具有这样的形式： \[ min_{w} \quad f(w)\\
阅读全文
摘要：在构建线性分类器的时候，我们希望找一个决策边界将 positive examples 和 negative examples 较好地分开。对于一个 example, 我们希望分类的时候尽可能 correct (归到正确的一边) and confident (离决策边界尽可能远)。这就是 baby S
阅读全文
摘要：前面我们学习的都是 discriminant learning algorthm, 直接对 \(p(y|x)\) 进行建模，或直接学习 \(X \to Y\) 的映射。GDA 和 naive bayes 是 generative learning algorithm, 对 \(p(x |y)\) 建
阅读全文
摘要：前面的逻辑回归和线性回归其实都可以归结为一类更加广泛的模型 ： Generalized Linear Model. 首先要了解指数族分布，它们满足如下的形式： \[ p(y;\eta) = b(y)exp(\eta ^TT(y) - a(\eta)) \] 在 GLM 中，\(T(y) = y\)
阅读全文
摘要：接上节，从概率论的角度来说明使用残差平方和作为 cost function 的合理性。 首先我们假设 \(y^{(i)} = \theta^Tx^{(i)} + \epsilon^{(i)}\) 其中 \(\epsilon^{(i)}\) 是独立同分布的随机变量，都服从正态分布，均值为 0， 方差为
阅读全文
摘要：线性模型是监督学习中的一种最简单的模型。 在监督学习中，我们将数据集喂给学习算法，学习算法输出一个函数 (hypothesis), 然后我们用这个 hypothesis 来进行预测和决策。 因此首先需要考虑如何表示这个 hypothesis 。线性模型中我们使用线性函数 i.e. \(h(x) =
阅读全文
摘要：统计学习方法的三要素是 模型 + 策略 + 算法。 模型 统计学习的过程就是在假设空间中搜索，确定最终模型的过程。模型（某个形式）确定了假设空间（某个函数族），比如：假设最后决策函数的形式是线性函数，那么就确定了假设空间是线性函数组成的函数族，一般由一个参数向量 \(\theta\) 确定。 策略
阅读全文
浙公网安备 33010602011771号