摘要：学习理论： 偏差方差权衡（Bias/variance tradeoff） 训练误差和一般误差（Training error & generation error） 经验风险最小化（Empiried risk minization） 联合界引理和Hoeffding不等式（Union bound & H 阅读全文

摘要：回顾上节主要引出了最优间隔分类器的模型，并简述了支持向量的含义，接下来这节将围绕支持向量机模型及其优化方法SMO来展开。 最优间隔分类器模型的原始最优问题： 为了求解模型，得到它的对偶最优问题： 假设函数h(w,b)=g(wTx+b)为： 从而引出了核函数的重要概念，对于支持向量机的优化方法必不可少 阅读全文

摘要：首先，提出一个问题：如何构造非线性分类器？ 可以从线性回归到逻辑回归的变化过程中得到启发，逻辑回归本质上是增加了一个逻辑函数g(z)来映射输入x到{0,1}。 逻辑回归的计算过程可以简化为上图，圈表示一个计算节点，即激活函数（activation function）g(z)，这里取Sigmoid函数 阅读全文

摘要：这节主要介绍了生成学习算法。首先与逻辑回归分类算法进行比较，引出生成学习算法的核心思想，然后介绍了一种基本的生成学习算法——高斯判别分析，并进一步对高斯分布条件进行讨论，比较生成学习算法与判别学习算法的区别，最后介绍了两种适合文本分类的朴素贝叶斯方法，并由引入新数据时产生的问题介绍拉普拉斯平滑法。 阅读全文

摘要：整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； 阅读全文

摘要：在上一节中主要介绍了监督学习中的线性回归（模型）、最小二乘法（策略）、梯度下降法（算法）及线性最小二乘法的标准方程（闭式解）。 这节主要介绍两个回归：局部加权回归与逻辑回归，其中穿插一些小的知识点：欠拟合与过拟合、感知机、牛顿方法等。大纲如图： 一、几个概念 1. 欠拟合与过拟合问题 之前所采用的线 阅读全文