随笔分类 -  机器学习

模型选择
摘要：继续上节内容介绍学习理论，介绍模型选择算法，大纲内容为： 交叉验证 特征选择 回顾上节的偏差方差权衡现象，若选择过于简单的模型，偏差过高，可能会导致欠拟合；若选择过于复杂的模型，方差过高，可能会导致过拟合，同样模型的一般适用性不好。 模型复杂度：多项式的次数或参数的个数。 （1）尝试选择多项式的次数 阅读全文
posted @ 2017-01-12 21:21 wallacevv 阅读(2095) 评论(1) 推荐(0)
经验风险最小化
摘要：学习理论： 偏差方差权衡（Bias/variance tradeoff） 训练误差和一般误差（Training error & generation error） 经验风险最小化（Empiried risk minization） 联合界引理和Hoeffding不等式（Union bound & H 阅读全文
posted @ 2016-11-18 11:31 wallacevv 阅读(9681) 评论(1) 推荐(5)
支持向量机（下）
摘要：回顾上节主要引出了最优间隔分类器的模型，并简述了支持向量的含义，接下来这节将围绕支持向量机模型及其优化方法SMO来展开。 最优间隔分类器模型的原始最优问题： 为了求解模型，得到它的对偶最优问题： 假设函数h(w,b)=g(wTx+b)为： 从而引出了核函数的重要概念，对于支持向量机的优化方法必不可少 阅读全文
posted @ 2016-11-14 15:50 wallacevv 阅读(753) 评论(0) 推荐(0)
支持向量机（上）
摘要：首先，提出一个问题：如何构造非线性分类器？ 可以从线性回归到逻辑回归的变化过程中得到启发，逻辑回归本质上是增加了一个逻辑函数g(z)来映射输入x到{0,1}。 逻辑回归的计算过程可以简化为上图，圈表示一个计算节点，即激活函数（activation function）g(z)，这里取Sigmoid函数 阅读全文
posted @ 2016-11-10 17:22 wallacevv 阅读(612) 评论(0) 推荐(0)
生成学习算法
摘要：这节主要介绍了生成学习算法。首先与逻辑回归分类算法进行比较，引出生成学习算法的核心思想，然后介绍了一种基本的生成学习算法——高斯判别分析，并进一步对高斯分布条件进行讨论，比较生成学习算法与判别学习算法的区别，最后介绍了两种适合文本分类的朴素贝叶斯方法，并由引入新数据时产生的问题介绍拉普拉斯平滑法。 阅读全文
posted @ 2016-11-08 17:16 wallacevv 阅读(1947) 评论(0) 推荐(0)
指数分布族与广义线性模型
摘要：整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； 阅读全文
posted @ 2016-11-02 22:54 wallacevv 阅读(10020) 评论(2) 推荐(2)
局部加权回归与逻辑回归
摘要：在上一节中主要介绍了监督学习中的线性回归（模型）、最小二乘法（策略）、梯度下降法（算法）及线性最小二乘法的标准方程（闭式解）。 这节主要介绍两个回归：局部加权回归与逻辑回归，其中穿插一些小的知识点：欠拟合与过拟合、感知机、牛顿方法等。大纲如图： 一、几个概念 1. 欠拟合与过拟合问题 之前所采用的线 阅读全文
posted @ 2016-11-02 15:39 wallacevv 阅读(4953) 评论(0) 推荐(0)
线性回归模型与梯度下降法
摘要：一、机器学习概述： 1. 学习动机： 机器学习已经在不知不觉中渗透到人们生产和生活中的各个领域，如邮箱自动过滤的垃圾邮件、搜索引擎对链接的智能排序、产品广告的个性化推荐等； 机器学习横跨计算机科学、工程技术和统计学等多个学科，需要融合多学科的专业只是，也同样可以作为实际工具应用到各行各业之中； 如何 阅读全文
posted @ 2016-10-31 21:12 wallacevv 阅读(16201) 评论(1) 推荐(4)