08 2018 档案

图解机器学习读书笔记-CH7
摘要：最小二乘分类 本质, 分类问题用近似函数描述, 再用最小二乘法. 二分类问题: $y \in {+1, 1}$, 可近似定义为取值为+1, 1的二值函数问题: 预测输出$\hat y$: 其中, $f_{\hat \theta}(\mathbf x)=0$是小概率事件. 预测值$\hat y$由预测 阅读全文
posted @ 2018-08-17 10:21 royce33 阅读(204) 评论(0) 推荐(0)
图解机器学习读书笔记-CH6
摘要：鲁棒学习 最小二乘法易受异常值影响 异常值处理: 1. 提前剔除异常值再训练 2. 提高异常值的鲁棒性 鲁棒学习算法 1. $L_1$损失最小化 第$r_i$个样本的残差: L2损失随残差呈平方级增长: L1损失最小化学习较最小绝对值偏差学习$\hat \theta_{LA}$ L1损失LS受异常值 阅读全文
posted @ 2018-08-16 17:12 royce33 阅读(722) 评论(0) 推荐(0)
图解机器学习读书笔记-CH5
摘要：稀疏学习 带约束的LS+交叉验证组合是非常有效的回归方法, 缺点是参数太多时求解耗时. 稀疏学习将大部分参数置0, 大大加速参数求解. L1约束的LS 稀疏学习使用L1条件约束: 其中, L1和L2对比: 以对于参数的线性模型为例对上图做分析: 训练误差$J_{LS}$是关于$\theta$的向下的 阅读全文
posted @ 2018-08-08 10:07 royce33 阅读(217) 评论(0) 推荐(0)
图解机器学习读书笔记-CH4
摘要：[TOC] 带约束条件的最小二乘法 单纯的最小二乘法容易过拟合, 带约束的最小二乘法能控制模型复杂度, 降低过拟合. 1. 部分空间约束的LS 含参线性模型, 使用全体参数空间: 将参数空间限制在一定范围内, 防止过拟合: P是$bxb$维矩阵,是P的值域$R(P)$的 正交投影矩阵 部分空间约束的 阅读全文
posted @ 2018-08-05 16:56 royce33 阅读(546) 评论(0) 推荐(0)
图解机器学习读书笔记-CH3
摘要：[TOC] 本文主要介绍 最小二乘法原理, 线性模型中的应用, 最小二乘解的本质以及在大规模数据集上的求解方法. 1. 最小二乘法介绍 对模型均方误差最小化时的参数$\theta$学习的方法. 均方误差: $$ J_{LS}(\theta) = \frac{1}{2}\sum_{i=1}^n(f_\ 阅读全文
posted @ 2018-08-05 15:59 royce33 阅读(190) 评论(0) 推荐(0)
图解机器学习读书笔记-CH2
摘要：模型种类模型图示补充 线性模型 一般线性模型: , x为向量向量时: 多维基函数构造: 1.乘法模型: 2.加法模型: 二者对比:乘法模型表现力丰富,但易引入维数灾难;加法模型参数个线性增长,但表现力不足: 核模型 一般核模型:高斯核函数: 一维高斯核模型: 二维高斯核模型: 带宽为h, 均值为c的 阅读全文
posted @ 2018-08-05 13:11 royce33 阅读(328) 评论(0) 推荐(0)
图解机器学习读书笔记-CH1
摘要：[TOC] 1.机器学习分类 整体框架: 监督学习：对于有标签的数据进行学习，目的是能够正确判断无标签的数据。通俗的讲，老师教授学生知识，并告知学习过程中的对与错，让学生可以从所学知识的经验和技能中对没有学过的问题进行正确回答，这就是监督学习，用于预测数据的回归、分类标签的分类、顺序的排序等问题。 阅读全文
posted @ 2018-08-04 18:48 royce33 阅读(288) 评论(0) 推荐(0)
深度学习中的线性代数知识详解
摘要：注: 本文总结得内容来源比较杂, 主要方便个人对知识的深度理解, 基本上看这本书中遇到的线性代数方面比较模糊的概念都会随时掌握并补充到下文中. [TOC] 1. 基础概念 标量(scalar) 一个标量就是一个单独的数，一般用小写的的变量名称表示。 向量(vector) 一个向量就是一列数，这些数是 阅读全文
posted @ 2018-08-03 10:45 royce33 阅读(1754) 评论(0) 推荐(0)