随笔分类 -  机器学习

VAE原理详解
摘要：原文链接：http://www.gwylab.com/note-vae.html 讲的真的很好。理解VAE原理需要很多概率论相关的知识。这篇文章以VAE的构成顺序出发解释了各个部分需要用到的数学知识。 阅读全文
posted @ 2021-07-28 21:17 popozyl 阅读(350) 评论(0) 推荐(0)
机器学习 - 高偏差与高方差
摘要：![](https://img2020.cnblogs.com/blog/1912093/202012/1912093-20201224221448778-462099561.png) ![](https://img2020.cnblogs.com/blog/1912093/202012/1912093-20201224221516076-1876757098.png) 阅读全文
posted @ 2020-12-24 22:16 popozyl 阅读(148) 评论(0) 推荐(0)
机器学习 - 正则化为什么可以防止过拟合
摘要：正则化为什么可以防止过拟合 一个不一定正确的观点： 过拟合本质上是模型对于离群值过度敏感，最终拟合的函数过度拟合离群值。以下图为例，我们期望得到的拟合函数为黑色直线，而过拟合则会得到红色曲线。 可以看出，过拟合函数在某些点波动很大，这里的波动大是因为离群值与正常值相差很大。一个函数波动大，反映到其导 阅读全文
posted @ 2020-12-23 16:42 popozyl 阅读(753) 评论(0) 推荐(0)
主成分分析法(PCA)
摘要：主成分分析法(PCA) PCA的思想 降维的作用 数据压缩 加速学习算法 可视化 PCA的思想: 试图找到一个低维的平面,来对高维数据进行投影,以便最小化投影误差的平方,以及最小化每一个点与投影后的点之间的距离的平方值. 一个PCA的直观理解: 将二维空间映射到一维空间上 如何理解降维: 对于本图, 阅读全文
posted @ 2020-12-04 19:27 popozyl 阅读(488) 评论(0) 推荐(0)
SoftMax 回归(与Logistic 回归的联系与区别)
摘要：SoftMax 回归(与Logistic 回归的联系与区别) SoftMax 试图解决的问题 SoftMax回归模型是Logistic回归模型在多分类问题上的推广,即在多分类问题中,类标签y可以取两个以上的值 对于Logistic回归的假设函数$h_\theta(x) = \frac{1}{1 + 阅读全文
posted @ 2020-12-03 19:38 popozyl 阅读(1084) 评论(0) 推荐(0)
机器学习 - 自动编码器
摘要：自动编码器 什么是自动编码器(AutoEncoder) 自动编码器是一种特殊的神经网络,它希望拟合出一个输入层与输出层神经元个数相同的神经网络,使得$h_{(w,b)(x)} = x$或近似相等. 它力求逼近一个恒等函数,使得神经网络的输出接近于输入x.使用自动编码器的意义在于,我们可以取用其隐层的 阅读全文
posted @ 2020-12-02 16:01 popozyl 阅读(1044) 评论(0) 推荐(1)
K-means 聚类
摘要：无监督学习 1.K-means 聚类 算法步骤:对于具有n个属性的数据集,确定了聚类数量k以后,首先随机初始化k个不同的n维向量,它们被称为k个簇 然后不断重复 计算每个样本点到各个簇的距离,取最小值染色 对于同色的样本点,重新定位簇的位置 为了避免随机初始化导致的局部最优,往往会进行多次试验,取得 阅读全文
posted @ 2020-12-01 15:42 popozyl 阅读(93) 评论(0) 推荐(0)
特征缩放的几种方法
摘要：https://www.cnblogs.com/HuZihu/p/9761161.html 阅读全文
posted @ 2020-09-26 19:32 popozyl 阅读(445) 评论(0) 推荐(0)
神经网络解决多分类问题例：数字识别
摘要：神经网络解决多分类问题例：数字识别 1. 观察样本(Visualizing the data) 训练集提供5000张数字图片，每张图片为20x20像素，并被转化成1x400的向量存储。样本输入为5000x400的矩阵，输出为5000x1的向量。coursera提供了将灰度值转化为图片的函数，但这对我 阅读全文
posted @ 2020-09-20 09:13 popozyl 阅读(1452) 评论(0) 推荐(0)
多分类例题 - 手写数字识别
摘要：多分类例题 - 手写数字识别 提供的数据集包括5000张手写数字0~9图片及对应的正确数字值。其中，每一张图片已被预处理成20 * 20 像素的灰白图片，并转化成灰度存入到矩阵中。要求利用OVA算法进行手写数字识别。 绘制训练集 本题的图片绘制涉及灰度的一些内容，我并不了解。这里使用coursera 阅读全文
posted @ 2020-09-18 18:48 popozyl 阅读(315) 评论(0) 推荐(0)
fminunc 函数的用法
摘要：无约束最优化 fminunc 官方文档 求无约束多变量函数的最小值 语法 x = fminunc(fun,x0) % 最基本的用法，给定起始点求出局部最优解 x = fminunc(fun,x0,options) % 添加参数 options,指定一些如‘最优化方式’，‘迭代次数’等信息 x = f 阅读全文
posted @ 2020-09-18 08:40 popozyl 阅读(3999) 评论(0) 推荐(0)
二分类
摘要：二分类 由于线性模型在拟合二分类问题的表现很差，因此在做二分类回归时需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。 考虑到二分类任务，其输出标记为$y \in {0,1}$，而线性回归模型产生的预测值为$h_\theta(x) = \Theta X$，是连续的实值。于是 阅读全文
posted @ 2020-09-17 21:08 popozyl 阅读(812) 评论(0) 推荐(0)
特征归一化、特征映射、正则化
摘要：特征归一化，特征映射，正则化 特征归一化(Feature Normalize/Feature Scaling) 应用简介 当数据集的各个属性之间的值分布差别较大时，运用梯度下降算法求解局部最优解时会需要很小的学习率以及多次迭代才能达到最优解。因此，使用特征归一化主要有以下两条作用： 归一化后加快了梯 阅读全文
posted @ 2020-09-17 21:02 popozyl 阅读(2169) 评论(0) 推荐(0)
一元线性回归例题 - 餐馆扩建
摘要：一元线性回归例题 - 餐馆扩建 IIn this part of this exercise, you will implement linear regression with one variable to predict profits for a food truck. Suppose yo 阅读全文
posted @ 2020-09-17 11:58 popozyl 阅读(376) 评论(0) 推荐(0)
二分类例题 - 产品检验
摘要：分类练习 1. 绘制训练集 在进行分类时，依旧需要观察训练集的样本特征，选择合适的模型 data = load("ex2data2.txt"); x = data(:,[1,2]); y = data(:,3); plotData(x,y); x = mapFeature(x(:,1),x(:,2) 阅读全文
posted @ 2020-09-17 11:50 popozyl 阅读(240) 评论(0) 推荐(0)
线性回归
摘要：线性回归 一次线性回归 问题引入 下图表示的是房价关于住房面积的样本数据。我们的主要任务，是根据样本的离散点集拟合出一条直线$h_{\theta}(x) = \theta_0+\theta_1x$尽可能的接近$y(x)$，从而预测任意面积的房价。我们称这样的$h_\theta(x)$为本次线性回归的 阅读全文
posted @ 2020-09-15 20:55 popozyl 阅读(217) 评论(0) 推荐(0)