随笔分类 - 机器学习
摘要：线性回归——最小二乘 线性回归（linear regression），就是用线性函数 f(x)=w⊤x+bf(x)=w⊤x+b 去拟合一组数据 D={(x1,y1),(x2,y2),...,(xn,yn)}D={(x1,y1),(x2,y2),...,(xn,yn)} 并使得损失 J=1n∑ni=1
阅读全文
摘要：1. ROC曲线的定义 ROC的全称是Receiver Operating Characteristic Curve，中文名字叫“受试者工作特征曲线”，顾名思义，其主要的分析方法就是画这条特征曲线。这里在网上找了一个比较好的图样示例如下， ROC曲线示例 该曲线的横坐标为假阳性率（False Pos
阅读全文
摘要：前言 最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题，我想写一些他们的东西，想到以前的博客里躺着这篇文章（2015年读研时机器学课的作业）感觉虽然不够严谨，但是很多地方还算直观，就先把它放过来吧。 说明: 本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵
阅读全文
摘要：1. 聚类（Clustering） 监督学习：发现数据属性和类别属性之间的关联模式。并通过利用这些模式用来预测未知数据实例的类别属性。 无监督学习：数据没有目标属性。发现数据中存在的内在结构及规律。 无监督学习中研究最多、应用最广的是聚类。常见的无监督学习任务还有密度估计（density estim
阅读全文
摘要：1. 卷积神经网络结构介绍 卷积神经网络 – CNN 最擅长的就是图片的处理。它受到人类视觉神经系统的启发。 CNN 有2大特点： 能够有效的将大数据量的图片降维成小数据量 能够有效的保留图片特征，符合图片处理的原则 目前 CNN 已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等很多
阅读全文
摘要：一、背景 1）梯度消失问题 我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。 可以看到，假设现在需要更新b1，w2,w3,w4参数因为随机初始化偏向于0，通过链式求导我们会发现，w1w2w3相乘会得到更
阅读全文
摘要：神经元模型的使用可以这样理解： 我们有一个数据，称之为样本。样本有四个属性，其中三个属性已知，一个属性未知。我们需要做的就是通过三个已知属性预测未知属性。 具体办法就是使用神经元的公式进行计算。三个已知属性的值是a1，a2，a3，未知属性的值是z。z可以通过公式计算出来。 这里，已知的属性称之为特征
阅读全文
摘要：一、从一个例子开始 假设你在一家金融公司工作，老板交给你一个任务，建一个模型，用来预测一个借款人是否会违约，公司拥有一个借款人的特征数据，比如年龄。 将是否违约作为标签变量y，0表示没有违约，1表示违约。在给定特征x的情况下，我们假设 y 是一个服从伯努利分布的二值随机变量。注意，这是我们做的第一个
阅读全文
摘要：1. 模型介绍 Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。 Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。 1.1 Log
阅读全文
摘要：一、什么是“核函数”我们都知道，机器学习（神经网络）的一个很重要的目的，就是将数据分类。我们想象下面这个数据（图1），在二维空间（特征表示为和）中随机分布的两类数据（用圆圈和叉叉表示）。 如果我们想要将这两类数据进行分类，那么分类的边界将会是一个椭圆: 但是如果我们可以通过一个映射，将数据的特征通过
阅读全文
摘要：Regularization can be used to avoid overfitting. But what actually is regularization, what are the common techniques, and how do they differ? Well, ac
阅读全文
摘要：1. A linear model does not output probabilities, but it treats the classes as numbers (0 and 1) and fits the best hyperplane (for a single feature, it
阅读全文
摘要：感知器算法是一种可以直接得到线性判别函数的线性分类方法，由于它是基于样本线性可分的要求下使用的，所以先来了解下什么是线性可分？ 线性可分与线性不可分 假设有一个包含 个样本的样本集合 , 其中 . 我们想要找到一个线性判别函数 将两类样本分开，其中 ,如图1所示： 图 1 为了讨论方便，我们将样本
阅读全文
摘要：1.Sklearn通用学习模式 Sklearn中包含众多机器学习方法，但各种学习方法大致相同，我们在这里介绍Sklearn通用学习模式。 首先引入需要训练的数据，Sklearn自带部分数据集，也可以通过相应方法进行构造； Sklearn datasets中我们会介绍如何构造数据。然后选择相应机器学习
阅读全文
摘要：1.np.loadtxt 用法 读取txt文件 numpy.loadtxt(fname, dtype=, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False 参数的作用如下： 1.
阅读全文
浙公网安备 33010602011771号