MachineLearning - 随笔分类(第2页) - AiFly

Python中的属性注册

摘要：在阅读有些Python的开源项目源码时，会看到某些对象调用了一个方法，但在该对象当中却又找不到该方法。还可能会看到在调用某个方法是并不是直接调用而是使用了getattr这个方法；好在现在IDE比较智能，通常也还能够关联找得到该方法；调用对象本身没有存在的方法属性、间接调用方法，下面看看在Pytho 阅读全文

posted @ 2020-11-28 18:07 AiFly 阅读(466) 评论(0) 推荐(0)

使用LabelImg标注图片

摘要：要训练自己的模型、需要标注图片，好在现在标注工具比较简单几乎傻瓜化了。这里使用LabelImg对图片进行标注； LabelImg安装 conda create -n labelImg python=3 conda activate labelImg conda install pyqt=5 cond 阅读全文

posted @ 2020-10-07 13:23 AiFly 阅读(4221) 评论(0) 推荐(0)

Python常用库—tqdm

摘要：tqdm Tqdm库比较常用，用于显示进度条。简单用法： from tqdm import tqdm for i in tqdm(range(2)): pass 100%|███████████████████| 2/2 [00:00<00:00, 1998.72it/s] 从上面可以看到生成一个阅读全文

posted @ 2020-07-19 15:30 AiFly 阅读(5516) 评论(0) 推荐(1)

python中几种自动微分库

摘要：简单介绍下python的几个自动求导工具，tangent、autograd、sympy；在各种机器学习、深度学习框架中都包含了自动微分，微分主要有这么四种：手动微分法、数值微分法、符号微分法、自动微分法，这里分别简单走马观花（hello world式）的介绍下下面几种微分框架； sympy 强阅读全文

posted @ 2019-08-29 07:52 AiFly 阅读(8010) 评论(0) 推荐(1)

反向传播算法—从四个基本公式说起

摘要：反向传播四公式：反向传播的最终目的是求得使代价C最小时w、b的最佳值，为了方便计算引入了神经单元误差δ_j^l，其定义为误差C关于某个神经单元z的关系；其定义如上所示，某神经元误差为代价C（总误差）关于z的偏导数，其中l为神经网络的层数，j为第几个神经元；这里的代价函数（损失函数）使用的是平方阅读全文

posted @ 2019-07-22 22:43 AiFly 阅读(3159) 评论(0) 推荐(0)

微积分——自动微分

摘要：梯度下降法（Gradient Descendent）是机器学习的核心算法之一，自动微分则是梯度下降法的核心；梯度下降法用于求损失函数的最优值，前面的文章中我们说过梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值；但是在机器学习、深度学习中很多求导往往是很复杂的，手动使阅读全文

posted @ 2018-05-17 08:05 AiFly 阅读(3023) 评论(0) 推荐(0)

线性代数回头看——线性方程组

摘要：1、线性方程组概述线性方程组：包含未知数x1，x2，x3....xn的线性方程其中b与系数a1，a2，a3...an是实数或复数，通常是已知的；下标n可以为任意数；线程方程组为由一个或几个包含相同变量x1，x2，x3....xn的线性方程组组成；线性方程组的解分为相容、与不相容两种情况；相阅读全文

posted @ 2018-03-25 16:27 AiFly 阅读(1839) 评论(0) 推荐(0)

BP神经网络

摘要：神经网络理论 BP神经网络（Back Propagation Neural Network）为多层前馈神经网络用得比较广泛，该神经网络先通过前向传播取得估计值，后再使用误差进行反向传播通过梯度下降来不断地更新权重从而取得最小误差从中学习得最佳权重系数；从BP神经网络的名字也知道该算法的核心为反向阅读全文

posted @ 2017-09-24 16:13 AiFly 阅读(1433) 评论(0) 推荐(0)

微积分拾遗——链式法则

摘要：链式法则（chain rule）微积分中求导法则，用于求复合函数的导数；链式法则应用广泛，比如神经网络中的反向传播算法就是已链式法则为基础演变的；接下来先说说链式法则的概念然后通过链式法则的两种形式学习链式法则；链式法则：两个函数组合起来的复合函数，导数等于里面函数代入外函数值的导乘以里面函数阅读全文

posted @ 2017-07-22 22:46 AiFly 阅读(6158) 评论(0) 推荐(0)

机器学习是什么

摘要：近几年机器学习非常火，机器学习并不是近来才出现的已经出现了几十年了，但随着互联网、移动互联网、计算资源的迅猛发展使得机器学习有了庞大的数据、廉价的计算资源、广泛的应用场景；三种条件可以说缺一不可，互联网、移动互联网带来了大数据与广泛的应用场景，摩尔定律使得机器越来越便宜云计算的出现又让计阅读全文

posted @ 2017-05-14 09:32 AiFly 阅读(457) 评论(0) 推荐(0)

模型评估与选择

摘要：好记忆不如烂笔头，之前西瓜书这章也看过几次但还是掌握不够，今天又拿来翻翻顺便做个笔记；前面写了几篇线性回归与逻辑回归的文章，是说模型训练的但是模型的性能怎样该怎么选择使用最小二乘法还是梯度下降法呢，我们总得要比较模型的性能再做选择吧；所以就有了这里所说的模型评估与选择；既然是读书比较我们先看阅读全文

posted @ 2017-04-22 17:57 AiFly 阅读(3116) 评论(0) 推荐(0)

逻辑回归

摘要：前面几篇文章介绍了线性回归算法，他们都属于线性模型现在这篇说的是逻辑回归，虽然都有回归二字却是非线性模型；逻辑回归的输出为特定离散值，用于判定数据的分类所以逻辑回归（Logistic regression）也称为分类模型；分类模型又有二分与多分类，逻辑回归通常用于二分类；以下内容为Stand 阅读全文

posted @ 2017-03-12 00:36 AiFly 阅读(610) 评论(0) 推荐(0)

线性回归——最大似然函数

摘要：似然函数似然函数与概率非常类似但又有根本的区别，概率为在某种条件（参数）下预测某事件发生的可能性；而似然函数与之相反为已知该事件的情况下推测出该事件发生时的条件（参数）；所以似然估计也称为参数估计，为参数估计中的一种算法；下面先求抛硬币的似然函数，然后再使用似然函数算出线性回归的参数；假阅读全文

posted @ 2016-12-25 13:55 AiFly 阅读(6658) 评论(0) 推荐(0)

线性回归——梯度下降法_实例

摘要：上篇文章介绍了梯度下降法在线性回归中的相关理论与证明，这里使用程序实例代码方式看梯度下降法是怎样一步一步下降求出最优解的； X = [1 4;2 5;5 1;4 2]; y = [19;26;19;20]; m = length(y); alpha = 0.002; %步长 num_iters = 阅读全文

posted @ 2016-11-29 23:05 AiFly 阅读(1797) 评论(0) 推荐(0)

线性回归——梯度下降法

摘要：前面的文章讲了使用最小二乘法来求线性回归损失函数的最优解，最小二乘法为直接对梯度求导找出极值，为非迭代法；而本篇文章了使用一个新的方法来求损失函数的极值：梯度下降法（Gradient Descendent, GD），梯度下降法为最优化算法通常用于求解函数的极值，梯度下降法为迭代法，给定一阅读全文

posted @ 2016-11-15 07:57 AiFly 阅读(1559) 评论(0) 推荐(0)

线性回归——最小二乘法_实例（二）

摘要：上篇文章介绍了最小二乘法矩阵形式的理论与证明、计算过程，这里使用程序代码的方式计算出矩阵形式的解，并给出线性拟合； Octave代码 clear all;close all; % 拟合的数据集 x = [1,2;1,6;1,9;1,13]; y = [4;8;12;21]; % 根据公式 w = ( 阅读全文

posted @ 2016-10-30 22:06 AiFly 阅读(1719) 评论(0) 推荐(0)

线性回归——最小二乘法（二）

摘要：上篇文章中介绍了单变量线性回归，为什么说时单变量呢，因为它只有单个特征，其实在很多场景中只有单各特征时远远不够的，当存在多个特征时，我们再使用之前的方法来求特征系数时是非常麻烦的，需要一个特征系数一个偏导式，而却最要命的时特性的增长时及其迅猛的，几十、几百、几千…… 单变量线性回归：多变量线性阅读全文

posted @ 2016-10-16 10:05 AiFly 阅读(4065) 评论(0) 推荐(0)

线性回归——最小二乘法_实例（一）

摘要：上篇文章介绍了最小二乘法的理论与证明、计算过程，这里给出两个最小二乘法的计算程序代码； Octave代码 clear all;close all; % 拟合的数据集 x = [2;6;9;13]; y = [4;8;12;21]; % 数据长度 N = length(x); % 3 %% 计算x平均阅读全文

posted @ 2016-09-24 15:51 AiFly 阅读(3247) 评论(0) 推荐(0)

线性回归——最小二乘法（一）

摘要：相信学过数理统计的都学过线性回归（linear regression），本篇文章详细将讲解单变量线性回归并写出使用最小二乘法（least squares method）来求线性回归损失函数最优解的完整过程，首先推导出最小二乘法，后用最小二乘法对一个简单数据集进行线性回归拟合；线性回阅读全文

posted @ 2016-08-28 18:36 AiFly 阅读(47848) 评论(2) 推荐(12)

随笔分类 - MachineLearning