随笔分类 -  Machine Learning and Optimization

上一页 1 2 3 4
最小二乘法
摘要：本文摘自张贤达的《矩阵分析与应用》第六章第一节 阅读全文
posted @ 2020-06-10 00:26 Picassooo 阅读(307) 评论(0) 推荐(0)
矩阵方程求解方法分类
摘要：本文摘自张贤达的《矩阵分析与应用》第六章 阅读全文
posted @ 2020-06-10 00:21 Picassooo 阅读(1250) 评论(0) 推荐(0)
低秩矩阵恢复和鲁棒主成分分析
摘要：本文摘自本文摘自史加荣等人发表在计算机应用研究杂志的《低秩矩阵恢复算法综述》 优化问题式(10)被称为鲁棒主成分分析(Robust Principal Component Analysis). 阅读全文
posted @ 2020-06-09 20:59 Picassooo 阅读(534) 评论(0) 推荐(0)
范数与正则化
摘要：以下几个资料对范数和正则项的介绍比较好： 张贤达《矩阵分析与应用》第六章 Michael Nielsen的Neural Networks and Deep Learning，第三章第2节 机器学习中的范数规则化之（一）L0、L1与L2范数 机器学习中的范数规则化之（二）核范数与规则项参数选择 一文搞 阅读全文
posted @ 2020-06-08 16:20 Picassooo 阅读(389) 评论(0) 推荐(0)
拉格朗日函数，拉格朗日对偶函数，KKT条件
摘要：在王书宁译的Boyd著的《凸优化》的第五章有很好的对拉格朗日函数、拉格朗日对偶函数、KKT条件的介绍。 阅读全文
posted @ 2020-06-06 10:08 Picassooo 阅读(306) 评论(0) 推荐(0)
上确界sup和下确界inf的理解
摘要：本文摘自：常用的数学符号sup（上确界） 和 inf（下确界） sup与max的区别：sup可能不在集合中，max一定在集合中。 阅读全文
posted @ 2020-05-26 17:04 Picassooo 阅读(4883) 评论(1) 推荐(0)
论文笔记：博士论文《基于稀疏和低秩约束的模型学习研究》第一二章
摘要：子空间学习方法概述 子空间学习就是基于某一特定的准则，将数据从原始的高维特征空间变换到低维的、有意义的子空间的过程，其目的是为了抓住数据的内在结构，进而作进一步地分析。 无监督子空间学习方法 利用数据的局部关系来保持数据内在的流形结构，代表性的方法有： 局部线性嵌入 (Locally linear 阅读全文
posted @ 2020-05-15 09:20 Picassooo 阅读(1421) 评论(0) 推荐(0)
用PCA对鸢尾花数据集降维并可视化
摘要：上篇博客中，我们介绍了并用代码实现了PCA算法，本篇博客我们应用PCA算法对鸢尾花数据集降维，并可视化。 鸢尾花数据集简介 代码实现 代码来自MOOC网的《Python机器学习应用》课程。 import matplotlib.pyplot as plt from sklearn.decomposit 阅读全文
posted @ 2020-04-14 20:58 Picassooo 阅读(3321) 评论(0) 推荐(0)
Python实现PCA降维
摘要：PCA算法 主成分分析（Principal Component Analysis，PCA）是最常用的一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理等。PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。PCA的计算涉及 阅读全文
posted @ 2020-04-14 20:23 Picassooo 阅读(5315) 评论(2) 推荐(0)
转：数据为什么要中心化和标准化？
摘要：数据什么时候需要做中心化和标准化处理？ 阅读全文
posted @ 2020-04-14 11:41 Picassooo 阅读(558) 评论(0) 推荐(0)
转：信息量，熵，KL散度，交叉熵，JS散度，Wasserstein距离，WGAN中对KL散度和JS散度的描述
摘要：信息量，熵，KL散度，交叉熵，JS散度，Wasserstein距离，WGAN中对KL散度和JS散度的描述 阅读全文
posted @ 2020-03-31 11:28 Picassooo 阅读(275) 评论(0) 推荐(0)
总结: NLLLoss, CrossEntropyLoss, BCELoss, BCEWithLogitsLoss比较，以及交叉熵损失函数推导
摘要：一、pytorch中各损失函数的比较 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 Pytorch详解BCELoss和BCEWithLogitsLoss Focal Loss理解-菜鸟笔记 (coonote.com) 总结 阅读全文
posted @ 2020-03-30 17:50 Picassooo 阅读(4168) 评论(0) 推荐(0)
牛顿法，拟牛顿法，及与梯度下降法的比较
摘要：1. 牛顿法求方程的根 假设我们需求$f(x)=0$的根，并假设$f(x)=0$可导。首先，把$f(x)$在$x_0$进行一阶泰勒展开： 由$f(x)=0$可得： 因此迭代公式为： 2. 牛顿法求极小值 6. 牛顿法和梯度下降法的比较 这里我们用一个简单的例子比较牛顿法和梯度下降法的收敛效果：求$f 阅读全文
posted @ 2020-02-25 00:13 Picassooo 阅读(1322) 评论(0) 推荐(0)
逻辑回归(Logistic Regression)以及python实现
摘要：逻辑回归的原理是用逻辑函数把线性回归的结果(-∞,∞)映射到(0,1)，因此本文先介绍线性回归和逻辑函数，然后介绍逻辑回归模型，再介绍如何优化逻辑函数的权重参数，最后用python实现一个简单的逻辑回归模型。 1. 线性回归 线性回归的数学表达式是： $z = {{\bf{w}}^T}{\bf{x} 阅读全文
posted @ 2019-12-04 16:52 Picassooo 阅读(5084) 评论(0) 推荐(0)
感知器做二分类的原理及python numpy实现
摘要：本文目录： 1. 感知器 2. 感知器的训练法则 3. 梯度下降和delta法则 4. python实现 1. 感知器[1] 人工神经网络以感知器（perceptron）为基础。感知器以一个实数值向量作为输入，计算这些输入的线性组合，然后如果结果大于某个阈值，就输出1，否则输出-1（或0）。更精确地 阅读全文
posted @ 2019-12-03 21:26 Picassooo 阅读(2764) 评论(0) 推荐(0)
python实现迭代法求方程组的根
摘要：有方程组如下： 迭代法求解x，python代码如下： import numpy as np import matplotlib.pyplot as plt A = np.array([[8, -3, 2], [4, 11, -1], [6, 3, 12]]) b = np.array([[20, 3 阅读全文
posted @ 2019-11-22 23:00 Picassooo 阅读(2553) 评论(0) 推荐(0)
数据规范化(normalization)
摘要：本文摘自数据规范化（归一化）、及Z-score标准化 解读：为什么要做特征归一化/标准化？（推荐） 一. 常用的feature scaling方法 最大最小规范化 最小-最大规范化也称为离散标准化，是对原始数据的线性变换，将数据值映射到[0, 1]之间。公式为： 离散标准化保留了原来数据中存在的关系 阅读全文
posted @ 2019-11-21 10:37 Picassooo 阅读(4374) 评论(0) 推荐(0)
期望，方差，协方差，相关系数，协方差矩阵，相关系数矩阵，以及numpy实现
摘要：1. 期望 2. 方差 3. 协方差和相关系数 协方差(或者相关系数)如果是正的，表明X和Y之间同时增加或减小；如果是负的，表明X和Y之间有一个增加而另一个减小；如果它的值为0，则表明X和Y之间是独立的。 4. 协方差矩阵 在机器学习中，计算两个特征X、Y（都是向量）的协方差公式为 式中n表示n个样 阅读全文
posted @ 2019-11-12 20:07 Picassooo 阅读(4345) 评论(0) 推荐(0)

上一页 1 2 3 4