随笔分类 -  Machine Learning and Optimization

上一页 1 2 3 4 下一页
轨迹相似度计算，DTW
摘要：本文摘自： 郭岩, 罗珞珈, 汪洋, 付琨. 一种基于DTW改进的轨迹相似度算法[J]. 国外电子测量技术, 2016, 35(009):66-71. 轨迹数据 基于欧氏距离的相似度算法 基于时间动态规整(Dynamic Time Wraping, DTW)的相似度算法 此外，博客算法笔记-DTW动 阅读全文
posted @ 2020-07-27 11:27 Picassooo 阅读(3001) 评论(0) 推荐(0)
空间域的卷积可以变换为频率域的乘积，证明
摘要：本文摘自Digital Image Processing chapter 3.4 and 4.2，third eidtion, Rafael C. Gonzalez, Richard E. Woods 阅读全文
posted @ 2020-07-23 20:34 Picassooo 阅读(873) 评论(0) 推荐(0)
马尔科夫模型
摘要：本文部分内容摘自： [1]. Computer vision - a modern approch, section21.4. 2002. David A. Forths et al. [2]. 马尔科夫链 1. Markov chain 2. Hidden Markov Modelson Disc 阅读全文
posted @ 2020-07-17 15:11 Picassooo 阅读(336) 评论(0) 推荐(0)
交替方向乘子法 ADMM
摘要：交替方向乘子法( Alternating Direction Method of Multipliers, ADMM)是一种常用的优化方法，本文详细地介绍了此方法，并用矩阵低秩表示作为例子，对每一个变量的迭代公式进行了详细推导。 阅读全文
posted @ 2020-07-14 22:47 Picassooo 阅读(1124) 评论(0) 推荐(0)
数据样本矩阵$XX^T$和$X^TX$
摘要：在数据样本矩阵中，我们常用一列表示一个样本，一行表示一个特征。 阅读全文
posted @ 2020-07-13 12:52 Picassooo 阅读(901) 评论(0) 推荐(0)
通俗理解极大似然估计和EM算法
摘要：首先推荐这个知乎文章，讲的挺好的：https://zhuanlan.zhihu.com/p/40991784 本文摘自：通俗易懂讲明白 最大似然和EM算法 最大似然 我们需要找到一个参数θ，其对应的似然函数L(θ) 最大，也就是说抽到这100 个男生(的身高)概率最大。这个叫做 θ 的最大似然估计量 阅读全文
posted @ 2020-07-11 21:02 Picassooo 阅读(930) 评论(0) 推荐(0)
图论基础
摘要：MOOC课程：图论基础 阅读全文
posted @ 2020-07-11 13:24 Picassooo 阅读(132) 评论(0) 推荐(0)
降维和聚类系列(二)：拉普拉斯特征映射Laplacian Eigenmaps，谱聚类，实例代码
摘要：1. 邻接矩阵，度矩阵，拉普拉斯矩阵 给定一个无向图： 我们可以用邻接矩阵(Adjacent Matrix)表示它： 把这个邻接矩阵记为W，W中的1表示有连接，0表示没有连接，例如第一行第二列的1表示图的节点1和节点2有连接，第一行第三列的0表示图的节点1和节点3没有连接在一起。因为是无向图，所以W 阅读全文
posted @ 2020-07-11 11:25 Picassooo 阅读(3080) 评论(0) 推荐(0)
降维和聚类系列(一)：方法综述和比较(持续更新中)
摘要：Linear Methods Lower-dimensional linear projection preserves distances between all points. Nonlinear Methods Lower-dimensional projection preserves lo 阅读全文
posted @ 2020-07-11 11:00 Picassooo 阅读(326) 评论(0) 推荐(0)
指示向量indicator vector
摘要：指示向量里的元素只能为0或者1，并且只能有一个1，例如(0,0,1,0)T就是一个指示向量，(1,0,1,0,0,0)T不是指示向量。 我们可以用指示向量来表示单分类问题： 阅读全文
posted @ 2020-07-09 20:41 Picassooo 阅读(1966) 评论(0) 推荐(0)
矩阵布尔乘积
摘要： 阅读全文
posted @ 2020-07-05 22:34 Picassooo 阅读(2127) 评论(0) 推荐(0)
Python手动实现kmeans聚类和调用sklearn实现
摘要：1. 算法步骤 随机选取k个样本点充当k个簇的中心点； 计算所有样本点与各个簇中心之间的距离，然后把样本点划入最近的簇中； 根据簇中已有的样本点，重新计算簇中心； 重复步骤2和3，直到簇中心不再改变或改变很小。 2. 手动Python实现 import numpy as np import matp 阅读全文
posted @ 2020-07-01 20:26 Picassooo 阅读(2085) 评论(0) 推荐(0)
子空间学习
摘要：1. 鲁棒性主成分分析(Robust PCA, RPCA) RPCA 将原始数据矩阵分解为一个低秩的成分和一个稀疏的成分，其中低秩的成分表示提取出的纯净数据，而稀疏的成分表示噪声。Cand`es从理论上证明了在一定条件下可以通过求解一个凸优化问题来精确地恢复低秩成分和稀疏噪声。 在 RPCA 中，模 阅读全文
posted @ 2020-06-22 22:41 Picassooo 阅读(456) 评论(0) 推荐(0)
转：软阈值迭代，矩阵补全，低秩稀疏矩阵恢复
摘要：软阈值迭代算法（ISTA）和快速软阈值迭代算法（FISTA） 低秩矩阵填充|奇异值阈值算法 低秩稀疏矩阵恢复|ADM(IALM)算法 阅读全文
posted @ 2020-06-22 21:05 Picassooo 阅读(573) 评论(0) 推荐(0)
近端梯度下降(proximal gradient decent)
摘要： 阅读全文
posted @ 2020-06-22 17:34 Picassooo 阅读(964) 评论(3) 推荐(0)
凸函数，强凸函数，拟凸函数，一阶二阶判断条件
摘要：本文摘自张贤达的《矩阵分析与应用》第四章第3节、王书宁等人译的《凸优化》的第三章第1节和第4节 阅读全文
posted @ 2020-06-14 10:48 Picassooo 阅读(5130) 评论(0) 推荐(0)
次梯度算法小实例
摘要：在上一篇博客中，我们介绍了次梯度，本篇博客，我们将用它来求解优化问题。 优化目标函数： $min \frac{1}{2} ||Ax-b||_2^2+\mu ||x||_1$ 已知$A, b$，设定一个$\mu$值，此优化问题表示用数据矩阵$A$的列向量的线性组合去拟合目标向量$b$，并且解向量$x$ 阅读全文
posted @ 2020-06-13 19:20 Picassooo 阅读(2099) 评论(0) 推荐(0)
次梯度和次微分
摘要：本文摘自张贤达的《矩阵分析与应用》第四章第5节 示例： 上面左图的红线是函数$y=x^2$在点$x=0$的梯度方向，也是唯一的次梯度方向。上面右图的三条红线都是函数$y=|x|$在点$x=0$的次梯度方向。 阅读全文
posted @ 2020-06-13 17:50 Picassooo 阅读(3192) 评论(0) 推荐(0)
Lipschitz连续
摘要：百度百科上对Lipschitz连续的介绍挺不错的：Lipschitz连续 此外，张贤达的《矩阵分析与应用》第四章第4节中也有对Lipschitz连续的介绍： 阅读全文
posted @ 2020-06-11 21:49 Picassooo 阅读(1412) 评论(0) 推荐(0)
Tikhonov正则化
摘要：本文摘自张贤达的《矩阵分析与应用》第六章第2节 阅读全文
posted @ 2020-06-10 00:33 Picassooo 阅读(5322) 评论(0) 推荐(0)

上一页 1 2 3 4 下一页