摘要: 上一篇译文《 "香农熵" 》中介绍了熵的由来及其计算公式的产生,这篇译文介绍另外一个与香农熵相关的概念:交叉熵(Cross Entropy) 注:可能文中对一些专有名词的翻译不够精确,所以有的名词后面注解了其对应的原始英文单词 原文: "A Friendly Introduction to Cros 阅读全文
posted @ 2018-04-12 03:30 子孑 阅读(500) 评论(0) 推荐(0) 编辑
摘要: 算法求解思路为交替迭代的进行稀疏编码和字典更新两个步骤. K-SVD在构建字典步骤中,K-SVD不仅仅将原子依次更新,对于原子对应的稀疏矩阵中行向量也依次进行了修正. 不像MOP,K-SVD不需要对矩阵求逆,而是利用SVD数学分析方法得到了一个新的原子和修正的系数向量.固定系数矩阵X和字典矩阵D,字典的第$k$个原子为$d_k$,同时$d_k$对应的稀疏矩阵为$X$中的第$k$个行向量$x^k_T$. 假设当前更新进行到原子$d_k$,样本矩阵和字典逼近的误差为:$$\|Y - DX\|^2_F = \|Y - \sum\limits^K_{j=1}d_jx^j_T\|^2_F = \|(Y - \sum\limits_{j\neq k}d_jx^j_T) - d_kx^j_T\|^2_F = \|E_k -d_kx^k_T\|^2_F$$在得到当前误差矩阵$E_k$后,需要调整$d_k$和$X^k_T$,使其乘积与$E_k$的误差尽可能的小. 阅读全文
posted @ 2017-11-06 06:19 子孑 阅读(4066) 评论(1) 推荐(0) 编辑
摘要: MOD(Method of Optimal Direction)是早期的基于样本学习的字典学习算法. 设目标函数中$X$已知,信号的误差定义如下: $$\|E\|^2_F = \|Y - DX\|^2_F$$ MOD算法更新字典的策略就是实现表征误差最小化,所以公式两端针对$D$求偏导,会推到出$(Y - DX)X^{\mathrm{T}} = 0$,整个字典的更新过程如下: $$D^{n + 1} = Y (X^n)^{\mathrm{T}} \cdot (X^n(X^n)^{\mathrm{T}})^{-1}$$ 一般MOD算法需要几十次迭代即可收敛是一个比较可行的方法。缺点在于运算中需要对矩阵求逆,造成计算量过大. 阅读全文
posted @ 2017-10-19 03:06 子孑 阅读(2124) 评论(0) 推荐(1) 编辑
摘要: 我们将$l_1$范数替换$l_0$范数以后,稀疏表征模型可以表示为: $$\min \|\alpha\|_1 \quad \mathrm{s.t.} \; \Phi\alpha = s$$ 这是一个二次规划问题,如何将$l_1$范数优化问题转为线性规划问题呢? 参考[Atomic Decomposition by Basis Pursuit](http://epubs.siam.org/doi/pdf/10.1137/S003614450037906X)中的方法,可以将$l_1$范数优化问题转化为一个常见的线性规划问题,然后我们可以用单纯形法或者内点法来求解. 阅读全文
posted @ 2017-10-18 05:22 子孑 阅读(1012) 评论(0) 推荐(0) 编辑
摘要: 内点法属于约束优化算法。约束优化算法的基本思想是:通过引入效用函数的方法将约束优化问题转换成无约束问题,再利用优化迭代过程不断地更新效用函数,以使得算法收敛。 内点法(罚函数法的一种)的主要思想是:在可行域的边界筑起一道很高的“围墙”,当迭代点靠近边界时,目标函数徒然增大,以示惩罚,阻止迭代点穿越边界,这样就可以将最优解“档”在可行域之内了。 阅读全文
posted @ 2017-10-18 01:48 子孑 阅读(3965) 评论(0) 推荐(0) 编辑
摘要: 参考[单纯形法](http://www.cnblogs.com/theonegis/p/7679729.html)的步骤,MATALAB中的实现如下(求极小值): 注:对于极大值的求解,只需要对目标函数添加负号,求解出来的$X$,再带入原目标函数即可。 阅读全文
posted @ 2017-10-17 08:46 子孑 阅读(1319) 评论(0) 推荐(0) 编辑
摘要: 简要地讲就是,每次从单纯形上的一个顶点走到一个更好的顶点直到找到最小(大)值。最好的顶点怎么找?最直接的办法就是逐个找。聪明一点的办法是,每次找到的新的顶点都比原来的好。单纯形法就是这类方法。 阅读全文
posted @ 2017-10-17 01:44 子孑 阅读(2144) 评论(0) 推荐(0) 编辑
摘要: 这篇博文是在对Koredianto Usman《Introduction to Orthogonal Matching Pursuit》文章的翻译,后面附带了一些总结. 这篇文章是前面《Matching Pursuit (MP》文章的继续. 阅读全文
posted @ 2017-10-13 22:07 子孑 阅读(1397) 评论(0) 推荐(0) 编辑
摘要: 匹配追踪的过程已经在[匹配追踪算法(MP)简介](http://blog.csdn.net/theonegis/article/details/78209711)中进行了简单介绍,下面是使用Python进行图像重建的实践。 阅读全文
posted @ 2017-10-12 04:05 子孑 阅读(825) 评论(0) 推荐(0) 编辑
摘要: 在稀疏表征理论方面的研究主要可分为两个方面:字典的构建和稀疏编码. 稀疏编码的目标就是在满足一定的稀疏条件下,通过优化目标函数,获取信号的稀疏系数. 经典的算法有匹配追踪(Matching Pursuit,MP)、正交匹配追踪(Orthogonal Matching Pursuit,OMP)、基追踪(Basis Pursuit,BP)算法等. 阅读全文
posted @ 2017-10-11 23:11 子孑 阅读(17827) 评论(2) 推荐(4) 编辑