alexanderkun

摘要： 生成MAT文件假如你的矩阵A.B都已赋值，现在需要将A,B矩阵保存成mat格式文件，执行如下命令：save mydata A B 就会把A B矩阵数据保存在yourdata.dat文件中了保存指定数据为MAT文件：假如我们只想保存A矩阵，那么，我们可以用如下命令：save mydata2 A 回车这... 阅读全文

摘要： 'T=25\circC'，(摄氏度)下标用 _(下划线)上标用^ （尖号）希腊字母等特殊字符用α \alphaβ \betaγ \gammaθ \thetaΘ \ThetaГ \Gammaδ \deltaΔ \Deltaξ \xiΞ \Xiη \eltaε \epsilonζ \zetaμ \miu... 阅读全文

摘要： [1. 特征的数学意义]我们先考察一种线性变化，例如x,y坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1，那么坐标系关于原点做旋转以后，椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵，得到一个新的(x',y')的表示形式，写为算子的形式就是(x,y)*M=(x',y')... 阅读全文

摘要： 牢骚就不继续发挥了。在这个系列文章里，我希望能简单介绍一下小波变换，它和傅立叶变换的比较，以及它在移动平台做motion detection的应用。如果不做特殊说明，均以离散小波为例子。考虑到我以前看中文资料的痛苦程度，我会尽量用简单，但是直观的方式去介绍。有些必要的公式是不能少的，但我尽量少用公式... 阅读全文

摘要： 泰勒级数的重大意义，即在于“它使单变量函数(只有一个自变量x的函数)可以展成幂级数的形式”，然后再处理计算。这对解决“复杂函数”具有重要意义。将复杂函数“化成”幂函数的连加形式，即幂级数形式，由于人们对处理幂函数很有经验，所以这样一来，本来没法处理的“非初等函数”的“复杂函数”，就可以处理计算了。泰... 阅读全文

摘要： 均方值这个概念比较少用，英文mean square。一般用它的另一种形式：均方根值（也就是高中物理里面的“有效值”）。我们死扣“均方值”这3个字的字眼都把概念弄清楚了－－先把各项平方，再求做算术平均。例如：x、y、z 3项求均方值。均方值＝（x的平方＋y的平方＋z的平方）/3。搞定最小均方误差就是求完均方值 还要加上约束条件，求出一个最小值来。 阅读全文

摘要： Deep Boltzmann Machines是hinton的学生写的，是在RBM基础上新提出的模型，首先看一下RBM与BM的区别很明显可以看出BM是在隐含层各个节点以及输入层各个节点都是相互关联的，但是RBM只是两层之间的节点互相关联。而DBM其实就是多层的RBM，类似于DBN，RBM是拥有一个hidden层，而DBM拥有多个hidden层如上图是一个三层的DBM，十分类似于DBN，但是他的隐层是互相可以传递的，而DBN的几个隐层是不能够互相传递的，是单向的。关于DBM，使用最大似然估计训练速度太慢了，所以作者采用Greedy Layerwise的贪婪分层法来进行pretrain1、贪婪分层 阅读全文

摘要： 这篇文章是Bengio研究的在传统的autoencoder基础上增加了噪声参数，也就是说在输入X的时候，并不直接用X的数据，而是按照一定的概率来清空输入为0。paper中的名词为corrupted。这样活动函数计算的时候就用这个X尖来计算，而不是用X来计算。然后算法通过reconstruct来根据计算的Y来重构求X。 如下图所示，这种思路十分类似于dropout。不过dropout是在隐层做trike，而这个算法是选择性忽略输入的数据。 阅读全文

摘要： 这篇paper使用DropConnect来规则化神经网络。dropconnect和dropout的区别如下图所示。dropout是随机吧隐含层的输出清空，而dropconnect是input unit到hidden unit输入权值以1-p的概率清0dropout的关键公式，其中m是size为d的列向量格式如下[0 0 1 0 0 0 1 1 ]T .这样的话就把隐层到输出层以一定的概率清空，概率一般为0.5dropconnect的关键公式，其中M和上面的m一个含义。这个就是说从输入层到隐层就要有一定的概率来清空。dropconnect的算法流程如下，和普通的算法不同的地方就是随机sample 阅读全文

摘要： Improving neural networks by preventingco-adaptation of feature detectors 是Hinton在2012年6月份发表的，从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明，只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分1、为了防止overfitting，使用dropout的方式，在数据量较大的情况下比较有效果。2、hidden unit采用0.5的比例，随机被忽略。3、传统RBM的方式使用了权衰减策略，主要目的是防止过度拟合，一般的做法是正常的梯度项后增加一项，作为惩.. 阅读全文