摘要： 常用的激活函数： 1.sigmoid $f\left( z \right)=1/ \left( 1+e^{-z} \right)$. 将输入的连续实值变换为(0,1)，缺点在于深度网络时，梯度反向传递时导致梯度爆炸和梯度消失，梯度消失概率较大，爆炸概率较低。例如，如果初始化的权值是[0,1]之间的值 阅读全文

摘要： 1.原网络和更深的网络是否一定会有好的结果？ 答：从理论上来说，假设新增加的层都是恒等映射，只要原有的层学出跟原模型一样的参数，那么深模型结构就能达到原模型结构的效果。换句话说，原模型的解只是新模型的解的子空间，在新模型解的空间里应该能找到比原模型解对应的子空间更好的结果。但是实践表明，增加网络的层 阅读全文

摘要： 初学CNN及代码 1.出现input size 为（512*1*1），而output size 为（512*0*0）。 答：由于输入的特征图太小，mnist 初始size为28*28，几次maxpooling后。解决方法就是减少层数或增大图片输入的size。 2.报错：invalid index o 阅读全文

摘要： 他娘的，又回来了。好久没写东西了。和上一次写东西的时候相比，恍如隔世。 现在竟然做起了NMF解混，这篇文章写完之后我就再也不做解混了，最多水一篇C。有没有阿姨，我不想再努力了。 解混的应用感觉做的空间已经不大了，没有很大意义上的进展了。我还是考虑考虑其他方向，或者做一下NMF的clustering， 阅读全文

摘要： 首先KL散度是一种距离，就是两个熵相减得到的差值。用基于P的编码去编写来自P或Q的样本。让两者相减，得到基于P的编码的P或Q的样本所产生的信息量，也就是基于同一个条件下，两个分布的差异，差异也就是距离。 熵的定义公式中，log函数不局限于固定的底，不同的底对应了熵的不同度量单位。如果以2为底，则熵的 阅读全文

摘要： 残桥乱野出日间，攸攸数载若等闲。 寒鸦犹戏东湖水，浮萍正亲落拓人。 尘渊初临恐失度，思台日垒不堪眠。 躲进荒冢为新骨，偷得美景伴酒甜。 阅读全文

摘要： 久未提笔，今又信笔，写一写希尔伯特空间。 首先弄清楚几个逻辑； 1.首先内积满足三条件：正定性；共轭对称性；对第一变元线性，即<ax+by,z>=a<x,z>+b<y,z>.同时，内积空间的元素为向量，例如 $x \in R^3$. 2.内积空间中,由内积定义的映射 IIxII=<x,x>^(1/2 阅读全文

摘要： 函数型数据分析 1.是将观测看成是在无穷维的空间上，但实际上样本曲线只能在有限的时间节点上观测。 2.第一步，就是离散观测点的函数型重构。最普遍的解法是考虑样本路径属于一些基函数张成的有限维空间；另一个接发是基于函数的非参数光滑方法；如果观察的样本曲线没有误差，就直接用；如果存在误差，还要加上误差项 阅读全文

摘要： 今天上网查一个旧人名字，总是查不到，突然用英语查到他的主页，才发现自己竟然把名字记错了，因此恍惚不已，再思这两个月的历程，故而以诗记之。 乍闻旧名惊错忆，还思前胆苦尽尝。子夜惧眠舟不系，累日推石芥难藏。旦行窗外星未已，暮枕天边月已凉。恍惚境中我独忘，千万人兮也寂然。 看完自己的诗，才发现和以前的差距 阅读全文

摘要： Solving for geodesic is a classical problem in the calculus of variation. In Grassmann manifold, there exists relatively simple method of computing ge 阅读全文