摘要： 恢复稀疏编码中的输出理论值是本身输入的特征值x，标注值y=x。好处是网络的隐含层能够很好的代替输入的特征，因为它能够比较准确的还原出那些输入特征值。练习要求：详见网址Exercise:Sparse Autoencoder,题目的主要要求是，首先从10张512*512的图片中，随机取样（sample）出10000张8*8的patches，然后运用sparse autoencoder算法训练一个3层网络，输入层有64个节点，隐藏层有25个节点，输出层有64个节点。训练出来的25个节点能够很好地表示这64个节点。matlab函数介绍：B=randi(imax)：在闭区间（0，iMax）生成均匀分布的 阅读全文

摘要： 预备知识神经网络：前向传播算法 其中（下面的式子中用到）是第层第单元与第层第单元之间的联接参数（其实就是连接线上的权重，注意标号顺序），是第层第单元的偏置项。激活函数反向传导算法：进行前馈传导计算，利用前向传导公式，得到直到输出层的激活值。对输出层（第层），计算：对于的各层，计算： 4.计算最终需要的偏导数值：批量梯度下降算法的一次迭代：对于所有，令,（设置为全零矩阵或全零向量）对于到，使用反向传播算法计算和。计算。计算。 3.更新权重参数：梯度检验与高级优化：计算两端值是否一样来检验函数是否正确自编码算法y（i）= x（i）隐藏神经元j的平均活跃度:我们可以近似的加入一条限制其中，是稀疏性. 阅读全文