仙守

摘要： HInton第8课，之所以说之二三，是因为训练RNN的四种方法之一：长短时记忆在lecture7中介绍过了，这里介绍的是第二和第三种方法：HF优化和Echo （这个字觉得翻译成回声是不是欠妥，所以保留着，不过个人觉得“回显”不错）状态网络。这课有两个论文作为背景可以看《Generating Text... 阅读全文

摘要： Hinton 第七课 。这里先说下RNN有recurrent neural network 和recursiveneural network两种，是不一样的，前者指的是一种人工神经网络，后者指的是一种深度神经网络这里指的是前者，这部分翻译的不好，因为之前没怎么接触过RNN，不过就当理解意境吧，所以附... 阅读全文

摘要： Hinton的第6课，这一课中最后的那个rmsprop，关于它的资料，相对较少，差不多除了Hinton提出，没论文的样子，各位大大可以在这上面研究研究啊。一、mini-批量梯度下降概述 这部分将介绍使用随机梯度下降学习来训练NN，着重介绍mini-批量版本，而这个也是现今用的最广泛的关于训练大... 阅读全文

摘要： 这是Jake Bouvrie在2006年写的关于CNN的训练原理，虽然文献老了点，不过对理解经典CNN的训练过程还是很有帮助的。该作者是剑桥的研究认知科学的。翻译如有不对之处，还望告知，我好及时改正，谢谢指正！ Notes on Convolutional Neural Networks Jake 阅读全文

摘要： Hinton第五课突然不知道object recognition 该翻译成对象识别好，还是目标识别好，还是物体识别好，但是鉴于范围性，还是翻译成对象识别吧。这一课附带了两个论文《Convolutional Networks for Images,Speech,and Time-series》在前面翻... 阅读全文

摘要： Convolutional Networks for Images,Speech,and Time-seriesYann LeCun Yoshua Bengio1995年的1引言 多层BP网络可以从大数据样本中学习复杂的，高维的，非线性的映射并用于图像识别和语音识别任务（见pattern reco... 阅读全文

摘要： Hinton第四课这一课主要介绍神经网络在语言处理上应用，而主要是在文本上，并附上了2003年Bengio 等人的19页的论文《A Neural Probabilistic Language Model》，觉得不错，打算看看翻译了之后在传上来，虽然不是做这方面的，但是多懂些其他领域的东西也好。一、学... 阅读全文

摘要： Hinton第三课这节课主要是介绍NN的输出端常用的神经元，然后重点是说明怎么使用BP来计算偏导数，在Hinton这一课中，他提供了他1986年参与写的《并行分布处理》一书的第8章，49页，这本书的编者是当你的认知神经界的Rumelhart, D. E和McClelland, J. L，想想估计那时... 阅读全文

摘要： Hinton课程第二课一、NN结构的主要类型的概述 这里的结构就是连接在一起的神经元。目前来说，在实际应用中最常见的NN就是前向NN，他是将数据传递给输入单元，通过隐藏层最后到输出层的单元；一个更有趣的结构是递归神经网络RNN，这种网络能够将信息保存很久，所以能够表现各种有趣的震荡，但是却也难... 阅读全文

摘要： 稀疏过滤 Jiquan Ngiam，Pang Wei Koh，Zhenghao Chen，Sonia Bhaskar，Andrew Y.Ng 摘要：无监督特征学习能够在图像、视频和语音分类上高效的学习表征是众所周知的。然而现今很多特征学习算法却很难被使用，而且需要大量的超参数调整。在本文中，我们提出 阅读全文