随笔分类 - 深度学习
摘要:一、为什么会出现循环神经网络? 传统的语言模型中,计算特定序列中多个单词出现概率的公式为(以下式子),P(w1,…,wm)一般只考虑前 n 个单词而不是考虑全部之前的单词。 上式对语音、翻译系统中判断一个词序列是否是输入句子的准确翻译起了重要作用。这些只依赖前面1个词(bigram)、依赖前面2个词
阅读全文
摘要:深度学习 第10章 序列建模:循环和递归网络 1.循环神经网络介绍 相比卷积神经网络:专门用于处理网格化的数据(如图像),可以很容易扩展到更具有很大宽度和高度的图像,以及处理大小可变的图像; 循环神经网络专门用于处理序列化得数据,可以扩展到更长的序列,大多数循环网络也能处理可变长度的序列。
阅读全文
摘要:一、初级介绍篇 1.用Python,TensorFlow和Keras进行深度学习(作者Sandipan Dey) 作者粗略介绍了Logistic Regression、SGD(with momentum、RMSprop的公式其Python实现)以及使用Python、Keras搭建神经网络进行手写数字
阅读全文
摘要:一、课程网站: http://web.stanford.edu/class/cs224n/archive/WWW_1617/index.html 二、视频(中文字幕) http://www.mooc.ai/course/494 三、课堂笔记(PPT课件讲解) http://www.hankcs.co
阅读全文
摘要:一、说明 非原创,来源:磐创AI公众号 (略有修改)。 二、内容 损失函数(loss function)又叫做代价函数(cost function),是用来评估模型的预测值与真实值不一致的程度,也是神经网络中优化的目标函数,神经网络训练或者优化的过程就是最小化损失函数的过程,损失函数越小,说明模型的
阅读全文
摘要:1.梯度下降法的三种形式Batch Gradient Desecnt、Stochastic Gradient Desecnt、Min-Batch Gradient Desecnt及其总结 详见:Poll的笔记 写的非常清楚,看一看就能明白 2.关于梯度下降的优化算法 详见:机器之心深度解读最流行的优
阅读全文

浙公网安备 33010602011771号