CS231n 2017 学习笔记04——反向传播与神经网络 Backpropagation and Neural Networks

本博客内容来自 Stanford University CS231N 2017 Lecture 4 - Backpropagation and Neural Networks

课程官网:http://cs231n.stanford.edu/syllabus.html

从课程官网可以查询到更详细的信息,查看视频需要FQ上YouTube,如果不能FQ或觉得比较麻烦,也可以从我给出的百度云链接中下载。

课程视频&讲义下载:http://pan.baidu.com/s/1gfu51KJ

 


 

计算图 Computational graphs

计算图就是把复杂的公式用图形表示出来,很直观。

 


 

反向传播 Backpropagation:

反向传播算法利用了求导的链式法则,从结果出发,一步步逆推出每一个变量的导数,这也是反向传播名称的由来。

 

图中展示的都是最最最简单的节点,当然也可以适当的把几个节点组合起来,形成一个新的稍微复杂一点的节点。这本身就是一种 trade-off,如果想要少做微积分运算,那就得使用更多更简单的节点,但这样就会造成整个计算图庞大、臃肿。

 

 


 

常见节点的特性

 

 

posted @ 2017-12-24 02:10  Irran  阅读(613)  评论(0编辑  收藏  举报