ML From Hung Yi Lee --- Brief introduction of deep learning #6

Deep Learning

前沿

• \(Deep\ Learning\)的使用频次几乎呈现指数级增长
• 表明\(Deep\ Learning\)已经越来越强大，运用面也越来越广了

• 主要步骤

Neural Network

• 把多个神经元连接起来就是神经网络

连接方式

神经网络的连接方式的不同导致不同的神经网络结构

• 可以把一个神经网络看作成为是一个\(function\)输出一个\(vector\)然后输出另外一个\(vector\)

• 建立连接方式的过程就是构建function set的过程，neural network 所能表示的function会非常多，所以neural network 才这么有用

全连接神经网络

• Input Layer: 输入层
• Hidden Layers: 隐藏层
• Output Layer: 输出层

• 层数越来越多
• 对于层数越来越多的神经网络需要使用更加特殊的结构，否则无法train

神经元的运作方式

大部分与矩阵运算有关

• 例子

• 在每一个连接层，就是使用矩阵计算出结果，加上bias，然后使用sigmod函数得到输出值输出到下一层。

就是一连串的矩阵计算，我们使用矩阵计算的时候就可以借助GPU来帮助我们加速

• hidden layers ： 就是在帮助我们使用线性变换，使得数据点之间可以分开
• Output Layer： 就是相当于一个多分类器，拿到线性处理后的数据然后输出结果

• 比如说手写数字识别

Hidden Layers： 完全决定了我们的输出函数集，如果说设计的不是很好，就有可能在这个function set 里面完完全全找不到这个最好的function，所以说隐藏层的结构非常重要

• 计算每一个cross entropy，然后计算每一个类下面的误差
• 使用Gradient Descent找到使得error最小的那个function

Gradient Descent