【Deeplearning】(转)深度学习知识网络

转自深度学习知识框架,小象牛逼!


01.jpg

图片来自小象学院公开课,下面直接解释几条线

神经网络

线性回归 (+ 非线性激励) → 神经网络

  • 有线性映射关系的数据,找到映射关系,非常简单,只能描述简单的映射关系
  • 大部分关系是非线性的,所以改进方法就是加一个非线性激励,某种程度是一个 NORMALIZE,但是是非线性的,对参数有更强的描述能力
  • +非线性激励,描述稍微复杂的映射关系,形成神经网络
  • 神经网络输入是 1 维信息,普通网络之间进行的是代数运算,然后经过非线性激励,形成新的神经网络

RNN

神经网络 (+时域递归) → RNN

  • 神经网络处理一维信息,然而一维信息很可能是有前后的时间联系的,如人的语音,前面说的话与后面是有联系的,RNN 学习前后关系
  • 相当于某一刻的输出同时也作为下一刻的输入,所以这一刻的输入不仅是这一刻的输入+上一刻输出的信息

LSTM

RNN (+记忆GATE) → LSTM

  • RNN 只考虑前一刻信息,Tn 时刻只考虑 Tn-1 的,那么 Tn-2,就是 Tn-2 → Tn-1 → Tn 逐层衰减,信息也会越来越弱
  • 如果很久之前的记忆很重要,要把它记下来,就相当于有一个记忆方程,那么就可以用 LSTM,实现长记忆短记忆
  • Gate 来分析哪一部分存储,哪一部分进行传递
  • 应用: 语句生成 → 自动翻译智能对话

CNN

神经网络 (+卷积核) → CNN

  • 基本的代数运算用卷积核来代替。一维到二维甚至是三维的转化,相当于一个空间上的扩展
  • 应用: 图片分类 → 目标分类(人脸识别/物品识别/场景识别/文字识别)、目标检测(安防/自动驾驶)

更先进的CNN

  • 深度,宽度,递归的变化
    增加深度(网络层数),E.g.OverFeat-accurate,VGG
    增加宽度(filter数),E.g.zf-big,OverFeat-accurate
    递归的变化,可以跳过下一层,传到后面几层
  • 结构与性能
  • 特定问题的具体结构
    比如说人脸识别,我们知道人脸有大体结构,用 CNN 来做识别时,可以让不同位置的像素不共享参数,眼睛有处理眼睛部分的卷积核,鼻子有处理鼻子部分的卷积核,它们之间不共享参数,这样的话参数会很多,但这样训练的结果可能会更好一些,专门对眼睛/鼻子进行训练

LSTM + CNN

LSTM 卷积化(LSTM + CNN)

  • 应用: 产生理解图片的语言 → 图片描述/标注 → 看图说话,时域的图片 → 视频分类 → 视频搜索
  • NLP 方向比较成熟的只有语音识别,语义挖掘方面还是目前的热点

增强学习

外部反馈 → 增强学习

  • 模仿人类学习的模型
  • CNN 能理解,把它放在游戏中,做决策,给出反馈,让它学会决策的能力
  • 应用: 围棋,德州扑克,自动游戏,路径规划

GAN

生成网络 + 判别网络 → 对抗网络

  • 生成网络学会怎么生成数据,如输入有表情图片,学习怎么输出没有表情的图片,实际生成质量不是很好
  • 判别网络判断生成网络生成的图片是不是真的
  • 两者结合生成网络生成的图片越来越逼真,判别网络鉴别图片的能力也越来越强
  • 作用: 生成数据,相当于无监督学习

 

posted @ 2019-07-16 12:18  HongmingYou  阅读(198)  评论(0编辑  收藏  举报