ng-深度学习-课程笔记-0: 概述

课程概述

这是一个专项课程(Specialization),包含5个独立的课程,学习这门课程后做了相关的笔记记录。

(1) 神经网络和深度学习

(2)  改善深层神经网络:超参数调试,正则化,优化

(3)  结构化机器学习项目

(4)  卷积神经网络

(5) 自然语言处理:搭建序列模型

 

下面根据各部分的课程笔记列了个链接清单。

(1) 神经网络和深度学习

了解NN的基础,如何建立NN,如何训练它,课程的最后建立一个DNN识别猫。

第一周-介绍深度学习:http://www.cnblogs.com/liaohuiqiang/p/7639551.html

什么是神经网络,如何用神经网络做监督学习,为什么深度学习会兴起。

第二周-神经网络中的逻辑回归:http://www.cnblogs.com/liaohuiqiang/p/7659719.html

二分类,逻辑回归,代价函数,梯度下降,计算图的导数计算,逻辑回归中的梯度下降,logistic代价函数的解释。

第二周-Python和向量化:http://www.cnblogs.com/liaohuiqiang/p/7663616.html

向量化,向量化,向量化逻辑回归,python中的广播,python / numpy中的向量说明。

第三周-浅层神经网络:http://www.cnblogs.com/liaohuiqiang/p/7744905.html

神经网络概览,神经网络表示,计算神经网络的输出,多个例子中的向量化,激活函数,为什么需要非线性激活函数,激活函数的导数,神经网络的梯度下降,随机初始化。

第四周-深层神经网络:http://www.cnblogs.com/liaohuiqiang/p/7759866.html

深度L层神经网络,前向传播,核对矩阵维度,为什么使用深层表示,前向和反向传播,参数和超参数,这和大脑有什么关系。

 

(2)  改善深层神经网络:超参数调试,正则化,优化

进行深度学习方面的实践,学习如何让使它表现更好(超参数的调整,正则化,诊断偏差和方差,以及一些高级优化算法,比如Momentum, RMAProp和Adam优化算法)。

讲解一些关于建立网络的”黑魔法“。

第一周-建立你的机器学习应用:http://www.cnblogs.com/liaohuiqiang/p/7770567.html

训练/验证/测试集,偏差和方差,机器学习基础,正则化,dropout正则,其它正则化方法,归一化输入,梯度消失,梯度爆炸,权重初始化,梯度的数值逼近,梯度检验。

第二周-优化算法:http://www.cnblogs.com/liaohuiqiang/p/7865792.html

Mini-batch梯度下降,指数加权平均,指数加权平均的偏差修正,动量梯度下降,RMSProp,Adam,学习率衰减,局部最优的问题

第三周-超参数调试,Batch正则:http://www.cnblogs.com/liaohuiqiang/p/7874818.html

调试处理,为超参数选择合适的范围,超参数训练的实践:Pandas VS Caviar,网络的归一化,Batch Norm为什么奏效,测试时的Batch Norm,softmax回归,深度学习框架和Tensorflow。

 

(3)  结构化机器学习项目

学习如何构建机器学习工程。

构建机器学习系统的策略改变了深度学习,比如把数据转成 [ 训练集/验证集/测试集 ] 的方式。

目前最好的训练方式是什么呢?如果你的训练集和测试集来自不同分布怎么办?这些在深度学习中更常见,你要怎么解决呢?什么时候应该用end-to-end,什么时候不该用?

这一门课,ng将和大家分享他学习到的课程,生产,部署,深度学习的产品。

这些材料大部分开设深度学习课的大学都没有提到,但ng认为这些可以让你的深度学习系统表现更好。

第一周-机器学习策略1:http://www.cnblogs.com/liaohuiqiang/p/7876270.html

为什么要应用机器学习策略,正交化,单一实数评估指标,满足和优化指标,训练集 / 开发集 / 测试集的分布,开发集和测试集的大小,什么时候改变开发集 / 测试集和评价指标,人类水平的行为,可避免偏差,理解人类水平的表现,超越人类水平,改善你的模型的表现。

第二周-机器学习策略2:http://www.cnblogs.com/liaohuiqiang/p/7880889.html

误差分析,处理标注错误的数据,快速搭建系统并迅速迭代,在不同的分布训练和测试,数据分布不一致时候的偏差方差分析,处理信息不匹配,迁移学习,多任务学习,端到端学习。

 

(4)  卷积神经网络

CNN,卷积神经网络,经常用于图像领域。这一门课将学习如何建立这样的模型。

第一周-卷积神经网络:http://www.cnblogs.com/liaohuiqiang/p/7884590.html

边缘检测,padding和步长,三维卷积,卷积网络,池化层,卷积神经网络的示例,为什么要卷积。

第二周-卷积神经网络的实例探究:http://www.cnblogs.com/liaohuiqiang/p/7887755.html

实例探究,经典网络,残差网络,网络中的网络以及1*1卷积,Inception网络,迁移学习,数据增强,计算机视觉现状

第三周-目标检测:http://www.cnblogs.com/liaohuiqiang/p/7892120.html

目标定位,特征点检测,目标检测,滑动窗口的卷积实现,边界框预测,交并比,非极大值限制,Anchor Boxes,yolo算法,候选区域。

第四周-人脸识别和风格迁移:http://www.cnblogs.com/liaohuiqiang/p/7892885.html

什么是人脸识别,一次学习,Siamese网络,三元组损失,脸部验证和二分类,深度卷积网络在学什么,风格迁移,延伸到一维和三维。

 

(5) 自然语言处理:搭建序列模型

学习序列模型,以及如何将它们应用于自然语言处理和其它问题。序列模型包括RNN, LSTM。

学习这些模型并将它们应用于序列数据(自然语言就是一组单词序列)。

第一周-循环序列模型:https://www.cnblogs.com/liaohuiqiang/p/9129251.html

RNN基本模型,不同类型的RNN,语言模型和序列生成,RNN的梯度消失,GRU,LSTM,双向RNN,深层RNN

第二周-自然语言处理与词嵌入:https://www.cnblogs.com/liaohuiqiang/p/9135837.html

词汇表征,使用词向量,词向量的特征,如何学习词向量,word2vec,负采样,情感分类

第三周-序列模型和注意力机制:https://www.cnblogs.com/liaohuiqiang/p/9147483.html

基本模型,选择最可能的句子,Beam搜索,Beam搜索和RNN的误差分析,注意力模型

 

posted @ 2017-10-09 08:15  PilgrimHui  阅读(1023)  评论(0编辑  收藏