机器学习_卷积神经网络_"智海"准备

李宏毅机器学习

05-1卷积神经网络

1. 卷积神经网络中，图像矩阵大小为5x5x1，卷积核大小为3x3，步长大小为1，请问做了多少次卷积操作？

   

    

    

   答案：9次

2. 思考权值共享的作用:

   • 减少参数的数量;

   • 能够找到该卷积核代表的局部特征。

3. 常见的池化操作有哪些？

   • 一般池化：最大池化，平均池化

   • 重叠池化

   • 空金字塔池化

08-1迁移学习

1. 微调的使用情况有哪些？

   • 使用的数据集和预训练模型的数据集相似；

   • 自己搭建或者使用卷积神经网络模型的正确率太低；

   • 数据集相似，但是数据集数量太少；

   • 计算资源太少。

 

09-1支持向量机

1. 支持向量机中常用的核函数有哪些？

   • 线性核

   • 多项式核

   • 高斯核

   • 拉普拉斯核

   • Sigmoid 核。

10-1循环神经网络1

1. 忘记门信号𝑧𝑓zf，取100还是取-100时，重置 memory？

   • 忘记门输入信号为-100时，memory会重置

10-1循环神经网络2

1. 当某一时刻参数点处于悬崖边上的时候，梯度会非常的大；如果乘以当前的学习率，会飞出这个误差曲面，那么我们应该采用什么样的方法来避免此种情况的出现？

   • 给Gradient设置一个Threshold，使梯度最大不会超过这个Threshold。

2. 损失函数的梯度在同一个点附近可能有着巨大的差别，

   有时候非常大，有时候非常小。思考：这种现象发生的原因。

   • 原因在于当一个记忆点在对后续的输入产生影响后，这个记忆点就被遗忘了，但是影响依然存在。而且权重被反复多次使用，这个影响会变得非常巨大或者微乎其微。