牛课深度学习专项练习笔记

2/9日

1.在一个神经网络中，下面哪种方法可以用来处理过拟合？(D)

A.Dropout

B.分批归一化(Batch Normalization)

C.正则化(regularization)

D.都可以

2.下面哪项操作能实现跟神经网络中Dropout的类似效果？( )

A.Boosting

B.Bagging

C.Stacking

D.Mapping

注解：B

Bagging：独立的集成多个模型，每个模型有一定的差异，最终综合有差异的模型的结果，获得学习的最终的结果；

Boosting（增强集成学习）：集成多个模型，每个模型都在尝试增强（Boosting）整体的效果；

Stacking（堆叠）：集成 k 个模型，得到 k 个预测结果，将 k 个预测结果再传给一个新的算法，得到的结果为集成系统最终的预测结果；

Bagging和Boosting的区别：

1）样本选择上：

Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。

Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。

2）样例权重：

Bagging：使用均匀取样，每个样例的权重相等

Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。

3）预测函数：

Bagging：所有预测函数的权重相等。

Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。

4）并行计算：

Bagging：各个预测函数可以并行生成

Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

5）bagging是减少variance，而boosting是减少bias

3.假设你需要调整超参数来最小化代价函数（cost function），会使用下列哪项技术？()

A.穷举搜索

B.随机搜索

C.Bayesian优化

D.都可以，

注解：D，穷举搜索法，随机搜索法，贝叶斯优化都可以优化超参数，各有优劣。

所以ABC三种都可实现调整优化超参数。

4.混沌度(Perplexity)是一种常见的应用在使用深度学习处理NLP问题过程中的评估技术，关于混沌度，哪种说法是正确的？（ ）

A.混沌度没什么影响

B.混沌度越低越好

C.混沌度越高越好

D.混沌度对于结果的影响不一定

注解：混沌度可以理解为不确定性，当然是越低越好。

5. 下列是caffe支持的loss优化的方法的是（）

Adam；SGD；AdaDelta；Nesterov

注解：Stochastic Gradient Descent (type: “SGD”), 随机梯度下降

AdaDelta (type: “AdaDelta”)  自适应学习率

Adaptive Gradient (type: “AdaGrad”) 自适应梯度

Adam (type: “Adam”)  自适应学习，推荐使用

Nesterov’s Accelerated Gradient (type: “Nesterov”) 加速梯度法

RMSprop (type: “RMSProp”)

6.googlenet提出的Inception结构优势有（）

A.保证每一层的感受野不变，网络深度加深，使得网络的精度更高

B.使得每一层的感受野增大，学习小特征的能力变大

C.有效提取高层语义信息，且对高层语义进行加工，有效提高网络准确度

D.利用该结构有效减轻网络的权重

答：AD