机器学习常见问题

机器学习和深度学习常见问题：（参考：https://www.cnblogs.com/huanyi0723/p/8470866.html）

<1> 逻辑回归和线性回归对比有什么优点？

<2> 逻辑回归可以处理非线性问题吗？

<3> 分类问题有哪些评价指标？每种的适用场景。

<4> 讲一下正则化，L1和L2正则化各自的特点和适用场景。

<5> 讲一下常用的损失函数以及各自的适用场景。

<6> 讲一下决策树和随机森林

<7> 讲一下GBDT的细节，写出GBDT的目标函数。 GBDT和Adaboost的区别与联系

<8> 手推softmax loss公式

<9> 讲一下SVM, SVM与LR有什么联系。

<10>讲一下PCA的步骤。PCA和SVD的区别和联系

<11> 讲一下ensemble

<12> 偏差和方差的区别。ensemble的方法中哪些是降低偏差，哪些是降低方差？

 

<1> 手推BP

<2> 手推RNN和LSTM结构

<3> LSTM中每个gate的作用是什么，为什么跟RNN比起来，LSTM可以防止梯度消失

<4> 讲一下pooling的作用， 为什么max pooling要更常用？哪些情况下，average pooling比max pooling更合适？

<5> 梯度消失和梯度爆炸的原因是什么？ 有哪些解决方法？

<6> CNN和RNN的梯度消失是一样的吗？

<6> 有哪些防止过拟合的方法？

<7> 讲一下激活函数sigmoid，tanh，relu. 各自的优点和适用场景？

<8> relu的负半轴导数都是0，这部分产生的梯度消失怎么办？

<9> batch size对收敛速度的影响。

<10> 讲一下batch normalization

<11> CNN做卷积运算的复杂度。如果一个CNN网络的输入channel数目和卷积核数目都减半，总的计算量变为原来的多少？

<12> 讲一下AlexNet的具体结构，每层的作用

<13> 讲一下你怎么理解dropout，分别从bagging和正则化的角度

<14> data augmentation有哪些技巧？

<15> 讲一下你了解的优化方法，sgd, momentum, rmsprop, adam的区别和联系

<16> 如果训练的神经网络不收敛，可能有哪些原因？

<17> 说一下你理解的卷积核， 1x1的卷积核有什么作用？

逻辑回归，SVM，决策树

逻辑回归和SVM的区别是什么？各适用于解决什么问题？

Linear SVM 和 LR 有什么异同？

SVM（支持向量机）属于神经网络范畴吗？

如何理解决策树的损失函数?

各种机器学习的应用场景分别是什么？例如，k近邻,贝叶斯，决策树，svm，逻辑斯蒂回归和最大熵模型。

主成分分析，奇异值分解

SVD 降维体现在什么地方？

为什么PCA不被推荐用来避免过拟合？

随机森林，GBDT, 集成学习

为什么说bagging是减少variance，而boosting是减少bias?

基于树的adaboost和Gradient Tree Boosting区别？

机器学习算法中GBDT和XGBOOST的区别有哪些？

为什么在实际的 kaggle 比赛中 gbdt 和 random forest 效果非常好？

过拟合

机器学习中用来防止过拟合的方法有哪些？

机器学习中使用「正则化来防止过拟合」到底是一个什么原理？为什么正则化项就可以防止过拟合？

卷积神经网络，循环神经网络，LSTM与GRU，梯度消失与梯度爆炸，激活函数，防止过拟合的方法，dropout，batch normalization，各类经典的网络结构，各类优化方法

卷积神经网络工作原理直观的解释？

卷积神经网络的复杂度分析

CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？

bp算法中为什么会产生梯度消失？

梯度下降法是万能的模型训练算法吗？

LSTM如何来避免梯度弥散和梯度爆炸？

sgd有多种改进的形式(rmsprop,adadelta等),为什么大多数论文中仍然用sgd?

你有哪些deep learning（rnn、cnn）调参的经验？

Adam那么棒，为什么还对SGD念念不忘 (1)

Adam那么棒，为什么还对SGD念念不忘 (2)

全连接层的作用是什么？

深度学习中 Batch Normalization为什么效果好？

为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？

Krizhevsky等人是怎么想到在CNN里用Dropout和ReLu的?

提升树的思想，随机森林和提升树的区别

EM算法数学原理

SVM推导，对偶性的作用，核函数有哪些，有什么区别

分布式计算框架了解哪些

SVM的推导

bp算法介绍，梯度弥散问题。

svm介绍，优缺点是什么，lr介绍，区别是什么

lr与线性回归的区别

如果要预测房价，用什么模型

如果要预测房价，并且知道一个房间的房型信息，如何构建模型

sigmoid 函数的应用有哪些，为什么？

列举十种常用的神经网络模型

语音识别模型有哪些

如何识别一个人在喝酒，需要几个模型

苏宁 算法工程师 备胎池凉了

卷积神经网络中卷积如何实现，激活函数的意义，损失函数有哪些，初始化参数如何选择

用过哪些深度学习框架，TensorFlow中的session是什么，session和interactivesession的区别

如何实现卷积层权值共享

如何保存模型，读取已有的模型

用过哪些深度学习模型，区别是什么。

了解哪些寻优算法

softmax损失函数是什么

svm推导，核函数的体现，常用的核函数有哪些

alexnet介绍

过拟合的原因，有哪些避免过拟合的trick

决策树算法有哪些，随机森林和GBDT的区别

降维方法，PCA原理

哈夫曼树在机器学习中的应用

文本挖掘算法了解哪些