摘要：
1.SVM的基本思想间隔最大化来得到最优分离超平面。方法是将这个问题形式化为一个凸二次规划问题，还可以等价位一个正则化的合页损失最小化问题。SVM又有硬间隔最大化和软间隔SVM两种。这时首先要考虑的是如何定义间隔，这就引出了函数间隔和几何间隔的概念（这里只说思路），我... 阅读全文
摘要：
1. 决策树怎么做回归让所有节点求平均值。2. 熵、联合熵、条件熵、交叉熵、KL散度（相对熵），信息增益，互信息，信息增益率的计算简介： 熵用于衡量不确定性，所以均分的时候熵最大 KL散度用于度量两个分布的不相似性，KL(p||q)等于交叉熵H(p,q)-熵H(p)。... 阅读全文
摘要：
1.衡量分类器的好坏（1）常用的指标： 查准率 precision = TP/(TP+FP) = TP/~P （~p为预测为真的数量） 召回率 recall = TP/(TP+FN) = TP/ P （2）F1 score F1值： 2/F1 = 1/recall +... 阅读全文
摘要：
1.二阶收敛为什么比一阶收敛更快？一阶收敛是以1/n的速度收敛，二阶收敛是以1/(n^2)的速度收敛，所以速度比较快。 附：最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？ 直观上的理解：梯度下降法，确定了一个方向（负梯度方向），迭代点沿着这个方向走... 阅读全文
摘要：
1. 为什么要做特征选择？特征选择主要有两个功能： (1)减少特征数量、降维，使模型泛化能力更强，减少过拟合 (2)增强对特征和特征值之间的理解2. 常用的特征选择方法[这里](1)去掉取值变化小的特征 针对特征值都是离散型变量； (2)单变量特征选择 单变量特征选择... 阅读全文