回归-day2

1 R²

计算公式：R²=1-RSS/TSS

RSS：误差平方和

TSS：样本伪方差的m倍，m为样本个数

R2越大，拟合效果越好！

R2是一个标记，并不是一个数值的平方，所以也是可以为负数的。

    注：ESS为回归平方和，是预测值与样本期望的差值的平方和。

TSS>=RSS+ESS

2 线性回归不推荐用于处理分类问题，此时用Logistic回归或Softmax进行处理。

3 逻辑回归与线性回归

逻辑回归：假定样本符合二项式分布

    表达式：y_i=1/(1+e^-θx)

    线性回归：假定样本符合高斯分布

        表达式：yi=θx

4 ROC曲线

    定义：横坐标为假正率（FPR=FP/(FP+TN)），纵坐标为真正率（TPR=TP+FN）

    AUC：ROC曲线下的面积，可以作为不同模型效果的一种比较手段。

5 信息量

    某事件发生的概率小，则该事件的信息量大

    如果两个事件X和Y独立，即p(xy)=p(x)p(y)，假定X和Y的信息量分别为h(X)和h(Y)，则二者同时发生的信息量h(XY)=h(X)+h(Y)

6 条件熵

    H(Y|X)=H(X,Y)-H(X)

    该式子定义为X发生前提下，Y的熵。

7 相对熵

    D(p||q)=E_p(x)log(p(x)/q(x))

    相对熵可以度量两个随机变量的距离

    一般地，D(p||q)不等于D(q||p)

8 互信息

    I(X,Y)=H(X)+H(Y)-H(X,Y)

    皮尔逊相关信息可以描述是否线性相关，但不能判断是否独立，而互信息可以判断是否独立。

9 决策树

    决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树。

    建立决策树主要有三种算法：① ID3；② C4.5；③ CART

10 信息增益

    信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度。

    g(D,A)=H(D)-H(D|A)