统计模型的检验
摘要:经常地,对一堆数据进行建模的时候,特别是分类和回归模型,我们有很多的变量可供使用,选择不同的变量组合可以得到不同的模型,例如我们有5个变量,2的5次方,我们将有32个变量组合,可以训练出32个模型。但是哪个模型更加的好呢?目前常用有如下方法:AIC=-2 ln(L) + 2 k 中文名字:赤池信息量
阅读全文
统计方法的应用
摘要:1,卡方分布 卡方分布用于检验观察值的频率和实际值得频率之间是否存在差异。 如果观察值Oi,i=1,2,3...(实验中获得的值), 期望得到的值Ei,i=1,2,3...(理论值) x2 = E(i=1,2...)(Oi-Ei)2/Ei 拒绝无效假设的条件是 X2 >X2 (df=n-1) (卡方
阅读全文
统计的一些名词及含义
摘要:方差膨胀因子(Variance Inflation Factor,VIF):是指解释变量之间存在多重共线性时的方差与不存在多重共线性时的方差之比。 共线性:两个自变量之间有很大程度的相似性(70%)。有时候在进行线性模型运算中,为了让自变量少,就看哪些变量相互之间具有共线性,具有共线性的变量中可以留
阅读全文
贝叶斯公式的理解方式
摘要:贝叶斯公式是怎么来的? 我们还是使用 wikipedia 上的一个例子: 一所学校里面有 60% 的男生,40% 的女生。男生总是穿长裤,女生则一半穿长裤一半穿裙子。有了这些信息之后我们可以容易地计算“随机选取一个学生,他(她)穿长裤的概率和穿裙子的概率是多大”,这个就是前面说的“正向概率”的计算。
阅读全文