概率与统计综述

总体概述

概率的本质是用分布拟合现实，中心极限定理是为了减少计算量分布的近似表达

统计的本质是用现实估计概率模型，大数定律是估计的原理支撑

 

 期望，方差，协方差，相关系数这些指标都是分布的子集，都是为了描述分布的高矮胖瘦的特征而单独拎出来的指标量。

 

概率

已知一个设计，得出这个设计的分布，涉及二项分布01分布泊松分布超几何分布正态分布指数分布等

已知多个分布，求多个分布的线性组合或自由组合得出的新分布，涉及t分布卡方分布F分布，中心极限定理等

指标就不赘述了

 

 

估计

目前一切机器学习都包含在此类

简单的有最小二乘、最大似然、最大后验、正则化

复杂的有SVM，神经网络等

 

估计的分类

点估计：给一个式子，当作估计量

区间估计：给一个式子，将这个式子作为一个新的随机变量并求出分布，取分布一个区间来估计

估计的特性

估计参数肯定要给出一个式子，这个式子可能是好的可能是坏的，我们要对这个式子进行评估，用到以下三个性质。

无偏性：将估计的式子作为新一个新的统计量Y，如果EY=EX那么就是无偏估计。表明只要量够大，不会有一个固定的偏差，算是大数定律的衡量标准。

有效性：将估计的式子作为新一个新的统计量Y，Y方差越小越好，方差越小说明相同样本数量下得到更为正确的估计答案

一致性：对于有偏估计，如果偏差随着n的增大逐渐变小，那么就是满足一致性的估计，这个评价标准是用来衡量lkd有偏估计的。