概率基础

(原创文章，转载请注明出处！)

 

 

(0-1)分布

P{X=k}=p^k(1-p)^1-k，k=0,1  (0<p<1)

 

二项分布

n重贝努利实验。一次实验出现事件A的概率为p，那么n次实验，事件A出现了k次的概率为：

P{X=k}=(_kⁿ)p^k(1-p)^n-k，k=0,1,2,3,...,n

(_kⁿ)p^k(1-p)^n-k是二项式(p+q)ⁿ的展开式中出现p^k的那一项。

 

多项分布

与二项分布类似，但每次实验的结果可以有k个，独立重复的做n次实验。

f(x₁,x₂,...,x_k;n,p₁,p₂,...p_k) = [ (n!)/(x₁!·x₂!·...·x_k!) ] · (p₁^x₁ · p₂^x₂ · ... · p_k^x_k),  ∑_i=1^mx_i=n

p_i为每次实验结果为i的概率，x_i为n次实验中结果为i的实验的次数。

 

泊松分布

P{X=k} = (λ^ke^-λ) / (k!) , k=0,1,2,3,...   , λ>0是常数

期望值是λ, 方差也是λ

 

数学期望

离散：E(X) = Σ ₁^∞(x_kp_k)

连续：E(X) = ∫_-∞^∞  xf(x) d_x

 

方差

D(X) = E{[X-E(X)]²}, sqrt(D(X)) 称为标准差。

 

协方差

Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}=E(XY)-E(X)E(Y)

Cov(X,Y)  /  ( sqrt(D(X))*sqrt(D(Y)) ) , 称为相关系数。

 

矩

E(X^k), 随机变量X的K阶原点矩，简称K阶矩

E{[X-E(X)]^k}，随机变量X的k阶中心矩

E(X^kY^l),  随机变量X、Y的k+l阶混合矩

E{[X-E(X)]^k[Y-E(Y)]^l}，随机变量X、Y的k+l阶混合中心矩，例如：Cov(X,Y)为二阶混合中心矩

 

协方差矩阵

三个随机变量X₁，X₂，X₃，有9个二阶中心矩：

c₁₁=E{[X₁-E(X₁)]²}                   c₁₂=E{[X₁-E(X₁)][X₂-E(X₂)]}      c₁₃=E{[X₁-E(X₁)][X₃-E(X₃)]}      

c₂₁=E{[X₂-E(X₂)][X₁-E(X₁)]}      c₂₂=E{[X₂-E(X₂)]²}                   c₂₃=E{[X₂-E(X₂)][X₃-E(X₃)]}      

c₃₁=E{[X₃-E(X₃)][X₁-E(X₁)]}      c₃₂=E{[X₃-E(X₃)][X₂-E(X₂)]}      c₃₃=E{[X₃-E(X₃)]²}      

这9个二阶中心矩就构成了X₁，X₂，X₃的协方差矩阵：

 

依概率收敛

一个事件的发生（比如某个方程的值等于某个常数a），随着次数n的增加增大，当n趋向∞时，事件发生的概率趋向1。

则称方程的值依概率收敛于常数a。

 

点估计

分布函数已知，但分布函数的参数未知，用样本数据来估计未知参数。 

 

随机过程

一族随机变量，{X(t), t∈T}。

其中：X(t)称为时刻t时过程的状态，是一个随机变量。X(t₁)=x, 表示：t=t₁时，随机过程处于状态x。

对随机过程进行一次试验，其结果是t的函数，记为x(t),t∈T, （t有很多个不同值），称为随机过程的一个样本函数或样本曲线。

 

贝努利过程

抛骰子，X_n是第n次(n≥1)的点数，对于n=1,2,3,...，X_n是不同的随机变量，因此{X_n,n≥1}构成一随机过程。

其状态空间为{1,2,3,4,5,6}

 

二阶矩过程

如果对每一个t∈T，随机过程{X(t), t∈T}的二阶矩E[X²(t)]都存在，（一族随机变量，它们的二阶矩都存在），则称其为二阶矩过程。

 

正态过程

随机过程{X(t), t∈T}，如果对任意的n≥1，t₁,t₂,...,t_n∈T, (X(t₁),X(t₂),...,X(t_n))服从n维正态分布，则称其为正态过程。

即过程中任何时刻的随机变量都是服从正态分布，任何连续的多个时刻对应的多个随机变量的联合分布是多维正态分布。

 

独立增量过程

给定二阶矩过程{X(t), t≥0}，随机变量X(t)-X(s), 0≤s<t为随机过程的区间(s,t]上的增量（增量也是一个随机变量），

如果对任意选定的正整数n，和任意选定的0≤t₀<t₁<t₂......<t_n,n个增量，

X(t₁)-X(t_o),X(t₂)-X(t₁),......,X(t_n)-X(t_n-1)，相互独立，则称{X(t), t≥0}为独立增量过程。