概率论基本概念
一、古典概率模型
某事件A发生的概率是定义在随机实验的基础上的。
- 在随机实验中,可能出现的各种可能结果称之为样本;
- 样本点的集合称之为样本空间,记为Ω;
- 随机事件A定义为样本空间Ω的一个子集,由对事件A有益的样本点组成;
古典概型认为,在n次彼此独立的随机实验中(n足够大),事件A发生的次数等于其概率乘以n,并将概率定义为:
P(A) = |A|/|Ω|
举个例子,假设某随机实验是抛10次硬币,每个样本点可以看成是长度为10的正反序列,样本空间的样本总数为210。定义随机事件A为10次中共有5次正面出现的情况,则其有益样本点的数目是在10次中选择5个位置进行组合,即252次。则事件A发生的概率为252/1024 = 0.246。
古典概型是概率理论中的其中一种模型,满足概率理论对概率模型要求的三个条件,即非负,样本空间的概率为1以及不相交的随机事件的并的概率等于各概率之和。
二、条件概率及事件相互独立
条件概率P(A|B)是指在事件B发生的前提下,事件A发生的概率。比对概率的定义,“已知事件B发生,事件A也发生”这个随机事件的有益样本点数为|AB|,在事件B已发生的前提下,分母由样本空间的|Ω|缩小为|B|,从而有
P(A|B) = P(AB)/P(B)
举个例子,定义随机实验为投掷一枚色子,事件B为色子点数为偶数,事件A为色子点数为3。在不知道任何消息的前提下P(A)为1/6,而当有人告诉你事件B已经发生了,让你预测事件A是否发生时,概率就变成1/3了。
如果有P(A)P(B) = P(AB),则称事件A与事件B相互独立,从而有P(A|B) = P(A),即事件B的发生与否不影响事件A。例如,事件A为抛硬币得到正面,事件B为抛色子得到5,则事件A与B相互独立,B的发生与否对A没有影响,A与B同时发生的概率可以由乘法公式得到,为1/12。讨论两事件时不必局限于同一样本空间中,也不局限于一次实验中。通常如果两事件为一次实验中的两个样本集合,则这两个事件应该不是相互独立的。
三、随机变量及其概率度量
通常我们并不对随机实验的直接结果感兴趣,而对直接结果的函数感兴趣。例如随机实验为抛十次硬币,其直接结果为一个长度为10的正反序列,我们通常会问这次实验中有几个是正面的(二项分布),或者说实验中经过几次反面后第一次出现正面(几何分布)。正式的,将随机变量定义为:
X:Ω -> R
即随机变量为样本空间上的一个函数。若随机变量的取值有限则称为离散随机变量;否则称为连续随机变量。
对于离散随机变量,由于多个独立样本点可以映射到同一个随机变量的结果k,则不难理解随机变脸X取某个结果k对应着某个随机事件A,从而有P(X=k) = P(A)。为了对离散随机变量进行概率度量,定义X的概率质量函数(Probability Mass Function)为pX(x) = P(X = x)。另一种度量是X的累积分布函数(Cumulative Distribution Function)为FX(x) = P(X <= x)。显然,对PMF与CDF的相互转换是很直观的。
对于连续随机变量,例如公交公司承诺每班车的间隔时间在0-20分钟内属于正常,公车可能在这个时间范围内的任何事件点到达。对于公车到达时间这样的随机实验,我们通常关注其在某个事件段间的概率,例如按照经验说公车到达最有可能是在15-16分钟之间,在0-1分钟之间到达概率很小,而说公车在第7分钟到达的概率是没有意义的。通过定义X的概率密度函数(Probability Density Function)来度量X在某个区间的概率,定义为:
fX(x) = dF/dx
从而可以知道P(a <= X <= b) = fX(x)在a与b之间的积分。
四、常见随机变量的分布
- X ~ Bernoulli(p):若在一次随机实验中样本空间只有两个样本点,其中一个出现的概率为p,映射到X的值为1,另一个出现的概率为1-p,映射到X的值为0,则称X服从伯努力分布,其PMF为pX(k) = pk(1-p)(1-k)。常见的抛硬币实验(无论均匀与否)就服从伯努力分布。
- X ~ Binormial(n, p):进行n次独立的伯努力实验,出现“head”的次数。例如抛10次硬币。其PMF为pX(k) = C(k, n)pk(1-p)(n-k),可见伯努力分布为二次分布中n=1的情形。
- X ~ Geometric(p) : 进行足够多次伯努力实验,直到第一次出现"head"时的次数。其PMF为pX(k) = p(1-p)k-1。
- X ~ Poisson(λ):一种离散随机分布,X取值为非负整数,用于模拟单位时间或空间内稀有事件发生的概率,其应用条件与二项分布相同,即要求事件的发生是相互独立的,发生的概率相等,结果是二分类的。稀有意味着在很多次独立实验中出现的次数很少,这意味着n很大,p很小。例如大规模的病毒流行事件(SARS)。二项分布在前述条件下可以用泊松分布进行模拟,λ = np,其PMF为pX(k) = e-λ* λk/k!
- X ~ Uniform(a, b):均匀分布,概率密度为常数,fX(x) = 1/(b-a)
- X ~Exponential(λ):指数分布,概率密度函数呈指数形态,X取值为非负实数,fX(x) = λe-λ
- X ~Normal(μ, σ2):正态分布,又称高斯分布(Gaussian Distribution)。一种典型的连续随机分布,典型意味着,如果你找不到特殊的,条件更匹配的概率分布,可以认为该随机变量服从高斯分布,例如人的能力高低,一个学校中学生考试成绩的分布。
五、参数估计
……
(本文作为对数学基本概念的回顾,不妥之处欢迎赐教!)
【推荐】2025 HarmonyOS 鸿蒙创新赛正式启动,百万大奖等你挑战
【推荐】博客园的心动:当一群程序员决定开源共建一个真诚相亲平台
【推荐】开源 Linux 服务器运维管理面板 1Panel V2 版本正式发布
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步