概率论基础

公理化

在很长的一段时间里概率的概念都很模糊，导致不能称为一个严格的数学分支，甚至还有贝特朗悖论这种例子出来：

在一个半径为1的园内随机取一条弦，问其长度超过该圆内接等边三角形的边长的概率是多少？

根据不同的随机方法可以得到不同的结果概率：

虽然概率论很在就在赌场上发挥威力，但是事件、概率等这些基本概念都没有严格的定义略显尴尬。直到1933年苏联数学家科尔莫格罗夫才提出了概率的公理化结构：

事件A为Ω的一个子集，它包含若干样本点，事件A发生当且仅当A所包含的样本点中有一个发生。

现在的大部分的数学都往集合上靠，但是集合天生有点问题（罗素悖论等导致第三次数学危机），因此在用的时候还是需要小心的。通常我们希望所有感兴趣的事件都包含在内，比如：如果满足这三个条件则称为σ域（σ代数）。

概率论的应用

古典概率研究的问题简单、常见：事件有限、不相容、等概率，在运算的时候基本上就是在考察你的排列组合知识。另外还有几何概率，将问题放到空间中来通过求面积的比例来求解，举个例子：

两人相约7点到8点在某地会面，先到者等候20分钟，过时就可离去，试求两人会面的概率？

这个问题中有无限个事件，通过古典概率那一套显然是没有办法了，我们画个图就可以轻松解决：

有很多复杂、有意思的问题，但是好像跟概率的本质没有什么关系，这里就不略过了，我们学概率主要是学概率特有的东西。

条件概率和独立性

从字面上来理解，所谓条件就是指B发生的前提下A发生的概率，从定义上就可以看出计算方法：

当然可以简单的将这个计算式推广到更多变量的情况：

计算条件概率的前提是A和B的关系，而通过贝叶斯定理可以将这种关系进行逆转，从A在B的条件下改为B在A的条件下。贝叶斯定理非常简单，但是在实际的概率应用中发挥了巨大威力：

条件概率是用来描述两个条件概率之间的关系，最简单的关系就是没关系，也就是说它们之间是互相独立的。换句话说就是B发不发生对A发生的概率没有影响，也就是说：

在两个变量的情况下满足上式能说明它们是独立的，那么在多个变量的情况下两两之间满足上式的话说明他们之间相互独立吗？

随机变量和分布函数

随机变量是随机空间中的实值函数，分布函数定义了一个范围的随机变量

 

 

 

 

 

 

 

 

直观上看随机变量就是用数字来表示试验的结果，严格的数学定义如下：

设ξ(ω)是定义于概率空间(Ω,F,P)上的单值实函数，如果对于直线上任一点集B有{ω:ξ(ω) in B} in F，则称ξ(ω)为随机变量。

这个所讲的意思如下：

而分布函数所描述的是一个范围内的随机变量的概率，用这种描述方法可以兼顾离散、连续两种情况：

因为分布函数表示的是一个范围内的概率和，自然相当将其用积分形式表示：

其中p(x)为密度函数。当然，最常见也是最重要的分布为：正态分布(误差的分布曲线)：

在许多问题中需要计算随机变量的函数的分布律，比如已知分子速度ξ的分布，要求其动能η=0.5mξ²的分布率。设f(x)在不重叠的区间I1,I2,...上逐段严格单调，其反函数分别为h1(x),h2(x),...，且导数均为连续函数，那么η=f(ξ)是连续型变量，其密度函数为：

 

 

 

四、数字特征与特征函数

设ξ为一离散型随机变量，它取值x1,x2,x3,...对应的概率为p1,p2,p3,...如果级数：

绝对收敛，则把它称为ξ的期望，记做Eξ。若E(ξ-Eξ)²存在，则称为ξ的方差，记做Dξ，而√Dξ称为标准差。概率论中车贝晓夫不等式反映了方差和期望的关系：

我们除了关心每个随机变量的情况外，还希望知道随机变量之间的关系，这是靠期望和方差办不到的，这时候就引入了协方差：

协方差是一个和样本数据相关的数字，归一化之后得到相关系数：

期望、方差和协方差是随机变量最常用的数字特征，他们都是某种矩。矩是最广泛使用的一种数字特征，在概率论和数理统计中占有重要地位，最常用的矩有两种：

随机试验的主要特征是在试验之前无法肯定地知道哪个结果会出现，并且对于不同的试验，这种不确定性可能有很大的差别。那么需要找一个函数H进行衡量，考虑到H应该满足如下性质：

1. 连续函数。
2. 对于等概率的试验，H随着n单调上升。
3. 一个试验分成相继的两个试验时，未分之前的H值是分之后的H值的加权和。

满足着三条的函数H具有如下性质：

该值被称为熵。熵可以用来信息量的多少,一个比较神奇的地方是随机变量满足正态分布时熵最大。如果有两个随机试验时可以用来描述在一个试验中含有另一个试验的信息量：

数字特征只反映了概率分布的某些侧面，一般不能通过他们来完全确定分布函数，这里引入特征函数，既能反映分布的特征也能确定分布函数。若随机变量ξ的分布函数为F_ξ(x)，则ξ的特征函数为：

五、极限定理

在前面的学习用，有个默认的东西一直没有给出明确的定义：当随机次数趋于无穷大的时候频率会趋于稳定，用数学描述为：若ξ₁,ξ₂,ξ₃,....是随机变量序列，令：

如果一个常数序列a₁,a₂,a₃,....，对于任意的ε>0有：

则称序列{ξn}服从大数定律。所有的大数定律都是关于次数趋于无穷大时所表现出来的稳定性规律，比如伯努利大数定律：

大数定律只是说明了在大量试样的情况下会接近概率p，而拉普拉斯定理则给出了具体的概率分布，若μ_n是n次伯努利试验中事件A出现的次数，0<p<1，则对任意有限区间[a,b]有：