随笔分类 - 概率&统计
Gauss error function
摘要:0. error functionerf(x)=1π∫−xxe−t2dt" role="presentation">erf(x)=1π−−√∫x−xe−t2dterf(x)=1π∫−xxe−t2dtpython ...
阅读全文
异常值检测 —— MAD(median absolute deviation)
摘要:MAD 定义为,一元序列 Xi" role="presentation">XiXi 同其中位数偏差的绝对值的中位数(deviation,偏差本身有正有负);MAD=median(|Xi−median(X)|)" role="presentation">M...
阅读全文
标准正态分布表(scipy.stats)
摘要:0. 标准正态分布表与常用值 Z-score 是非标准正态分布标准化后的 x即 z=x−μσ" role="presentation">z=x−μσz=x−μσ表头的横向表示小数点后第二位,表头的纵向则为整数部分以及小数点后...
阅读全文
统计学(检验、分布)的 python(numpy/pandas/scipy) 实现
摘要:scipy 中统计相关的 api:https://docs.scipy.org/doc/scipy/reference/stats.htmlhttps://zhuanlan.zhihu.com/p/24635014https://blog.csdn.net/lanch...
阅读全文
最大似然估计的缺陷 —— 方差和均值的 bias
摘要:0. 均匀分布期望的最大似然估计首先我们来看,如何通过最大似然估计的形式估计均匀分布的期望。均匀分布的概率密度函数为:f(x|θ)=1θ,0≤x≤θ。不失一般性地,将 x1,x2,…,xn 排序为顺序统计量:x(1)≤x(2)≤⋯≤x(n)。则根据似然函数定义,在此样...
阅读全文
似然函数(likelihood function)
摘要:1. 似然函数基本定义令 X1,X2,…,Xn 为联合密度函数 f(X1,X2,…,Xn|θ),给定观测值 X1=x1,X2=x2,…,Xn=xn,关于 θ 的似然函数(likelihood function) 定义如下:L(θ)=L(θ|x1,x2,…,xn)=f(...
阅读全文
边缘独立(marginal independent)的理解及举例
摘要:1. 定义∀xi∈dom(X),yj∈dom(Y),yk∈dom(Y),如果满足,P(X=xi|Y=yj)==P(X=xi|Y=yk)P(X=Xi)则称随机变量 X 边缘独立于随机变量 Y。理解:也即随机变量 Y 的值对 X 的值没有影响;2. 举例Marginal ...
阅读全文
边缘独立(marginal independent)的理解及举例
摘要:1. 定义∀xi∈dom(X),yj∈dom(Y),yk∈dom(Y),如果满足,P(X=xi|Y=yj)==P(X=xi|Y=yk)P(X=Xi)则称随机变量 X 边缘独立于随机变量 Y。理解:也即随机变量 Y 的值对 X 的值没有影响;2. 举例Marginal ...
阅读全文
条件独立的理解及举例
摘要:独立与条件独立首先来看一个简单证明,A,B 关于事件 C 条件独立,证明,P(A|B,C)=P(A|C)证明:P(A|B,C)=====P(A|B,C)P(B|C)P(B|C)P(A|B,C)P(B|C)P(B|C)P(A|B,C)P(B,C)P(C)P(B|C)P(...
阅读全文
条件独立的理解及举例
摘要:独立与条件独立首先来看一个简单证明,A,B 关于事件 C 条件独立,证明,P(A|B,C)=P(A|C)证明:P(A|B,C)=====P(A|B,C)P(B|C)P(B|C)P(A|B,C)P(B|C)P(B|C)P(A|B,C)P(B,C)P(C)P(B|C)P(...
阅读全文
贝叶斯统计(Bayesian statistics) vs 频率统计(Frequentist statistics):marginal likelihood(边缘似然)
摘要:1. Bayesian statistics一组独立同分布的数据集 X=(x1,…,xn)(xi∼p(xi|θ)),参数 θ 同时也是被另外分布定义的随机变量 θ∼p(θ|α),此时:p(X|α)=∫θp(X|θ)p(θ|α)dθ2. 频率统计(frequentist...
阅读全文
贝叶斯统计(Bayesian statistics) vs 频率统计(Frequentist statistics):marginal likelihood(边缘似然)
摘要:1. Bayesian statistics一组独立同分布的数据集 X=(x1,…,xn)(xi∼p(xi|θ)),参数 θ 同时也是被另外分布定义的随机变量 θ∼p(θ|α),此时:p(X|α)=∫θp(X|θ)p(θ|α)dθ2. 频率统计(frequentist...
阅读全文
多元高斯分布的边缘概率和条件概率
摘要:0. 多元高斯分布假定一个 n 维的随机变量 x=[x1x2]∼N(μ,Σ),其中 x1,x2 的维度分别是 p 和 q(也即 p+q=n),μ=[μ1μ2],Σ=[Σ11Σ21Σ12Σ22](Σ=ΣT,Σ21=ΣT21),1. 边缘分布x1,x2 各自依然服从 μi...
阅读全文
多元高斯分布的边缘概率和条件概率
摘要:0. 多元高斯分布假定一个 n 维的随机变量 x=[x1x2]∼N(μ,Σ),其中 x1,x2 的维度分别是 p 和 q(也即 p+q=n),μ=[μ1μ2],Σ=[Σ11Σ21Σ12Σ22](Σ=ΣT,Σ21=ΣT21),1. 边缘分布x1,x2 各自依然服从 μi...
阅读全文