随笔分类 -  概率与信息论

贝叶斯规则
摘要：1.贝叶斯规则 已知 P(y | x) 时计算 P(x | y),还知道 P(x)根据 其中 阅读全文
posted @ 2018-11-27 10:01 大来 阅读(246) 评论(0) 推荐(0)
常用函数
摘要：1. logistic sigmoid 函数 logistic sigmoid 函数通常用来产生 Bernoulli 分布中的参数 ϕ，因为它的范围是(0,1)，处在 ϕ 的有效取值范围内 sigmoid 函数在变量取绝对值非常大的正值或负值时会出现饱和（saturate）现象，意味着函数会变得很平 阅读全文
posted @ 2018-11-23 13:54 大来 阅读(166) 评论(0) 推荐(0)
常用概率分布
摘要：1.Bernoulli 分布（Bernoulli distribution） 单个二值随机变量的分布 它由单个参数 ϕ ∈ [0,1] 控制，ϕ 给出了随机变量等于 1 的概率 2.Multinoulli 分布 具有k个不同状态的单个离散随机变量上的分布 经常用来表示对象分类的分布 3.高斯分布 也 阅读全文
posted @ 2018-11-23 11:09 大来 阅读(1189) 评论(0) 推荐(0)
期望、方差和协方差
摘要：1.期望 当 x 由 P 产生，f 作用于 x 时，f(x) 的平均值 离散型随机变量，这可以通过求和得到： 连续型随机变量可以通过求积分得到： 性质： 其中 α 和 β 不依赖于 x 2.方差 衡量的是当我们对 x 依据它的概率分布进行采样时，随机变量 x 的函数值会呈现多大的差异 当方差很小时， 阅读全文
posted @ 2018-11-23 10:19 大来 阅读(775) 评论(0) 推荐(0)
条件概率和链式法则
摘要：1.条件概率 给定其他事件发生时出现的概率 公式 链式法则： 2.相互独立的（independent）： 两个随机变量 x 和 y，如果它们的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含 x 另一个因子只包含 y称这两个随机变量是相互独立的（independent） 关于 x 和 y 的 阅读全文
posted @ 2018-11-22 17:01 大来 阅读(3412) 评论(0) 推荐(0)
概率基本概念
摘要：1.随机变量（random variable） 可以随机地取不同值的变量。 通常用无格式字体 (plain typeface) 中的小写字母来表示随机变量本身，而用手写体中的小写字母来表示随机变量能够取到的值。 随机变量可以是离散的或者连续的。 2.概率分布 描述随机变量或一簇随机变量在每一个可能取 阅读全文
posted @ 2018-11-22 16:12 大来 阅读(823) 评论(0) 推荐(0)