随笔分类 -  信息论

高斯信道
摘要：正态分布 正态分布的微分熵 \(\newcommand{\d}{\text{ d}}\)\(\newcommand{\E}{\mathbb{E}}\)当\(X\)满足正态分布\(N(\mu,\sigma^2)\)时，\(f(x)=\dfrac{1}{\sqrt{2\pi\sigma^2}}e^{-\ 阅读全文
posted @ 2024-04-19 22:54 行而上 阅读(256) 评论(0) 推荐(0)
微分熵
摘要：微分熵(Differential Entropy)\(\newcommand{\d}{\text{ d}}\) 对于连续的随机变量\(X\)，假如它有概率密度函数\(f(x)\)，那么我们仿照离散熵的表达式，定义\(X\)的微分熵为\(h(X)=-\displaystyle\int_S f(x)\l 阅读全文
posted @ 2024-04-16 23:15 行而上 阅读(1016) 评论(1) 推荐(0)
信道容量
摘要：Channel(信道)\(\newcommand{\X}{\mathcal{X}}\newcommand{\Y}{\mathcal{Y}}\) “通信”(Communication)到底是什么？严格地说，当我们说\(A\)与\(B\)通信时，我们指的是\(A\)通过一些物理作用改变了\(B\)的物理 阅读全文
posted @ 2024-04-09 20:43 行而上 阅读(200) 评论(0) 推荐(0)
数据的压缩编码
摘要：\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\X}{\mathcal{X}}\)现在我们要开始讨论熵的意义。讨论的核心就是数据的压缩编码。 首先我们要严格地定义编码。在这里，我们默认用二进制进行编码。事实上，我们将要证明的所有结论对于一般的\(\math 阅读全文
posted @ 2024-03-18 19:53 行而上 阅读(353) 评论(0) 推荐(0)
随机过程的熵率
摘要：随机过程(Stochastic Process)\(\newcommand{\E}{\mathbb{E}}\) 在渐进均分性中，我们讨论的是一列独立同分布的随机变量。现在我们要讨论一列并不独立同分布的随机变量，这样的一列随机变量通常被称为一个“随机过程”，记为\(X_1,X_2,\cdots,X_t 阅读全文
posted @ 2024-03-15 22:16 行而上 阅读(275) 评论(0) 推荐(0)
渐进均分性(AEP)
摘要：渐进均分性(Asymptotic Equipartition Property, AEP) \(\newcommand{\E}{\mathbb{E}}\)在概率论中，我们有（弱）大数定理：对于一列独立同分布的随机变量\(X_1,X_2,\cdots\)。设\(X_i\sim X\)。前\(n\)个随 阅读全文
posted @ 2024-03-12 15:44 行而上 阅读(1005) 评论(0) 推荐(0)
信息熵
摘要：The real measure of information is not in the symbols we send -- it's in the symbols we could have sent, but did not. 信息与随机事件 “信息(information)”的含义是什么呢 阅读全文
posted @ 2024-02-26 17:25 行而上 阅读(1271) 评论(0) 推荐(0)