2025年3月16日
信息论基础（持续更新）
摘要： 熵、相对熵与互信息 熵 定义：一个离散型随机变量 \(X\) 的熵 \(H(X)\) 定义为： \[H(X)=-\sum_{x \in X}p(x) \log p(x) \]注释：\(X\) 的熵又可以理解为随机变量 \(\log \frac{1}{p(X)}\) 的期望值 引理 \(H(X) \g 阅读全文
posted @ 2025-03-16 18:20 Smera1d0 阅读(16) 评论(0) 推荐(0)