信息论的基础知识
自信息量
接收到a的不确定性
\[{\rm{I}}({a}) = {\log _k}{1 \over {p({a})}}
\]
条件自信息量
接收端收到b后，发送端是否为a尚存的不确定性
\[{\rm{I}}(a{\rm{|b}}) = {\log _k}{1 \over {p(a|b)}}
\]
互信息量
收到b后，消除的不确定性为先验的不确定性减去尚存的不确定性，即收信者获得的信息量为
\[{\rm{I}}(a;{\rm{b}}) = {\log _k}{1 \over {p(a)}} - {\log _k}{1 \over {p(a|b)}}
\]
信息熵
信源各个离散消息的自信息量（不确定度）的数学期望
\[H(X) = E(I({x_i})) = E({\log _2}{1 \over {p({x_i})}}) = - \sum\limits_{i = 1}^n {p({x_i}){{\log }_2}p({x_i})}
\]
条件熵
在给定Y条件下，X集合的条件熵H(X|Y)为不同y下条件熵的期望
\[H(X|Y) = \sum\limits_j {p({y_j})H(X|{y_j}) = \sum\limits_{i,j} {p({y_j})} } p({x_i}|{y_j})I({x_i}|{y_j}) = \sum\limits_{i,j} {p({x_i}{y_j})} I({x_i}|{y_j})
\]
H(X|Y)损失熵，H(Y|X)噪声熵
联合熵
\[H(XY) = \sum\limits_{i,j} {p({x_i}{y_j})I({x_i}{y_j})}
\]
\[H(XY) = H(X) + H(Y|X)
\]
信道容量
在信道中最大的信息传输速率，单位是比特/信道符号
\[C = \mathop {\max }\limits_{p({x_i})} I(X;Y)
\]
香农公式
\[C = W{\log _2}(1 + {{{P_s}} \over {{P_N}}}) = W{\log _2}({\rm{1 + }}{{{{\rm{P}}_{\rm{s}}}} \over {{{\rm{N}}_0}W}})
\]
信道容量仅和信噪比和带宽有关系
