信息论 Han's inequality 的证明

设 \(\alpha \subseteq \{X_1,X_2\dots X_n\}\),\(\displaystyle H_k=\binom{n}k^{-1}\sum_{|\alpha| = k}\frac{H(\alpha)}k\)，那么有 \(H_1\geq H_2\ge\dots \ge H_n\)

---

考虑熵的次模性，也就是对于两个集合 A,B，\(H(A) + H(B)\ge H(A\cup B) + H(A\cap B)\)

次模性证明

假设 \(A = C \cup D,B = C\cup E,A\cup B = C \cup D \cup E,A \cap B = C\)

\(H(A) = H(C) + H(D|C),H(B) = H(C) + H(E|C)\)，\(H(A\cup B) = H(C\cup D\cup E) = H(C) + H(D|C)+H(E|D,C)\)，两边同时消掉得到 \(H(E|C)\ge H(E|C,D)\) 成立即可。

引理：如果 \(|\alpha| = k+1\),记 \(x\in \alpha,\alpha_x\) 表示集合 \(\alpha\) 删去元素 \(x\) 得到的集合，那么下面的不等式成立：

\[\displaystyle (k+1)H(\alpha) \le \sum_{x\in \alpha} H(\alpha_x) \]

证明就两边同时乘 \(k\)，于是变为证明 \(\displaystyle k(k+1)H(\alpha)\le \sum_{x,y\in \alpha,x\neq y} H(\alpha_x) + H(\alpha_y)\)，通过次模性一定成立。

回到原命题，证明 \(H_{k+1}\le H_k\) 等价于证明 \(\displaystyle \frac{k+1}{n-k}\sum_{|\alpha| = k+1}\frac{H(\alpha)}{k+1}\le \sum_{|\alpha|=k} \frac{H(\alpha)}{k}\)

使用引理中的不等式放缩 LHS，得到 \(\displaystyle\frac{1}{(n-k)(k+1)}\sum_{|\alpha| = k} H(\alpha)\times(n-k)\)，最后的系数是因为，对于一个 \(\alpha\) 而言，如果想要通过添加一个元素变成一个大小为 \(|\alpha|+1\) 的集合，方案数是 \(n-|\alpha|\)。

于是不等式成立。