熵模型-为什么使用条件概率优于个元素独立的全分解模型？

熵模型

论文<VARIATIONAL IMAGE COMPRESSION
WITH A SCALE HYPERPRIOR 提出使用超先验，来捕获潜在表示的超先验。
追根溯源发现：在香农的通信理论中给出数学解释

即，使用联合分布比独立分布更优

如果有先验的信息，对后续编码而言其不确定性会更小，从而获得更小的比特流。