Loading

2024年8月20日
变分信息瓶颈 (Variational Information Bottleneck) 公式推导
摘要： 变分信息瓶颈 (Variational Information Bottleneck) 公式推导 本文介绍了变分信息瓶颈 (VIB) 的公式推导及其在神经网络中的应用。VIB 通过最大化特征与标签的互信息、最小化特征与输入的互信息，实现特征压缩与判别能力的平衡。文中详细推导了互信息的变分近似及其优化方式，并分析了 VIB 与 VAE 的联系及正则化效果。 阅读全文
posted @ 2024-08-20 23:59 zhb2000 阅读(1408) 评论(0) 推荐(1)