RBMs free energy derivation 参考

RBM中的自由能量公式, 在文献deep learning turtorial release 0.1的公式9.9中直接给出了,找了下相关推导文献,

在On the Representational Efficiency of Restricted Boltzmann Machines 中的附录A.1中直接给出了推导,

原来个人理解对h 求和是关于概率的求和,h取0 的条件概率 带入公式中 再加上h取1 的条件概率 带入公式中,

实际上关于h 求和是直接遍历h所有可能的取值,直接加起来就可以了。

 

posted @ 2016-10-13 21:51  sigmoid  阅读(151)  评论(0)    收藏  举报