摘要：最近开始接触deep learning，写一些学习心得，毕竟从0开始，理解浅薄。关于本文，如果你想弄明白BP算法的原理，可以读，如果你只想使用BP算法，请移步到Andrew Ng的讲义：http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm。从神经网络最常用的BP算法开始。为了不使问题复杂，我们从一个三层网络开始，下图是来自Andrew Ng（http://ufldl.stanford.edu/wiki/index.php/Autoencoders_and_Sparsity）的讲义：约定一下符号使用规则：层数从1开始 阅读全文

摘要：网上有一些向量求导的总结，把20多种情况一一考虑，很是麻烦，本文希望找出向量求导的基本法则。向量求导与标量求导法则不同的是，向量的求导还要注意结果的排法问题。注意排法是因为当一个目标函数是多个成分相加时，如果不注意排法可能导致有些结果是行，有些是列，无法继续进行运算。我总结的向量求导的基本推导准则是（以f(x)对向量求导为例）：1）先对f(x)求向量分量的导数，也就是标量的导数，该导数可能是标量，也可能是向量;2）如果第一步求导结果为标量，直接将结果排列成x的形状(本例为列)；如果第一步求出的结果是向量，在按照x排列结果时： 2.1）如果求导结果与x形状相同，则将结果取转置排成矩阵; 2... 阅读全文

摘要：A graph comprises nodes (also called vertices) connected by links (also known as edges or arcs), each node represents a random variable (or group of random variables) and the links express probabilistic relationships between these variables. The two main class of graphical models are Bayesian networ 阅读全文