10 2013 档案

从随机过程到马尔科夫链蒙特卡洛方法
摘要：1. Introduction第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 RBM 用到了 Gibbs sampling，当时因为要赶着做项目，虽然一头雾水，但是也没没有时间仔细看。趁目前比较清闲，把 machine learning 里面的 sampling methods 理一理，发现内容还真不少，有些知识本人也是一知半解，所以这篇博客不可能面面俱到详细讲解所有的 sampling methods，而是着重讲一下这个号称二十世纪 top 10 之一的算法—— Markov c 阅读全文

posted @ 2013-10-25 23:07 daniel-D 阅读(37072) 评论(6) 推荐(9)

机器学习中导数最优化方法(基础篇)
摘要：1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法，梳理梳理相关的数学知识，本人也是一边写一边学，如... 阅读全文

posted @ 2013-10-19 14:57 daniel-D 阅读(18118) 评论(8) 推荐(11)

导航