摘要：Markov chain 基本概念 当随机变量序列\(\{\mathbf{x}_{1},\mathbf{x}_{2},\cdots,\mathbf{x}_{n}\}\)的联合分布满足：\(p(\mathbf{x}_{1},\mathbf{x}_{2},\cdots,\mathbf{x}_{n})=p 阅读全文

摘要：参考书 MLAPP PRML Boosting Foundations and Algorithms 阅读全文

摘要：参考书 MLAPP 还有一个狄利克雷过程的讲义 阅读全文

摘要：前言 神经网络的优化多采用诸如梯度下降法的基于一阶导数的优化方法（PS：可参见之前写的一篇文章 http://www.cnblogs.com/simplex/p/6777705.html，用下降单纯形优化一个非常简单的神经网络，无需求梯度）。在计算待优化变量的一阶导数时，最常用的方法就是 back 阅读全文

摘要：先列参考书 Gaussian Processes for Machine Learning MLAPP PRML 笔记回头再整理 阅读全文

摘要：下降单纯形法(downhill simplex method)是一个广泛使用的“derivative free”的优化算法。一般来说它的效率不高，但是文献[1]提到“the downhill simplex method may frequently be the *best* method to 阅读全文

摘要：概述 优化问题就是在给定限制条件下寻找目标函数$f(\mathbf{x})，\mathbf{x}\in\mathbf{R}^{\mathbf{n}}$的极值点。极值可以分为整体极值或局部极值，整体极值即函数的最大/最小值，局部极值就是函数在有限邻域内的最大/最小值。通常都希望能求得函数的整体极值，但 阅读全文

摘要：0. 前言 MC方法的关键在于如何对想要的分布进行采样，获得采样点。换句话说就是如何生成满足指定分布的随机数。在该系列文章中，我们有一个默认的假设就是已经有了一个能产生均匀分布随机数的机制，不管它是硬件生成的真随机数，还是算法模拟的伪随机数。关于伪随机数的生成算法，如线性同余法或者移位寄存器法，请参 阅读全文