simplex

摘要： 前言 神经网络的优化多采用诸如梯度下降法的基于一阶导数的优化方法（PS：可参见之前写的一篇文章 http://www.cnblogs.com/simplex/p/6777705.html，用下降单纯形优化一个非常简单的神经网络，无需求梯度）。在计算待优化变量的一阶导数时，最常用的方法就是 back 阅读全文

摘要： 前言 EM算法大家应该都耳熟能详了，不过很多关于算法的介绍都有很多公式。当然严格的证明肯定少不了公式，不过推公式也是得建立在了解概念的基础上是吧。所以本文就试图以比较直观的方式谈下对EM算法的理解，尽量不引入推导和证明，希望可以有助理解算法的思路。 介绍 EM方法是专门为优化似然函数设计的一种优化算 阅读全文

摘要： 简介 牛顿法又叫做牛顿-拉裴森（Newton-Raphson）方法，是一维求根方法中最著名的一种。其特点是在计算时需要同时计算函数值与其一阶导数值，从几何上解释，牛顿法是将当前点处的切线延长，使之与横轴相交，然后把交点处值作为下一估值点。 图1 从数学上解释，牛顿法可以从函数的泰勒展开得到。\(f( 阅读全文

摘要： 0. 前言 之前挖的坑还没有填完，又开始挖新坑了。这次是关于概率图模型的读书笔记。先说一下大致规划，读书笔记总共分三部分，分别是概率图的表示、推理与学习。之前准备单独列一章应用的，不过考虑到应用这部分资料应该是最多的，就干脆偷个懒，把常见模型的相关知识分布到三个章节中提一下算了。 这系列笔记主要是在 阅读全文

摘要： 问题描述：给定两个巨大的整数，求他们的乘积。 这个问题有个比较简单的方法来计算，即利用快速傅里叶变换。下面简述下原理。 假设我们要计算\(x*y\)的值，首先把数字表示成为多项式形式： \(x=a_0*10^0+a_1*10^1+a_2*10^2+...+a_n*10^n\) \(y=b_0*10^ 阅读全文

摘要： 前段时间需要对一些客服对话记录做聚类分析，于是抽时间测试了一下常见聚类算法的效果。之前了解过的聚类算法大多在sklearn中都有现成的实现可以直接用，不过optics算法倒没找到，于是就看着论文做了个简易版的。下面是算法源码，关于原理请参考原始论文： C. Ding, X. He, and H. D 阅读全文

摘要： 机器学习很多时候是在跟数学打交道，所以看书看论文肯定是必不可少的。下面是自己读过并觉得很有帮助的一些书，希望对大伙有所帮助。（请忽略糟糕的排版，这个排版功能太难用了。。） 拓扑学： Munkres J R. 《Topology》拓扑学就只看了这一本，只能说不愧是大师之作。分析学： Rudin三件套这 阅读全文

摘要： Markov chain 基本概念 当随机变量序列\(\{\mathbf{x}_{1},\mathbf{x}_{2},\cdots,\mathbf{x}_{n}\}\)的联合分布满足：\(p(\mathbf{x}_{1},\mathbf{x}_{2},\cdots,\mathbf{x}_{n})=p 阅读全文

摘要： 参考书 MLAPP PRML Boosting Foundations and Algorithms 阅读全文

摘要： 参考书 MLAPP 还有一个狄利克雷过程的讲义 阅读全文